dataset2 # 0. 데이터 입력 파이프라인 API 해당 포스트에서는 데이터 입력 파이프라인을 빌드하기 위한 텐서플로우의 API들을 알아볼 것이다. 갑자기 시작부터 어려운 단어가 나왔다. 데이터 입력 파이프라인? 필자가 생각하기에는 데이터가 쌩짜배기로 모델에 주입되는 것이 아니라, 적합한 형태(shape)으로 변환되어야 주입되는데, 이 과정을 전처리하기 위한 과정이라고 생각한다. 그럼 지금부터 하나씩 알아보자. 우선 데이터셋의 shape를 직관적으로 이해하기 위해서는 다음과 같은 함수가 필요하다. 미리 정의해두고 시작하자. def show_dataset_shape(dataset): dataset_to_numpy = list(dataset.as_numpy_iterator()) shape = tf.shape(dataset_to_numpy) print(shap.. 2022. 3. 1. # 0. ILSVRC 2012 Dataset 이 포스트를 작성시간 기준으로 ImageNet의 서버가 동작하지 않아 다른 방법으로 데이터세트를 얻는 방법을 포스팅한다. (기존 방법) Training Set (138GB) wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_train.tar Validation Set (6GB) wget http://www.image-net.org/challenges/LSVRC/2012/nnoupb/ILSVRC2012_img_val.tar (해당 포스트에서 진행하는 방법) academictorrents.com/collection/imagenet-2012 지금은 토렌트를 사용하여 위 링크에서 데이터 세트를 얻어야 한다. 토렌트로 받은 압축파일.. 2021. 4. 29. 이전 1 다음
