caffe 트레이닝 입력 데이터 형식 소개(LMDB/imagelist)

카탈로그
인용문
LMDB 데이터 형식
imagelist 데이터
LMDB 데이터 생성

인용문

커피 트레이닝 데이터의 두 가지 입력 형식을 소개하는데 그것이 바로 LMDB와 일반적인 imagelist 이미지 입력이다.주로 두 가지 입력 데이터 형식의prototxt를 붙여서 참고로 하고, 구체적으로 어떻게 작업하는지는 카페 원본을 볼 수 있으며, 파라미터의 소개는 카페 프로토 파일을 참고한다.

LMDB 데이터 형식

layer {
  name: "data"
  type: "Data"
  top: "data"
  top: "label"
  include{
    phase:TRAIN
  }
  transform_param {
    mirror: true
    crop_size: 128
  }
  data_param {
    source: "/PATH/lmdb"
    batch_size: 64
    backend: LMDB
  }
}

imagelist 데이터

layer {  
  name: "data"  
  type: "ImageData"  
  top: "data"  
  top: "label"  
  include {  
    phase: TRAIN  
  }  
  transform_param {
    mirror: true
    crop_size: 128  
    mean_value: 0 
    force_gray: true
  }  
  image_data_param {  
    source: "/PATH/path_train.txt"  
    batch_size: 64  
    is_color: false
    shuffle: true
  }  
} 

LMDB 데이터 생성

#!/usr/bin/env sh
# Create the imagenet lmdb inputs
# N.B. set the path to the imagenet train + val data dirs
set -e

EXAMPLE=examples/imagenet
DATA=data/ilsvrc12
TOOLS=build/tools

TRAIN_DATA_ROOT=/public/xuhaitao/imageNet/ILSVRC2012_img_train/
VAL_DATA_ROOT=/public/xuhaitao/imageNet/ILSVRC2012_img_val/

# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
# already been resized using another tool.
RESIZE=false
if $RESIZE; then
  RESIZE_HEIGHT=256
  RESIZE_WIDTH=256
else
  RESIZE_HEIGHT=0
  RESIZE_WIDTH=0
fi

if [ ! -d "$TRAIN_DATA_ROOT" ]; then
  echo "Error: TRAIN_DATA_ROOT is not a path to a directory: $TRAIN_DATA_ROOT"
  echo "Set the TRAIN_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet training data is stored."
  exit 1
fi

if [ ! -d "$VAL_DATA_ROOT" ]; then
  echo "Error: VAL_DATA_ROOT is not a path to a directory: $VAL_DATA_ROOT"
  echo "Set the VAL_DATA_ROOT variable in create_imagenet.sh to the path" \
       "where the ImageNet validation data is stored."
  exit 1
fi

echo "Creating train lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $TRAIN_DATA_ROOT \
    $DATA/train.txt \
    $EXAMPLE/ilsvrc12_train_lmdb

echo "Creating val lmdb..."

GLOG_logtostderr=1 $TOOLS/convert_imageset \
    --resize_height=$RESIZE_HEIGHT \
    --resize_width=$RESIZE_WIDTH \
    --shuffle \
    $VAL_DATA_ROOT \
    $DATA/val.txt \
    $EXAMPLE/ilsvrc12_val_lmdb

echo "Done."