전이 학습이 뭔지 알아봤어요.

이동 학습(Transfer learning)

특정 분야(역)에서 배운 모델이 다른 분야(역)에 적응하는 기술을 전이 학습이라고 한다.
이로써 일반 학습보다 적은 데이터량으로 학습할 수 있다.

구체적 예

2014년 ILSVRC 우승의 학습 완료 모델인 VG16을 예로 들어 설명한다.
이 모델은 ImageNet의 데이터에서 경기 제목에서 제시한 1000개의 단계를 집중적으로 식별할 수 있다.분류는 대체적으로 구분하고, 상세하게 구분하는 등 다르다.이 사이트 어떤 분류가 있는지 볼 수 있습니다.
예를 들어 고양이의 종류 분류 시스템을 구축하려면 이 학습이 끝난 모델에 따라 분류할 수 없다.따라서 전이 학습을 사용한다.이미 배운 이 모형에 대한 노력을 통해 고양이의 종류를 분류할 수 있다.그리고 처음 만든 데이터량보다 훨씬 적다.

메서드

CS231n:Convolution Neural Networks for Visual Recongnition Lecture7
위의 그림에서 학습이 끝난 모형의 마지막 2층을 추가하여 새로운 고양이의 종류를 분류한다.
추가 학습을 하지 않는 도면층을 다운시켰다고 한다.이 패닉 범위를 변경하면 정밀도가 얼마나 변하고 학습 시간도 변한다.
또한 SVM을 사용하여 추출된 피쳐 벡터를 분류할 수도 있습니다.

정교한 조정(Fine tuning)

공부를 옮기면 정교한 조화라는 단어를 자주 볼 수 있다.
정밀 조화는 이미 배운 모델의 일부 또는 전체 무게를 미세하게 조정하는 기법을 가리킨다.
전이 학습에서 특징 추출기는 변하지 않고 마지막 층만 다시 배웠지만 정밀 조화에서 학습이 끝난 모델의 무게를 초기값으로 다시 학습하고 미세하게 조정했다.
ü 학습을 옮기는 데 있어서 입력 층에서 중간 층으로 가는 마지막 층을 특징 추출기라고 한다.

언제 어떻게

스탠퍼드 대학의 강의 자료에 기법의 선택 방법에 대한 기술 노하우가 기재되어 있으며, 현재 그림에 요약되어 있다.