0. 구배 소실법에 대해서

■연습
・sigmoid-gauss


· ReLU - gauss


· sigmoid - Xavier


・ReLU - He

1. 학습률 최적화 기법

・모멘텀
국소적 최적해가 되지 않고, 전역적 최적해가 된다.
골짜기에 대해서부터 가장 낮은 위치(최적치)에 갈 때까지의 시간이 빠르다.　
　
・AdaGrad
경사의 완만한 경사면에 대하여 최적값에 접근한다.

· RMSProp
국소적 최적해가 되지 않고, 전역적 최적해가 된다.
하이퍼파라미터의 조정이 필요한 경우가 적다.

· Adam
모멘텀과 RMSProp의 장점을 낳은 알고리즘.

■연습
· SGD


・Momentum


· Momentum을 기반으로 AdaGrad 만들기


· RSMprop


· Adam

2.과학습에 대해

· 정규화
네트워크의 자유도 (계층 수, 노드 수, 매개 변수 값 etc ...)
　제약하는 것
　→정규화 수법을 이용하여 과학습을 억제한다

・정칙화 수법
　★ L1 정규화, L2 정칙화
　　★드롭아웃

・Weight decay(하중 감쇠)
과학 학습의 원인
가중치가 큰 값을 취하면 과학습이 발생할 수 있다.
　
과학 학습 솔루션
오차에 대하여 정규화항을 가산함으로써 가중치를 억제한다.

· L1 정규화 (라소 추정)
L1 정규화는 여분의 설명 변수를 생략하는 것을 목적으로 한 수법
치수 압축에 사용됩니다.
　
· L2 정규화 (Ridge 추정)
L2 정규화는 모델의 과학습을 방지함으로써 정밀도를 높이기 위한 수법
L1 정규화를 사용한 모델보다 예측 정확도가 높음

・드롭아웃
랜덤하게 노드를 삭제하고 학습시키는 방법
데이터 양을 변경하지 않고 다른 모델을 학습시킵니다.

■연습
・과학습


· L1 정규화 실행 결과


· L2 정규화 실행 결과


・드롭아웃


・드롭아웃+L1

3. 컨벌루션 신경망

・콘볼루션층
컨볼루션 레이어에서는 이미지의 경우 세로, 가로, 채널의 3차원 데이터를
그대로 학습하고 s 다음에 전할 수 있다.
→3차원의 공간 정보도 학습할 수 있는 층

・패딩
출력 사이즈를 조정하기 위해, 컨벌루션층의 처리를 실시하기 전에,
입력 데이터 주위에 고정 데이터를 채울 것. (0을 사용하는 경우가 많음)

・스트라이드
필터를 적용하는 간격. 스트라이드를 늘리면 출력 크기가 작아집니다.

· 채널
복수의 필터를 조합하여 판별함으로써 식별 성능을 향상시킨다.

・풀링층
대상의 해상도를 낮추기 위해 사용된다.

■연습
단일 컨벌루션 네트워크(simple convolution network class)


다중 컨벌루션 네트워크(double convolution network class)

4. 최신 CNN

· AlexNet
2012년 토론토대학 팀이 개발한 네트워크이다.
높은 인식 능력을 자랑하지만, 학습시에 튜닝해야 할 파라미터수도 많아,
구현에는 높은 스펙을 가지는 하드웨어가 필요하다.

· LeNet
1998년에 고안된 최초의 컨벌루션 네트워크. 층이 얕고 간단하지만,
MNIST의 필기 문자 이미지에서는 99% 이상의 정밀도를 낼 수 있다.

・VGG
2014년에 옥스포드 대학의 팀이 개발한 네트워크이다.
VGG에서는, 국소 수용야를 3×3으로 작게 하는 대신에,
컨볼루션층을 증가시키는 방법을 채용하고 있다.
구성하는 층의 수에 따라 VGG-11이나 VGG-16 등으로 불리는 경우가 많다.

참고 URL
컨벌루션 네트워크의 「기초의 기초」를 이해한다~딥 러닝 입문｜제2회