재제출 리포트(심층 학습-1)

순전파(단층·단유닛)
입력 (2,3) 가중치 0 1 0 계산 결과 (2,6) 여기에 바이어스 0.5
　　　　　　　　　0　2
를 곱해, 출력이 (1,3) 중간층 출력은 ReLU 함수를 사용하므로, 그대로 (1,3)



순전파(단층·복수 유닛)


순전파(3층·복수 유닛)



다중 클래스 분류
가중치 1을 3층, 가중치 2를 4층으로 하고, 출력을 4개로 분류한 결과.
출력값의 합을 1로 하고, 가장 큰 값의 요소와 훈련 데이터의 비교가 오차이다.



회귀
출력값과 훈련 데이터의 차이가 있으며, 그 결과, 오차도 큰 값이다.



이진 분류


오차 역전파법



확률적 구배 강하법



MNIST를 이용한 검증
훈련 데이터, 검증 데이터 모두 정답률이 0.9 이상으로 좋은 결과를 얻었다.





기울기 손실 문제

ReLU－gauss



<초기값 설정에 대해서>
Sigmoid-Xavier


ReLU-He


배치 정규화


확률적 구배 강하법
・모멘텀


・AdaGrad


· RSMprop


· Adam


과학
L1 정규화


L2 정규화


DropOut


DropOut-L1 정규화


Im2col


Simple Convolution Network


Double Convolution Network


Double Convolution Network