보고서 (심층 학습)

입력층~중간층

중간층은 숨겨진 층이라고도합니다.
신경망은 레이어에서 레이어로 값을 변환합니다.
레이어와 레이어 사이의 노드 간의 결합은 하나씩 가중치를가집니다.

총입력=(가중치×입력)의 합계+바이어스
파이썬에서의 입력: u1=np.dot(x,W1) + b1
→내적을 취할 때, 숫자를 모은다
→3*4 4*3

여러 항목을 입력 레이어로 입력하고 다음 레이어로 전달

활성화 함수

중간층에 대한 활성화 함수


➡Z1 = function.sigmoid(u)

스텝 함수
→ 임계값을 넘으면 발화하는 함수이며, 출력은 항상 1 또는 0.
　퍼셉트론(뉴럴 네트워크의 전신)으로 이용되었다.
　→선형 분리 가능 밖에 배울 수 없다

ReLU 함수
　→지금 가장 많이 사용되고 있는 활성화 함수
구배 소실 문제의 회피와 희소화에 공헌한다



시그모이드(로지스틱) 함수
→0~1 사이를 완만하게 변화하는 함수
　→그라디언트 소실 문제를 일으킬 수 있음

출력층

오차 함수
→ 어떤 측정값이 정규분포로 주어지는 경우, 그 측정값이 -a에서 a의 범위에 있을 확률


➡ 오차 함수에 평균 제곱 오차를 사용합니다.

소프트 맥스 함수
→ 소프트 맥스 함수의 출력은 0~1의 실수값으로 떨어뜨릴 수 있다

출력층 활성화 함수
・중간층: 임계치 전후로 신호의 강약을 조정
・출력층: 신호의 크기(비율)는 그대로 변환
→ 출력층과 중간층에서 이용되는 활성화 함수가 다르다

그라디언트 강하 방법

학습률의 값에 따라 학습 효율이 크게 다릅니다.
학습률이 너무 큰 경우: 최소값에 항상 도착하지 않고 발산

학습률이 작은 경우: 너무 작으면 수렴에 시간이 걸립니다.

보통의 구배 강하법을 배치 구배 강하법이라고 하고, 확률적 구배 강하법을 온라인 구배 강하법이라고 하는 경우가 있다.

오차 역전파법

산출된 오차를, 출력층측으로부터 차례로 미분하고, 전의 층전의 층으로 전파.
교사 데이터와 실제와 출력 데이터 사이에 발생하는 오류 정보를 사용하여 네트워크 전체를 학습합니다.
최소한의 계산으로 각 파라미터에서의 미분값을 해석적으로 계산하는 기법