입문

O'REILLY가 펴낸'제로부터 만드는 딥러닝'을 읽은 것은 스스로 정리한 내용이다.
책에는 Python에서 DeepLearning을 만드는 절차와 각종 함수에 대한 설명 등이 있으며 주로 이론적인 내용을 쓴다.

함수 활성화 정보

DeepLearning에서 입력층에서 출력층으로 전파될 때 다음 그림과 같이 여러 층으로 구성된 신경 네트워크를 형성한다.

\begin{eqnarray}
a=b+w_{1}x_{1}+w_{2}x_{2}
\end{eqnarray}

\begin{eqnarray}
y=h\left( a\right) 
\end{eqnarray}

[보충]
$b$: 편향
　　$ w_{1} $ :　 $ x_{1}$가중치
　　$ w_{2} $ :　 $ x_{2}$가중치
위 그림의 $h\left(\right)$는 활성화 함수입니다.

활성화 함수 예

신호 함수

\begin{eqnarray}
 h\left( x\right)=\dfrac {1}{1+\exp \left( -x\right) } 
\end{eqnarray}

단계 함수

\begin{eqnarray}
h\left( x\right) =\begin{cases}1\left( x >0\right) \\
 0\left( x\leqq 0\right) \end{cases} 
\end{eqnarray}

ReLU 함수

\begin{eqnarray}
h\left( x\right) =\begin{cases}x\left( x >0\right) \\
 0\left( x\leqq 0\right) \end{cases} 
\end{eqnarray}

설계 출력층

출력층의 활성화 함수 ($\sigma\left (\right) $로 가정) 를 변경하여 문제를 분류하고 회귀하는 데 사용할 수 있습니다.

분류 문제: 데이터가 어느 분류에 속하는지 판정(0-9 손으로 쓴 이미지에 따라 이 이미지의 수치를 판정한다)

회귀 문제: 입력 데이터에 따라 수치를 예측한다(예를 들어 사진에 따라 가격과 크기를 예측한다)

출력층 함수

소프트 맥스 함수

\begin{eqnarray}
y_{k}=\dfrac {\exp \left( a_{k}\right) }{\sum ^{n}_{i=1}\exp \left( a_{i}\right) }
\end{eqnarray}

분류 문제에서 사용하다.

소프트 맥스 함수 특징

소프트 맥스 함수의 출력 값은 0에서 1.0입니다.즉, 출력값은 확률로 해석할 수 있다.