Michael Nielsen : 『 Neural Networks and Deep Learning 』,2014
번역: '신경망과 심층 학습' 번역 프로젝트

내가 얻은 새로운 지식의 메모 때문에 만명을위한 것이 아니라고 생각합니다.

CHAPTER 1

perceptron perceptron

NAND 게이트의 만능성 (아무리 어떤 함수라도 계산할 수 있다는 성질)에서 퍼셉트론도 만능.
우선, 퍼셉트론은 이해하기 때문에 이것을 그대로 두십시오.

sigmoid neuron 시그모이드 뉴런

새로운 유형의 인공 뉴런

퍼셉트론과 비슷하지만 시그모이드 뉴런의 가중치와 바이어스에 미세한 변화를 주면 그에 따라 발생하는 출력의 변화도 미세하게 유지되도록 조정됩니다.
이것은 시그모이드 뉴런으로 구성된 신경망을 학습 할 수있게 해주는 결정적인 차이입니다.

퍼셉트론과 마찬가지로 Sigmoid 뉴런은 $ x_1, x_2,\ldots $와 같은 입력을 가져옵니다.
그러나 이러한 입력 값은 단순히 $ 0 $ 또는 $ 1 $뿐만 아니라 $ 0 $에서 $ 1 $ 사이의 모든 값을 캡처합니다.

퍼셉트론과 마찬가지로 시그모이드 뉴런은 각 입력에 대해 가중치 ($ w_1, w_2,\ldots $)를 가지며 전체 뉴런에 대한 바이어스라는 값 ($ b $)을 가지고 있지만 출력은 $ 0 $ 및 $ 1 $뿐만 아니라,
대신 출력은 $\sigma (w\cdot x + b) $ 값을 취합니다.

$\sigma$는 시그모이드 함수
{ = 로지스틱 함수라고하며,이 새로운 뉴런을 로지스틱 뉴런이라고합니다.
이 용어를 사용하는 신경망 연구자도 많이 있습니다. (오카야 타카유키 : '심층 학습 사용되는 활성화 기능입니다.
다음 공식으로 정의됩니다.

$$\begin{eqnarray}
\sigma(z)\equiv\frac{1}{1+e^{-z}}.
\end{eqnarray}$$

퍼셉트론과의 공통점을 이해하기 위해,
$ z = w\cdot x + b $는 큰 양수입니다.
그러면
$ e ^ {-z}\approx 0 $, 즉 $\sigma (z)\approx 1 $입니다.

다시 말하면
$z = w\cdot x+b$를 큰 숫자일 때,
시그 모이드 뉴런의 출력은 거의 $ 1 $이며 퍼셉트론과 동일합니다.

반대로,
$ z = w\cdot x + b $는 큰 음수입니다.
그러면
$ e ^ {-z}\rightarrow\infty $, 즉 $\sigma (z)\approx 0 $입니다.

다시 말하면
$ z = w\cdot x + b $가 큰 음수이면,
시그 모이드 뉴런의 출력은 거의 $ 0 $이며 퍼셉트론과 동일합니다.

그러나 $ w\cdot x + b $가 그렇게 큰 수가 아닌 경우 퍼셉트론과 같지 않아야합니다.