제로에서 시작하는 DeepLearning 5.2절

주석을 달다
이것은 내부 학습회에 쓸 자료다.
교과서의 설명대로라면 처음부터 끝까지 계산하는 방법을 주기 어려워서 제 해석을 했습니다.
본래의 목적

손실 함수($L$)

예측 오차 또는

네트워크 학습 = $L의 최소화

$L에 대한 W=(w 1, w 2,..., w n) 달러의 편미분을 구하면 L은 작아질 수 있다

$\frac{∂L}{∂W} = (\frac{∂L}{∂w_1},\frac{∂L}{∂w_2}, …,\frac{∂L}{∂w_n})$

$W := W - η\frac{∂L}{∂W}$

수치 미분을 사용하여 편미분을 얻는다

$\frac{∂L}{∂w_i} =\lim_{h -> 0}\frac{L(w_i+h) - L(w_i-h)}{2h}$

모든 $wi$L의 미세분에 대한 계산량이 너무 크다

L은 매우 복잡한 합성 함수

입니다.

-> 오차 역전파법이라면 계산량이 적은 것 같은데... 아!

연쇄율

y = g(t) \\
t = f(x) \\

↑ πt 달러는 약 분
도표로 연쇄율을 표시하다
y = g(t) t = f(x)

도표로 연쇄율을 표시하다
y = g(t) t = f(x)

끊임없이 연쇄해 주세요.
우선 왼쪽 ($\rac {{{} πt} $) 부터 보십시오.

다음은 오른쪽($\rac{πE}{IIE}=1$)부터 살펴보겠습니다.
오른쪽부터 $\rac {βE} {II*} 달러를 차례로 받습니다.
=>오른쪽에서 순서대로 계산하면 됩니다!
계산 효율이 좋다!
분기 도표에서 중도까지의 계산을 중복 사용할 수 있습니다!

{fracc{{{E}{}}공통 결과
섹션 5.3용
부분적으로 고려합시다!
다음 그림에서 $\rac{εE}{u}달러를 받으려면 두 개만 필요합니다!

u->v의 함수(이곳은 덧셈)

뒷부분 미세분: $\rac{εE}{IIv}달러