[밑바닥부터 시작하는 딥러닝] 6. 학습 관련 기술들 part1 - 매개변수 갱신

최적의 매개변수 값을 찾는 단서로 매개변수의 기울기(미분)을 이용 SGD의 수식에서 알 수 있다시피 SGD는 기울어진 방향으로 일정 거리만 가겠다는 단순한 방법임 구현은 다음과 같다. 함수에서는 정의에서의 '성질'을 '기울기' 라고 해석할 수 있다. 등방성 함수의 예시는 다음과 같다. 이 함수의 기울기는 다음과 같다. 등방성 함수는 각 위치에서 기울어진 방향의 본래의 최솟값을 가리킴을 알 수...

모멘텀Deep Learningadam확률적 경사 하강법AdaGrad딥러닝momentumDeep Learning from ScratchSGDAdaGrad