그라디언트 강하 방법이란?

기계 학습이나 심층 학습에 이용되는 파라미터의 최적화 방법의 하나.
모델식의 오차를 작게 하는 파라미터를 찾고 싶다.


그림 : 파라미터가 하나인 경우

파라미터를 조금씩 움직여 오차가 작아지는 장소를 찾아 간다.

적절한 매개 변수를 설정하여 오차 방정식을 미분 → 기울기 구하기 → 기울기가 오른쪽 아래로 떨어지기 때문에 그래프가 감소하는 경향이 있음을 알 수 있습니다.

매개 변수를 약간 오른쪽으로 움직여보십시오

기울기 구하기

이것을 반복하여 기울기가 0이 되는 점을 찾아 가는 것으로, 오차의 최소값을 찾아 간다.

문제점

데이터 양이 많으면 계산량이 증가하고 한 번의 가중치 업데이트에 시간이 걸립니다

로컬 최소한에 빠져 버린다

로컬 최소

오차가 작아지도록 파라미터를 변경해 나가므로, 작은 계곡을 빠져나갈 수 없다.

확률적 구배 강하법

위의 두 가지 문제에 대한 해결책은 확률 적 그라디언트 강하 방법입니다.
모든 데이터로부터 수십건 내지 수백건의 데이터 세트(미니 배치)를 작성하여 계산한다.
→ 계산량 문제 해결

모든 데이터로 계산했을 때와 같이 곧바로 극소치로 향하지 않는 경우도 있지만, 로컬 미니맘으로부터 나올 수 없다고 하는 것은 없어진다.
여러 번 시도하여 확률적으로 최소 오차로 향한다.

참고

신촌 타쿠야. TensorFlow로 시작하는 DeepLearning 구현 입문 impress top gear 시리즈 . Kindle 판.

htps : // 시로네코. 는 bぉ. jp/엔트리/2016/10/29/173634