[기계 학습] PyTorch 는 어떻게 가장 좋 은 초기 학습 율 을 선택 합 니까?

모두 가 알다 시 피 기계 학습, 특히 현재 의 깊이 있 는 학습 은 대량의 업무 가 모두 조 참 에 집중 되 어 있다.하나의 모델 이 문 제 를 잘 해결 할 수 있 을 지, 조 참 은 매우 큰 비중 을 차지한다.한편, 학습 율 은 모델 의 수많은 초 매개 변수 중에서 가장 중요 하고 조절 하기 쉬 운 것 이다.
1. 학습 율 이란 무엇 인가
현재 심도 있 는 학습 최적화 의 기본 사상 은 경사도 하강 법 이다. 이미 우수 하고 모듈 화 된 경사도 하강 알고리즘 을 직접 사용 할 수 있다. 예 를 들 어 가장 자주 사용 하 는 SGD, Adam 과 RMSProp 등 모든 알고리즘 은 사용자 에 게 학습 율 을 설정 하도록 요구한다. 모든 특수 한 문제 가 서로 다른 최 적 화 된 학습 율 을 가지 기 때문에 반드시 실제 상황 에 따라 조절 해 야 한다.
학습 율 은 가중치 파라미터 가 역 경사도 방향 에서 조절 하 는 보폭 을 대표 한다.학습 율 이 작 을 수록 모델 효과 가 좋 지만 매우 느 린 속 도 를 가 져 오고 국부 적 으로 가장 좋 은 것 에 빠 질 수 있다.그래서 우 리 는 학 습 률 을 높 여야 하지만 학 습 률 이 너무 높 으 면 함수 가 수렴 되 지 못 하거나 가장 장점 을 뛰 어 넘 을 수 있 습 니 다. 예, 모델 훈련 효과 가 더욱 떨 어 집 니 다.따라서 적절 한 학습 율 을 선택 하 는 것 이 깊이 있 는 학습 모델 을 훈련 시 키 는 첫걸음 이다.
오 은 달 딥 러 닝 과정 중 학 습 률 소개
우리 가 알 아야 할 것 은 시작 하 는 학 습 률 이 비교적 크다 는 것 이다. 초기 화 된 가중치 가 가장 좋 은 값 에서 멀 기 때문이다.훈련 이 진 행 됨 에 따라 학 습 률 은 점점 줄 어드 는 상태 이다.
2. 가장 좋 은 학습 율 을 어떻게 선택 합 니까?
먼저 떠 오 르 는 것 은 바보 같은 방법 이다. 서로 다른 수량 급 의 학습 율, 예 를 들 어 0.1, 0.01 등 을 계속 테스트 하고 매번 에 한 개 에서 두 개의 수량 급 으로 줄 이거 나 확대 하 는 것 이다.학습 율 이 비교적 높 을 때 loss 수 치 는 감소 하지 않 는 다.학습 율 을 점점 낮 추 면 loss 가 시작 하 는 몇 가지 교체 에서 떨 어 지기 시작 하 는 것 을 발견 할 수 있 습 니 다. 그러면 이 학습 율 은 당신 이 설정 할 수 있 는 상한 선 이 될 것 입 니 다. 일반적인 상황 에서 1 ~ 2 개의 수량 급 을 낮 추어 사용 할 것 입 니 다. 훈련 이 많 을 수록 가중치 의 업데이트 수요 가 더욱 미세 하기 때 문 입 니 다.
그러면 어떻게 하면 더욱 똑똑 한 방법 으로 초기 학습 율 을 선택 할 수 있 습 니까? 글 은 'Cyclical Learning Rates for Training Neural Networks' 에서 좋 은 방법 을 소개 했다. 0 부터 하나의 교 체 를 거 칠 때마다 학습 율 을 높 일 수 있 습 니 다.모든 교체 의 loss 를 기록 합 니 다.
위의 그림 의 곡선 을 얻 은 후에 우 리 는 가장 빠 른 구간 을 선택 하면 이 그림 이 0.01 정도 인 것 을 볼 수 있다.
다른 방법 은 손실 함수 가 교체 횟수 에 관 한 편도 수 를 계산 하 는 것 이다.그리고 학 습 률 을 가로축 으로 하고 변화 율 을 세로 축 으로 그림 을 그린다.
간단 한 이동 으로 평균 적 으로 부 드 럽 게 하여 다음 그림 을 얻 을 수 있 습 니 다.
최소 값 의 소재 점, 즉 0.01 근 처 를 찾 습 니 다.
이루어지다
Jeremy Howard 팀 이 개발 한 pytorch 공구 꾸러미 - fast. ai 에 감 사 드 립 니 다.
이론 적 으로 두 줄 의 코드 를 사용 하면 완성 할 수 있다.첫 번 째 방법 을 사용 했다.(문 서 를 설명 하지 않 았 습 니 다. 어떻게 사용 해 야 할 지 모 르 겠 습 니 다. 나중에 완 선 됩 니 다)

learn.lr_find()
learn.sched.plot_lr()