BERT에서 실시하는 문장 분류 PART4 (Early Stopping편)
6673 단어 PyTorch파이썬DeepLearning심층 학습numpy
충분한 표현 요령을 가진 큰 모델을 훈련하고 한 작업에 대해 학습하면 훈련 오차가 줄어들지 만 검증 오차가 다시 증가하기 시작할 수 있습니다.
그래서 검증 오차가 개선될 때마다 모델을 저장하기로 한다.
일정한 에포크 수 검증 오차가 개선되지 않으면 학습이 종료됩니다.
코드는 다음과 같습니다.
아래 코드를 earlystopping.py로 저장하세요.
earlystopping.py
import numpy as np
import torch
class EarlyStopping:
def __init__(self, patience=7, verbose=False):
self.patience = patience
self.verbose = verbose
self.counter = 0
self.best_score = None
self.early_stop = False
self.val_loss_min = np.Inf
self.force_cancel = False
def __call__(self, val_loss, model):
score = -val_loss
if self.best_score is None:
self.best_score = score
self.save_checkpoint(val_loss, model)
elif score < self.best_score:
self.counter += 1
print(
f'EarlyStopping counter: {self.counter} out of {self.patience}')
if self.counter >= self.patience:
self.early_stop = True
else:
self.best_score = score
self.save_checkpoint(val_loss, model)
self.counter = 0
def save_checkpoint(self, val_loss, model):
if self.verbose:
print(
f'Validation loss decreased ({self.val_loss_min:.6f} --> {val_loss:.6f}). Saving model ...')
torch.save(model.state_dict(), 'models/model.pth')
self.val_loss_min = val_loss
Reference
이 문제에 관하여(BERT에서 실시하는 문장 분류 PART4 (Early Stopping편)), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/deepblack/items/7535a30bc403ec3599d5텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)