BERT에서 실시하는 문장 분류 PART4 (Early Stopping편)

이 장은 심층 학습 (아스키드 완고) 과 htps : // 기주 b. 코 m / B 자 r 텐 / 어 rly-s 토핑 gpy와 rch 를 참고로 쓰여져 있습니다.

충분한 표현 요령을 가진 큰 모델을 훈련하고 한 작업에 대해 학습하면 훈련 오차가 줄어들지 만 검증 오차가 다시 증가하기 시작할 수 있습니다.
그래서 검증 오차가 개선될 때마다 모델을 저장하기로 한다.
일정한 에포크 수 검증 오차가 개선되지 않으면 학습이 종료됩니다.



코드는 다음과 같습니다.

아래 코드를 earlystopping.py로 저장하세요.

earlystopping.py
import numpy as np
import torch

class EarlyStopping:

    def __init__(self, patience=7, verbose=False):

        self.patience = patience
        self.verbose = verbose
        self.counter = 0
        self.best_score = None
        self.early_stop = False
        self.val_loss_min = np.Inf
        self.force_cancel = False

    def __call__(self, val_loss, model):

        score = -val_loss

        if self.best_score is None:
            self.best_score = score
            self.save_checkpoint(val_loss, model)
        elif score < self.best_score:
            self.counter += 1
            print(
                f'EarlyStopping counter: {self.counter} out of {self.patience}')
            if self.counter >= self.patience:
                self.early_stop = True
        else:
            self.best_score = score
            self.save_checkpoint(val_loss, model)
            self.counter = 0

    def save_checkpoint(self, val_loss, model):

        if self.verbose:
            print(
                f'Validation loss decreased ({self.val_loss_min:.6f} --> {val_loss:.6f}).  Saving model ...')
        torch.save(model.state_dict(), 'models/model.pth')
        self.val_loss_min = val_loss

좋은 웹페이지 즐겨찾기