학습 데이터가 충분한 오차를 구하지 못하는 상태를 미학습이라고 하고 작은 오차를 얻을 수 있으나 테스트 시 오차가 큰 상황을 과학습이라고 한다.
정규화 방법은 과도한 학습을 피하는 방법이다.(단, 너무 정규화되면 학습하지 않음)
정규화를 통해 미지의 데이터에 대한 예측 성능(범용성)을 향상시킬 수 있다.범용 성능은 테스트 데이터와의 오차 기대치에 의해 정의됩니다.
미학습 또는 과도한 학습 여부를 판단하는 지표로서 편차와 편차가 존재한다.편차는 생성된 모델과 학습 데이터의 편차를 가리키며 편차(분산)는 모델의 복잡도를 나타낸다.편차의 수치가 높으면 학습한 상태를 나타내고, 편차가 높으면 학습하지 않은 상태를 나타낸다.편차와 편차는 절충 관계에 있기 때문에 가능한 한 이 두 수치를 낮추면 정확한 예측치를 출력할 수 있다.
모델이 복잡해지면서 값이 커지는 벌칙항을 최소화하는 함수를 추가하여 정규화한다.
- 벌칙 항목은 L2 범수를 이용한 Ridge 추정량과 L1 범수를 이용한 Lasso 추정량을 포함한다. 모델 선택
정규화 매개 변수는 교차 검증을 통해 선택한다.
교차 검증은 평가 모델의 방법 중 하나이고 유지법도 존재한다.
유지법
수중의 데이터를 두 부분으로 나누어 한쪽은 학습에 사용하고 다른 한쪽은 학습에 사용하지 않으며 범용성능 측정 등에 사용하는 방법이다.
학습용 데이터 증가 시 테스트용 데이터 감소, 테스트용 데이터 감소 시 학습용 데이터 감소.따라서 데이터의 수량이 충분하지 않으면 모델의 학습과 범용성 평가를 적절하게 하지 못하는 단점이 있다.
교차 검증법
유지법의 단점을 보완하는 방법으로 쓰인다.
수중의 데이터를 각각 m개 그룹으로 분할하고 m-1개 그룹을 학습에 사용하며 나머지 1조 그룹을 테스트에 사용한다(문제를 분류하는 상황에서 각 그룹에 모든 종류의 종류로 분할하면 성능이 높아진다)
상기 m회를 반복하여 그들의 균형 오차의 평균을 범화 성능으로 한다.
수중의 모든 데이터를 학습과 테스트에 사용하기 때문에 데이터 수가 적은 상황에서도 좋은 성능 평가를 할 수 있다.
유지법과 다른 분할 방법은 제도의 차이가 발생하기 어렵기 때문에 교차검증법으로 여러 모델을 평가하고 정밀도가 가장 좋은 모델을 사용하는 방법을 사용한다.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
