[2장] 머신러닝- 모델평가(교차검증)

• 교차검증

모델을 평가하는 방법중 하나로 훈련 세트를 더 작은 훈련세트와 검증 세트로 나누고, 더작은 훈련 세트에서 모델을 훈련시키고 검증 세트로 모델을 평가하는 방법이 있습니다.

• sklearn 교차검증 기능 방법

from sklearn.model_selection import cross_val_score
scores = cross_val_score(model,prepared_data,labels,
scoring='neg_mean_squared_error',cv= 10) 

다음 코드는 k-겹 교차 검증(K-fold cross-validation)을 수행하고 훈련 세트를 폴드(fold)라 불리는 10개의 서브셋으로 무작위로 분할 합니다. 그런 다음 결정 트리 모델을 10번 훈련하고 평가하는데, 매번 다른 폴드를 선택해 평가에 사용하고 나머지 9개 폴드는 훈련에 사용합니다. 10개의 평가 점수가 담긴 배열이 결과가 된다.

CAUTION_ ) 사이킷런의 교차검증 기능은 scoring 매개변수에 비용함수가 아닌 효용함수를 기대한다. 그래서 평균 제곱오차(MSE)의 반댓값(즉 음수값)을 계산하는 neg_mean_squared_error 함수를 이용한다. 이런 이유로 앞선 코드에서 제곱근을 계산하기 전에 -scores로 부호를 바꾼것이다.