분류기 평가
분류기 평가 지표
Accuracy(정확도): True data/ Total data
전체 데이터 중에서 맞게 예측한 것(참이여도 되고 거짓이여도 됨)
Precision(정밀도): True Positive data/ Total Positive data
참으로 예측한 데이터 중에서 실제로 참인 것
Recall(재현율): True positive data/ Total True data
실제 참인 데이터 중에서 예측이 참인 것
F1-Score
Precision과 Recall의 조화평균
주로 분류 클래스 간 데이터가 심각한 불균형을 이루는 경우
정확도는 데이터 분류가 균일하지 못하면 머신의 성능을 제대로 나타내줄 수 없기 때문에 F1 사용
F1 = 2*(Precision*Recall)/(Precision+Recall)
전체 데이터 중에서 맞게 예측한 것(참이여도 되고 거짓이여도 됨)
참으로 예측한 데이터 중에서 실제로 참인 것
실제 참인 데이터 중에서 예측이 참인 것
Precision과 Recall의 조화평균
주로 분류 클래스 간 데이터가 심각한 불균형을 이루는 경우
정확도는 데이터 분류가 균일하지 못하면 머신의 성능을 제대로 나타내줄 수 없기 때문에 F1 사용
F1 = 2*(Precision*Recall)/(Precision+Recall)
의료 데이터 같은 경우에 음성이 양성보다 훨씬 많기 때문에 ACC를 쓰면 정확도가 매우 높게 나오지만 실제
양성일 확률은 매우 낮음 --> 종합으로 하려면 F1-Score 사용
모든 data 값들이 True Negative --> f1 score 분모가0이라 division 오류
이진 분류기의 성능을 평가하는데 사용되는 AUC 성능지표
이진 분류기(binary classifier) 평가방법
AUC는 area under the ROC(receiver operating characteristic) curve의 약어
==> ROC곡선 아래 부분의 넓이
ROC 곡선
ROC 곡선 그래프의 y축인 TPR과 x축인 FPR을 구해야함
TPR = TP/(TP+FN) 전체 양성 샘플 중에 양성으로 예측된 것의 비율
FPR = FP/(FP+TN) 전체 음성 샘플 중에 양성으로 잘못 예측된 것의 비율
따라서 TPR은 1에 가까울 수록 좋고, FPR은 0에 가까울 수록 좋다
decision threshold
이진 분류기는 0과 1사이의 값을 산출해 낸다. 이 값은 테스트 샘플이 양성일 확률을 나타냄
이 값이 얼마 이상일 때 양성으로 판정을 내릴지 기준이 필요함--> decision threshold
보통 0.5 --> 보수적으로 보려면 더 높임
decision threshold가 0이면 무조건 양성
이 값을 0~1로 바꿔가면서 TPR, FPR확률을 얻음
이렇게 얻은 값들을 통해 ROC 곡선을 그리고 넓이를 구함
AUC가 0.8 이상이면 아주 훌륭한 성능을 가짐
0.7~0.8 사이라면 좋은 분류기
0.5~0.7 soso
0.5 이하는 bad
Author And Source
이 문제에 관하여(분류기 평가), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://velog.io/@learningssik/분류기-평가저자 귀속: 원작자 정보가 원작자 URL에 포함되어 있으며 저작권은 원작자 소유입니다.
우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)