통계적 가설 검정은 무엇에 사용합니까?

어떤 문제가 올바른지 정확하지 않은지 확인하고 싶을 때 사용합니다.
예를 들면 식물의 발아율의 데이터로부터 식물의 종은 정상인지 이상인지를 판정하고 싶은 경우가 있다고 생각합니다.
식물이 아니라 서버의 로그가 있는 키워드로부터 멀웨어인지 멀웨어가 아닌가를 판정하고 싶은 경우도 있을 것입니다.
이러한 문제에 통계적 가설 검정을 사용합니다.

기계 학습 모델 검정

이제 어떤 기계 학습 모델이 비정상인지(정확히 학습되지 않음), 정상인지(정확하게 학습되고 있음) 확인하고 싶습니다.

예를 들어, 해물 덮밥 사진에서 해물 덮밥 다움을 추정하는 기계 학습 모델이 있다고 가정합니다.
이때 해물동의 사진을 입력으로 99.99% 정도 해산물동으로 추정하면 충분히 배울 수 있다고 생각할 수 있을 것입니다.
반대로 해물 덮밥의 사진을 입력하고 있는데 10% 정도의 해물 덮밥다움이라면 그 모델은 이상하다고 할 수 있겠지요.

이 문제는 다음과 같이 생각합니다.


이때 이 문제는 다음과 같은 경우에 나눌 수 있습니다.
- 기계 학습 모델은 정상입니다.
- 기계 학습 모델은 비정상입니다.

예를 들어, 해물 덮밥이 10% 이하의 이상율인 경우에 기계 학습 모델은 이상이라고 정의합니다.
반대로 10%보다 큰 해물 덮밥 같은 때는 기계 학습 모델은 정상이라고 합니다.

※이 이상률 10% 이하라는 것은, 사람이 타당하다고 판단해 결정하고 있습니다. 이 기사의 경우 내가 대략 10% 이하라고 분명히 이상하다고 판단하고 있습니다. 사람에 따라서는 50% 이하이거나 40% 이하이거나 할 것입니다.

이것을 수식을 사용해 쓰면 다음과 같이 됩니다.

이상율을 $p$로 둡니다.
"기계 학습 모델은 정상입니다."
$p_0=0.10$이므로
$H_0 : p > p_0$
"기계 학습 모델은 비정상이다."
$p_0=0.10$이므로
$H_1 : p\leq p_0$

이때 $H_0$를 귀무가설, $H_1$를 대립가설이라고 합니다.



이때 $H_0$를 옳다고 판단하는 것을 귀무가설을 채택 또는 수용한다고 합니다.
반대로 $H_1$를 옳다고 판단하는 것을 귀무가설을 기각한다고 합니다.

제2회는 유의 수준(P값)을 이용한 통계적 가설 검정을 소개합니다.