소개

통계나 기계 학습을 배울 때 처음으로 베이즈 정리를 배우는 경우가 많습니다.
다만, 이 베이즈의 정리의 이점이 잇따르고 이미지하기 어려웠기 때문에, 이번, 기사에 정리했습니다.
베이즈의 정리에 대해서는 알았는데, 그 고마움이 금방 잘 모르겠지만 대상 독자가 된다고 생각합니다.

베이즈 정리에 대해

베이즈의 정리는 사전 확률과 사후 확률의 관계를 나타내는 식으로,
이벤트 $A$,$B$가 일어날 확률을 $P(A)$,$P(B)$로 나타내고,
이벤트 $A$의 관측 후에 이벤트 $B$가 일어나는 조건부 확률(사후 확률)을 $P(B|A)$로 나타낼 때,
이벤트 $B$의 관측 후에 이벤트 $A$가 일어나는 조건부 확률 $P(A|B)$에 대해 다음 식이 성립됩니다.

P(A|B) = \frac{P(B|A)P(A)}{P(B)}

그 도출 방법이나 상세한 설명에 대해서는, 이하와 같은 사이트에서 알기 쉽게 해설되고 있을까 생각합니다.

참고 사이트
· 베이즈 정리 및 베이즈 업데이트
· 베이즈 정리의 기본 설명

식만 보면 따위는 없지만 어쨌든 여기서 중요한 것은 $P(A|B)$를 $P(B|A)$,$P(A)$,$P(B) $로 요구할 수 있는 점인 것을 머리에 두어 받고 싶습니다.

클래스 분류의 예

예를 들어, 특정 데이터 $x_i$가 클래스 $w_1$, $w_2$에 속하는지 여부를 묻습니다.
이것은 데이터 $x_i$가 관측되었을 때, 그것이 클래스 $w_1$에 있는 확률 $P(w_1|x_i)$와 클래스 $w_2$에 있는 확률 $P(w_2|x_i)$
를 비교하는 것으로, 어느 클래스에 속하는지를 요구할 수 있습니다.

\left\{
\begin{array}{ll}
P(w_1|x_i) > P(w_2|x_i) ⇒ x_i \in w_1 \\
P(w_1|x_i) < P(w_2|x_i) ⇒ x_i \in w_2
\end{array}
\right.

그러나, $P(w_j|x_i)$를 직접 구하려고 하면, 취할 수 있는 모든 데이터에 대해서, 사후 확률$P(w_j|x_i)$를 구할 필요가 있어, 이것은 현실적으로는, 데이터수 가 제한되어 있기 때문에 방대한 데이터가 필요합니다. (아래 그림의 오른쪽 이미지)
한편, 사전 확률 $P(x_i|w_j)$를 구하는 경우는, 유한의 데이터로부터라도 그 데이터의 분포로부터 있을 정도 신뢰할 수 있는 값을 꺼낼 수가 있습니다.
따라서 통계적으로 식별 문제를 풀 때는 직접 구할 수 없는 사후 확률을 사전 확률에서 구할 수 있는 베이즈 정리가 유효하게 됩니다. (아래 그림의 왼쪽 이미지)

결론

이번에는 베이즈 정리의 유용성에 대해 설명하겠습니다.
이 정리가 기계 학습 등의 분야에 있어서, 어떻게 사용되고 있는지, 조금이라도 이미지를 가지는 계기가 된다고 생각합니다.
끝까지 읽어 주셔서 감사합니다.