목표

베일스 추리에 기초한 기계 학습 입문의 학습 노트.
나중에 참조할 방정식을 유지합니다.

연관

베일스 추리 학습 노트(1) - 기본 정의
베일스 추리 학습 노트(2)-이산 확률 분포
베일스 추리 학습 노트(3)-연속 확률 분포
베일스 추리의 학습 노트(4) - 사후 분포의 추정

예측 분포

매개변수를 학습한 후 매개변수 분포를 사용합니다.
관측되지 않은 데이터 $x_*$의 예상 배포 $p(x_*_D)$

\begin{align}
p(x_*|D)
 &= \int p(x_*|\theta)p(\theta|D)d\theta \\
 &= \langle p(x_*|\theta) \rangle_{p(\theta|D)} \\
\end{align}

상기 공식은 $p(x_*_\theta)$를 확률적으로 분포하는 $p(\theta_D) $의 가중치 평균(기대치)을 나타냅니다.
다음 그림과 같이 그래픽 모델로 모델의 관계를 나타냅니다.

이 모델에서 데이터 $D$, 알 수 없는 데이터 $x_*$는 매개변수 (벡터) $\theta$에 의해 결정됨을 나타냅니다.
특히 $D$, $x_*$직접적 의존 관계를 가정하지 않았다는 점도 눈에 띈다.즉, 주어진 매개 변수의 기초 위에서 독립적이다.(아래 식으로 표시됩니다.)

p(D, x_*|\theta) = p(D|\theta)p(x_*|\theta)

이 도형 모델은 다음과 같이 분포됩니다.

\begin{align}
p(D, x_*, \theta) = p(D|\theta)p(x_*|\theta)p(\theta)
\end{align}

데이터 $D$이후의 사후 분포를 계산하면 다음과 같습니다.

\begin{align}
p(x_*, \theta|D)
 &= \frac{p(D, x_*, \theta)}{p(D)} \\
 &= \frac{p(D|\theta)p(x_*|\theta)p(\theta)}{p(D)} \\
 &= \frac{p(x_*|\theta)p(D|\theta)p(\theta)}{p(D)} \\
 &= p(x_*|\theta)p(\theta|D) \\
\end{align}

여기서 $p(x_*,\theta｜D) $를 $\theta$로 외곽화한 후 분포
예상 분포는 $p(x_*_D)$입니다.
그러니까

\begin{align}
p(x_*|D)
 &= \int p(x_*, \theta|D)d\theta \\
 &= \int p(x_*|\theta)p(\theta|D)d\theta \\
\end{align}

의 총체.
또한 데이터 $D$가 전혀 관측되지 않은 상황에서도 다음과 같이 예측할 수 있다.

\begin{align}
p(x_*)
 &= \int p(x_*, \theta)d\theta \\
 &= \int p(x_*|\theta)p(\theta)d\theta \\
\end{align}