목표

베일스 추리에 기초한 기계 학습 입문의 학습 노트.
나중에 참조할 방정식을 유지합니다.

연관

베일스 추리 학습 노트(1) - 기본 정의
베일스 추리 학습 노트(2)-이산 확률 분포
베일스 추리 학습 노트(3)-연속 확률 분포
베일스 추리의 학습 노트(4) - 사후 분포의 추정
베일스 추리의 학습노트(5) - 분포 예측 추정

조건 확률 분포와 도형 모델

head-to-tail 모형

아래 그림에서 표현된 도형 모형을 헤드-to-tail 모형이라고 부른다.($y$를 기준으로 화살표의 헤드 (전단) 와tail (선) 을 연결합니다.)

노드 (확률 변수) $y$만 관찰했을 때, 나머지 두 노드 (확률 변수) 의 조건은 다음 표현식으로 동시에 분포됩니다.

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(x)p(y|x)p(z|y)}{p(y)} \\
&= \frac{p(x)p(y|x)}{p(y)}p(z|y) \\
&= p(x|y)p(z|y) \\
\end{align}

이 표현식은 $y$를 관찰할 때 $x$, $z$가 독립적임을 나타낸다.(즉, $x$, $z$는 $y$에 대해 조건부 독립적)

tail-to-tail 모형

아래 그림에서 표현된 도형 모델을tail-to-tail모델이라고 부른다.($y$기준으로 연결된 것은 화살표의 tail (선) 뿐입니다.)

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y)p(x|y)p(z|y)}{p(y)} \\
&= p(x|y)p(z|y) \\
\end{align}

이 공식도 $y$를 관측할 때 $x$, $z$는 독립적이라는 것을 나타낸다.

head-to-head 모형

아래 그림에서 표현된 도형 모형을 헤드-to-head 모형이라고 부른다.($y$기준으로 연결된 것은 화살표의 헤드 (앞부분) 뿐입니다.)

우선, $x$, $z$의 동시 분포를 계산합니다.

\begin{align}
p(x, z) &= \int_{y} p(x, y, z)dy \\
&= \int_{y} p(y|x, z)p(x)p(z)dy \\
&= p(x)p(z)\int_{y} p(y|x, z)dy \\
&= p(x)p(z) \cdot 1 \\
&= p(x)p(z) \\
\end{align}

$\int_주의 {y}p (y｜x,z)dy=1$

조건 확률 분포 $p(\cdot\x,z)$는 확률 측정

즉 $\int_{y} p(y|x, z)dy = p(\bigcup_{y}\{\omega | Y(\omega)=y\}|x,z) = p(Y^{-1}(Y(\Omega))|x, z) = p(\Omega|x, z) = 1$

$y$를 관측한 토대에서 $x$, $z$의 동시 분포는 다음과 같다.

\begin{align}
p(x, z|y) &= \frac{p(x, y, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x, z)}{p(y)} \\
&= \frac{p(y|x, z)p(x)p(z)}{p(y)} \\
\end{align}

이 식은 더 이상 분해할 수 없기 때문에 조건이 있는 독립된 형식으로 분해할 수 없다.
이것은 원래 독립된 $x$, $z$가 $y$를 관측했기 때문에 의존 관계가 있음을 나타낸다.

마르코프 담요

는 $x$를 중심으로 주변 도면 모델을 잘라냅니다.
$x$이외의 노드를 관측했다고 가정합니다.

$x$, $a$의 상관성

$a$의 $x$이외의 하위 노드는tail-to-tail모델

$a$의 부모 노드는head-to-tail모델

즉, $a$가 관측된 상태에서 이 $a$의 부자 노드는 $x$와 조건부 독립적

$x$, $e$의 상관성

$e$의 하위 노드는head-to-tail모델

$e$의 부모 노드(ex:$c$)는head-to-head모델

을 가리킨다

즉, $e$의 하위 노드와 조건부 독립적이지만 $e$의 상위 노드(예를 들어 $c$)와 의존 관계가 있음

$x$, $c$의 상관성

$c$, $c$의 부모 노드 및 $e$는 head-to-tail 모델

$c$, $c$의 하위 노드와 $e$는tail-to-tail모델

즉, $c$의 부모 노드와 $e$는 $c$의 조건부 독립적입니다

노드 $e$, 관계가 끊어지기 때문에 $c$의 부모 노드와 $x$는 독립적입니다

$c$의 부모 노드, 하위 노드는 각각 $z$, $y$이며 $z$, $y$및 $x$가 그래픽 모델에서 조건부로 독립됨을 나타냅니다.

도형 모델에 따라 $p(z, e, x, c)$, $p(y, e, x, c)$를 작성하는 동시에 분포

$p(z,x｜c)=p(z｜c)p(x｜c)$、$p(y,x｜c)=p(y｜c)p(x｜c)$

tips:$p(x) = p(x｜c)$(즉 $x$, $c$독립)

$x$와 $b$, $d$, $f$의 관계도 같다

다시 말하면 마르코프 담요의 바깥쪽에 다른 관측 노드(확률 변수)가 있어도 $x$의 조건 분포에 영향을 주지 않는다(조건 부분에서는 변수로 나타나지 않는다).

총결산

head-to-tail모델은 조건부 독립

tail-to-tail모델은 조건부 독립

head-to-head모델은 조건의 독립성을 가지지 않는다

그러나 $x$, $z$독립적

즉 $x$, $z$는 독립적이지만 일반적으로 조건부 독립은 아니다

$x$중심의 마르코프 담요는 $x$의 조건부 분포에 영향을 주는 노드(확률 변수)를 명확하게 나타낸다

모든 상황에 대응할 수 있는 것은 아니지만 쉽고 자연스럽게 확장하고 응용하며 고려할 수 있는 편리한 도구