f-divergence 가족 가시화

f-GAN을 읽고 f-divergence라는 것을 발견했습니다.

정의

$D_{f}(P\parallel Q)\equiv\int _{{\Omega }}f\left({\frac {dP}{dQ}}\right)\,dQ.$
두 개의 확률 분포를 비교하다
f 특수한 상황에서 이름이 있는데 대표적인 것은 다음 표에 있다
KL divergence와 JS divergence 뿐만이 아닙니다.

적분 중치의 운동

예를 들어 kL의 경우 $f(x)=p(x)\log{\frac{p(x)}{q(x)}$를 묘사합니다

$p$와 $q$는 정적 분포 $N$(프레임 파란색과 녹색)

$N(x,\mu,\sigma) =\frac{1}{\sqrt{2\pi\sigma^2}}\exp{\frac{-(x-\mu)^2}{\sigma^2}}$

$ p(x) = N(x,-2,2)$

$q(x) = N(x,2,2)$

모든 f-divergence의 가시화는 이렇습니다.

대칭 비대칭

극치 차이

등.f-divergence는 이 포인트값입니다.

분포 변화와 교환의 관계

평균 편차 비교

$N(\mu=0,\sigma=1) $및 $N(\mu_1,\sigma=1) $, $\mu_[-10,10]로 1$를 이동합니다

gif

결과

일어나는 방법은 물건에 따라 다른 느낌입니다.

분산된 편차 비교

$N(\mu=0,\sigma=3) $및 $N(\mu_1=3,\sigma_1) $, $\sigma_[1,5]로 1$를 이동합니다

gif

결과

반응이 달라서 재미있어요.

기타 계량

Histgram Intersection

L1,L2 norm

이것들을 블로그에 총결하여 참고로 삼다