소개

최대 우도 추정법에 의한 추정치가 시행수를 거듭할 때마다 진정한 값에 접근해 가는 것을 관찰해 보겠습니다.

목차

1.최우 추정법을란?
2. 일치 추정량이란?
3.python으로 시뮬레이션

1.최우 추정법이란

베르누이 분포의 진정한 평균을 최대 우도 추정법으로 추정하는 경우, 추정치 $\mu_{ML}$는

\mu_{ML} = \frac{1}{N} \sum_{i=0}^N x_i

같아요.
적은 시행 횟수로는 과학습해 버리는 것이 가장 우도 추정법의 단점이었습니다.
그러나 시도 횟수를 겹치면 진정한 값에 가까워지는 것을 나타냅니다.
시도 횟수를 겹쳐 가면 모평균이나 모분산에 접근해 가는 값을 일치 추정량이라고 합니다.
다음 설문에서는 $\mu_{ML}$이 일치 추정량임을 보여줍니다.

2. 일치 추정량이란?

모든 $\epsilon>0$에 대해 $\hat{\theta}_n$

\lim_{n \to \infty} P(|\hat{\theta}_n - \theta| > \epsilon) = 0

를 만족할 때 $\hat{\theta}_n$를 모수 $\theta$의 일치 추정량이라고 합니다.

거친 식의 의미는 $\hat{\theta}_n$가 일치 추정량일 때
"시행 횟수를 무한히 겹치면 $\hat{\theta}_n$와 $\theta$의 차이가 매우 작은 수 $\epsilon$보다 커질 확률은 0이다."라는 느낌입니다.

베르누이 분포에서의 최대 우도 추정법에 의한 추정치 $\mu_{ML}$가 모평균 $\mu$의 일치 추정량임을 나타냅니다.
일치 추정량임을 증명할 때 체비 셰프의 부등식

P(|Y - E[Y]| > \epsilon) \leq \frac{V[Y]}{\epsilon^2}

사용하면 편합니다. ($Y$를 $\mu_{ML}$로 대체하는 이미지)

$E[u_{ML}]$는 (체비셰프의 $E[Y]$에 해당)

\begin{eqnarray}
E[\mu_{ML}] &=& E[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}E[\sum_{i=0}^N x_i]\\
&=&\frac{1}{N}\sum_{i=0}^NE[x_i]\\
&=&\frac{1}{N} N u\\
&=&\mu\\
\end{eqnarray}

$V[\mu_{ML}]$는

\begin{eqnarray}
V[\mu_{ML}] &=& V[\frac{1}{N}\sum_{i=0}^N x_i]\\
&=&\frac{1}{N^2}\sum_{i=0}^NV[x_i]\\
&=&\frac{1}{N^2}N\sigma\\
&=&\frac{\sigma}{N}

\end{eqnarray}

따라서 위의 Chebyshev 부등식의 $Y$를 $\mu_{ML}$로 바꿉니다.

\begin{eqnarray}
P(|\mu_{ML} - E[\mu_{ML}]| > \epsilon) \leq \frac{V[\mu_{ML}]}{\epsilon^2} \\
&\Leftrightarrow& P(|\mu_{ML} - u]| > \epsilon) \leq \frac{1}{\epsilon^2} \frac{\sigma}{N}\\
\end{eqnarray}

오른쪽은 $N→\infty$로 $0$가 되기 때문에

\lim_{n \to \infty} P(|\mu_{ML} - \mu| > \epsilon) = 0

가 성립합니다.
따라서 $\mu_{ML}$는 $\mu$의 일치 추정량입니다.

3.python으로 시뮬레이션

2에서 $\mu_{ML}$는 $\mu$의 일치 추정량입니다. 즉 $N →\infty$에서 $\mu_{ML}$가 $\mu$와 일치함 했다.
파이썬으로 시뮬레이션 한 결과는 다음과 같습니다.

가로축은 $N$이고 세로축은 $\mu_{ML}$이고 보라색 선은 모평균 $u$입니다.
처음에는 거친 예측입니다만, $N$가 늘어날 때마다 값이 $\mu$에 가까워져 가는 것을 알았습니다.
코드는 다음과 같습니다.
코드: htps : // 기주 b. 이 m/k테무오/bぉg/bぉb/마s r/ml_베r의 뿜_pぉt. py

이상입니다.
지적이 있으면 코멘트를 부탁드립니다.