확률

빈도 확률(객관 확률)

발생하는 빈도.
예 : 10 개 중 1 개만 당 고지 당첨 확률은 10 %.
1회 당기는 당 0.1회 맞고 있다고 하는 생각.
실험적으로 확인할 수 있다.

베이즈 확률(주관 확률)

신념의 정도.
예 : 당신은 40 % 확률로 독감입니다 확률.
"당신은 한 명밖에 없기 때문에 실험적으로 확인할 수 없습니다."

조건부 확률

특정 이벤트 $ X = x $가 주어지면 $ Y = y $가 될 확률.
$$P(Y=y|X=x) =\frac{P(Y=y,X=x)}{P(X=x)}$$

독립 사건의 동시 확률

서로 인과 관계가 없는 이벤트 $X=x$와 이벤트 $Y=y$가 동시에 발생하는 확률.
$$P(X=x,Y=y)=P(X=x)P(Y=y)=P(Y=y,X=x)$$

베이즈 법칙

이벤트 $X=x$와 이벤트 $Y=y$에 대해,
$$P(X=x|Y=y)P(Y=y)=P(Y=y|X=x)P(X=x)$$

확률 변수와 확률 분포

확률 변수

이벤트와 연관된 수치.

이벤트 자체를 가리키는 것으로 해석하는 경우도 많다.

확률 분포

이벤트가 발생할 확률의 분포.

이산 값이면 표에 나타낼 수 있습니다.

기대치

그 분포의 확률 변수의 평균값 or "가능한"값.
이벤트 $x$에 대해 확률 변수를 $f(x)$, 확률을 $P(x)$로 지정하면,
기대치는, $E(f)$는,

확률 변수가 이산 값이면,
$$E(f) =\sum_{k=1}^n P(X=x_k)f(X=x_k)$$

확률 변수가 연속적인 값인 경우,
$$E(f) =\int P(X=x_k)f(X=x_k)dx$$

분산과 공분산

분산

데이터의 흩어져있는 상태를 나타냅니다. 데이터의 각 값이 기대치로부터 얼마나 어긋나 있는지를 평균한 것. 즉, 예상대로 얼마나 되는지를 나타냅니다.
분산 $ Var (f) $는

\begin{align}
Var(f)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)^2\Bigr)\\
&=E\bigl(f^2(X=x)\bigr)-\bigl(E(f)\bigr)^2
\end{align}

절대치를 취하면 귀찮기 때문에, 제곱을 취하고 있다. 분산 단위가 원래 데이터의 제곱이 되어 버리므로 제곱근을 취한다: 편차.

공식 변형은 예상 값의 선형성 때문입니다.

공분산

두 데이터 시리즈의 추세 차이를 나타냅니다. (정확하게 상관을 나타내는 것은 아니지만, 경향은 잡는다. 원과 같이 점대칭의 데이터에서는 깨끗한 상관이 있지만 제로가 된다.)
- 양수 값을 취하면 비슷한 경향.
- 부의 값을 취하면 반대의 경향.
- 제로를 취하면 관계성이 부족하다.
공분산 $ Cov (f) $는

\begin{align}
Cov(f,g)&=E\Bigl(\bigl(f(X=x)-E(f)\bigr)\bigl(g(Y=x)-E(g)\bigr)\Bigr)\\
&=E\bigl(fg\bigr)-E(f)E(g)
\end{align}

$ f $와 $ g $의 스케일을 맞추기 위해 $ Cov $를 $ f $와 $ g $의 각각의 표준 편차의 곱으로 나눕니다. 그 값을 상관 계수라고합니다.

다양한 확률 분포

베르누이 분포

2종류만의 결과 밖에 얻을 수 없는 시행의 결과를 0,1로 나타낸 분포. $\mu$는 1의 확률.
$$f(x) = x$$$$P(x|\mu)=\mu^x(1-\mu)^{1-x}$$ 모든 시도는 베르누이 분포로 나타낼 수 있다.
A와 A 이외, A 이외 = B와 B 이외, B 이외 = C와 C 이외, $\cdots $.

범주형 분포(멀티누이 분포)

여러 종류의 결과를 얻을 수 있습니다. $ n $ 종류의 결과를 얻을 수 있다면,

$$P(X=x)=\sum_{k=1}^n\lambda_k^{[x=k]}$$ 단,

[x＝k] = \left\{
\begin{array}{ll}
1 & (x=k) \\
0 & (x \neq k)
\end{array}
\right.

이항 분포

베르누이 분포의 다시행판.
$n$회 시도해 $x$회, 확률$\lambda$의 이벤트가 일어날 확률은

\begin{align}
P(x|\lambda,n)&=\frac{n!}{x!(n-x)!}\lambda ^x(1-\lambda )^{n-x} \\\\
&={}_xC_r \lambda ^x(1-\lambda )^{n-x}
\end{align}

가우스 분포

낚시 종형의 연속 분포
$$\mathscr{N}(x;\mu,\sigma^2)=\sqrt{\frac{1}{2\pi\sigma ^2}}\exp{\Bigl(-\frac{1}{ 2\sigma ^2}(x-\mu)^2}\Bigr)$$ 확률 분포이므로 전체적으로 $1$가 된다. 이러한 방식으로 계수가 결정됩니다.



DeepLearning 래빗 챌린지