베이스 선형 회귀

기계 학습을 연구하기로 결정했기 때문에 여러 가지 회귀 방법과 분류 방법을 배우고 싶습니다.
그냥 노트로 정리하는 것도 지루해서 여기서 난잡하게 출력하고 싶어요.

귀환

회귀는 여러 그룹의 입력 x와 그에 대응하는 출력 y를 발견할 때
$$y=f(x)$$
를 참고하십시오.
이 모델이 어떤 기쁨을 추정할 수 있다면 출력을 모르는 입력 x를 모델에 적용함으로써 출력을 추정할 수 있다.
따라서 이 모델의 품질은 추정된 품질과 관련이 있다.

(사진은 위키백과에서 회귀 분석)

선형 회귀

우선, 회귀 분석에서 기본적인 선형 회귀에 관하여
선형 회귀 이전에 언급한 모드는 $f(x)달러 사용 매개 변수 $\omega$입니다
$$f(x)=\omega^Tx$$
이렇게 선형 합으로 표시한다.
여기에 잡음 $\epsilon~N (0,\sigma{n}^2)$추가
$$y = f(x)+\epsilon$$
이런 모형.
$f(x)달러를 결정하면 지정된 매개 변수 $\omega$입니다.
$\omega를 결정할 때 어떤 $\omega달러를 평가하는 기준으로
평방 오차
$$E(\omega)=\sum_{i=1}(y -\hat{y}\)^2$$
최소 $\omega$의 최소 2승법이 있습니다.

베이스 선형 회귀

베이스 선형 회귀에서 목적은 여전히 $\omega 달러를 추정하는 것이지만, $\omega의 확률 분포에 따라 추정하는 방법을 채택했다.
구체적인 전략은 우선 데이터를 얻지 못한 상황에서 $\omega의 분포(예전 확률)를 확정했다.
$$\omega 〜N_{n}(0,\Sigma_{p})$$
여기서부터 관측 데이터 yx에 따라 검사 확률 $p(\omega|y, X)$를 구합니다.

\begin{eqnarray}
p(\omega|y,X) &=&\frac{p(y|X,\omega)p(\omega)}{p(y|X)} \\
              &\propto&p(y|X,\omega)p(\omega) \\
              &=& 略\\
              &\propto&\exp \left[ -\frac{1}{2} \left\{ \omega-\frac{1}{\sigma_{n^2}} \left( \frac{1}{\sigma_{n^2}}XX^T + \Sigma_{p}^{-1} \right)^{-1}Xy \right\}^T \left( \frac{1}{\sigma_{n^2}}XX^T + \Sigma_{p}^{-1} \right) \left\{ \omega-\frac{1}{\sigma_{n^2}} \left( \frac{1}{\sigma_{n^2}}XX^T + \Sigma_{p}^{-1} \right)^{-1}Xy \right\} \right]
\end{eqnarray}

첫 번째 방정식의 도출을 잘 모르겠다.
베이스의 정리를 사용했지만 여러 전제가 있을 때는 변형을 조사해도 나오기 어렵다.
보기 편한 표현식을 위해 $A=\racc {1} {sigma {n^2} XX^T+\Sigma{p]^{-1}$,$\bar{omega}=\racc{1}{sigma{n}^2}A^{-1}Xy달러면
$$p(\omega|y,X)\propto\exp\left[ -\frac{1}{2}\left(\omega-\bar{\omega} \right)^T A\left(\omega-\bar{\omega} \right)\right]$$
즉, 달러는 평균 $\bar{omega}달러를 따라 $A^{-1}달러의 정적 분포를 분산시킨다.
이번에 채택한 것은 MAP가 추정한 가장 빈번한 값을 추정하는 방법이지만 정적 분포의 가장 빈번한 값은 평균치와 일치한다.
따라서 추정치 $\hat{omega}=\bar{omega}달러
이상에서 모델을 추정할 수 있기 때문에 입력값에 따라 출력을 예측할 수 있다.

총결산

어수선했지만 이번에는 베이스 선형 회귀를 출력했다.
만약 무슨 해석이 틀렸다면 지적해 주십시오.
다음에는 고스 과정의 귀환을 총괄할 것 같다.