정규 화 된 가우스 공분 산 추정(자유로운 정신 지식 정리 학습)


읽 기http://freemind.pluskid.org/machine-learning/regularized-gaussian-covariance-estimation/문장 중의 일부 지식 정리:
====================================================================
Free Mind 가 이렇게 인내심 을 가지 고 이론 을 해석 해 주 셔 서 감사합니다. 문장 분석 이 투철 하고 수익 이 많 습 니 다.
이 어"어떤 차원 의 좌표 가 모두 동일 하지 않 으 면 코 바리 안 스 매트릭스 대각선 에 있 는 요소 들 이 모두 0 이상 을 보장 할 수 있 고,singular 상황 이 발생 하지 않 을 것"이 라 고 덧 붙 였 다.어떤 차원 의 좌 표를 반복 하면 singular 상황 이 나타 나 지 않 을 까?
=====================================================================
"일반적으로 대각선 의 협 방 차 행렬 을 사용 하 는 것 은 모델 의 복잡 도 를 낮 추 는 좋 은 방식 이다."
설명:
          Training samples.
       Spherical Covariance.
         Diagonal Covariance.
             Full Covariance.

import numpy as np
import pylab as pl
from sklearn import mixture

n_samples = 300
c_types = ['full', 'diag', 'spherical']

np.random.seed(0)
C = np.array([[0., -0.7], [3.5, 1.7]])
X_train = np.dot(np.random.randn(n_samples, 2), C)

pl.figure(dpi=100,figsize=(3,3))
pl.scatter(X_train[:, 0], X_train[:, 1], .8)
pl.axis('tight')
pl.savefig('GaussianFit-data.svg')
pl.close()

for c_type in c_types:
    clf = mixture.GMM(n_components=1, covariance_type=c_type)
    clf.fit(X_train)

    x = np.linspace(-15.0, 20.0, num=200)
    y = np.linspace(-10.0, 10.0, num=200)
    X, Y = np.meshgrid(x, y)
    XX = np.c_[X.ravel(), Y.ravel()]
    Z = np.log(-clf.eval(XX)[0])
    Z = Z.reshape(X.shape)

    pl.figure(dpi=100,figsize=(3,3))
    CS = pl.contour(X, Y, Z)
    pl.scatter(X_train[:, 0], X_train[:, 1], .8)

    pl.axis('tight')
    pl.savefig('GaussianFit-%s.svg' % c_type)
    pl.close()

====================================================================
"행렬 이 역 을 구하 거나 방정식 을 풀 때 singular 가 나타 나 는 경우 에 하 나 를 더 해도 수치 상의 표준 처리 방식 인 데 Tikhonov Regularization 이 라 고 하 는데 Ridge Regression 자체 도 이 각 도 를 통 해 설명 할 수 있다."드문드문 그 글 에서 언급 한 처리 방법 과 비슷 하 다.재 회 귀 는 확실히 설득력 있 는 해석 이 겠 지.
====================================================================
최대 후 험 추정(MAP)은 베 이 루스 가 추정 하 는 특정 형식 으로 볼 수 있다.MAP 와 MLE(최대 유사 추정)의 가장 큰 차 이 는 MAP 에 모델 매개 변수 자체 의 확률 분포 가 추가 되 었 거나 MLE 에서 모델 매개 변수 자체 의 확률 이 균일 하 다 고 생각 하 는 것 이다.즉,이 확률 은 고정 값 이다.
Conjugate prior-공 액 선험 의 해석 은 이 에 피 소 드 를 볼 수 있 습 니 다.http://blog.csdn.net/polly_yang/article/details/8250161
드디어 다 봤 어 요.그리고 못 보면 돼 요.
Gaussian 의 협 방 차 행렬 을 예측 할 때 singular 의 상황 에 부 딪 히 면 해결 방법 은 보통 두 가지 가 있 습 니 다.
4.567917.협 방 차 행렬 의 구 조 를 직접적 으로 제한 합 니 다.예 를 들 어 대각 진 이 라 고 요구 합 니 다.이런 상황 에서 데이터 의 각 차원 은 독립 될 것 이기 때문에 모든 차원 을 1 차원 의 Gaussian 분포 로 보고 단독으로 평가 할 수 있 습 니 다
4.567917.추 정 된 협 방 차 행렬 의 대각선 에 아주 작은 정 수 를 통일 시 켜 서 그것 을 정비례 로 만 들 었 다.이런 방법의 합 리 성 은 정규 화 나 MAP 평 가 를 통 해 해석 할 수 있다
그리고 어디 에 두 어야 할 지 모 르 는 주의사항 을 몇 가지 더 보충 합 니 다.

prior,posterior 와 likelihood 는 헷 갈 리 기 쉽다.prior 와 posterior 는 모두 매개 변수(예 를 들 어 우리 가 여기 가 바로)의 분포 에 관 한 것 임 을 기억 하고 prior 는 우리 가 가설 한 매개 변수 원래 의 분포 이 고 posterior 는 훈련 데 이 터 를 관찰 한 후에 얻 은 조건 분포 이다.한편,likelihood 는 완전히 다르다.한편 으로 는 데이터 에 관 한 것 이 고 다른 한편 으로 는 획일 화 되 지 않 았 기 때문에 합 법 적 인 확률 분포 도 아니다

4.567917.스칼라 값 함수 가 행렬 변수 에 대한 가이드 원 리 는 다 원 화 된 스칼라 값 함수 의 가이드 와 같 지만 구 하 는 것 이 매우 번 거 롭 고 보통 스스로 계산 하지 않 습 니 다.인터넷 에서 라 는 소 책 자 를 찾 을 수 있 습 니 다.그 안에 자주 사용 하 는 행렬 가이드 공식 이 있 습 니 다.기본적으로 그곳 에서 직접 조회 하면 대부분의 문 제 를 해결 할 수 있다
====================================================================
마지막 으로 Free Mind 블 로 거들 에 게 다시 한 번 감 사 드 립 니 다.