###《Machine Learning》by Andrew NG

클릭하여 Evernote 원문 보기 。

#@author:       gr
#@date:         2014-10-17
#@email:        [email protected]

Fundamental

1. 행렬의 흔적, 질

행렬의 질: A의 선형은 무관한 최대 수량이다. 간소화된 후 그의 비영항 행수 행렬의 흔적: 행렬 주대각선의 원소의 합.

#  
trAB = trBA

2. 비변수 방법

비변수 방법은 수리통계학의 한 가지로 일반적으로 하나의 통계적 추정 문제에서 만약에 전체 분포의 구체적인 형식을 정하거나 가정했다고 여긴다. 단지 그 안에 몇 개의 파라미터가 포함되어 있기 때문에 전체적인 샘플을 바탕으로 이런 파라미터를 평가하거나 어떤 형식의 가설 검증을 해야 한다. 이런 추정 방법을 비변수 방법이라고 부른다.

3. 최소 2승법

최소 2승법(또는 최소 제곱법)은 수학 최적화 기술의 하나다.그것은 오차를 최소화하는 제곱과 데이터를 찾는 가장 좋은 함수를 일치시킨다.최소 2승법을 이용하여 미지의 데이터를 간편하게 구할 수 있고 이러한 구할 수 있는 데이터와 실제 데이터 사이의 오차의 제곱을 최소화할 수 있다.최소 2승법은 곡선의 합성에도 사용할 수 있다.다른 일부 최적화 문제도 에너지를 최소화하거나 엔트로피를 최대화하여 최소 2승법으로 표현할 수 있다.

4. 중심 극한정리

중심 극한정리(central limit theorem)는 확률론에서 무작위 변수 서열 부분과 분포가 정적 분포에 가까워지는 일종의 정리를 논의한다.이 정리는 수리 통계학과 오차 분석의 이론적 기초로 대량의 무작위 변수 축적 분포 함수를 점차적으로 정적 분포의 축적 분포 함수로 수렴하는 조건을 지적했다.

5. 독립 동분포 (iid)

확률 통계 이론에서 만약에 변수 서열이나 다른 무작위 변수가 같은 확률 분포를 하고 서로 독립된다면 이런 무작위 변수는 독립적이고 동분포이다.(independent and identically distributed )

Content

1. 기계 학습의 동기와 응용

각종 응용.

2. 계단이 내려가다

Batch Gradient Descent

Stochastic Gradient Descent

3. 미의합과 과의합의 개념

Linear regresion --> Locally weighted regression|--> Probabilistic interpretation|--> Logistic regression|--> Perception|--> Neuton's method

4. 뉴턴 방법

Logistic regression|--> Newton's method|--> Exponential Family|--> Generalized Linear Models(GLMs)

5. 생성 학습 방법

Generative learning algorithms|--> GDA(고스 판별 분석) Gaussian Discrimitive Analysis|--> Gaussian Distribution|--> Generative & Discriminative comparision|--> Naive Bayes|--> Laplace Smoothing

6. 소박 베일스 알고리즘

Naive Bayes|--> Event Models|--> Nerual Networks|--> Support vector machines