선형 회귀 모델

선형 회귀는 연속 값을 취하는 목적 변수 y와 설명 변수 x의 선형 관계를 모델링합니다. 선형 관계는 설명 변수의 증가(감소)에 따라 목적 변수도 단조롭게 증가(감소)하는 관계입니다. 설명 변수가 하나인 경우를 단일 회귀라고 하고, 설명 변수가 복수인 경우를 다중 회귀라고 합니다. 단일 회귀의 공식은 목적 변수와 설명 변수의 관계를 모델링하는 선형 회귀 모델을 아래에 정의합니다.

{y = w_0 + w_1x}

다중 회귀 표현식은 목적 변수를 설명 변수의 선형 합으로 표현하는 선형 회귀 모델은 아래에 정의됩니다.

{y = w_0x_0 + w_1x_1 + \cdots +w_mx_m = \sum^m_{i=0}w_ix_i}

확률 적 그라디언트 강하 방법에서 파라미터 θ의 갱신 공식

θ_{t+1}=θ_{t}-\frac{\partial{f}}{\partial{x}}

모멘텀에서의 파라미터 θ의 갱신 식

θ_{t+1}=θ_{t}-\frac{\partial{f}}{\partial{x}}

비선형 회귀 모델

회귀 모델이 선형이 아닌 모델.
비선형의 경우, 기저 전개법이 사용된다.

기본 함수
특정 함수를 표현하는 기본 벡터입니다.
대상 공간에 속하는 모든 원 (함수)은이 기본 함수의 선형 결합으로 표현됩니다.
이 기저 함수라고 불리는 비선형 함수와 파라미터 벡터의 선형 결합을 사용.
미지 파라미터는 최소 제곱법이나 최대 우도법에 의해 추정한다.

기저 함수로서 사용되는 것은 다음과 같다.
다항식 기저
가우스 형 기저 함수
스플라인 함수/B 스플라인 함수

로지스틱 회귀 모델

주성분 분석

도서관
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import sklearn
import scipy as sp
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler
from pandas import plotting

데이터
data = np.array([[-1, -1], [0, 0], [1, 1]])

표준화
sc = StandardScaler()
data_std = sc.fit_transform(data)

상관 함수 계산 및 그래프화
print('상관 함수{:.3f}:'.format(sp.stats.pearsonr(data_std[:, 0], data_std[:, 1])[0]))
plt.scatter(data_std[:,0], data_std[:, 1])
plt.show()


주성분 분석
pca = PCA(n_components = 2)
pca.fit(data_std)

고유 벡터
print(pca.components_)

분산
print('각 주성분 분산:{}'.format(pca.explained_variance_))

분산 비율
print ( '각 주성분의 분산 비율 : {}'.format (pca.explained_variance_ratio_))

결과
상관 함수 1.000:
[[ 0.70710678 0.70710678]
[ 0.70710678 -0.70710678]]
각 주성분의 분산:[3.00000000e+00 5.15937696e-33]
각 주성분의 분산 비율:[1.00000000e+00 1.71979232e-33]

알고리즘

지원 벡터 기계