선형 회귀 모델

회귀 문제

입력(수치)에서 출력(연속값)을 예측하는 문제
선형 회귀 모델이 존재하여 이 회귀 문제를 풀기 위한 모델로 삼다

선형 회귀

출력 입력과 m차원 매개 변수의 선형 조합

선형 조합

입력 벡터와 미지의 매개 변수의 각 요소를 곱하여 만든
⇒ 1차원으로 출력(표량)

선형 회귀 모델 매개 변수

특징량이 예측치에 어떻게 영향을 미치는지 확정하다
⇒ 가중치가 클수록 그 특징량이 예측에 미치는 영향(0시 전혀 영향없음)

데이터 분할 / 학습

데이터 분할

모형 학습⇒ 학습용 데이터
모델 검증 ⇒ 검증용 데이터
학습 데이터를 이용하여 모델 검증을 하는 상황에서 일반적인 오판이 적어진다
범용 성능을 추구할 수 없다
⇒ 학습용 데이터와 검증용 데이터로 나누어 사용

학습

매개 변수 추정은 주로 균형 오차를 이용하여 검색한다
(오차가 가장 적은 매개 변수를 구합니다)
⇒ 학습 데이터의 균형 오차의 최소화 = 경사율이 0인 점

한스톤

※ 선형 단일 회귀 분석의 추리를 실행할 때 코드가 그대로 있으면 오류가 발생합니다.
⇒ 변수가 1개일 때predict 방법의 매개 변수는 2차원 그룹이어야 합니다
(scikit-learn 사용 버전 "0.20.x")

비선형 회귀 모델

복잡한 비선형 구조를 모델링하다
기초 전개법
⇒ 미지의 매개 변수는 선형 회귀 모델과 마찬가지로 최소 2승법 또는 유사법으로 추정한다
상용 기함수: 다항식 함수, 고스형 기함수, 샘플 함수/B 샘플 함수

정규화법

과도한 학습을 방지하는 방법(단, 지나치게 정규화하면 미학습에 빠질 수 있음)
모델의 복잡성에 따라 그 값이 커지는 벌칙항(정규화항)의 함수 최소화 문제
⇒ 모델의 곡선의 평활도를 조정하기 위해 정규화 파라미터, 평활화 파라미터가 존재합니다

벌금 항목

L2 범수⇒ Ridge 추정: 추정 매개변수는 0에 가깝습니다.
L1 범수⇒ Lasso 추정량: 매개변수 개수를 0으로 추정

모델 선택

정규화 매개 변수 교차 검증에서 선택
유지법
학습용 데이터, 테스트용 데이터로 나누어 예측 정밀도와 오류율을 추정한다(대량의 데이터가 있는 상황에서 사용)
교차 변화법(교차 검증)
데이터를 여러 그룹으로 나누어 학습용 데이터와 테스트용 데이터를 전환하면서 성능 예측을 하다
⇒ 모든 데이터를 학습과 테스트에 사용할 수 있어 범용성이 좋아짐

논리 회귀

분류 문제를 풀기 위한 기계 학습 모델(확률값으로 출력)
※ 신호 함수 지원

가장 유사한 예측

마치

어떤 데이터를 얻을 때'분포된 매개 변수가 얼마나 되는지 특정한 값'을 나타낸다
⇒ 고정 데이터, 매개변수 변경
논리 회귀 모델에서 버누리 분포를 사용하다

동시 확률

학습 데이터 집합을 동시에 얻을 확률을 계산하다
⇒ 관측된 데이터(학습 데이터)의 유사 확률 분포를 구하다
※ 최대화 유사함수보다 최대화 대수 유사함수 계산이 수월하다

계단식 하강법

반복 학습을 통해 매개 변수를 차례로 업데이트하는 방법 중 하나
매개변수 업데이트를 수행하지 않음 = 경사 0⇒ 검색 범위에서 최적 상태

확률 계단 하강법

무작위 데이터 업데이트 매개 변수 선택
이 방법을 사용하면 사다리 하락법의 매개 변수와 같은 계산량을 1회 갱신하여 매개 변수를 n회 갱신할 수 있기 때문에 효율이 높다

이보크

n차 계단은 0으로 수렴되기 때문에 반복 학습을 하지만 이 반복 횟수를 순환이라고 부른다

소량 계단 하강법

n개의 데이터를 여러 블록으로 나누어 학습하다
⇒ 메모리 부족 해소, 빠른 컴퓨팅

분류 평가

목적에 따라 각각 정확도, 적합도, 재현율, F값을 사용하여 평가한다
정확도: 예측 결과가 정확한지 여부
부합률: 누락 허용, 오판 불허
재현율: 누락 불허, 오판 허용
F 값: 누락 및 오판 적용 최적 값

한스톤

주성분 분석

학습 데이터의 분산이 가장 큰 방향으로 선형적으로 변환하는 방법을 구하다
"정보량=방차의 크기"로서 선형 변환 후 방차가 가장 큰 투영축(선형 변환)을 검색합니다.
※ 분산치 = 고유치

주성분

최대 특징값에 대응하는 고유 벡터 선형 변환 후의 특징량⇒제1주성분
k번째 특징값에 대응하는 고유 벡터 선형 변환 후의 특징량⇒ k주성분

기여율

제k 주성분 분산은 전분산에 대한 비례

K근린법/K평균법

이웃법

문제를 분류하는 기계 학습 방법
⇒ 특정 범위 내에서 k개 클래스 태그 중 가장 많은 태그를 할당

평균법

교사 학습 방법 없음
⇒ 각 집단 중심의 초기 값을 설정하고 각 데이터 포인트와 가까운 집단을 분배합니다
평균 벡터 반복 계산

벡터 머신 지원

2가지 분류에 사용되는 기계 학습 방법
최대화로 경계와 최근 데이터 점 사이의 거리 (여분) 확인
선형 모델의 양과 음 2진 분류

라그랑 일 미정 곱셈

구속 최적화 문제를 풀기 위한 방법
가장 좋은 조건을 만족시키는 것을 "KKT 조건"이라고 부른다

소프트 여유 SVM

선형 분리
샘플이 선형으로 분리되지 않을 때, 오차를 허용하고, 오차에 대해 징벌을 가한다

비선형 분리

선형 분리가 불가능할 때, 특징 공간에 비추어 이 공간에서 선형 분리를 한다