기계 학습

기계 학습
1. 머신러닝의 분류
A) 교사의 학습
(a) 예측 목적
① 선형(직선)·비선형(곡선) 회귀
어떤 입력(예: 주소 선택)에서 출력(예: 가격)을 예측(예: 통용되고 오차가 적은 예측)
선형 회귀 연습(보스턴 부동산 데이터)
범죄율로 부동산 가격을 예측한 결과

62달러 예상

(i) 분류 목적
① 벡터 지원
2류 분류의 학습 방법
두 가지 분류 중 가장 적합한 선형 분류를 찾다
경계선을 지원 벡터라고 불리는 가장 가까운 경계선의 벡터에서 경계선까지의 거리로 최대
② 소프트 여유 지원 벡터 머신
선형 분류가 불가능할 때도 대응하는 지원 벡터기
허용 오차
내핵 방법(비선을 비선형으로 상승시키고 때로는 원형으로 분리하는 방법)을 통해 비선형 분리를 한다.
③ 논리 회귀
입력 예측 탭에서
0에서 1 사이의 판단성을 나타낸다
입력-권중선형 조합-논리 함수-출력.
논리 회귀 연습(타이타닉 고객 데이터)
입장권 가격(190달러) 시 생존 확률

원본 데이터를 직접 사용하는 것보다
가장 좋은 것은 원시 데이터에서 새로운 정의된 데이터를 만들어 논리적 회귀를 하는 것이다
실제로는 아래의 표 등급에 따라 분류할 수 있다

④ 근린법·K근린법
표시된 데이터 집합을 기반으로
새로 들어온 데이터를 분류하다
근처 데이터 수(k)에 있는 데이터
수량이 가장 많은 데이터 분류에 대해 새로운 데이터를 판정하다.
B) 교사 없음
(a)K 평균 클래스
주어진 데이터를 인류가 미리 정한 k개 군집으로 분류하다
클러스터 센터의 초기 값도 설정해야 합니다.
(i) 주성분 분석
다차원 데이터를 소차원 지표로 합치다.
가장 많이 분포된 새로운 단순 축 찾기
→ 방차가 높다는 것은 평균치에서 벗어난 값을 가리킨다
즉, 데이터로서의 개성을 잃지 않았다는 것이다(정보량이 많다)
나타내다
전체 특징량 중 정보가 특히 많기 때문에 곧 특징량이 많은 것을 공헌율로 삼을 것이다
높음
구속을 가하지 않으면 끝이 없다.
라그랑일 함수를 최대화하는 계수 벡터를 찾아 계수 벡터로 0으로 미분하여 사라.고유 벡터를 최대화하는 계수 벡터를 제시하다.
제1주성분과 제2주성분의 정교
즉, 이 벡터 내적은 0이다
2. 매개 변수의 추정 방법(사용하는 학습 모델)
A) 최소 2승법(선형 회귀, 비선형 회귀)
실제 데이터와 모델의 제곱 오차를 찾아내다.
B) 여백 최대화(벡터 머신 지원)
분류에 사용되는 경계선에 따라 각 데이터의 거리가 가장 큰 경계선을 구한다.
C) 계단식 하강법
반복 학습을 통해 매개 변수를 점차적으로 업데이트하는 방법
최소 2승법으로 미분 0의 값을 구하기 어려운 상황에서 사용한다.
학습을 통해 얻은 갱신량을 현재의 권중에서 줄이지만, 마지막으로 학습률이라고 불리는 초파라미터로 이 갱신량의 수렴성을 조절한다
D) 확률 계단식 하강법(논리적 회귀)
계단식 하강법에서 모든 데이터는 매개 변수를 구하고 업데이트한다
확률 계단 하강법은 하나하나 무작위로 데이터를 선택하여 파라미터를 갱신하는 것이다. 모든 데이터가 아니라 무작위로 선택한 대상만 배우면 된다
반복 학습도 할 수 있어요.
(이 반복 횟수는 "EPOCK"라고 함)
E) 가장 유사(논리적 회귀)
어떤 데이터, 결과를 얻었을 때 판단 기준이 되는 파라미터가 얼마나 많은지(사연)(출력 예측, 파라미터가 고정되어 데이터 자체가 이 파라미터에 따라 얼마나 쉽게 출력되는지 나타내는 점과 확률이 다르다)
이것은 클수록 정확한 매개 변수로 판단할 수 있다.
F) 소량 계단식 하강법(논리 회귀)
N개의 데이터를 블록(50~100)으로 나누어 학습하기
블록이 하나일 때, 확률 계단 하강법과 같다
G) 피쳐 값 분해(주성분 분석)
분해 피쳐 값(=분산 값), 가장 큰 분산 축 찾기
최대 특징값에 대응하는 고유 벡터의 선형 반환 특징량을 제1주성분이라고 한다.
3. 과도한 학습을 방지하는 방법
A) 가중치 제한법
(a) 정규화(네트워크의 자유를 억제하는 메커니즘)
① Lasso
매개변수 공간의 원점에 MSE(균일 오차) 값을 가깝게 만들기
Lasso 회귀는 척추 회귀와 달리 필요하지 않은 설명 변수로 판단되는 계수(권중)가 0인 성질을 가지고 있다
모델 구축에서 일부 피쳐 양을 완전히 무시합니다(설명 변수)
즉, 필요하지 않은 매개 변수를 사용할 때 사용한다.
모델을 선택하는 동시에 설명 변수의 수량을 줄이고 설명 변수(특징량)의 선택을 자동으로 한다고 할 수 있다
L1 정규화 항목을 사용합니다.
② Ridge
SE 값을 매개 변수의 일부분에 가깝게 하여 0 → 비트 감소
권중의 제곱과
L2 정규화 항목의 정규화에 근거하여 권중이 완전하지 않은 0의 성질을 가지고 있다
변수가 매우 많을 때 모델의 해석이 복잡해지는 단점을 설명한다(파라미터를 완전히 삭감하는 것은 아니기 때문이다)
B) 학습 데이터 선택법
(a) 유지법
수중의 데이터를 두 부분으로 나누어 일부분은 학습에 쓰고, 다른 일부분은 테스트에 쓰며, 통용도를 측정한다.
단점은 수중의 데이터가 적을 때 테스트용 데이터에서 데이터를 얻고, 때로는 학습용 데이터가 너무 적다는 것이다.반대로도 마찬가지다.
(i) 교차 검증
데이터를 학습용과 테스트용으로 중복 분할합니다.그때는 테스트용 데이터가 매번 바뀌었어요.
4. 결과를 분류하는 평가 방법
A) 정확도
진정한 포지셔닝과 진정한 Negative의 전체 비율
편차가 있는 데이터로 공부할 때는 정확도가 높아도 의미가 없다.
B) 준수율
어떤 물건을 분류(positive나negative나)할 때, 이 분류에 따라 판단한 결과를 나타낼 때 사용하는 지표가 되기를 바란다.포지셔닝(Negative) 판정=positive(negative)는 사수할 수 있고, negative(positive) 판정=positive(negative)는 한데 섞일 수 있다.
C) 재현율
어떤 물건(positive든 negative든)을 분류할 때, 분류 판단의 물건이 섞이지 않아도 모두 분류할 때 사용한다.positive 판정=negative는 존재할 수 있으나negative 판정=positive는 존재할 수 없습니다.
D) F 값
재현율과 적합률이 절충 중이기 때문에 균형을 맞추고 싶을 때 사용한다.
어록
다시 돌아오다
다차원 (설명 변수가 여러 개 있습니다.)
논리 함수
결과를 백분율로 되돌리는 함수
신호 함수
논리 함수의 일종
모든 입력은 함수를 통해 결과를 1 이하의 수치로 출력해야 한다
회귀 계수
회귀 방정식에서 변수의 상수를 설명하다
오차 함수
학습 데이터(결과)와 모델 차이를 나타내는 척도.
제곱 오차 함수나 교차 엔트로피(사연 함수)가 대표적이다.
회귀 방정식
원인과 결과 관계 중의 어떤 양의 관계를 나타내는 방정식
변화
모델의 복잡성 정도(모델의 분포 자체를 가리킨다)
편압(1)
모델과 학습 데이터의 평균 편차.모델과 실제 값의 오차.
편압(2)
어떤 단원의 발화 경향을 나타내는 고도의 양(편압이 높으면 수신 전 층의 출력이 작아도 불이 난다. 반대로 편압이 마이너스면 출력이 커도 불이 나지 않는다.)
발리가 작아지면 발리가 커진다.(반대로)
정규화
지나치게 공부하거나 통용하지 않기 위해서 권중에 대해 제한을 가하다
마치
어떤 데이터, 결과를 얻었을 때 판단 기준이 되는 파라미터가 얼마나 되는지 나타낸다(확률은 파라미터가 고정되어 있고 데이터 자체가 이 파라미터에 따라 얼마나 쉽게 출력되는지 나타낸다).
클수록 정확한 매개 변수로 판단할 수 있다.(가장 유사한 방법)
유사함수
대수 유사함수
최대화 유사함수에 비해 최대화 대수 유사함수 계산이 쉽기 때문에
이타
학습률
학습률
기계 학습의 최적화에서 얼마나 많은 값을 이동하는 매개 변수.
지원 벡터