이제부터 Support Vector Machine 강의 시작

이것MIT 수업은 매우 이해하기 쉽다. 반복해서 듣기 때문에 자신의 필기용으로 문자에서 미리 시작한다.
이 과목은 새로운 방법이 생긴 이유를 잘 설명하는 것이 좋다.
어느 날, 갑자기 똑똑한 사람이 생각났어요.
부립엽과 달리 SVM은 제작자에게 물어보셔도 됩니다~.

우선, 나는 데이터를 두 개로 나누고 싶다

두 가지 데이터가 있습니다.나는 이것을 직선으로 나누고 싶다.그래서 나는 두 가지 데이터 사이에 길을 그렸는데 이 길이 가장 좋을 것 같았다.
이 길에 직각 벡터 $\vec{w} 달러가 있다는 것을 알면 어느 곳에서든지 $u가 옵니다
　　　　$\vec{w}\cdot \vec{u} + b\ge 0$
그럼 어느 쪽인지 알 수 있을까요?

따라서 $\vec{w}와 $b를 알고 싶습니다.
알다시피 플러스 데이터 $\vec{x+} 및 마이너스 데이터 $\vec{x-}
　　　　$\vec{w}\cdot \vec{x_+} + b\ge 1$
　　　　$\vec{w}\cdot \vec{x_-} + b\le -1$
라는 뜻이다.
수학적으로 간단해졌다는 이유만으로 $yi$i 변수를 가져옵니다.이것은 플러스 데이터에서 1이고 마이너스 데이터는 -1이다.이 물건을 위의 식의 양쪽에 걸면 두 식이 모두 같다
　　　　$y_i(\vec{w}\cdot \vec{x_i} + b)\ge 1$
되다아이고, 편리해.그 밖에 도로 변두리에 조건을 첨가했다
　　　　$y_i(\vec{w}\cdot \vec{x_i} + b) - 1 = 0$
이렇게 해 보세요.

나는 데이터를 두 부분으로 나누는 넓이를 알고 싶다

나는 데이터를 두 개의 도로로 나누는 폭을 계산하고 싶다.정면 데이터 방면의 도로단 $\vec{x+}, 음측의 도로단 $\vec{x-} 달러, 벡터 2개의 차 $\vec{x+]-\vec{x} 달러를 구합니다.

도로와 교차하는 벡터를 사용하면 $
$가로폭 = (\vec{x+]-\vec{x-})\cdot\rac{\vec{w} 달러
을 입력합니다.그리고 아까 도로변의 조건이 추가되었기 때문에 사용하면 $\cdot\vec{x+}달러는 1-b달러, $\vec{w}\cdot\vec{x-}달러는 $1+b달러이기 때문에 도로폭은
$가로폭 =\rac{2} {||\vec{w}|} 달러
되다나는 이 길을 최대화하고 싶다!수학적으로 간단해졌기 때문에 문제문을
A:$|||\vec{w}를 최소화하고 싶어요!
$\rac{1}{2}||||vec{w}|^2달러를 최소화하고 싶습니다!
및 변경합니다.이렇게 되면 항상 조건이 있는 가장 작은 문제가 되기 때문에라그랑일의 미정승수법로 풀 수 있다.1801년에 생각해낸 이 수법이 생긴 이유는 잠시 언급하지 않겠다
　　　　$L =\frac {1}{2} ||\vec{w} ||^2 -\sum{\alpha_i (y_i(\vec{w}\cdot \vec{x_i} + b) - 1)}$
의 극값입니다.그리고 수치 계산기에 맡기면 계산해 줄게.
그렇긴 하지만 데이터의 의존 관계를 알고 싶으니 조금만 더 노력해 보자.
　　　　$\frac {\partial L}{\partial\vec{w}} =\vec{w} -\sum{\alpha_i y_i\vec{x_i}} = 0$
　　　　$\frac {\partial L}{\partial b} =\sum{\alpha_i y_i} = 0$
그래서 이걸 원래 $L에 넣으면
　　　　$L =\sum{\alpha_i} -\frac {1}{2}\sum_i{\sum_j{\alpha_i\alpha_j y_i y_j x_i\cdot x_j}}$
따라서 달러 L$는 데이터의 내적에만 의존한다는 것을 알 수 있다.에서
　　　　$\vec{w}\cdot \vec{u} + b\ge 0　\Rightarrow\sum{\alpha_i y_i\vec{x_i}}\cdot \vec{u} + b\ge 0$
마찬가지로 내적에만 의존한다.

만약 데이터가 두 직선으로 나눌 수 없다면 어떻게 합니까?

직선 도로에서 분리해야 한다는 점을 고려하면 분리할 수 없는 경우도 있다.그럼 데이터가 있는 공간이 안 좋아서 분리가 안 되는 거 아니에요?예측을 토대로 데이터를 모두 다른 공간으로 보내는 것을 고려해 보자.데이터가 다 내적이라고 생각하면...
　　　　$K(x_i, x_j) =\phi(x_i)\cdot \phi(x_j)$
만약 이런 공식이 있다면, 충분히 계산해 낼 수 있을 것이다!편리한 것은 이런 것을 내핵 함수라고 하는데 여러 가지가 있다.인기 커널은 다음과 같습니다.

다항식 커널: $K(xi, xj) = (xi\cdotx j+1)^n달러

고스시안 RBF 커널: $K(x i, x j) = e^{{|x i-x j|} {sigma}}} 달러

이렇게 하면 간단하게 다른 공간을 가지고 계산하여 극지해에 빠지지 않고 전체적인 최적해를 얻을 수 있다.말은 그렇지만 과장 등의 문제가 사라진 것은 아니다.

역사의 학습

SVMVladimir Vapnik이라는 사람을 만들었어요.은 60년대 초 모스크바대 박사논문에서 SVM의 아이디어를 제시했으나 컴퓨터가 없어 그대로 둘 수도 없었다.1990년에 소련에서 미국으로 이주했다.미국 벨 연구소를 찾은 이후 1992년께 NICS에 3편의 논문이 발표돼 모두 주목받았다.그때는 손글씨 인식이 신경 네트워크를 사용하기 시작했기 때문에 SVM이 비교적 좋다고 생각해서 동료들과 저녁을 먹었다.2차 다항식 커널에서 당시 신경 네트워크를 물리친 SVM이 마침내 세상에 나왔다.생각부터 사용까지 시간이 많이 걸린다.이런 거.