주의사항

본 보도는'첫 번째 패턴 식별'윤독회가 맡은 8장에 관한 비망록이다.
오류나 오류 기록이 있으면 알려주세요.

흐르다

첫 번째 패턴 식별 8장의 다음 3절을 정리한다.
• Hypervisor SVM
・ 소프트 마진 SVM
비선형 피쳐 매핑
→ 이번에는 소프트 마진 SVM
→ 지난번에는 Hypervisory SVMhttps://qiita.com/samsa/items/aa0686dba5ee0e9881eb

선형 분리 불가 분류 문제로 확장

선형 분리가 가능한 경우에만 하드 여백 SVM은 매우 좋은 방법입니다.그러나 선형이 분리될 수 있는 상황은 매우 완벽한 문제다.
세상에는 선형적으로 분리할 수 없는 상황으로 분류하고 싶은 문제가 많죠.또 이 문제를 어떻게 선형적으로 분리할 수 있는지 판정하는 것도 과제다.
따라서 선형 분리가 불가능할 경우 SVM을 사용하기 위해서도 작업해야 합니다.
구체적으로 말하면 하드 여백 SVM의 오류 없는 분류 조건을 완화시킬 수 있다.

소프트 여백 SVM 정의

정의는 하드 여백 SVM과 다르지 않지만 오류 없이 분류되는 조건에서 이완 변수를 도입했습니다.
이완 변수는 데이터가 여분이나 선형 식별 경계에 비해 어느 위치에 있는지 나타내는 변수다.
이완 변수를 가져오면 오류 없이 분류할 수 있는 조건은 다음과 같이 고쳐집니다.

그러나 원래 지원 벡터(SV)는 선형 식별 경계에 가장 가까운 데이터 포인트였는데 이번에는 어떻게 결정해야 합니까?
→ 이완 변수를 가져와 데이터 점의 위치를 SV 위치로 이동하면 됩니다.

소프트 여유 SVM 최적화 문제 (주요 문제)

이완 변수를 도입하면 소프트 여유 SVM의 최적화 문제 (주요 문제) 는 다음과 같이 고쳐집니다.
또 라그랑일 함수를 직접 표시한다.

지난번과 마찬가지로 라그랑일 함수가 전개되었다.

소프트 여유 SVM 최적화 조건(KKT 조건)

최적화 조건(KKT 조건)은 다음과 같습니다.

KKT 조건(1)~(3) 편미분, 다시 쓰면

라그랑일 함수에 적용하면

KKT 조건(2)의 응용으로 인해 b 관련 항목이 사라집니다.
KKT 조건(3)의 적용에 따라 $C=\alpha+\mu$, 다음 두 항목은 요약 → C의 관련 항목 ±가 존재하기 때문에 사라집니다.
중간에 KKT 조건 (1) ($\boldsymbol {w}=\boldsymbol {w_{0}}$) 을 적용하기 위해 등호가 아닌 오른쪽 화살표로 표시합니다.

소프트 여유 SVM 대구 문제

두 쌍의 문제를 정리하는 과정은 하드코어 SVM과 같다.

총결산

SVM은 선형 분리 불가능한 문제로 확장할 수 있습니다.그러나 초변수 C를 설정하는 방법이 새로 생겼다.
교차 검증법과 격자 검색 등을 통해 결정해야 한다.만약 매우 커진다면, 잘못된 분류를 허락하지 않는다
동등해지다.