목차

1. 라그랑주의 미정승수법이란?
2. 예제를 통해 프로세스를 이해
3. 정의 확인
4. 참고 문헌

1. 라그랑주의 미정승수법이란?

주성분 분석의 주성분을 구하는 과정에서, 데이터의 분산을 주성분의 분산에 반영시키기 위해서, 주성분의 분산을 최대화할 때에 라그랑주의 미정승수법을 이용하였다.

라그랑주의 미정승수법은 제약 조건 하에서 함수 최대화를 수행하는 수학(해석학) 방법입니다. SVM에서도 사용되는 방법입니다.

주성분의 분산을 극대화하는 과정에서

a_1^2+a_2^2=1

라는 제약 조건을 정한 다음 미정승수 $\lambda$

f(a_1,a_2,\lambda)=a_1^2+a_2^2+2r_{x1x2}a_1a_2-\lambda(a_1^2+a_2^2-1)

그런 다음 $a_1$, $a_2$, $\lambda$를 요청했습니다.

2. 예제를 통해 프로세스를 이해

라그랑주의 미정승수법을 이용한 함수 최대화를 간단한 예제를 통해 확인해 봅시다.

예제

$x^2+y^2=1$ 에서 $f(x,y)=2x+3y$ 의 최대값을 구하라.

답

g(x,y)=x^2+y^2-1=0

그런 다음 $f(x), g(x)$ 를 사용하여 3 변수 라그랑주 함수 $L$를 만듭니다.

L(x,y,\lambda)=2x+3y-\lambda(x^2+y^2-1)

각 변수에서 편미분하면,

\begin{align}
\frac{\partial L}{\partial x}&=2-2x\lambda=0\\
\frac{\partial L}{\partial y}&=3-2y\lambda=0\\
\frac{\partial L}{\partial \lambda}&=-x^2-y^2+1=0
\end{align}

이 세 변수의 삼원 연립 방정식을 풀면 해 후보를 얻을 수 있습니다.
위 두 개에서 $\lambda$를 지우면

x=\frac{2}{3}y

이것과 하단의 방정식을 바탕으로 $x, y$를 구하면,

(x, y)=(±\frac{2}{\sqrt{13}},±\frac{3}{\sqrt{13}})\hspace{2cm}

이 두 가지는 $f(x,y)$의 최대값을 제공하는 후보입니다.

실제로 2조를 $2x+3y$에 대입해 보면, 플러스 쪽이 최대치 $\sqrt{13}$를 줍니다. 덧붙여서 마이너스는 최소치 $-\sqrt{13}$를 줍니다.

3. 정의 확인

예제를 통해 라그랑주의 미정승수법의 프로세스를 확인할 수 있었으므로, 일반화를 위해서 정의를 확인합시다.

라그랑주의 미정승수법

$ g (x, y) = 0 $에서 $ f (x, y) $를 최대화하고 싶다는 등식 제약 문제
$L(x,y,\lambda)=f (x,y)-\lambda g(x,y)$ 를 만들면
$(\alpha,\beta)$가 극값을 준다 →$(\alpha,\beta)$는 $\frac{\partial L}{\partial x}=\frac{\partial L}{\partial y }=\frac{\partial L}{\partial\lambda}=0$ 의 해.

최대값을 구하고 싶은 함수가 $n$차원인 경우에도 라그랑주의 미정승수법은 사용할 수 있습니다.

4. 참고 문헌

라그랑주의 미정승수법 해설과 직관적인 증명
라그랑주의 미정승수법과 예제
라그랑주의 미정승수법