기계 학습 실전의 P264에서 코드에 대응하는 공식적인 유도
2561 단어 머신 러닝 알고리즘
xformedItems = dataMat.T * U[:,:4] * Sig4.I
먼저 SVD 분해의 공식(SVD 근사 공식이 아님): M m ⋅ n = U m ⋅ m ⋅Σ m ⋅ n ⋅ ( V n ⋅ n ) T M_{m·n}=U_{m·m}·Σ_{m·n}·{(V_{n·n})}^{T} Mm⋅n=Um⋅m⋅Σm⋅n⋅(Vn⋅n)T 주의Σ Σ Σpython 코드에서 되돌아올 때, 벡터이고, 행렬론에서는 대각 행렬이다.대각선에는 모두 각 기이한 값이 있고, 나머지 원소는 모두 0이다.또한Σ Σ Σ행렬은 반드시 큰 것에서 작은 것까지 정렬된 적이 있다.여기서 U m⋅ m U{m·m} Um 및 V n n V{n·n} Vn ⋅n은 정교진 정교 행렬의 각 줄이 단위 벡터이고 양정교 행렬의 각 열은 단위 벡터이며 양정교는 정교진 A A A A (특수 지시방진)에 대해 다음과 같은 성질이 있다. A T = A - 1 A^T=A^ {-1} AT=A - 1 만약에 U m에서 m U{m·m} Um⋅m에서 k열을 추출하여 Um⋅k U{m·k} Um ⋅k 및 U k ⋅m = (U m ⋅k) T U{k·m}=(U {m·k})^{T}Uk ⋅m = (Um ⋅k)T{m·m}Vm⋅m에서 k열을 추출하여 Vm⋅kV{m·k} Vm ⋅k, 그리고 V k ⋅m = (V m ⋅k) T V{k·m}=(V {m·k})^{T} Vk ⋅m = (Vm ⋅k) T 그럼: U k ⋅m ⋅ U m ⋅k = E k ⋅k ① U{k·m}·U_{m·k}=E_{k·k}① Uk⋅m⋅Um⋅k=Ek⋅k① U m ⋅ k ⋅ U k ⋅ m U_{m·k}·U_{k·m} Um⋅k⋅Uk⋅m≠ E m ⋅ m E_{m·m} Em⋅m V k ⋅ m ⋅ V m ⋅ k = E k ⋅ k ② V_{k·m}·V_{m·k}=E_{k·k}② Vk⋅m⋅Vm⋅k=Ek⋅k② V m ⋅ k ⋅ V k ⋅ m V_{m·k}·V_{k·m} Vm⋅k⋅Vk⋅m≠ E m ⋅ m E_{m·m} Em⋅m
상기 등식의 성립 조건은 다음과 같다. k≤m위 ①②의 각 식의 순서는 반대로 할 수 없으며 다음은 SVD의 근사 공식: Mm⋅n≈Um⋅k⋅Σ k ⋅ k ⋅ ( V n ⋅ k ) T ③ M_{m·n}≈U_{m·k}·Σ_{k·k}·{(V_{n·k})}^{T} ③ Mm⋅n≈Um⋅k⋅Σk ⋅k ⋅(Vn ⋅k) T ③ 다음은 이 식에 근거하여 추정한다. ③ 중 등식의 좌우 양쪽에 U k ⋅ m U 를 곱한다.{k·m} Uk ≈Σ k ⋅ k ⋅ ( V n ⋅ k ) T U_{k·m}·M_{m·n}≈(U_{k·m}·U_{m·k})·Σ_{k·k}·{(V_{n·k})}^{T} Uk⋅m⋅Mm⋅n≈(Uk⋅m⋅Um⋅k)⋅Σk ⋅k ⋅(Vn ⋅k) T 대입식 ① 획득: U k ⋅m ⋅M m ⋅ n ≈ E k ⋅k ⋅Σ k ⋅ k ⋅ ( V n ⋅ k ) T ④ U_{k·m}·M_{m·n}≈E_{k·k}·Σ_{k·k}·{(V_{n·k})}^{T}④ Uk⋅m⋅Mm⋅n≈Ek⋅k⋅Σk ⋅k ⋅(Vn ⋅k) T ④ 양쪽 곱하기()Σ k ⋅ k ) − 1 (Σ_{k·k})^{-1} (Σk⋅k) - 1, 얻다: (Σ k ⋅ k ) − 1 ⋅ U k ⋅ m ⋅ M m ⋅ n ≈ ( V n ⋅ k ) T ⑤ {(Σ_{k·k}})^{-1}·U_{k·m}·M_{m·n}≈{(V_{n·k})}^{T}⑤ (Σ⋅k ⋅m ⋅n ≈ (Vn ⋅k) T ⑤ 등식 양쪽 전치 작업: V n ⋅k ≈ ()Σ k ⋅ k ) − 1 ⋅ U k ⋅ m ⋅ M m ⋅ n ) T {V_{n·k}}≈({(Σ_{k·k}})^{-1}·U_{k·m}·M_{m·n})^{T} Vn⋅k≈((ΣK⋅k - 1⋅m ⋅n) T 대등식 오른쪽: V n ⋅k ≈(M m⋅n) T ⋅U m ⋅kΣ k ⋅ k ) − 1 ) T ⑥ {V_{n·k}}≈({M_{m·n})^{T}·U_{m·k}·((Σ_{k·k}})^{-1})^{T}⑥ Vn⋅k≈(Mm⋅n)T⋅Um⋅k⋅((Σk⋅k)−1)T⑥
∵ ( Σ k ⋅ k ) (Σ_{k·k}) (Σk⋅k)는 대각진이다.Σ k ⋅ k ) − 1 (Σ_{k·k})^{-1} (Σk⋅k)-1도 대각진∴Σ k ⋅ k ) − 1 (Σ_{k·k})^{-1} (Σk⋅k)--1의 전환 행렬은 (Σ k ⋅ k ) − 1 ⑦ (Σ_{k·k})^{-1}⑦ (Σ⑥ 중 관계
V n ⋅ k ≈ ( M m ⋅ n ) T ⋅ U m ⋅ k ⋅ ( Σ k ⋅ k ) − 1 ⑧ {V_{n·k}}≈({M_{m·n})^{T}·U_{m·k}·(Σ_{k·k}})^{-1}⑧ Vn⋅k≈(Mm⋅n)T⋅Um⋅k⋅(Σk⋅k)−1⑧
⑤ 책에 나와 있는 이 코드를 비교합니다.
xformedItems = dataMat.T * U[:,:4] * Sig4.I
똑같다는 걸 알게 될 거야.그래서 상술한 추론은 이 코드의 이론적 근거이다.
온라인 방정식 편집기의 링크는 다음과 같습니다.http://www.sciweavers.org/free-online-latex-equation-editor
좋은 웹페이지 즐겨찾기
