최소제곱법이나 최급강하법은 알고 있는 전제

모르면 옛날 기사로 했으므로 좋으면 그쪽으로
「최소제곱법・최급강하법」을 움직이는 그림으로 이해한다

처음부터 기하 공간에서 생각하면 이 기사는 필요 없다

선형 회귀 이미지

처음 이런 이미지였는데



· 실측치의 중간 (평균)을 통과한다.
· 기울기 β의 직선을 그릴 때, 실측치로부터의 거리(예측 오차)의 합계가 가장 작다

그런 "기울기"를 요구하는 것이다
라고 생각했습니다(별로 해석의 하나로서 잘못은 없다..라고 생각한다)

X라는 1차원상에서 생각해 보면?

Y=βX란, 즉 정수배한 X이다.

그림과 같이 평행으로 달리는 축상이 Y였을 때, X를 몇 배로 하면 우도 같은 값이 될까
라는 것이 회귀 계수의 역할입니다.

실측치와 예측값의 오차는 아무래도 나온다
이것은 X에 직교하는 축의 값이라고 생각한다 (표현할 수 없는 값은 직행하는 축에 밀어붙인다)



이 오차를 가장 최소화하는 것은 평행 Y에서 수직으로 내려 왔을 때입니다.
(삼평방의 정리적으로)



수직으로 내리는 것을 실현시키는 β를 찾기 위해 최소 제곱법이 수행된다.



즉, 계수 β는 X로 늘어나는 공간(X의 정수배나 선형합)에 실측값 Y를 수직으로 정사영하기 위한 벡터
계수 β는 오차를 표현할 수 없기 때문에 궁극적으로 X가 늘어선 평면 공간의 벡터입니다.

이상

라는 것을 최근에 알았기 때문에 가능한 한 그림으로 표현한다.
이것을 생각하면 커널법의 입문이 편해지므로, 다음 번 계속으로 쓴다.