딥 러닝에 필요한 벡터 지식 선형 변환

딥 러닝을 공부하고 있어, 벡터의 표현이나, 선형 결합등의 개념에 막혀 기분 나빴기 때문에, 정리해 붙입니다!

목차
1 벡터 기초 1 (딥 러닝 학습에 관여하는 깊은 벡터 기초 지식)
2 딥 러닝에의 응용
3 벡터 기초 2 (보다, 벡터의 이해를 깊게 한다)

벡터 기초 1

1차 변환(선형 변환) ・・한 점에 행렬을 곱해 다른 점으로 이동시킨다.　(벡터쪽에서 본 수학적 정의)
즉, 값을 변환하는 것입니다.

1차 결합(선형 결합) · ax+by와 같은 형태의 식

선형(linear)이란, 「직선으로 한다」라고 하는 의미

즉, 입력 x에 대해, 출력 y(u)를 구하는 프로세스로서, y(u) = wx + b 의 형태로 해 구한다고 하는 것.
여기서 y (u)는 선형 변환의 결과로 출력됩니다. 즉 숨겨진 레이어에 전달되는 출력의 값입니다.

왜 u가 나올까라고 하면, 갑자기 입력　x→y 를 요구해 버리고는, 딥 러닝도 아니고도 아닌 단순한 함수와 같기 때문에.

<중요 용어>
기저 ··· 전체를 표현하는데, 필요 최저한의 벡터 (※기본 벡터라고도 한다)
선형 결합 · · · 일부 벡터 (or 함수)가있을 때 각각의 상수 배수의 합

※ 2차원 공간은 서로 평행하지 않은 벡터가 2개 있으면, 그 선형 결합으로 모든 평면을 나타낼 수 있다
선형 공간(벡터 공간)이라고도 함



<벡터를 사용하는 의미·심득>
기계(컴퓨터)가 취급하는 숫자의 형식 중에서 궁합이라는 것이 있다.
기계의 호호물이 처리가 빠른 표현이 행렬(or벡터)입니다.

이것에 의해, GPU의 처리를 고속으로 할 수 있으므로, 딥 러닝에는 필수의 지식이 되고 있습니다.
화상도 RGB의 수치로 표현할 수 있으므로, 결국 궁합이 좋은 것은 행렬(벡터)입니다.

이 1차 방정식 (y = wx + b)은 행렬로 표현될 수 있으므로,

1차 방정식이 아니라 기계를 좋아하는 행렬로 표현합시다! 라는 느낌입니다.



요약

① 입력층 → 숨겨진 층의 위상
【목적(x→u)을 구한다】

1차 방정식 u = Wx + b

② 1차 방정식의 출력→활성화 페이즈(뉴런이 발화할까 하지 않을까, 결정한다=0,1인가 결정한다)
【목적(u→z)를 구한다】
비선형 함수(ex sigmoid,Relu)

③ 출력 페이즈(머신이 최종적인 수치(답)을 발표하는 페이즈)
목적(z→y)을 구한다

벡터 기초 2

역행렬과 행렬식

역행렬

역행렬은 원래 행렬과 곱하면 단위 행렬이 되는 행렬

행렬식(determinant)

행렬식은 위에서 정의한 식입니다.

<포인트>
1 행렬식 = 0 일 때, 역행렬은 존재하지 않는다.

2 행렬식 ≠ 0 0 일 때, 역행렬이 존재한다

여기서 1차 변환의 이야기입니다.

1차 변환은
점 단위로 보면 점을 변환한다
점의 집합을 공간으로 보면 공간을 변환하는 성질이 있다.