What

Chainer를 이용해 기계 학습을 배우는 데 있어서, 나 자신이, 깨달은 점, 리서치한 내용을 정리하는 기사가 됩니다. 이번에는 신경망 훈련에 대해 공부합니다.

내 이해를 바탕으로 작성했기 때문에 잘못되었을 수 있습니다. 실수는 언제든지 수정할 것입니다, 용서해주십시오.

콘텐츠

신경망 훈련

단적으로 말하면 모델의 정밀도를 올리는 것, 유저로부터 하면 현명하게 하는 것

목적 함수

신경망도 한층 파고들면, 즉 목적함수를 최적화하게 된다. 하기, 대표적인 2종류의 목적 함수가 소개되어 있다.

회귀 문제에서 자주 사용되는 평균 제곱 오차 (mean squared error)

분류 문제에서 자주 사용되는 교차 엔트로피 (cross entropy)

평균 제곱 오차는 모델의 파라미터의 최적해를 구할 때, 뭉치 하나의 해가 근거하는 수법인 것에 대해,
확률적으로 이쪽이 있을 수 있을까~를 예측하는 방법이 교차 엔트로피라는 이해를 하고 있습니다.

목적 함수 최적화

그라디언트 강하 방법 ... 이름 그대로 그라디언트에서 매개 변수를 업데이트하는 방법
미니 배치 학습법・・・데이터 세트를 복수의 편성으로 해 각각의 목적 함수를 도출. 그리고 목적 함수의 평균값을 취하여 매개 변수를 업데이트하는 방법 (솔직히 잘 모르겠습니다)

활성화 함수

활성화 함수의 기울기 값이 작 으면 각 레이어의 매개 변수도 작아집니다. 이것을 경사 소실이라고 한다.
활성화 함수는 무엇인가 제약이 있는 것일까요? (발산하지 않거나, 수렴한다든가···)
확률로서 출력하기 때문에 1 이하가 되도록 하지 않으면 안 된다? ? ?
거기서 ReLU 함수가 소개되고 있지만, 누가 어떻게 찾아냈습니까?
또한 자세한 내용을 알면 업데이트합니다.

그라디언트 손실 문제가 해결됨에 따라 딥 러닝이 가능해졌습니까?

Comment

우선, 기계 학습의 개요는 잡아 왔습니다.
다음은 구체적으로 프로그램을 뭔가 만들고 싶습니다.


그래서이 책을 구입했습니다. 솔직히 지식이 너무 얕아서 무엇을 사야할지 모르겠지만, 목차를 색인을 보면,
Chainer에서 학습 한 라이브러리를 사용하고 있기 때문에 실전 방향
웹 응용 프로그램 작성에 대한 소개가 있으며 프로그램을 공개하는 데 도움이됩니다.
그래서 구입을 결정했습니다.

그래서이 책을 공부하십시오.
STEP.1 기계 학습의 실전
STEP.2 Pyhton을 앱 공개 레벨까지 다루기

을 다음 목표로 최선을 다하겠습니다.