0. 개요

본 기사는 일본 딥 러닝 협회 인정의 강좌 프로그램인 「래빗 챌린지」가 제공하고 있는 과목의 하나인 심층 학습의 리포트이다.
기사 타이틀에 기재된 대로, Day3 Section6 Word2vec에 대해서 이하에 정리한다.

1. 단어 분산 표현

one^hot 벡터와 달리 단어를 낮은 차원의 실수값 벡터로 표현하는 것.
one-hot 벡터에서는 단어간의 관련성을 얻을 수 없기 때문에 분산 표현으로 할 필요가 있다(one-hot 벡터끼리의 내적은 0이 되기 때문에).

단어 분산 표현 벡터로 함으로써 단어의 의미에 기초한 계산도 가능하게 된다.

King - Man + Woman = Queen

2. 분포 가설

"단어의 의미는 그 근방의 단어에 의해 결정된다"라는 생각.

예를 들면 다음과 같은 문장이 있었을 때, 도쿄를 모르고도 live로부터 지명일 것이라는 것을 알 수 있다.
즉, live가 도쿄라는 단어의 의미를 지명이라고 결정하는데 도움이 된다고 말할 수 있다.

I live in Tokyo.

3. Word2vec

배포 가설에서 단어를 고정 길이 벡터화 (단어 분산 표현 벡터)하는 소프트웨어 (모델이 아님).
학습 데이터로부터 어휘를 작성하고, 각 단어를 one-hot 벡터로 하여 입력하여 단어 분산 표현을 얻는다.

어휘 수 × 단어 벡터의 차원 수만큼의 가중치의 계산량이된다.

아래에 표시된 모델은 모두 교사가있는 학습입니다.

참고:
h tps : // ㅇㅇ. 아이 / rd2ゔぇc /
htps : // m/gk/ms/69 아후87c73654 af49d36

3.1. Skip-gram

입력층, 은닉층, 출력층의 3개의 층으로 구성되는 뉴럴 네트워크이며, 입력층과 은닉층 사이의 가중치가 단어 분산 표현이 된다.
학습시키는 태스크는 「어떤 입력의 단어의 주변에 출현하기 쉬운 단어를 예측한다」 것.
주변 단어 몇 개까지 주변어로 고려할지를 윈도우 사이즈라고 부른다.

CBOW보다 성능이 좋은 경우가 많지만 계산은 느립니다.
계산 속도를 높이기위한 방법으로 긍정적 인 샘플 (있을 수있는 단어 조합)과 네거티브 샘플 (있을 수없는 단어 조합)이 있습니다.
포지티브 샘플은 확률이 높아지도록 학습시키고, 네거티브 샘플은 낮아지도록 학습시킨다.

3.2. CBOW

Skip-gram과는 반대로 「주변어로부터의 단어를 예측한다」

Skip-gram보다 계산이 빠릅니다.

Skip-gram은 「기계 학습・심층 학습에 의한 자연 언어 처리」인 어느 정도 눈을 돌리고 있으므로 개요는 이해하고 있을 생각이지만 CBOW는 다루어지지 않았기 때문에 너무…
성능면에서 떨어지기 때문에 적극적으로 사용되지 않는다? 부터?

4. 확인 테스트

확인 테스트는 Section 7 Attention Mechanism 쪽에서 실시.

X. 래빗 챌린지란?

래빗 챌린지란, 일본 딥 러닝 협회 인정의 강좌 프로그램의 하나.
E 자격을 수험하기 위해서는 이 래빗 챌린지 등, 어느 하나의 강좌 프로그램을 수료해야 한다.

래빗 챌린지의 특징은 "현장에서 파괴가 효과가 있는 딥 러닝 강좌"의 통학 강좌 녹화 비디오를 편집한 교재를 사용한 자습 스타일이라는 점.
서포트는 다른 강좌보다 적고, 수신이 아니라 자주적으로 배워가는 자세가 아니면 진행되지 않지만, 그만큼, 다른 강좌에 비하면 저렴하고, 손이 내기 쉽다.
어느 정도 지식이 있는 사람, 자력으로 노력한다고 하는 녀석이 있는 사람 전용이 아닐까 느낀다.