개요

자기주의 Self-Attention 의 해설로 알기 쉽다고 생각한 기사N선택(N=14)

의 활용 이력을 적는다.

활용 이력

Word Enbedding의 구체적인 모습 확인 [2021/05/15]

이용 기사 : (그 6)의 (YDC Lab 칼럼) 알았던 신경이 쓰이는 자연 언어 AI의 구조

내용

Word Enbedding에서 특히 흥미가 있었던 것이 「the」라든가, 「(관계 대명사의) which」라든지, , ,, 보통의 단어가 아닌 것의 값이 어떻게 되어 있는 것인가?
원래 의문은, 이러한 값을 곱해 관련도를 내어 어떻게 되는 것인가? 라는 의문입니다만.
실제로 이용한 것은, 이 기사에서 인용되고 있는,
Google의 Embedding Projector라는 다차원 데이터 시각화 도구 (2016 년 12 월 공개)
입니다.

↓ 보통 단어의 예


↓ the의 예

문장의 attention 레이어에 의한 변화의 모습을 확인한다 [2021/05/15]

이용 기사:(그 12)의 The Illustrated Transformer

내용

레이어를 거듭해 attention의 모습이 고도화하는 구조를 이해할 수 없기 때문에, 그 attention의 모습을 확인했다.
기사 내에서 링크된 노트북에서 동적으로 확인할 수 있다.

↓ the 가 animal 에 조금 맞고 있다.



↓ 레이어 1에서는, 뒤의 it 는, 그만큼, 확실히, animal에 도착하고 있지 않다.

요약

특히 없습니다.