개요

이하의 기사 등으로 나타내듯이, 단순한 흥미로, 논문 「Attention Is All You Need」를 이해하려고 하고 있다.

Attention Is All You Need의 'Attention'을 단계별로 이해하는 수단

첫 단계의 목표로서


query,key,value



설정했지만,
지금처럼, 잠깐, 알아차린 적이 있기 때문에, 기사로 한다.

Query, Key, Value는, Query, Query, Query 정도의 해석에서도 문제 없다(라고 생각한다.)

본래의 Query, Key, Value란?

본래의 Query, Key, Value란, 이하의 논문 등에 있듯이,
Key-Value 쌍을 이용하여 Query에 대응하는 Value를 얻는 (잘 검색하거나 하는) 것이라고 생각한다.

htps : // / r ぃ v. rg / pdf / 1606. 03126. pdf
Key-Value Memory Networks for Directly Reading Documents

attention의 Query, Key, Value란?

전혀 다르다!
무엇이 다르다고 하면,

준비된 key-value 쌍이 있는 것은 아니다.

어쨌든 전혀 다르다.
key와 value의 값이 같은 특수형이라고 생각할 수 있을까? ? ?

참고

이하의 기사등은, 참고가 될지도.
이 기사는 숙련되게 설명되어 있다.
"What exactly are keys, queries, and values ​​in attention mechanisms?"

결론

Attention Is All You Need의 Query, Key, Value는 Query, Query, Query

요약

특히 없습니다.

참고(자신의 관련 기사)

자기주의 Self-Attention의 해설에서 알기 쉽다고 생각한 기사N선택(아직,N=8)