개요

다음 DeepMind (Google)의 Perceiver,

Jaegle, A., Gimeno, F., Brock, A., Zisserman, A., Vinyals, O., & Carreira, J. (2021). Perceiver: General perception with iterative attention. arXiv preprint arXiv:2103.03206.

Perceiver: General Perception with Iterative Attention
htps : // 아 rぃ v. rg/아bs/2103.03206

에 관하여, 이해하는 요령을 기재한다.

이해하는 요령 1

다음은 논문의 그림 1 인용.



이 아키텍처를 포함하여 이해하는 요령은

심층 학습의 경우는, 뭐든지 있어※1이므로, 일일이, 개별의 의미나 작용에 관하여 진지하게 생각하지 않는 것.

※1 매우 대규모의 파라미터와, 트레이닝이 있기 때문에, 기본, 뭐든지 있어. 예를 들어, 어떤 처리는 곱해야 할 곳을 잘못 더해도, 그것은 어쨌든 될 수 있습니다 (예 :).

「Q] 「K」 「V」가 신경이 쓰일지도 모르지만, , 뭐, 적당하게 생각하면 좋다(할 것).

Weights의 shared도, 의미가 있다고 이해해도 되고, 파라미터를 줄이고 있는 것만으로 이해해도 좋다.

요약

특히 없습니다.

관련 기사(본인)

DeepMind(Google)의 Perceiver 기사에서 알기 쉬운 생각한 기사 N선택(아직, N=1)

심층 학습. DeepMind(Google)의 Perceiver의 코코가 신경이 쓰인다.