개요

Attention에 관해서, 조사하고 있어, 이하의 논문을 만났다.
당신이 도움이 될지도 모른다 그래서 당신은 기사에 한다.

Attention in Natural Language Processing

Galassi, Andrea, Marco Lippi, and Paolo Torroni. "Attention in natural language processing."IEEE Transactions on Neural Networks and Learning Systems (2020).

논문 개요

논문( htps : // 아 rぃ v. rg/bs/1902.02181 )에서 인용

Attention is an increasingly popular mechanism used in a wide range of neural architectures. The mechanism itself has been realized in a variety of formats. However, because of the fast-paced advances in this domain, a systematic overview of attention is still this article, we define a unified model for attention architectures in natural language processing, with a focus on those designed to work with vector representations of the textual data. We propose a taxonomy of attention models according to four dimensions:therepresentation of the compatibility function, the distribution function, and the multiplicity of the input and/or output. We present the examples of how prior information can be exploited in attention models and discuss ongoing research efforts and open challenges in the area, providing the first extensive categoriz the vast body of literature in this exciting domain.

DeepL역(엄마)

주목은 다양한 신경 아키텍처에서 사용되는 메커니즘으로 점점 널리 보급되고 있습니다. 이 메카니즘 자체도 다양한 형태로 실현되고 있다. 그러나, 이 분야에서는 급속한 진보를 이루고 있으므로, 주의에 대한 체계적인 개요는 아직 밝혀지지 않았다. 본 논문에서는 텍스트 데이터의 벡터 표현을 다루도록 설계된 것에 초점을 맞추어 자연어 처리에서 주의 아키텍처를 위한 통합 모델을 정의한다. 본 논문에서는 자연어 처리에서 주의 아키텍처의 통합 모델을 제안한다. 사전 정보가 어떻게 주의 모델에 이용되는지의 예를 나타내고, 현재 진행 중인 연구 노력과 미해결의 과제에 대해 논의하고, 이 흥미로운 분야의 방대한 문헌을 처음으로 광범위하게 분류했다.

General Attention Model

「General Attention Model」이라고 하는 것이 제안되고 있었다.
(닮은, 그러나, 조금 다른 것 같은, 의미 있는 차이일까 모르는 것 같은, 그런 모델이 많이 있으므로, 이러한 모델의 제시는 Good라고 생각한다.)

(그림은 논문에서 인용)

요약

특히 없습니다.
코멘트 등 있으면 부탁드립니다.

관련 기사(본인)

이 논문은, 이하의 기사의 13번째의 기사(※기사가 아니고 논문입니다만,,)로서, 제시하고 있습니다.

자기주의 Self-Attention 의 해설로 알기 쉽다고 생각한 기사N선택(N=13)