Self-attention을 짜증나면

논문은 여기

동기 부여: GAN 성능 향상
무엇을 하고 있는지: 이미지의 전역 종속성을 추출하는 중
성과: ImageNet의 데이터 세트에 대해 IS:36.8→52.2, FID:27.62→18.65에 스코어를 늘렸다.

구체적인 이야기

CNN은 국소적인 수용 영역을 갖기 때문에 전역적인 의존성을 학습하기 위해서는 계층을 겹쳐야 할 필요성이 나온다. 그러나 층을 겹치는 것은 비용이 많이 든다.
또한 CNN의 국소적인 수용 영역으로 인해 이상한 이미지가 생성된다는 문제도 발생한다.
(ex. 말의 사진을 학습하고 생성하는 GAN을 훈련했을 때, CNN의 국소적인 수용 영역이 영향을 받고, 화상의 전체적인 머리의 수를 세지 못하고, 머리가 복수 있는 것 같은 말의 이미지를 생성하는 문제가 발생했습니다.)

그래서 이미지 전체의 대국적인 특징량을 가미하자!

계산식을 순서대로 따라가자

↑이쪽이 self-attention 기구의 전체도
그리고, attention map(위의 그림의 흑백의 그림)까지의 계산식이 이하.

여기까지의 계산을 알기 쉽게 행렬의 다이어그램에 나타내었습니다.
↓self-attention map까지의 행렬 계산을 그림으로 나타내는 것은 이하



위의 행렬 계산에 의해 생성된 attention map을 가시화하면 ↓아래 그림과 같이 된다.
사진의 한 점에 주목했을 때, 그 점의 색에 가까운 영역이 강하게 반응하고 있다.
(예를 들어, 사진의 빨간 점에 주목했을 때, 그 빨간 점 부분의 여러 가지와 같은 색을 가진 영역이 attention map에서 하얗게 반응하고 있다)


또한, attention map으로부터 self-attention feature map을 산출하는 식은 이하

그림으로 나타내면 아래와 같이 된다.


마지막으로, 계산 된 self-attention feature map에 파라미터 γ를 곱하여 입력 x에 더한다.

이것은 self-attention 메커니즘의 전체 모습입니다.

bigGAN

이 self-attention GAN이나 스펙트럼 정규화를 이용함으로써, BigGAN은 512×512의 매우 현실적인 이미지의 생성을, ImageNet의 1000 클래스 모두에 대해 가능하게 했다.

이 BigGAN에서 놀고 싶은 분은, 이쪽의 Artbreeder 라고 하는 사이트를 시험해 보세요. 잠재 공간의 벡터를 연속적으로 변화시킴으로써, 어느 화상이 다른 화상에 서서히 추이해 가는 모습을 즐길 수 있습니다.

참고문헌

· http://urusulambda.com/2018/07/15/saganself-attention-generative-adversarial-network%E3%81%AEself-attention%E6%A9%9F%E6%A7%8B%E3%82%92% E3%81%96%E3%81%A3%E3%81%8F%E3%82%8A%E7%90%86%E8%A7%A3%E3%81%97%E3%81%9F/
· htps : // 아 rぃ v. rg / pdf / 1805.08318. pdf