Attention Branch Network - Deep Learning에 의한 화상 식별에 있어서의 주목 부분 시각화 기술에 대해서 -

복잡하고 블랙박스화되기 쉬운 Deep Learning의 설명성과 판단 근거를 나타내는 기술이 다양하게 발표되고 있습니다.
아래의 Qiita 기사는 매우 알기 쉽게 정리해 주셨다고 느꼈습니다.
딥 러닝의 판단 근거를 이해하는 기법

입력에 대한 착안점을 담는 Attention 기구 도입의 하나인 Attention Branch Network 1 의 개요에 대해 설명해 보겠습니다.
저자의 설명 슬라이드 2을 참조하여 설명하겠습니다.

Attention Branch Network 개요도

상기 개요도의 설명

통상의 Convolutional Neural Network(CNN)를 도중에 분할해, 전반을 Feeature extracter(특징 추출), 후반을 Peception branch(답이 되는 클래스를 추정하는 브랜치)로 합니다.
Feature extractor에서 Attention branch를 분기하여 연결하고 출력하는 Attention map을 가중치 맵으로 Feature extractor의 출력과 맞추어 Percepton branch에 입력하여 학습시킵니다.
Attention Map의 생성에 의해 인식 결과의 가시성을 얻을 수 있고, 가중치를 부여함으로써 인식 성능 향상이 예상됩니다.
ResNet 등의 성능이 높은 것으로 여겨지는 Deep Learning 구조에 branch를 추가하는 형태로 하는 것으로, 가시성과 고검출 성능을 양립할 가능성이 있습니다. (어떤 위치에서 branch를 삽입할지 등, 입력 데이터에 의해 고려하는 곳도 있다고 생각합니다.)

인간이 기계 학습의 개선 사이클에 들어가 성능 향상을 목표로

또한 Attention Branch Network의 저자를 포함하는 문헌 향상을 도모하는 아이디어가 나와 있습니다.
잘못 인식된 데이터에 대해 Attention Map을 사람의 손으로 수정하고 다시 학습시킴으로써 올바르게 인식되어 성능 향상으로 이어지는 시스템을 만들 수 있습니다.

Human-in-the-loop 이미지

같은 저자의 연구 그룹에서 Emmbedding Human knowledge in Knowledge in Deep Neural Network via Attention Map이라는 논문이 나와 있습니다.
Attention Map이 기대하고 있던 것과 다른 곳에 반응하고 있었기 때문에, 잘못된 식별이 되었을 때에 Attention Map를 사람의 손에 의해 수정해 주고, 그것을 바탕으로 식별이나 학습을 시켜 가는 것으로 올바른 식별으로 하려고 하는 생각입니다.

3

데이터나 어노테이션이 불충분한 곳에서 시작해도, 가시성・설명성을 주어, 사용하면서 기계 학습・AI의 성능을 올리도록(듯이) 성장시킨다고 하는 요소를 갖게 할 수 있을 것 같고 재미있다고 느꼈습니다 .



  Attention Branch Network: Learning of Attention Mechanism for Visual Explanation

↩  저자가 MIRU2018의 롱 오럴에서 Attention Branch Network에 대해 설명한 슬라이드

↩  Embedding Human Knowledge in Deep Neural Network via Attention Map