Attention Head의 시각화

가져오기
huggingface/transformers 너무 편리하기 때문에 이 웨이브를 타고 Attention에서 관심을 끄는 단어를 시각화할 수 있는지를 고려해 논의했다.
시각화 방법
BERT 시각화 방법이 공개되었습니다.

자연 언어 처리에 사용되는 Attention의 Weight 시각화-INOUE-KOBOCOM

Python-BERT 학습에 사용되는 attention의 시각화

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

공통 언어 표현 모델 BERT의 내부 동작을 해석해 보다

A Visual Guide to Using BERT for the First Time – Jay Alammar – Visualizing machine learning one concept at a time

…

결과는 다음과 같은 Huggingface/transformers 라이브러리를 사용하여 Colab에서 시각화할 수 있습니다.
BertViz
BertViz is a tool for visualizing attention in the Transformer model, supporting all models from the transformers library (BERT, GPT-2, XLNet, RoBERTa, XLM, CTRL, etc.). It extends the Tensor2Tensor visualization tool by Llion Jones and the transformers library from HuggingFace.
공식에는 다음과 같은 세 가지 가시화 종류가 쓰여 있다.
뷰
설명
G 번역 오류!
Attention-head view
The attention-head view visualizes the attention patterns produced by one or more attention heads in a given transformer layer.
특정한 변형 금강층의 한 개 또는 여러 개의 접촉 헤드가 발생하는 접촉 패턴이 가시화되었다.
Model view
The model view provides a birds-eye view of attention across all of the model’s layers and heads.
모형의 모든 도면층과 머리 전체에 대한 주의 공중도를 제공합니다.
Neuron view
The neuron view visualizes the individual neurons in the query and key vectors and shows how they are used to compute attention.
쿼리와 관건적인 벡터의 단일 신경원을 시각화하고 주의사항을 계산하는 방법을 보여 줍니다.
사용법
github의 Colab의 스크립트 원형을 유지하다.
다만, 일본어를 사용하다 보니 다음 부분이 변경됐다.

MeCab 설치 .

일본어 BERT에 대응하기 위해

from transformers import BertTokenizer, AutoTokenizer,BertModel 

이렇게 Autotokenizer를 추가합니다.

상기 대응지

tokenizer = BertTokenizer.from_pretrained(model_version, do_lower_case=do_lower_case) 

열다

   tokenizer = AutoTokenizer.from_pretrained(model_version)

로 수정합니다.
기타 참조는 아래의 notebook(상기 변경 이외에 정부와 동일).

오직 이렇게 해야만 이런 느낌을 가질 수 있다!

장문의 말은 매우 무겁고 키워드의 절법이 매우 싫어서 나는 반드시 해석을 배워야 한다고 생각한다.
하지만 특허조사 시 선별 등에 활용할 수 있다면 방대한 글에서 읽은 이해할 수 없는 외로운 조사 업무도 있다
이번 도서관은 "여기 봐!"이런 느낌으로 지적하면 마음도 차분해진다.
Attention의 논문과 기사도 조금씩 봤지만 쓸 수 있을지 없을지 시험해 보고 싶었다.
인용하다
공식: BertViz
논문: A Multiscale Visualization of Attention in the Transformer Model
일본어 문장이 있습니다: BertViz(BertViz) 1-ichou1 블로그