어텐션 기구에 대한 메모.

간단하게 시도

간단하게 시도하려면 softmax를 사용하여 어텐션 레이어를 계산하고 입력 레이어와 요소 곱을 취하고,

merge([inputs, a_probs], name='attention_mul', mode='mul')

Dense에 의해 활성화 함수를 곱해, 1로서 교사 신호와 비교,
라는 형태로 학습을 한다.

어텐션층의 출력은

outputs = [layer.output for layer in model.layers if layer.name == layer_name]

라고 하는 형태로, 층의 이름으로 취할 수 있다.

keras의 작법

Dense 정보

예)

model.add(Dense(20, input_dim=5))

다음은 활성화 함수를 넣어 보자. 20개의 노드 각각에 대해 5개의 수치가 들어오지만,
그 5개의 수치의 가중합(+바이어스)을 적당하게 하는데 마지막에 함수를 곱한다. 이 때의 함수는 활성화 함수입니다.

참고 : htps : // 이 m / 이쇼 치즈 / ms / c2f864c0c에서 3d17b7에 fb

Permute 정보

keras.layers.Permute(dims)
주어진 패턴에 따라 입력의 차원을 바꿉니다.

참고

▼참고:Keras : Luong Attention은 구현할 수 있었는가? (Teacher Forcing의 이야기도 조금)
h tps:// 퀵했다. 작은 m/호타페/있어 MS/50cf80cb1일 f9C4d11파

▼참고:【 self attention 】 간단하게 예측 이유를 가시화할 수 있는 문서 분류 모델을 구현한다
htps : // 이 m/사이 k_m해/있어 ms/아 d95425b6773985에 f959
htps : // 기주 b. 코 m / n 116003 / self

▼【텍스트 분류】Convolutional Neural Networks에 Attention 기구를 사용해 보았다.
htps : // m / mr001 / ms / b 375 1938 f7c2596
htps : // 기주 b. 코 m / mr001 / c n-senchimen t-c