Dialogue State Tracking using Long Short Term Memory Neural Networks

무슨 일이야?

RNN + LSTM을 사용하여 대화 상태 추적을 수행합니다.

선행 연구에 비해 어디가 대단한가?

선행 연구에서는 RNN을 사용하고 있었다. 그러나 간단한 RNN에서는 더 넓은 맥락을 포착하려고하면 그라디언트 소실 문제가 발생합니다. 거기서 RNN+LSTM를 사용하는 것으로 문제를 완화해, 보다 넓은 문맥을 포착할 수 있도록(듯이) 했다.

기술이나 기법의 키모는 어디?

전체도는 다음과 같으며, 사용자 발화로부터 현재의 대화 상태가 출력된다.


다음을 결합한 벡터가 LSTM에 입력됩니다.

사용자 발화를 doc2vec로 단어 포함 벡터로 변환

기타 사용자 발화의 특징을 포착 한 벡터

단어 임베딩 벡터로 변환하여 데이터의 희소성을 해결합니다.

다른 특징은 다음 두 가지를 결합한 것입니다.

프레임 값의 출현

입력 된 발화와 각 슬롯 사이의 의미 유사성

프레임값의 출현 쪽의 벡터는, 각 프레임값의 출현에 대응하는 요소가 1, 그 외는 0이 되는 벡터.
의미적 유사도의 벡터는 입력 발화 중 각 단어와 슬롯 이름 사이의 유사도를 계산한다. 유사도 계산은 단어와 슬롯 이름에 대해 WordNet을 사용하여 수행됩니다.

어떻게 유효하다고 검증했습니까?

평가 항목은 Accuracy, Precision, Recall, F1.
평가 대상은 Baseline, RNN, LSTM, Baseline과 제안 기법의 LSTM을 조합한 Combination.
데이터 세트는 DSTC 작업의 데이터 세트를 사용했다.
LSTM 단체의 성능은 좋지 않지만 Baseline과 조합한 것은 성능이 좋다는 결과가 되었다.

논쟁이 있습니까?

임베디드 벡터를 계산하는 데는 데이터 양이 너무 적었기 때문에 다른 데이터 세트를 사용하는 것을 고려 중입니다.

다음에 읽어야 할 논문은?

Robust dialog state tracking using delexicalised recurrent neural networks and unsupervised adaptation

Word-based dialog state tracking with recurrent neural networks