주요 관심 강화 학습 응용 사례

Team AI 연구회에서는 지속적으로 강화 학습의 비즈니스 유스 케이스를 논의하고 있습니다만,
그 중 하나가 자연 언어 처리 분야에의 응용입니다.
특히 일본어의 자연 언어 처리는 한정된 사전 데이터 등의 과제가 있지만,
강화 학습 에이전트를 잘 이용하는 것으로 어떻게든 브레이크 스루가 일어나길 바란다고 생각합니다.

그런 가운데, 아래와 같은 매우 흥미로운 논문을 발견했습니다.

A Deep Reinforced Model for Abstractive Summarization

추상적인 요약을 위한 신중한 RNN 기반 엔코더/디코더 모델은 짧은 입력 및 출력 시퀀스에 대해 우수한 성능을 달성한다.

그러나 긴 문서와 요약의 경우, 이러한 모델은 종종 반복적이고 비간섭적인 구문을 포함합니다. 우리는 인트라 어텐션과 새로운 훈련 방법을 갖춘 신경망 모델을 소개합니다.

이 방법은 표준 감독된 단어 예측과 강화 학습(RL)을 결합한다. 전자만으로 훈련된 모델은 종종 "노출 바이어스"를 나타내며 훈련 중에 각 단계에서 지상 진리가 제공된다고 가정합니다.

그러나 표준 단어 예측이 RL의 전역 서열 예측 훈련과 결합되면 결과 요약이 더 읽기 쉽습니다. 이 모델은 CNN/Daily Mail 및 New York Times 데이터 세트로 평가됩니다.

우리 모델은 CNN/Daily Mail 데이터 세트에서 41.16 ROUGE-1 점수를 받았습니다. 이것은 기존의 최첨단 모델보다 5.7포인트 개선점입니다.
또한 뉴욕 타임즈 코퍼스의 첫 번째 추상 모델 역할을 합니다. 인간의 평가는 또한 우리의 모델이 더 높은 품질의 요약을 생성한다는 것을 보여준다.

출처:
htps : // 아 rぃ v. rg/아bs/1705.04304