【논문 시리즈】 의존 구문 분석의 신경망 모델

원문

NN을 사용한 빠르고 정확한 종속 구문 분석 (A Fast and Accurate Dependency Parser using Neural Networks)
Danqi Chen (2014)

1. 요약/배경

(보통 문장에서) 단어의 데이터 정형에 궁리를 하여 데이터간의 의존성과 희소성을 높였다.

이상의 처리를 바탕으로 NN에 걸면 학습의 속도와 정밀도가 높아졌다.

2. 골자의 이론

(1) 데이터 준비
Sentense(문장)를 단어, POS(Part-of-Speech) 태그, Arc량으로 분해한다.
POS 태그는 각 단어에 고유한 것이 흔들린다. 2어 or3어 사이의 관계나 의존성을 포착하는데 있어서 큰 역할을 한다. (아래 그림의 VBZ라든지)
Arc는 단어 간의 전이 및 이동을 나타내는 정보량. 문법적인 성질이나 조작의 내용을 내포하고 있어, Parse에 걸 때의 실행적 역할을 한다.
예 : amod : adjective modifier 형용사 · 수식 기능을 포착하는 arc



(2) Parse 작업의 장소
작업장(Stack)과, 대기실 같은 Buffer를 준비해, 적절히 2집합간을 Shift(≒Transition)시켜, Parse를 진행시킨다.

(3) 학습 방법
Words, POS 태그 및 arc label을 입력 벡터에 저장하고 NN에 적용합니다.
softmax 함수에 의한 클래스 분류를 통해 아웃풋과 교사 라벨을 비교해 나간다.



(4) 활성화 함수
$y = x^3$라는 3차 함수를 사용하고 있는 곳에 특징이 있다.
3어간의 특징을 파악하거나 할 때에, 맞는 것이 좋은 것 같다.

3. 모델 적용 예

Malt라는 성능이 좋은 Parse 알고리즘이 있지만,
Malt와 정답률이 길항하는 데 1초 정도의 처리문수가 2배 가까이에 오르고 있어 처리능력의 높이를 엿볼 수 있다.