논문 총결산

시작:

본고는 NLP에 삽입된 단어의 정교한 조화 방법 중 하나인retroffiting[1]

을 총결하였다.

본 논문을 읽는 동기로Fasttext 등을 통해 기존 단어의 삽입 방법을 정교하게 조화시키려는 것이다

관련 단어 쌍에 대한 데이터가 있기 때문에 이 데이터를 사용하여 단어 채우기를 개선할 수 있는 방법을 찾습니다

abstract:

[1]에서 인용

Vector space word representations are learned from distributional information of words in large corpora. Although such statistics are semantically informative, they disregard the valuable information that is contained in semantic lexicons such as WordNet, FrameNet, and the Paraphrase Database. This paper proposes a method for refining vector space representations using relational information from semantic lexicons by encouraging linked words to have similar vector representations, and it makes no assumptions about how the input vectors were constructed. Evaluated on a battery of standard lexical semantic evaluation tasks in several languages, we obtain substantial improvements starting with a variety of word vector models. Our refinement method outperforms prior techniques for incorporating semantic lexicons into word vector training algorithms.
무슨 물건이요?

벡터 공간을 바탕으로 하는 단어의 방차 표시는 유익하지만 WordNet, FrameNet,Parraphrase Database 등 의미 사전에 포함된 정보를 활용할 수 없다

실제로 워드2Vec 등은 분포 가설을 바탕으로 벡터 공간을 확정하기 때문에 반의어와 다의어에 익숙하지 않아 반의어와 같은 분산 표현이 된다

따라서 우리는 의사사전에서 나온 관계 정보를 이용하여 벡터 공간을 개선하는 방법을 제시했다

링크를 촉진하는 단어는 유사한 벡터 표시

를 가진다
선행 연구와 비교하면 어디가 대단합니까?

입력 벡터의 구축 방법을 지정하지 않고post-Processing step의 이 방법으로 사용할 수 있는 "retroffiting"

즉, 예비 학습에 사용되는 모델은 임의로 할 수 있다

도표를 바탕으로 하는 학습 방법으로WordNet과 같은 어휘 자원을 이용하여 더욱 높은 품질의 벡터 공간을 얻는다

처리 속도가 빠르고 10만 개의 단어(벡터 길이 300)의 도표를 약 5초 처리하면 완성

기술과 기법의 관건은 어디에 있습니까?

어휘자원을 이용하여 언어모델에서 얻은 분산 표시를 벡터 수정한 곳

후처리에서 교정할 수 있기 때문에 본 방법을 시도하기 쉽다

어떻게 유효성을 검증합니까?

에 사용된 어휘자원:lexicons(의사사전)로서 PPDB,WordNet,FrameNet

을 사용한다.

SPAMAN의 순위 상관 수를 측정한 평가 그룹

WS-353[2]

RG-65[3]

MEN 데이터 세트[4]

또한 다음 평가팀에 대해 Acuracy 측정

문법관계(SYN-REL)의 평가에서 Mikolov 등을 바탕으로 한 데이터 집합[5]

관련 단어 선택(Synonim Selection:TOEFL)에 대한 평가에서 TOEFL의 문제[6]

Socher 등의 데이터 세트[7]

가 감상분석(Sentiment Analysis:SA)에 대한 평가에서

다양한 언어로 평가한 결과 벡터 공간의 개선을 확인할 수 있다

본 논문은 일본어를 평가하지 않았지만 전구 등에 대한 연구[8]에서 효과

를 확인했다
의론이 있습니까?

벡터 길이가 큰 상황에서retroffiting을 통해 더 많은 의미 정보를 보충할 수 있을 것으로 예측되고 실제로retroffiting 이후에도 벡터 길이의 표시력에 따라 의미 정보를 포착할 수 있다

이하 인용자[1]

retroffiting 이후의 유사한 쌍의 벡터는 같은 방향으로 배열됨

이하 인용자[1]

다음에 읽어야 할 논문은?

일본어에서retroffiting을 검증하고 있는 [8]의 논문

참고 문헌
[1] Faruqui, M., Dodge, J., Jauhar, S. K., Dyer, C., Hovy, E. and Smith, N. A.: Retrofitting Word Vectors to Semantic Lexicons, Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Association for Computational Linguistics, pp. 1606–1615 (2015).
[2] Lev Finkelstein, Evgeniy Gabrilovich, Yossi Matias, Ehud Rivlin, Zach Solan, Gadi Wolfman, and Eytan Ruppin. 2001. Placing search in context: the concept revisited. In WWW, New York, NY, USA
[3] Iryna Gurevych. 2005. Using the structure of a conceptual network in computing semantic relatedness. In Proceedings of IJCNLP.
[4] Elia Bruni, Gemma Boleda, Marco Baroni, and NamKhanh Tran. 2012. Distributional semantics in technicolor. In Proceedings of ACL.
[5] Tomas Mikolov, Wen-tau Yih, and Geoffrey Zweig. 2013b. Linguistic regularities in continuous space word representations. In Proceedings of NAACL.
[6] Thomas K Landauer and Susan T. Dumais. 1997. A solution to plato’s problem: The latent semantic analysis theory of acquisition, induction, and representation of knowledge. Psychological review.
[7] Richard Socher, Alex Perelygin, Jean Wu, Jason Chuang, Christopher D. Manning, Andrew Y. Ng, and Christopher Potts. 2013. Recursive deep models for semantic compositionality over a sentiment treebank. In Proceedings of EMNLP.
[8] 전구웅야, 전삼수명, 인견웅태, 서조우이랑, 국광: 동의어를 고려한 일본어 단어의 분산 표현 학습, 정보처리학회 연구보고서, Vol.27-NL-233 No.172017.