여러 문서에서 중요 정보 추출 및 표 생성 (돗토리 대학, 류야 대학, 언어 처리 학회 2018)

word2Vec을 사용하여 wikipedia의 성 관련 페이지 → 단어 전용 → 벡터 → 클러스터링 → 테이블 생성

word2Vec을 이용하여 wikipedia의 성 관련 페이지→문장 전체→벡터→(x-means법) 클러스터링→테이블 생성(각 클러스터의 중요도 점수 산출)

단어 → 문장 : 단어로는 정보가 불충분

정리된 테이블의 열별 정보 추출 재현률 62% → 90%

(출처: 상기 논문)

한 문장에 다른 복수의 내용이 내포되고 있을 때: 인구는 10명으로, 면적은 100m2. →「인구는 10명」과 「면적은 100㎡」로 분해해야 한다.

구문 분석 (예 : KNP) → 문의로 문장으로 구분한다.

격분석(예: KNP) → 분명히, 각 문장의 말미를 잘 문장 종료형으로 변형한다.

각 문장의 격요소 마다 형태소 해석→명사만, 품사 분류 1이 대명사, 수, 비자립, 부사 가능 이외를 추출.

단어 벡터 모델 : fastText (2 층 NN. 숨겨진 계층은 단어의 분산 표현에 해당). 학습 데이터는 wikipedia 전체 기사, 단어 벡터는 300 차원.

추출한 단어의 벡터의 평균값을 그 격 요소 벡터로 한다.

격 요소 벡터의 합을 문 벡터로 한다.

클러스터별 중요도 계산(Xmeans 방법)

밀집율이 높은 클러스터의 중요도> 밀집율이 낮은 클러스터의 중요도

클러스터의 문장이 서로 닮았다 → 밀집되어있다

많은 문장을 포함한 클러스터의 중요도 ＞ 소수의 문장을 포함한 클러스터의 중요도

100개의 문장 중 20개가 k번째 클러스터로 분류된 →k번째 클러스터의 중요도 ck=20/100=0.2.

정보 추출 평가 방법

F값 사용.

이하, 본 논문이 우수한 예

(출처: 상기 논문)

이 문제에 관하여(논문 요약: 여러 문서에서 중요 정보 추출 및 테이블 생성), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/ghtaro/items/603f75913062774a17f6

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

우수한 개발자 콘텐츠 발견에 전념 (Collection and Share based on the CC Protocol.)

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다