한국어 임베딩(3) - 한국어 전처리

3.1.1 한국어 위키백과 한국어 위키백과의 원 데이터(raw data)를 다운로드 하는 방법 KorQuAD : 한국어 기계 독해를 위한 데이터셋 문장이나 단어의 경계를 컴퓨터에 알려주지 않으면 어휘 집합에 속한 단어 수가 기하급수적으로 늘어나서 연산의 비효율이 발생 형태소 분석 기법을 사용하면 어휘 집합을 줄일 수 있다. 은전한닢(Mecab), 꼬꼬마(Kkma), 한나눔(Hannanum),...

임베딩한국어이기창지음한국어임베딩이기창지음