기계 학습을 사용하여 CS의 문의 판정을 해 보았습니다.

이 기사는 삼작 Advent Calendar 2019 #1의 12/13 기사입니다.

소개

주식회사 삼자뿌에서 전국 불무를 담당하고 있습니다 nakamura입니다.
이전부터 기계 학습에 흥미가 있었으므로 배우면서 게시제와 같은 것을 시도해 보았습니다.

게임 운영은 기능 구현뿐만 아니라 문의 대응이나 조사도 엔지니어의 일 중 하나입니다.
1차 대응으로 실수해 버리면 히트 안건화해 버리는 케이스도 있기 때문에 문의를 받은 시점에서 적절하게 판별, 배분을 할 수 있으면, 보다 좋은 대응을 할 수 있는 것은 아닐까 생각했습니다.

처리 흐름

쿼리 데이터를 형태소 분석

각 문의에 라벨 지정

기계 학습 (교사 있음 학습) 및 모델 만들기

문의 판정

사용한 도구

-Phyton
-Jupyter Notebook(분석 환경)
-scikit-learn(기계 학습)
-MeCab(형태소 해석)

형태소 해석 코드 예

import MeCab
tagger = MeCab.Tagger()

#形態素解析
word_s = tagger.parse(text)
words = []
for line in word_s.split("\n"):
# 省略

기계 학습 코드 예

from sklearn.naive_bayes import GaussianNB

#省略

#学習用とテスト用に分割
x_train, x_test, y_train, y_test = train_test_split(data)
# 学習
model = GaussianNB()
model.fit(x_train, y_train)
# テスト
y_pred = model.predict(x_test)
acc = accuracy_score(y_test, y_pred)

결과

상기에서 기계 학습시킨 모델을 바탕으로 실제 CS데이터 2000건정의 판정을 실시해 보았습니다만 정밀도는 50% 정도라는 결과가 되었습니다.
실업무로 사용하기에는 일상적인 결과입니다만 문자열의 정규화나 보다 많은 단어의 신규 등록을 해 형태소 해석 정밀도를 올리는 것으로 판정의 정밀도도 오를 것 같기 때문에 계속해 임해 가고 싶습니다.

참고

바로 사용할 수 있습니다! 업무로 실천 할 수 있습니다! Python으로 AI, 기계 학습, 심층 학습 앱을 만드는 방법


내일은 @shoichi1023 님의 기사입니다.