Anaconda에 janome과 gensim을 사용한 자연 언어 처리 환경 구축

NLP 환경을 만들었습니다. 비망록입니다.
Mecab이 아니고 Janome을 사용하고 있는 것은 환경 구축이 간단하기 때문입니다. 본격적으로 사용한다면 Mecab이 더 좋습니다.
그렇습니다.

실행 환경


  • Windows10 Pro 64bit
  • Anaconda 4.4.7
  • Python 3.6
  • Janome
  • gensim

  • 환경 구축



    Anaconda Navigator를 시작하여 가상 환경을 만듭니다.



    터미널 시작

    pip install janome
    


    pip install gensim
    


    pip install scikit-learn
    



    사용해 보았습니다.



    Janome에서 형태소 분석



    Jupyter notebook에서 실행 중입니다.
    from janome.tokenizer import Tokenizer
    # 簡単な使用方法
    t = Tokenizer()
    for token in t.tokenize(u'すもももももももものうち'):
        print(token)
    



    scikit-learn에서 tf-idf나 gensim에서 word2vec도 하고 있습니다만, 시간이 있으면 추기합니다.

    좋은 웹페이지 즐겨찾기