CDSW에서 로컬로 MeCab 설치

3161 단어 CDSW파이썬mecab
Cloudera Data Science Workbench(이하 CDSW)에 MeCab을 설치하는 방법으로는 C/C++ 확장된 Python 라이브러리를 Cloudera Data Science Workbench 및 Spark 클러스터에서 분산 실행 가 있지만, 단 한 노드에서 MeCab을 사용하고 싶은 경우 로컬에 설치하면 된다.

세션에는 root/sudo 권한이 없으므로 $HOME 아래에 설치합니다.

터미널 열기





MeCab 설치



MeCab 본체


$ git clone https://github.com/taku910/mecab
$ cd mecab/mecab
$ ./configure --with-charset=utf8 --prefix=$HOME
$ make
$ make install

사전


$ cd ~/mecab/mecab-ipadic
$ ./configure --with-charset=utf8 --prefix=$HOME
$ make
$ make install

$HOME/bin으로 패스


$ vi ~/.bashrc
export PATH=${PATH}:${HOME}/bin 를 추가하여 bash 시작.
$ bash

NeoLogd 사전


$ git clone https://github.com/neologd/mecab-ipadic-neologd
$ cd mecab-ipadic-neologd
$ bin/install-mecab-ipadic-neologd --prefix $HOME/lib/mecab/dic/mecab-ipadic-neologd

mecab-python3 설치


$ pip3 install mecab-python3

환경 변수 설정




변수


LD_LIBRARY_PATH${LD_LIBRARY_PATH}:${HOME}/lib



참고


  • Cloudera 문서: Project Environment Variables
  • 좋은 웹페이지 즐겨찾기