Jupyter notebook에서 sister를 사용한 자연 언어 처리 개발 환경을 Docker로 구축

개요

명령 줄 2에서 jupyter notebook 및 자연 언어 처리 라이브러리 sister을 사용하여 개발 환경을 시작합니다.

보통으로 설정하면, Docker 기동마다, sister 의 사전 다운로드가 발생하므로, 사전 데이터를 영속화하는 설정을 더한 docker-compose.yml 를 썼습니다.

계기

평소는 Ruby 메인의 개발로, python은 자연 언어 처리를 할 때 밖에 건드리지 않는다.
개발 환경의 구축으로 편하게 하고 싶기 때문에, 곧바로 사용할 수 있는 repository를 만들었습니다.

코드

사용법

docker 설치

htps : // / cs. 도 c r. 코 m / 코 m 포세 / 인 s 타르 /

도커 메모리 증가

이것을하지 않으면 sister를 사용할 수 없습니다.

Docker preferences -> Resources

>= 6.00 GB to Memory.

다운로드

원하는 곳에서 저장소를 복제합니다.

git clone https://github.com/junara/docker_sister_jupyter.git

폴더로 이동합니다.

cd docker_sister_jupyter

시작

docker-compose build
docker-compose up -d

종료

docker-compose down

아니, Docker라면 간단하네요.

확인

http://localhost:8888/?token=jupyter로 이동하십시오.



샘플은 다음과 같습니다. http://localhost:8888/notebooks/work/SampleEnglish.ipynb

      import sister

      sentence_embedding = sister.MeanEmbedding(lang="ja") # Need long time to download data at first time.

      sentence = "私はうさぎです。"
      vector = sentence_embedding(sentence)

      print(vector)

이런 간지

해설

sister의 cahce를 이하로 local에 volumes에서 영속화 하고 있습니다. 이렇게하면 docker 환경을 다시 작성할 때마다 사전 다운로드가 더 이상 발생하지 않습니다.


docker-compose.yml

    volumes:
      - ./cache/.sister:/home/jovyan/.sister:delegated

Dockerfile은 이런 느낌. jupyter/scipy-notebook을 기반으로 require.txt에서 라이브러리를 추가 할 수 있습니다.

FROM jupyter/scipy-notebook
COPY requirements.txt /home/jovyan
RUN pip install -r /home/jovyan/requirements.txt

require.txt에 sister를 추가하여 설치하려고합니다. 추가 라이브러리가 있으면 여기에 넣으십시오. docker-compose exec jupyter pip install -r /home/jovyan/requirements.txt 하면 추가 라이브러리가 설치됩니다.

require.txt

sister

이상.