【GCE/GCS】GCE에서 GCS의 데이터에 액세스하여 jupyter notebook을 기동

경위

최소한으로 시작되는 데이터 분석 기반 구축은 무엇일까? 그리고 회원과 이야기 할 기회가 있고, GCE에 GCS의 데이터를 보러 가서, jupyter notebook에서 하면 되지 않을까? 라고 생각해 보았습니다.

실현하고 싶은 것

GCE에서 GCS 스토리지에 액세스하고 jupyter notebook로 분석

절차

GCE VM 인스턴스 구축

파이썬 환경 구축 (jupyter notebook 포함)

GCS FUSE로 폴더 마운트

3로 마운트 된 파일에 jupyter notebook로 액세스

GCE 구축

VM 인스턴스 구축

인스턴스 생성 버튼을 클릭하여 빌드합니다.


이번에는 http, https 둘 다 허용합니다.

파이썬 환경 구축

jupyter notebook를 실행할 수 있는 환경으로 만듭니다.
먼저 gcloud 명령으로 ssh 할 수 있도록 확인합니다.


파이썬의 환경 구축을 해 나갑니다.

curl https://bootstrap.pypa.io/get-pip.py -o get-pip.py 
sudo python get-pip.py
sudo apt-get install -y build-essential autoconf libtool pkg-config python-opengl python-imaging python-pyrex python-pyside.qtopengl idle-python2.7 qt4-dev-tools qt4-designer libqtgui4 libqtcore4 libqt4-xml libqt4-test libqt4-script libqt4-network libqt4-dbus python-qt4 python-qt4-gl libgle3

jupyter notebook을 설치합니다.

sudo python -m pip install jupyter

GCE로 Jupyter 구축 | GMO Ad Partners Group TECH BLOG byGMO

GCS FUSE로 폴더 마운트

GCE에서 GCS 정보를 얻습니다.

적절한 폴더 만들기mkdir test
gcs 버킷 마운트gcsfuse example-bucket test
이 명령을 실행한 후 GCS 버킷에 있는 모든 파일이 마운트됩니다.
너무 편리해요 이게 w

Cloud Storage FUSE  |  Google Cloud

jupyter notebook로 마운트된 파일에 액세스

터미널 2개를 시작합니다.
하나는 아래에서 실행.

# GCEで実行すること
$ gcloud beta compute ssh  --zone "ゾーン名" "VMインスタンスのサーバー名" --project "プロジェクト名"
$ jupyter notebook

실행 결과


다른 하나는 아래에서 실행.

$ gcloud beta compute ssh  --zone "ゾーン名" "VMインスタンスのサーバー名" --project "プロジェクト名" -- -N -L 8888:localhost:8888

Google Compute Engine에서 SSH 포트 포워딩하기 - CUBE SUGAR CONTAINER
GCE 인스턴스 생성에서 ssh 연결까지 - Qiita
ssh 포트 포워딩 - Qiita

결과

localhost:8888 방문하면 jupyter notebook에 액세스 할 수 있어야합니다!