고속으로 Kaggle용 GCP 환경을 간편하게 구축

GCP에 놀라운 기능이 추가되었습니다.



이전에는 Kaggle용 GCP 환경을 손쉽게 구축이라는 기사를 썼습니다.
이번에는 더 쉽게 구축하는 방법을 찾았으므로 이전 기사의 개량판으로 작성해 보겠습니다.

아래쪽 AI 플랫폼이라는 곳에 노트북이라는 기능이 추가되어 있습니다.
이것은 무엇인가라고 하면, 이전의 기사에서 소개한 jupyter notebook를 사용할 수 있도록 하는 작업을 하지 않아도 곧바로 사용할 수 있는 상태로 할 수 있다고 하는 뛰어난 것입니다.
정확하게는 Jupyter Lab이라는 것이 일어나지만, jupyter notebook을 사용한 적이 있는 사람이라면 빨리 친숙하다고 생각합니다.

사용법에 대해



위쪽의 새 인스턴스라는 버튼을 누르면 인스턴스가 설정됩니다.
이 인스턴스는 GCE와 공유되는 것 같습니다.

이 환경이라는 부분에서, 사용하고 싶은 프레임워크를 선택하면 Deep learning VM과 같이 간단하게 실행 환경을 정돈할 수 있습니다.

인스턴스를 구성한 후 JUPYTERLAB 열기를 클릭합니다.

여기에서 Notebook을 선택하면 jupyter notebook가 시작됩니다.
매우 간단합니다

그런 다음 터미널에서 명령을 입력 할 수 있으며 Python 파일도 Text File에서 만들고 rename에서 .py로 만들면 문제없이 만들 수 있습니다.

파일에 관해서도, GUI가 정비되어 있으므로 간단하게 업로드와 다운로드를 할 수 있습니다.

결론



이 기능이 구현되었기 때문에 꽤 GCP에서 계산 환경을 만드는 것이 쉬워졌습니다.
최근에는 Kaggle의 Kernel은 사용 제한이 엄격하기 때문에 Google Colab을 사용하고 있는 분도 많다고 생각합니다만, 3만엔분의 쿠폰을 받을 수 있으므로 이 기회에 GCP에 입문해 보는 것도 좋을까 생각 합니다.
뭔가 모르는 곳 등 있으면 부담없이 코멘트하실 수 있으면 다행입니다.

P.S



현재 대회에서 이 기능을 이용하고 있습니다만, 아무래도 큰 파일의 취급에 결함이 있는 것 같습니다.
예를 들어, 무거운 파일을 Jupyter lab에서 다운로드하려고하면 분명히 작은 용량의 파일이 다운로드되거나 PyTorch를 pip install하려고하면 도중에 멈춰 버립니다.
해결책은 gsutil을 사용하여 스토리지에 내보내거나 처음부터 PyTorch가 들어있는 인스턴스를 설정하는 것입니다.
앞으로의 개선에 기대하고 있습니다!

좋은 웹페이지 즐겨찾기