Kaggle의 Notebooks를 Google Cloud AI Notebooks에서 실행할 때 넘어지는 지점과 조치

배경


  • Kaggle에서 데이터 분석하고 싶습니다! 그러나 Kaggle의 Kernel이라면 계산 리소스가 부족하고 훈련 시간이 너무 걸립니다 ...
  • 계산 리소스를 업그레이드하기 위해 Google Cloud AI Notebooks로 마이그레이션하는 링크가 있지만 마이그레이션이 어렵습니다!
  • 마이그레이션 링크를 소개 한 후 마이그레이션 넘어지는 지점과 조치를 정리합니다

  • 마이그레이션 링크





    넘어지는 포인트와 대책



    GPU를 추가한 새 환경을 만들 수 없음



    증상


  • 오류 메시지 "Quota 'GPUS_ALL_REGIONS' exceeded. Limit: 0.0 globally."가 나타납니다.

  • 대책 방침


  • GPU를 사용하기 위해서는, GCP의 할당 제한수를 끌어올려야 한다.
  • 한계 수는 전역 ( "all regions")과 각 지역의 두 가지 유형에 대해 증가해야합니다.

  • 절차


  • "IAM 및 관리"> "할당"화면 열기
  • 검색창에서, "gpu"로 검색한다★(gpu로 검색하지 않으면, GPUs(all regions)가 나오지 않는다!)


  • 기존 Notebooks로 이동할 때 기존 Notebooks 검색이 끝나지 않음



    증상


  • 아래 화면 그대로 검색이 끝나지 않음


  • 대책 정책 및 절차


  • 검색 조건 "Environment: KaggleGPU"를 지우면, 작성된 노트북 인스턴스가 무사하게 표시된다.
  • 표시된 인스턴스를 선택하면 Kaggle 노트북을 인스턴스에서 무시할 수 있습니다.

  • 기본 초기화 스크립트를 실행하면 Notebooks를 중지할 때 업데이트된 데이터가 사라집니다.



    증상


  • 노트북 인스턴스를 중지하면 마이그레이션해야 할 노트북이 사라집니다!


  • 대책 정책 및 절차


  • 사실, Notebooks의 데이터 지속성을위한 볼륨은 "/home/jupyter"에 연결되어 있지만 마이그레이션 된 "imported"디렉토리는 "/home/imported"에 만들어집니다. 사라진다.
  • 즉, 작업용 데이터는 "/home/jupyter"이하에 두도록 하면 된다.

  • 절차


  • 작성된 "imported"디렉토리를 "/home/jupyter"이하로 이동합니다.
  • GCP의 노트북에서 마이그레이션 시 자동 생성된 초기화 스크립트의 "KAGGLE_INPUT_PATH"값을 변경합니다.
  • 좋은 웹페이지 즐겨찾기