맞춤형 환경을 위한 SageMaker 수명 주기 구성

머리말

Amazon SageMaker는 데이터를 탐색하고 모델을 구축하는 데이터 과학자 및 기계 학습 엔지니어에게 매우 유용합니다. 사전 설치된 패키지의 범위는 크고 일반적인 시나리오에 충분합니다. 그러나 "pip"또는 "conda"패키지의 새로운 특정 버전을 사용하려면 관리자를 사용할 수 있습니다.

이 블로그는 당신에게 무엇을 줄 것인가?

요구 사항에 따라 구부리고 구부리고 라이프사이클 구성을 빠르게 완료할 수 있는 템플릿입니다. 🚀

문제 🧠

유일한 문제는 노트북 인스턴스를 끌 때마다 수동으로 설치된 라이브러리가 손실된다는 것입니다. 이것은 인스턴스를 시작할 때마다 루틴이 됩니다. 인스턴스를 시작할 때 환경과 라이브러리를 설정하고 싶습니다.

선호도 🧑‍💻

저는 conda를 사용하여 새로운 Python 설치로 새로운 환경을 시작하는 것을 좋아합니다. 다음은 이에 대한 한 줄입니다.

conda create -n <env_name> python=<python version>conda create -n dev_env python=3.9

그런 다음 다음과 같이 환경을 활성화할 수 있습니다.

conda activate <env_name>conda activate dev_env

환경에 들어간 후 pip 관리자를 사용하여 패키지를 설치하는 것을 좋아합니다.

pip install <package name>pip install pyarrow

이를 수명 주기 구성 셸 스크립트에 입력해 보겠습니다. 📜

다음 스크립트에서는 다음 작업을 처리합니다.

원하는 Python 버전으로 환경 생성. 이 경우 파이썬 3.9

pip 관리자로 필수 라이브러리 설치. 이 경우 pandas, pyarrow 및 TensorFlow입니다.

노트북에서 새로 만든 환경에 액세스할 수 있도록 합니다.
스크립트의 주석을 읽어 보십시오.

#!/bin/bash

set -e

# use ec2-user for operations
sudo -u ec2-user -i <<'EOF'

# environment creation
conda create -n dev_env python=3.9 -y
source activate dev_env

# library installation
pip install pandas
pip install pyarrow
pip install tensorflow==2.9

# make new environment accessible
conda install ipykernel -y

source deactivate

스크립트 배치 🪄

1. 콘솔에서 수명 주기 구성 찾기


2. 노트북 시작 시 실행할 수명 주기 구성 생성


3. 노트북 인스턴스 구성에 수명 주기 구성 추가

결과 💡

커널 선택!
드롭다운에 나열된 커널 보기 👀


터미널에서 몇 가지 확인
그리고 우리에게 필요한 것이 있습니다!



거기에 있습니다 🪄, 누군가에게 도움이 되었으면 알려주세요. 더 좋은 방법을 아시는 분은 댓글로 알려주세요! 이는 수명 주기 구성의 끝없는 적용 사례 중 하나에 불과합니다. 여기에서 액세스할 수 있습니다. SageMaker Lifecycle Configuration scripts