AWS Batch에 사용되는 EC2 인스턴스의 스토리지 용량 증가

2118 단어 AWS-Batchami
무슨 일이 있었는지
AWS Batch에서 진행된 수 GB의 애니메이션 파일의 형식 변환 처리는 EC2 인스턴스의 디스크 용량 부족으로 인해 실패했습니다.
조사해 보았다
표준 AMI의 경우 Docker 컨테이너에 할당된 디스크가 10GB로 설정된 것 같습니다.
참조: How do I increase the default 10 GiB storage limit with Docker container volumes for ECS?
답도 여기에 적으세요.예를 들어 20GB를 원한다면
#cloud-boothook
#!/bin/bash

cloud-init-per once docker_options echo 'OPTIONS="${OPTIONS} --storage-opt dm.basesize=20G"' >> /etc/sysconfig/docker
이렇게 써.
어디 있어요?
해본 일
확장 디스크의 EC 인스턴스 생성
AWS Batch(or ECS) 표준에 사용되는 AMI를 확충할 필요가 있는 것으로 보인다.
표준 AMI는'아마존 ECS-Optimzed Amazon Linux'인 것 같습니다.

따라서 이 AMI를 사용하여 EC2 인스턴스를 만듭니다.
이 때 사용자 데이터에 아까 bash 스크립트를 미리 쓰고 실제 디스크 용량도 미리 증가합니다.

따라서 Docker 컨테이너를 사용할 수 있는 디스크 용량이 증가한 상태에서 EC2 인스턴스가 시작됩니다.
AMI 만들기
이 EC2 실례에서 한 작업이 없기 때문에 전원을 끄고 이를 토대로 AMI를 만들어야 한다.
AMI 제작은 콘솔 메뉴에서 선택할 뿐입니다.

AMI의 ID는 이후에 사용되므로 기억해야 합니다.
Batch용 컴퓨팅 환경 구축
마지막으로 AWS Batch에서 사용하는 컴퓨팅 환경이 작성될 때 작성된 AMI의 ID를 지정합니다.


이렇게 하면 배치에서 실행할 때 디스크 용량을 늘린 AMI를 기반으로 ECS의 가상 머신이 작동하기 때문에 수GB 클래스의 데이터를 한 번에 활용할 수도 있다.

좋은 웹페이지 즐겨찾기