AWS Batch에서 컨테이너 저장 크기 확장(시작 템플릿 사용)

개요

다음 절차는 다음과 같다.

AWS Batch에서 부팅된 컨테이너의 스토리지 용량은 기본적으로 10GB

10GB 이상의 데이터를 처리하는 경우 스토리지 할당을 늘리고자 함

EC2의 시작 템플릿(Launch Template)을 사용하여 AMI를 만들지 않음

처리

보태다

AWS Batch의 실제 상태는 Amazon ECS, ECS는 Docker

Docker가 할당한 저장소는 기본적으로 10GB이기 때문에 이렇게 됩니다

기본 스토리지가 10GB인지 확인

AWS Batch의 준비 절차는 좀 복잡해서 처음 사용하는 사람에게는 어렵다

이런 배경 때문에 프로그램 마법사를 준비했다고 생각해요

마법사 설정에 따라busybox 이미지(docker image)에서 "hello world"(CloudWatch Logs)를 출력할 수 있음

hello world를 df -h로 변경하여 컨테이너에 할당된 스토리지 용량

을 확인합니다.

작업 정의

컨테이너 속성 섹션

실행 결과

CloudWatchLogs를 통해 확인(10GB이지만 9.8GB)
이거 100GB로 바꿔주세요.

확장 설정 저장(시작 템플릿 생성)

EC2페이지의 시작 템플릿 → 시작 템플릿 제작, Storage 100G 템플릿 제작
설정된 곳은 두 개이고, 나머지는 기본값입니다.

위치 설정(1): 저장(음량)

Device Name에서 지정/dev/xvdcz

ECS에 사용된 AMI는 장치 이름이므로 적합한 것 같습니다

위치 설정(2): 고급 디테일 - 사용자 데이터

사용자 데이터에 다음 내용 지정
시작할 때(그리고 Docked가 시작되기 전) 메모리 옵션을 표시하는 거죠.
(참조)https://aws.amazon.com/jp/premiumsupport/knowledge-center/increase-default-ecs-docker-limit/

Content-Type: multipart/mixed; boundary="==BOUNDARY=="
MIME-Version: 1.0

--==BOUNDARY==
Content-Type: text/cloud-boothook; charset="us-ascii"

cloud-init-per once docker_options echo 'OPTIONS="${OPTIONS} --storage-opt dm.basesize=100G"' >> /etc/sysconfig/docker

--==BOUNDARY==--