Glue Job에서 WorkerType을 선택할 수 있습니다.

공식 문서는 이쪽

설정 위치

"작업 추가"를 클릭



작업 속성에서 "보안 설정 ...."을 클릭

"Standard", "G.1X", "G2.X" 중에서 선택할 수 있습니다.

Standard:4vCPU, 16GB 메모리, 2Executor(예전까지)

G.1X : 4vCPU, 16GB 메모리, 1Executor, 64GB 디스크 (예 : Executor1)

G.2X:8vCPU, 32GB 메모리, 1Executor, 128GB 디스크(예: 2DPU)

상한(아마 소프트 리미트)

Standard DPU: 100

G.1X Worker 수 : 299 (Maximum capacity = 300)

G.2X Worker 수 : 149 (Maximum capacity = 299)

Standard에서 실행한 로그

core=4이므로 vCPU4
spark.executor.memory=5g이므로 1Executor당 5GB
spark.dynamicAllocation.enabled = true이므로 (최대 메모리가 다음과 같이 12GB로, Exe 당 5.5GB (이하의 메모리 overhead 더하여)) 최대 2Executor 기동한다 (5.5GB * 2 = 11GB <12GB 부팅 할 수 없음)

maximum memory capability (12288MB)이므로 최대 12GB
512MB overhead이므로 메모리 512MB 추가

G.1X에서 실행한 로그

core=8이므로 vCPU8?
spark.executor.memory=10g이므로 1Executor당 10GB
spark.dynamicAllocation.enabled = true이므로 (최대 메모리가 다음과 같이 12GB로, Exe 당 11GB (이하의 메모리 overhead 더해)) 최대 1Executor 기동한다
spark.yarn.executor.memoryOverhead = 2g이므로 메모리 2GB 추가

maximum memory capability (12288MB)이므로 최대 12GB
1024MB overhead이므로 메모리 1024MB 추가 (아마 여기에서 덮어 쓸 수 있음)

G.2X에서 실행한 로그

core=16이므로 vCPU16?
spark.executor.memory=20g이므로 1Executor당 20GB
spark.dynamicAllocation.enabled = true이므로 (최대 메모리가 다음과 같이 24GB로, Exe 당 2GB (이하의 메모리 overhead 더하여)) 최대 1Executor 기동한다
spark.yarn.executor.memoryOverhead = 4g이므로 메모리 4GB 추가

maximum memory capability (24576MB)이므로 최대 24GB
2048MB overhead이므로 메모리 2048MB 추가 (아마 여기에서 덮어 쓸 수 있음)

이쪽도 부디

Glue 사용법 요약
htps : // 코 m / 피오 호 07 / ms / 32f76 아 16cbf49f9f712f