프라이빗 서브넷의 Amazon EMR 클러스터에 NAT 게이트웨이가 필요하지 않습니까?

먼저 결론

프라이빗 서브넷의 클러스터는 서비스 액세스를 위한 ENI를 통해 EMR과 통신하기 때문에
NAT 게이트웨이를 사용하지 않고 작업을 실행할 수 있습니다.

그러나 S3의 VPC 엔드 포인트는 반드시 필요합니다

클러스터 시작 요청 자체는 인터넷을 통해 EMR 엔드 포인트에 API 요청을 던져야합니다

수행하고 싶은 내용
NATGW가 필요합니까?


프라이빗 서브넷 내에서 RunJobFlow와 같은 API 요청
필요

다른 AWS 서비스와 통신이 필요없는 작업 실행
불필요

VPC 엔드포인트를 지원하지 않는 AWS 서비스와 통신이 필요한 작업
필요

VPC 엔드포인트를 지원하는 AWS 서비스와 통신이 필요한 작업
불필요

문서나 FAQ에 따라 기재가 마을

VPC 환경에서 Amazon EMR 클러스터를 시작하는 방법은 무엇입니까?
htps : // 아 ws. 아마존. 이 m / jp / p 레미 m 쏘 rt / k의 w ぇd 굳어 r / 에 mr ぁ 응 ch ぅ s r vpc /

Amazon EMR 프라이빗 서브넷을 사용하는 경우 NAT 게이트웨이와 보안 그룹을 사용해야 합니다.

네트워크 계획 및 구성
htps : // / cs. 아 ws. 아마존. 이 m / 그럼 _ jp / 에 mr / ㅁ st / 마나게 멘 t 굉장히 / 에 m rp ぁ - vpc - b t. HTML

공용 및 사설 VPC 서브넷 모두에서 EMR 클러스터를 시작할 수 있습니다. 이는 EMR 클러스터를 실행하기 위해 인터넷 연결이 필요하지 않음을 의미합니다.

또한 다음에서 AWS 서비스 엔드 포인트에 대한 통신이 발생하지 않으면
NAT 게이트웨이는 불필요하게 읽을 수 있습니다.

하지만 엔터프라이즈 인트라넷 또는 AWS Key Management Service와 같은 퍼블릭 AWS 서비스 엔드포인트와 같은 VPC 외부의 서비스 또는 리소스에 액세스하도록 NAT(서비스 네트워크 주소 변환) 및 VPN 게이트웨이를 구성해야 합니다. 하지 않을 수 있습니다.

다음 문서에서도 통신이 필요한 AWS 서비스에 VPC 엔드포인트가 제공되는 경우
NAT 게이트웨이를 불필요하게 읽을 수 있습니다.

Amazon VPC 옵션 - 프라이빗 서브넷
htps : // / cs. 아 ws. 아마존. 이 m / 그럼 _ jp / 에 mr / ㅁ st / 마나게 멘 t 굉장히 / 에 mr ぅ s rs ーーーー vpc. html # mr-vpc-p

VPC 엔드포인트를 제공하지 않는 AWS 서비스에 액세스하려면 NAT 인스턴스 또는 인터넷 게이트웨이를 계속 사용해야 합니다.

실제로 시도해보기

클러스터를 만들 때 프라베트 서브넷을 지정하면 다음과 같은 메시지가 표시되지만,
클러스터 자체를 만들 수 있습니다.



그건 그렇고, EMR 콘솔에서 S3 엔드 포인트, NAT 인스턴스를 만들 수는 있지만,
지금은 NAT 게이트웨이 작성에 대응하지 않는 것 같습니다.

클러스터의 부트스트랩과 샘플 Hive 스크립트 실행도 문제없이 완료됩니다.



참고: 4단계: Hive 스크립트를 실행하여 샘플 데이터 처리
htps : // / cs. 아 ws. 아마존. 이 m / 그럼 _ jp / 에 mr / ㅁ st / 마나게 멘 t 굉장히 / 에 mrgs-p 로세 s- mp ぇ-이었다. HTML

클러스터가 EMR 서비스 엔드포인트와 어떻게 통신하는지

NAT 게이트웨이가 없는 환경에서도 EMR은 클러스터 상태 및 작업 처리 상태를 인식합니다.
이는 서브넷에 생성된 서비스 통신용 ENI를 통해 클러스터가 관리되기 때문입니다.


htps : // / cs. 아 ws. 아마존. 이 m / 그럼 _ jp / 에 mr / ㅁ st / 마나게 멘 t 굉장히 / 에 mr ぅ s rs ーーーー vpc. html # mr-vpc-p



참고: 당시의 Blog Post
【새로운 발표】 - Amazon EMR 클러스터를 프라이빗 서브넷으로 시작
htp : // 아 ws. ty 페파 d. 이 m/아ws_쟈팡/2015/12/네 w-ぁ응 ch-아마죤-에 mrcぅs로 rs-인-p ゔぁ테-스 b네 ts. HTML

프라이빗 서브넷에서 EMR 서비스가 클러스터와 통신하는 데 사용하는 ENI에 설정할 보안 그룹을 지정할 수도 있습니다.

이상입니다.
도움이되면 다행입니다.