하고 싶은 일

Cloud Composer의 Airflow Worker에서 액세스를 IP 주소로 고정하고 싶습니다.

절차

Composer의 worker는 GKE상에서 움직이고 있으므로, GKE의 CloudNAT (와)과 같은 순서로 할 수 있습니다.

VPC · 서브넷 만들기 ( GKE의 CloudNAT Step1)

CloudNAT 설정 (GKE의 CloudNAT Step6)

사설 IP Cloud Composer 환경 만들기

Airflow 명령을 사용하거나 SSH에서 worker에 들어가고 싶은 사람은 후술하는 "GKE 마스터에 액세스"설정이 필요

세심한 주의점

Composer의 VPC 네이티브 및 프라이빗 IP 환경은 베타

따라서 Composer 환경을 만들 때 베타 기능을 활성화해야합니다 (아래 그림)

Airflow 명령을 사용하고 싶다 · Airflow worker에 들어가고 싶다

Composer에서는 gcloud composer environments run에서 Airflow 명령을 실행할 수 있습니다. (※).
※ 전부의 커맨드를 실행할 수 있는 것은 아닙니다

사설 IP 환경에서 실행하려면 Composer 환경을 만들 때 "외부 IP 주소를 사용하여 GKE 마스터에 액세스"설정이 필요입니다 (아래 그림 참조).
액세스 소스의 IP 주소 범위를 설정하십시오.

kubectl 명령으로 Airflow worker에 들어가고 싶을 때도 필요합니다.

보충

일반 Composer 환경이 아닌 프라이빗 IP 환경(공용 IP(external IP)이 없는 환경)은 Cloud NAT가 퍼블릭 IP가 없는 인스턴스에서만사용할 수 없다 때문입니다.

If your VM has an external IP address, then packets sent from the primary IP address of that interface do not use Cloud NAT.