준비

서비스 계정 준비

해당 GCS에 액세스할 수 있는 서비스 계정을 준비합니다.



키 파일(JSON)을 작성해 다운로드. /tmp 에서도 넣어라.

cp ~/Downloads/test-gcs-to-s3-key.json /tmp

Boto 파일 준비

gsutil 명령에 AWS 자격 증명을 읽어야 하기 때문에 Boto 파일을 준비합니다.
이것도 /tmp 에서도 둔다.

less /tmp/.boto
[Credentials]
aws_access_key_id = xxx
aws_secret_access_key = yyy

[s3]
use-signv4=True
host=s3.ap-northeast-1.amazonaws.com

말할 필요도 없이 위의 자격증명은 이동처의 S3에 액세스할 수 있는 권한이 필요.
발행 순서는 할애.

해보자

GCP에 로그인

서비스 계정의 키를 사용하여 GCP에 로그인합니다.

gcloud auth activate-service-account --key-file /tmp/test-gcs-to-s3-key.json
gcloud config set project my-project

gsutil 실행

BOTO 구성 파일의 경로를 환경 변수로 설정하고 gsutil 명령을 치면 괜찮습니다.

export BOTO_CONFIG=/tmp/.boto

gsutil -m rsync -rdc \
  gs://my-gcs-bucket/subdir \
  s3://my-s3-bucket/subdir

끝.