소개

객체 스토리지를 파일 시스템으로 마운트할 수 있는 기능goofys을 사용하여 AWS S3 버킷에서 OCI 객체 스토리지로 직접 데이터를 마이그레이션해 보았습니다.
이 방법을 사용하면 S3 버킷의 파일을 한 번 어딘가에 다운로드한 다음 업로드할 필요가 없으므로 중간 스토리지가 필요하지 않습니다.
안정적인 환경이 필요한 경우 S3 측에 AWS Storage Gateway, OCI 오브젝트 스토리지 측에 Oracle Cloud Infrastructure Storage Gateway을 사용하는 것이 좋습니다.

사전 준비

AWS 측(데이터 마이그레이션 소스)
· S3 버킷 (여기에서는 from-aws-bucket이라는 이름입니다)
· S3 버킷에 액세스할 수 있는 사용자의 액세스 키와 비밀 키
OCI(데이터 마이그레이션 대상)
· 객체 · 스토리지 버킷 (여기서 oci라는 이름)
· 객체, 스토리지 버킷에 액세스할 수 있는 사용자의 고객 비밀 키(액세스 키 및 비밀 키)
· 인터넷 액세스가 가능한 컴퓨팅 인스턴스 (이번에는 OS로 Oracle Linux 7.9 사용)

1. goofys 설치 및 설정

SSH 클라이언트에서 컴퓨팅 인스턴스로 opc 사용자로 로그인합니다.
goofys는 Go, fuse를 사용하므로 미리 설치합니다.

sudo yum install -y golang fuse

goofys 바이너리를 다운로드합니다.

wget https://github.com/kahing/goofys/releases/latest/download/goofys

goofys를 경로가 통과하는 디렉토리로 변경합니다.

sudo cp goofys /usr/local/bin

소유자를 root로 변경하고 권한을 변경합니다.

sudo chown root:root /usr/local/bin/goofys
sudo chmod 775 /usr/local/bin/goofys

goofys가 사용하는 자격 증명의 구성 파일을 만듭니다.

sudo mkdir -p /root/.aws
sudo vi /root/.aws/credentials

/root/.aws/credentials

[oci]
aws_access_key_id = AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA <- OCIユーザのアクセスキー
aws_secret_access_key = BBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBBB <- OCIユーザの秘密キー

[aws]
aws_access_key_id = CCCCCCCCCCCCCCCCCCCC <- AWSユーザのアクセスキー
aws_secret_access_key = DDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDDD <= AWSユーザのシークレットキー

이상으로 goofys를 사용할 준비가 되었습니다.

2. goofys를 통한 S3 버킷 및 오브젝트 스토리지 버킷 마운트

마운트 포인트를 만듭니다.
·/mnt_o: OCI 오브젝트 스토리지 버킷(oci)용 마운트 포인트
·/mnt_a: AWS S3 버킷(from_aws_bucket)용 마운트 포인트

sudo mkdir -p /mnt_o
sudo chmod -R 777 /mnt_o
sudo mkdir -p /mnt_a
sudo chmod -R 777 /mnt_a

/etc/fstab을 편집합니다.

sudo vi /etc/fstab

다음 두 줄을 파일 끝에 추가합니다.

goofys#oci /mnt_o fuse _netdev,allow_other,--dir-mode=0755,--file-mode=0666,--uid=1000,--gid=1000,--endpoint=https://<ネームスペース>.compat.objectstorage.<OCIリージョン識別子>.oraclecloud.com,--region=<OCIリージョン識別子>,--profile=oci 0 0
goofys#from-aws-bucket /mnt_a fuse _netdev,allow_other,--region=<AWSリージョン識別子>,--profile=aws 0 0

mount -a에서 fstab의 내용을 반영하고 OCI의 객체 스토리지 버킷 oci를 **/mnt_o에, AWS의 S3 버킷 from_aws_bucket을/mnt_a**에 마운트합니다.

sudo mount -a

3. S3 버킷에서 오브젝트 스토리지 버킷으로 데이터 복사

AWS 콘솔에서 S3 버킷 from_aws_bucket의 내용을 확인합니다.

테스트용 PDF 파일이 30개 들어 있습니다.
S3 버킷 from_aws_bucket을 마운트한/mnt_a의 내용을 확인합니다.

[opc@iptest /]$ cd /mnt_a
[opc@iptest mnt_a]$ ls -l
total 63990
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 10.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 11.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 12.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 13.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 14.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 15.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 16.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 17.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 18.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 19.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 1.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 20.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 21.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 22.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 23.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 24.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 25.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 26.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 27.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 28.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 29.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 2.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 30.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 3.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 4.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 5.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 6.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 7.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 8.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:36 50544 9.pdf

S3 버킷 from_aws_bucket의 내용이 표시되는지 확인했습니다.
그런 다음 cp 명령을 사용하여/mnt_a의 파일을/mnt_o에 복사합니다.

cp /mnt_a/* /mnt_o

복사가 완료되면 오브젝트 스토리지 버킷 oci를 마운트한/mnt_o의 내용을 확인하십시오.

[opc@iptest mnt_a]$ cd /mnt_o
[opc@iptest mnt_o]$ ls -l
total 63990
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 10.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 11.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 12.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 13.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 14.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 15.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 16.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 17.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 18.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 19.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 1.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 20.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 21.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:39 50544 22.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 23.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 24.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 25.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 26.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 27.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 28.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 29.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 2.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 30.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 3.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 4.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 5.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 6.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 7.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 8.pdf
-rw-r--r--. 1 root root 2183884 Nov 17 14:40 50544 9.pdf

/mnt_a(=S3 버킷 from_aws_bucket )의 내용이/mnt_o에 복사되었습니다.
OCI 콘솔에서 오브젝트 스토리지 버킷 oci의 내용을 점검하십시오.

S3 버킷 from_aws_bucket의 내용이 오브젝트 스토리지 버킷 oci에 복사되었음을 확인했습니다.

요약

goofys를 사용하면 AWS S3 버킷의 내용을 한 번 다운로드하지 않고 OCI의 객체 스토리지 버킷에 직접 복사하여 데이터를 마이그레이션할 수 있었습니다. 죄송합니다.
파일수나 파일 사이즈에 의한 퍼포먼스의 변화에 ​​대해서도, 나중에 확인해 보고 싶습니다.

참고 정보

・ goofys
・ Amazon S3 호환 API(OCI 객체 스토리지)