AWS 데이터 Pipeline 정보

AWS Data Piperline

AWS DataPipeline은 데이터를 자동으로 이동하고 변환할 수 있는 네트워크 서비스입니다.데이터 Pipeline은 저장된 위치의 데이터를 정기적으로 액세스하고 필요한 비율의 리소스를 사용하여 변환 및 처리합니다.

실제로 만져보세요.

그럼 당장 만져보고 싶어요.

역할 작성

우선 두 캐릭터를 제작한다.IAM 역할에서 역할을 선택하여 제작합니다

DynamoDB 테이블 만들기

다음 테이블이 DynamoDB에 작성되었습니다.

S3 공정의 제작

DynamoDB 데이터를 내보내기 전에 S3 구간을 만듭니다.

파이프 생성

데이터 Pipeline 생성
Name: 자체 설정
Source: Build using a template 선택 Export DynamoDB table to S3 선택
Parameters: DynamoDB의 S3에서 Export할 테이블을 선택하고 Export에 있는 S3의 폴더를 지정합니다.DynamoDB의 Region을 설정해도 오류가 발생하지 않습니다.

Piperline configuration: 출력 로그의 통을 지정합니다.

Status가 Finished가 될 때까지 Acitve를 수행합니다.

S3 확인

S3구역에 데이터가 있는지 확인해 보세요.실제로 물통으로 이동해 보니 다음과 같은 서류가 발견됐다.데이터를 제대로 입력했는지 확인하기 위해 편집기에서 확인해 보세요.
데이터가 정확하게 입력되었는지 확인하기 위해서 편집기에서 확인하십시오.이렇게 하면 데이터가 S3로 내보낼 수 있다는 것을 분명히 알 수 있다
『참고자료』

AWS 엔지니어 시작: AWS Data Piperline
AWS 재시작 AWS Data Piperline 편