AWS Data Pipeline은 어떤 서비스입니까?

학전 인상

서비스 간의 데이터 흐름을 좋게 하는 녀석...
잘 모르겠어!

조사

AWS Data Pipeline이란 무엇입니까?

AWS 서비스 간의 데이터 통합 자동화
온라인으로도 작업할 수 있습니다.
AWS 데이터 Pipeline은 저장된 위치의 데이터에 정기적으로 액세스하여 필요한 규모의 리소스를 사용하여 처리합니다.
s3, RDS, EMR 등을 사용할 수 있습니다.
지정된 일정에 따라 시작할 수도 있고 셸을 사용할 수도 있기 때문에cron 대신 사용할 수도 있습니다

특징

위탁 관리 서비스

데이터 마이그레이션 또는 ELT 처리(추출)/변환(변환)/로드(데이터 저장) 등의 경우
스스로 실현하려면 기초, 소프트웨어, 관리 유지 보수 등 준비가 힘들다
AWS 데이터 Pipeline의 경우 모든 준비 작업을 AWS가 담당하므로 바로 시작할 수 있습니다.

GUI에서도 사용할 수 있습니다

개발용 GUI를 준비했습니다. 간단한 데이터 마이그레이션이라면 GUI로만 실행할 수 있습니다.
복잡한 변경이나 가공이 필요한 경우에도 데이터 Pipeline이 자신의 프로그램을 먹어치우면 실행할 수 있다
간단하지만 확장성이 있습니다.

연결 예처리를 진행한다

클라우드 서비스지만 온라인 처리에도 사용할 수 있다.

이미지 생성

그림은 다음과 같습니다.
RDS에서 데이터를 처리하여 s3로 이동하려면 Data Pipeline을 사용합니다.
데이터의 마이그레이션 조건, 형식·일정 등 모든 데이터 Pipeline이 수행됩니다.
데이터 Pipeline 제작 가능

데이터(데이터 노드)가 어디에 있습니까? 데이터의 위치와 형식입니다

어떻게 처리(Activity): 데이터 처리 활동.포장도 다 됐습니다

언제 처리(Schedule): 처리된 실행 일정입니다

누가 처리(자원): 처리와 조건의 자원을 검사합니다

어떤 조건에서 처리(Precondition): 실행 조건을 처리합니다

알림을 보내는 방법(Action): 알림의 방법입니다

학습 후의 인상

어감이 없는 것도 아니고.
서비스실에서 개별적으로 데이터를 이동하는 것은 너무 번거롭다!!!작업 공간의 가장자리에서
AWS 데이터 Pipeline을 사용하면 일관된 프로세스를 관리하고 이해하기 쉽습니다.

참고 자료

ELT 및 ETL: 차이점 정의

리소스

활용단어참조

[AWS] AWS Data Pipeline 시작

AWS Data Pipeline 사용 방법 정보

AWS Data Pipeline 편 재시작

AWS 엔지니어 입문: AWS Data Pipeline

AWS Black Belt Tech 시리즈 2015-AWS Data Pipeline

AWS Data Pipeline이란 무엇입니까?

AWS DataPipeline은 무엇을 할 수 있습니까?