AWS 빅 데이터

■ 원래 빅 데이터란?

빅데이터란? 읽어 보자.
포인트는 신속하게 결과를 내고 개선을 반복해 나가는 것이 중요합니다.

참고: 빅 데이터 고객 성공 사례

■빅 데이터로 사용할 수 있는 AWS 서비스 사례

AWS에는 데이터 레이크 구축 및 다양한 데이터 분석을 가능하게 하는 많은 서비스가 있습니다.

* 데이터 레이크란??
규모나 형식에 관계없이 모든 데이터를 처리하지 않고 저장할 단일 데이터 저장소입니다.


품목
내용
AWS 서비스


1. 수집
데이터를 수집하고 데이터 레이크에 저장합니다.
AWS Snowball→온프레미스에서 물리적 데이터 마이그레이션이 가능. AWS DM → 기존 DB에서 데이터 마이그레이션 복제 (복제 및 동기화) 가능. Amazon Kinesis → 비디오 등의 스트리밍을 데이터를 연계 가능. AWS IoT → 디바이스로부터의 센서 정보 등을 연계 가능.

2. 저장
전체 기간 저장, 공통 API로 저장한다.
Amazon S3 → 데이터 레이크

3. 처리
데이터 레이크에 액세스하고 분석합니다.
AWS Glue, Amazon EMR → Handoop 및 Spark를 이용한 데이터 추출 및 변환 Amazon RDS, Amazon Redshift → DWH 및 데이터 마트 등 SQL을 통한 추출 및 집계

4. 시각화
인간이 활용하기 쉬운 형태로 가시화한다.
Amazon QuickSight→BI 서비스와 연계하여 가시화가 가능


AWS는 대량의 데이터 처리에 대한 각 단계에서 필요한 서비스가 제공된다.

구성 예

S3+Athena+QuickSight


Amazon QuickSight + Athena + S3 핸즈온 나중에 공개