【학습 메모】Kinesis

Kinesis



스트림 데이터를 수집·처리하기 위한 풀 매니지드형 서비스로 주로 3개의 서비스로 구성된다.

· Amazon Kinesis Streams: 스트림 데이터를 처리하는 애플리케이션을 구축.
※주요의 스트림 데이터는 이 서비스에 의해 사용해 간다. (대표 서비스)
・Amazon Kinesis Firehose:스트림 데이터를 S3나 Redshift등에 간단하게 전달.
· Amazon Kinesis Analytics : 스트림 데이터를 표준 SQL 쿼리로 실시간으로 시각화 · 분석.
※ 나머지 2개의 서비스는 조합으로 사용한다.

Amazon Kinesis Streams



스트리밍 처리를 샤드로 나누어 분산시켜 실행하기 때문에 고속 처리가 가능.
(샤드 수에 따라 데이터 처리 속도가 달라집니다. 숫자가 많으면 부하를 분산하여 고속 처리가 가능합니다.)
※샤드: Amazon Kinesis 데이터 스트림의 기본 처리량 단위.

데이터 프로듀서: 데이터 제공측.
데이터 소비자: 데이터 이용측.

Streams에 데이터 저장



참조 : htps : // 아 ws. 아마존. 이 m/jp/키네시 s/다타-st레아 ms/갓찐 g-s r d/? 응 c1=h_ls

데이터 제작자는 Amazon Kinesis 데이터 스트림에 Amazon Kinesis Data Streams API, Amazon Kinesis Producer Library(KPL) 또는 Amazon Kinesis Agent를 통해 데이터를 저장할 수 있습니다.


Amazon Kinesis Firehose



각종 DB에 전달·축적하기 위한 스트림 처리를 실시한다. Lambda와 협력하면 ETL로도 작동합니다.

Amazon Kinesis Analytics



스트림 데이터를 표준 SQL 쿼리로 실시간으로 분석

좋은 웹페이지 즐겨찾기