Amazon Kinesis

8762 단어 AWS Kinesis

1. 이른바 아마존 킨스

흐르는 데이터를 수집하고 처리하는 데 사용되는 전체 관리 서비스.

1-1 Amazon Kinesis Streams

흐르는 데이터 처리용 분석 시스템과 응용을 구축하다.

여러 응용 프로그램에서 동시에 질서정연한 이벤트 흐름에 접근할 수 있다.일련 번호를 지정합니다.

데이터의 종류와 처리에 따라'흐름'을 만들고 1개 이상의'밑판'으로 구성되어 이 수량으로 삼복량을 조정한다.

저장 기간은 기본적으로 24시간에서 최장 7일로 설정됩니다.

1 데이터 로깅의 크기는 최대 1MB입니다.

Amazon Kiness Streams에 대한 서비스 제한 사항

프로듀서(데이터 전송자)

Amazon Kinesis Agent
OSS Amazon Kiness 서비스에 데이터를 쉽게 수집할 수 있는 독립형 Java 어플리케이션
Amazon Kinesis Producer Library (KPL)
Amazon Kiness Streams에 데이터를 전송하는 OSS의 보조 프로그램 라이브러리
Fluent plugin for Amazon Kinesis
Amazon Kinesis Streams와 Amazon Kiness Firehose에 이벤트를 보내는 OSS의 Flentd 출력 플러그인
Amazon Kinesis Data Generator (KDG)
Amazon Kiness Data Generator(KDG)를 사용하면 Amazon Kiness Streams 또는 Amazon Kiness Firehose에 테스트 데이터를 간단하게 보낼 수 있습니다.

소비자(데이터 처리 측면)

Amazon Kinesis Client Library (KCL)
KCL을 이용하여 Kinesis 앱을 제작할 수 있다

암호화하다

KMS를 통해 저장 중인 데이터를 암호화

https단점의 전송 데이터 암호화 사용

반복 레코드 작업

Amazon Kinesis Data Streams Application에 여러 번 음반을 발표한 이유는 다음과 같습니다.

프로듀서의 재시도

소비자 재시도

라고 적었다.
응용 프로그램은 각 기록의 여러 차례 처리를 예측하고 적절하게 처리해야 한다.
프로듀서가 PutRecord를 호출한 후 Amazon Kiness Data Streams로부터 확인을 받을 때까지 네트워크 관련 시간 초과가 발생할 수 있습니다.
이 경우 프로듀서는 음반이 Kiness Data Streams에 발표되는지 확인할 수 없습니다.
만약 모든 음반이 응용 프로그램에 매우 중요하다면, 프로듀서는 같은 데이터를 사용하여 다시 호출을 시도하는 것으로 정의해야 한다.
PutRecord를 동일한 데이터로 호출할 때 둘 다 Kinesis Data Streams에 성공적으로 제출되면 Kiness Data Streams의 기록은 두 개가 됩니다.
두 기록은 데이터가 같아도 유일한 시퀀스 번호를 가지고 있다.
나중에 처리할 때 중복을 삭제할 수 있도록 엄격하게 보장해야 하는 프로그램은 기록에 주 키워드를 삽입해야 한다.
프로듀서의 재시도로 인한 중복수는 일반적으로 소비자의 재시도로 인한 중복수보다 적다는 것을 주의하십시오.
따라서 기록에 주 키워드를 삽입하고 나중에 처리할 때 중복을 삭제해야 한다.

리셋

데이터 전송 속도가 증가할 때 데이터 흐름의 디스크 수를 조정하여 데이터 흐름의 속도 변화에 응용한다.

섀시 분할

섀시의 결합
라는 두 가지 작업을 수행합니다.

디스켓 분할
하나의 섀시를 두 개의 섀시로 분할하여 스트리밍 처리량 향상
섀시의 결합
두 섀시를 하나의 섀시로 병합하여 스트리밍 처리량 감소

1-2 Amazon Kinesis Firehose

S3 또는 DB에 배포/스토리지를 위한 스트리밍 구현

발송 목적지에 따라'분배 흐름'

만들기

섀시는 제작할 필요가 없습니다.

1 데이터 로깅의 최대 크기 1MB

무제한 크기 조절

로 설계

Amazon Kinesis Streams에서Firehose로 스트리밍 데이터 직접 전송

1-3 Amazon Kinesis Analytics

표준 SQL 조회를 통해 스트리밍 데이터를 실시간으로 분석합니다.

분석 단위에서'적용'을 생성하고'원본/목적'

을 설정합니다.

Lambda 함수

를 SQL 조회를 실행하기 위한 사전 처리로 지정할 수 있음

입력줄 1개의 최대 크기 50KB/참조 소스의 최대 크기 1GB

2. Amazon Kiness와 SQS의 비교

비교 표
SQS(Amazon Simple Queue Service)
Kinesis
개요
간단한 메시지 수신 시스템.
스트리밍 처리(빅데이터 등)
구조
・간단(투입, 제거, 삭제)・무질서 번호.
● SQS에 비해 기록, 일련 번호, 구역, 데이터 BLOB 등 구조와 조작이 더 복잡하다./일련 번호가 있습니다.
의 목적
주로 컴퓨터 간 처리의 연결 부분이다.(Kiness처럼 순식간에 대량의 데이터를 처리하는 데 적용되지 않음)
대량의 데이터를 처리할 수 있다.1 섀도우는 최대 1000/s의 PUT를 처리할 수 있습니다.섀도우를 추가하여 성능을 향상시킵니다.일반 대중을 위한 인터넷 투표 시스템 등.
보존 기간
개봉 후 30초 동안 처리되지 않을 때 개봉하지 않습니다.기본 저장 기간은 14일입니다.
24시간 저장이 기본값입니다.여러 번 얻을 수 있다.
넣을 것
명령을 주로 입력합니다.
주요 입력 데이터.
가격.
Kiness보다 높음
SQS보다 저렴