하고 싶었던 일

AWS IoT 입구에 Kinesis Firehose를 통해 Amazon S3에 파일을 저장하는 메커니즘을 만들었습니다. 노코딩이므로, 대략 1시간 정도로 실장할 수 있습니다.
사실은 Raspberry Pi 근처도 할까라고 생각했습니다만, 시간이 없기 때문에 생략했습니다.
AWS IoT의 MQTT Client라는 테스트 도구를 사용하면 Amazon S3에서 다음과 같이 파일을 만들 수 있습니다.

메커니즘

이번 연계도는 이런 느낌입니다.

AWS 서비스 간의 협력이 우수합니다. 이 근처의 서비스를 만든 결과의 감상을 마이크로서비스 부정파가 변절한 경험에 썼습니다.
초보자가 궁금해하는 것은 「Kinesis Firehose 있는 거야?」입니다. 나도 처음에는 그 상태였습니다.
Kinesis Firehose가 없으면 IoT 정보를 집계할 수 없어 Amazon S3에서 생성되는 파일 수가 비정상적으로 증가합니다.
예를 들어, 100대의 머신에서 매분마다 요청을 받은 경우 1시간의 파일 수는 다음과 같습니다.
Kinesis Firehose 없음: 6000 파일(100 * 60 = 6000)
Kinesis Firehose 있음: 20 파일

설정 1. Amazon S3

먼저 Amazon S3에서 설정합니다. 버킷을 만드는 단순한 작업입니다.
1. 버킷 만들기 버튼을 누릅니다.

2. 버킷 이름 입력 및 리전 선택만 합니다.

설정 2. Kinesis Firehose

1. Create Delivery Stream

먼저 "Create Delivery Stream"버튼을 누릅니다.

2. Destination

그런 다음 Destination을 Amazon S3로 설정하고 이전 단계에서 등록한 버킷 이름을 지정합니다.

3. Configuration

마지막은 세세한 설정입니다. 대부분은 디폴트치 그대로 하고, 「Buffer interval」만 60(초)로 했습니다. 이 설정은 60초 간격으로 AWS IoT의 정보를 집계하여 Amazon S3에 파일을 생성합니다.

구성 3. AWS IoT

1. Create a thing(1/2)

먼저 "Create a thing"버튼을 눌러 "a thing"을 만드는 것으로 시작합니다.

2. Create a thing(2/2)

다음으로 "a thing"의 정보를 입력하여 등록합니다.

3. Create a rule(1/2)

"a thing"다음에 규칙을 등록하려면 "Create a rule"버튼을 누릅니다.

4. Create a rule(2/2)

규칙에 대한 정보를 입력합니다. Choose an action에서 "Amazon Kinesis Firehose"를 선택하고 이전 단계에서 등록한 Delivery Stream을 입력합니다. "Amazon Kinesis Firehose"리전과 AWS IoT 리전이 함께 있지 않으면 풀다운 메뉴에 나타나지 않습니다.

사이고에게

이제 AWS IoT → Amazon S3로 연결되었습니다. Amazon S3는 Spark나 MapReduce등에서도 액세스할 수 있으므로 사용해 벌어집니다!

이하의 기사도 아울러 참고가 될까 생각합니다.

마이크로서비스 부정파가 변절한 경험

Amazon S3에 문서를 넣으면 Lambda를 통해 Slack에 알렸다.