fluent-bit를 이용한 로그 데이터의 IIJ IOT 서비스에 축적

Fluent Bit은 Treasure Data가 개발한 리소스가 부족한 임베디드 환경에서도 작동하는 로그 전송 프로그램입니다.


이번에는 IIJ IOT 서비스를 이용하여 라즈파이의 로그 데이터를 축적하는 방법을 설명합니다.
시스템 구성은 다음과 같습니다.

USB 동글로 모바일 액세스 설정

메이커의 메뉴얼을 참조해 실시합니다
h tp // w w. 딱. 이. jp / p 로즈 cts / 네토 ぉ rk / 삐 ぁ 모비 ぇ / あ ん / ぴ x_mt100. HTML
APN 정보 등 다음 페이지를 참조하여
htps // 마누아 l. 좋은 j. jp/이오 t/도 c/14158761. HTML

fluent-bit 설치

서버 GPG 키 추가

wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -

OS 버전 확인

pi@raspberrypi:~ $ cat /etc/issue
Raspbian GNU/Linux 9 \n \l

소스 목록 업데이트

sudo su -
Raspbian 9 (Stretch)の場合
echo "deb https://packages.fluentbit.io/raspbian/stretch stretch main" >> /etc/apt/sources.list

Raspbian 8 (Jessie)の場合
echo "deb https://packages.fluentbit.io/raspbian/jessie jessie main" >> /etc/apt/sources.list

apt 데이터베이스 업데이트

sudo apt-get update

패키지 설치

sudo apt-get install td-agent-bit

구성 편집

sudo vim /etc/td-agent-bit/td-agent-bit.conf
[INPUT]
    Name                tail
    Path                /tmp/in_syslog
[OUTPUT]
    Name  http
    Match *
    Host gw.iot.iij.jp
    Port 80
    URI  /v1
    Format json
## TCP方式で送信する場合
[OUTPUT]
    Name  tcp
    Match *
    Host gw.iot.iij.jp
    Port 19921
    Format json

서비스 시작

sudo systemctl start td-agent-bit

IIJ IOT 서비스 설정

Companne에서 송신 장치의 데이터 스토리지를 ON으로 설정합니다.

Companne에서 데이터 저장 설정을 수행합니다.

로거 도구로 메시지 보내기

sudo logger -u /tmp/in_syslog test_message

결과 확인

IIJ IOT 서비스 사양은 파일에 10분에 한 번 저장되므로 파일을 생성할 때까지 최대 10분을 기다립니다.

최신 파일을 다운로드하여 내용을 확인합니다.

[{"date":1583760967.000000,"pri":"13","time":"Mar  9 13:36:07","ident":"pi","message":"test_message"}]

이상, fluent-bit를 이용한 로그 데이터의 IIJ IOT 서비스에 축적의 순서였습니다.