Rin - Redshift data Importer by SQS messaging - 소개

이 기사는 OSS 소개 Advent Calendar 2017의 첫 번째 기사입니다.

린이란?

후지와라/린

Rin은 간단히 말해서 S3에 업로드한 로그를 Redshift에 자동으로 캡처하는 미들웨어입니다. 저는 회사에서 fluentd와 함께 다음 구성 다이어그램과 같은 형태로 사용하고 있습니다.



린이 하고 있는 것은 실선으로 표시된 부분입니다.

log aggregator라는 fluentd가 시작된 인스턴스에서 fluent-plugin-s3 S3에 업로드

업로드를 트리거하기 위해 SQS에 대기열이 있습니다. log aggregator로 시작하는 Rin이이를 수신합니다

Rin은 Redshift에서 COPY 쿼리를 실행합니다

COPY 쿼리를 실행 한 Redshift는 S3에 업로드 된 로그를 캡처합니다

해결되는 문제

S3에 업로드 된 후 이벤트가 발행되므로 버킷에 파일이 없어서 흔들리는 경우가 거의 없습니다

fluent-plugin으로 모든 일을하지 않기 때문에 책임이 분할되어 fluentd가 더 이상 박히지 않는다

실제 활용 예

소셜 게임 고객 지원을 지원하는 행동 로그 및 redash

이상의 기사에서는 유저의 행동 로그를 Redshift에 넣어, Re:dash를 이용해 가시화와 검색을 실시하고 있습니다만, 로그의 캡처에 Rin이 사용되고 있습니다.

내일 12/2는 @papix씨로, 「최근 발견해 텐션 오른 Mackerel Plugin의 소개합니다」입니다.