로그 수집 도구 비교

빅데이터가 화제가 되기 시작하고 나서 날이 지나 Fluentd, Logstash, Apache flume이나 kafka의 이름을 듣게 되었다. 이들에 부수적으로 전문 검색 엔진이나 kibana 등의 비주얼라이저가 화제가 되고 있다. 로그 분석의 초보로서 로그 수집 툴에 대해 조사해 보았다.

로그 수집 도구

로그 수집 툴로서는 Fluentd, Logstash, Flume 등을 들 수 있다. 파일이나 메일, syslog, DB, 센서로부터 로그 데이터를 읽어, 필요한 로그를 필터해, json이나 xml에 정형해 아웃풋 하는 기능을 가진다.

Fluentd

장점

플러그인이 300+ 공개되어 다양한 형식의 데이터를 입력, 출력 할 수 있습니다.

단독으로 로그 필터, 버퍼, 라우팅 가능

2000+ 이상의 기업에 사용됨

일본어 정보가 많습니다

단점

단독으로 작동하기 때문에 fluentd가 떨어지면 버퍼링 된 로그가 사라집니다

예기치 않은 로그가 입력되면 많은 양의 스택 추적이 쏟아집니다.

인용구 : htp // 짱기네 r.んふぉ/せ rゔぇr/ぉきん g/fぅ엔 tdtd-아겐 t. HTML#F

Logstash

장점

필터를 쉽게 사용자 정의 할 수 있습니다

Fluentd와 비교하면 간단합니다

Windows에서도 움직이는

단점

버퍼가 없기 때문에 대량으로 로그를 토하는 경우 kafka등과 조합할 필요가 있다.

Apache Flume

장점

이중화 등의 구조도 갖추고 있으므로 장애에도 강하다

Hadoop과의 친 화성이 높음

대량의 로그 데이터를 실시간으로 전송할 수 있습니다

단점

기능이 많기 때문에 설정이 복잡합니다

Apache Kafka

Kafka는 2011년에 공개된 오픈 소스 분산 메시징 시스템이다. Zookeeper 상에 카프카 서비스를 복수 작성해 클러스터를 짜는 것으로 대량의 메시지를 받아들일 수 있다. 이용 용도로서는, 로그 수집 툴로부터의 아웃풋의 수락, 전체 텍스트 검색 엔진에 추가하기 전의 버퍼 등에 이용할 수 있다.

로그 시각화 수단에 대한 조사