Overview

kafka에 push된 데이터를 splunk측에서 pull할 수 있도록 한다.

구성

EC2 : m3.large
Kafka : 2.11-0.10.2.0
Splunk : Enterprise 6.6.2
※일단 움직임만 보고 싶었으므로, 모두 1대의 서버상에서 구축.

install

설치에 대해서는, kafka 공식 문서를 참고.
htps : // 또는 f? 아파치. 오 RG / 쿠이 cks rt

splunk측은 이 기사 참조.
ぃ tp // 이 m / 심지어 / ms / d1db4 또는 5c9 a f79 04fd

zk 시작

./bin/zookeeper-server-start.sh config/zookeeper.properties &

kafka 시작

./bin/kafka-server-start.sh config/server.properties

topic 만들기

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

test message 전송

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic testaaaa

splunk측 설정

kafka consumer 용 모듈러 입력을 다운로드합니다.

App을 install한다.

web interface에서 manage app → install app from file에서 먼저 다운로드한 파일을 up한다.

캡처 설정

Setting → Data inputs에서 Local input의 kafka Messaging를 선택한다.
설정은 아래와 같습니다.

테스트해보기

아래의 dmesg를 우선 보내 보자.

[ 5.113147] audit: type=1400 audit(1499923805.268:6): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/bin/lxc-start" pid=646 comm="apparmor_parser"
[ 5.113770] audit: type=1400 audit(1499923805.268:7): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/sbin/dhclient" pid=645 comm="apparmor_parser"
[ 5.113777] audit: type=1400 audit(1499923805.268:8): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/lib/NetworkManager/nm-dhcp-client.action" pid=645 comm="apparmor_parser"
[ 5.113783] audit: type=1400 audit(1499923805.268:9): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/lib/NetworkManager/nm-dhcp-helper" pid=645 comm="apparmor_parser"
[ 5.113789] audit: type=1400 audit(1499923805.268:10): apparmor="STATUS" operation="profile_load" profile="unconfined" name="/usr/lib/connman/scripts/dhclient-script" pid=645 comm="apparmor_parser"

splunk 측 검색

이런 식으로 splunk측에서 검색할 수 있다.

메모

호스트 설정에 대해서는 별도의 config에서 설정이 필요하므로 나중에 시도해 보겠습니다.