flume 로그 수집 도구 비교 빅데이터가 화제가 되기 시작하고 나서 날이 지나 Fluentd, Logstash, Apache flume이나 kafka의 이름을 듣게 되었다. 이들에 부수적으로 전문 검색 엔진이나 kibana 등의 비주얼라이저가 화제가 되고 있다. 로그 분석의 초보로서 로그 수집 툴에 대해 조사해 보았다. 로그 수집 툴로서는 Fluentd, Logstash, Flume 등을 들 수 있다. 파일이나 메일, s... FluentdKafkaflumeLogstash exec 방식flume-ng 설정 flume kafka - producer 의 생산 속도 와 kafka - consumer 의 소비 속도 비교 상류 데 이 터 는 kafka 에 저장 되 어 있 으 며, flume 을 사용 하여 데 이 터 를 수집 하여 hdfs 등 다양한 flume Sink 으로 전송 합 니 다.이 과정 에서 kafka 의 데이터 생산 속도 가 flume 의 소비 속도 보다 높 으 면 데이터 축적 이 발생 할 수 있다.이 과정 을 감시 하기 위해 서 는 카 프 카 의 생산 과 소비 상 태 를 정시 에 감시 해 야 한... kafkaflumeshell
로그 수집 도구 비교 빅데이터가 화제가 되기 시작하고 나서 날이 지나 Fluentd, Logstash, Apache flume이나 kafka의 이름을 듣게 되었다. 이들에 부수적으로 전문 검색 엔진이나 kibana 등의 비주얼라이저가 화제가 되고 있다. 로그 분석의 초보로서 로그 수집 툴에 대해 조사해 보았다. 로그 수집 툴로서는 Fluentd, Logstash, Flume 등을 들 수 있다. 파일이나 메일, s... FluentdKafkaflumeLogstash exec 방식flume-ng 설정 flume kafka - producer 의 생산 속도 와 kafka - consumer 의 소비 속도 비교 상류 데 이 터 는 kafka 에 저장 되 어 있 으 며, flume 을 사용 하여 데 이 터 를 수집 하여 hdfs 등 다양한 flume Sink 으로 전송 합 니 다.이 과정 에서 kafka 의 데이터 생산 속도 가 flume 의 소비 속도 보다 높 으 면 데이터 축적 이 발생 할 수 있다.이 과정 을 감시 하기 위해 서 는 카 프 카 의 생산 과 소비 상 태 를 정시 에 감시 해 야 한... kafkaflumeshell