개요

Filebeat Modules와 Logstash를 함께 사용하는 구성을 생각해보십시오.
로그를 파싱하는 위치를 어디로 하는지에 따라 구성이 바뀝니다.

가장 간단한 것은 로그의 퍼스를 Ingest Pipeline에서 실시하는 구성입니다만, Logstash의 Filter를 사용하는 구성이라면 IngestPipeline에서는 할 수 없는 처리(필드의 삭제등)가 가능하게 됩니다.

Filebeat Modules의 작동 방식

FileBeat Modules는 Ingest Pipeline을 만듭니다.
로그의 성형·가공은 ElasticSearch의 Ingest Node가 담당합니다.

pipeline은 다음 명령으로 만들 수 있습니다.

filebeat setup --pipelines --modules nginx,system

확인은 다음 명령

GET _ingest/pipeline/*

구성

구성 1: 퍼스를 Ingest Pipeline에서 수행

퍼스는 ES의 Ingest Pipeline에서 수행하는 구성입니다.
Logstash의 Config에는 Filter는 넣지 않고 Input, Output뿐입니다.

구성 2: 퍼스를 Logstash에서 수행

퍼스는 Logstash의 Filter에서 수행하는 구성입니다.
IngestPipeline으로는 할 수 없는 처리(필드의 삭제 등)가 가능하게 됩니다.

다만 Module의 정의는 Collect 부분(어떤 패스의 파일을 수집하는지 등) 밖에 사용하지 않기 때문에, Filter는 스스로 정의할 필요가 있습니다.