FileBeat에서 Syslog를 ElasticSearch로 전송

개요

Filebeat를 모니터링 대상 서버에 설치하고 Syslog를 ElasticSearch로 전송합니다.
(FileBeat에서 Logstash를 통해 ElasticSearch로 로그를 전송하는 방법도 있지만, 이번에는 직접 ElasticSearch로 전송)

FileBeat의 SystemModule(Syslog용 모듈)을 사용한다.

System module에 대해 자세히 알아보기
htps //w w. 에스 c. 코/구이데/엔/베아 ts/후아베아 t/쿤렌 t/후아베아 t-모즈-sys m. HTML
System module의 출력 필드
htps //w w. 에스 c. 코/구이데/엔/베아 ts/후아베아 t/콰렌 t/에 x포 르 드 푸에 lds-sys m. HTML

Module이란?

로그 포맷의, 수집·퍼스(파싱)·가시화의 템플릿.

변수를 지정하는 것도 가능. (로그 경로 변경 등)
htps //w w. 에스 c. 코/구이데/엔/베아 ts/후아베아 t/쿤렌 t/s페시 fy-ゔぁ리아 bぇ-세친gs. HTML

Ingest Node

Module로 정의된 데이터 변환/가공은 ElasticSeearch측의 Ingest Node로 처리된다.
(Logstash의 Filter에서 수행 한 작업 중 일부는 ElasticSearch에서도 수행 할 수 있습니다)
htps : // v.ぁsss d. jp / 세르 r ょ r-에서 / 에 s 치 c 세 아 rch / 에 s s 치 c 세 아 rch
htps : // speake r에서 ck. 코 m / 에 s 치 c / 응게 st- 그래서 ゔ ぉ ぇ d ぅぇ m 보 rg? s에서 = 14

ElasticSearch에서 pipeline을 확인하려면 다음을 API로 실행합니다.

GET _ingest/pipeline/*

환경

감시 대상 서버

CentOS 7.4

Filebeat 7.4.0

ElasticSearch

Alibaba Cloud Elasticsearch

Amazon Elasticsearch Service를 사용하는 경우에는 이 방법을 사용할 수 없다. (filebeat-oss 사용 필요)

Step1. FlieBeat 설치

yum을 이용하는 방법과 rpm을 다운로드하여 설치하는 방법이 있다. 이번에는 yum으로 설치했다.

Repositories for APT and YUM

Step2. filebeat.yml 수정

Filebeat의 구성 파일인 filebeat.yml을 수정합니다.

$ vi /etc/filebeat/filebeat.yml

# System moduleを有効化
filebeat.modules:
- module: system

# Output先をElasticSearchに設定
output.elasticsearch:
  hosts: ["XXX:9200"]
  username: "XXX"
  password: "XXX"

# FilebeatのConfig設定
filebeat.config.modules:
  enabled: true
  path: ${path.config}/modules.d/*.yml

# ElasticSearchのIndex名を変更
output.elasticsearch.index: "syslogtest-%{[agent.version]}-%{+yyyy.MM.dd}"
setup.template.name: "syslogtest"
setup.template.pattern: "syslogtest-*"

문법 테스트

$ filebeat test config
Config OK

Step3. 초기 설정 명령

이 명령은 Module을 사용할 수있게합니다.

$ filebeat setup -e

Step4. Filebeat 시작

# サービスとして起動
service filebeat start

# プロセスとして起動
filebeat -e

Step5. Kibana에서 확인

Kibana Indexes를 설정합니다. (절차는 생략)

로그가 도착했음을 확인할 수 있습니다.

참고: Module 적용시·비적용시 로그 비교

Module 적용되지 않을 때

Module 적용 시

"message"필드가 퍼스되고 있는 것을 알 수 있다.