filebeat 설정

logstash 의 성능 이 너무 떨 어 지고 메모 리 를 많이 소모 합 니 다. 한 입 에 g 의 메모리 가 있어 서 가난 한 사람들 은 놀 수 없습니다.두 개의 인 스 턴 스 를 열 었 습 니 다. memory out, danm it ~!이것 은 나 로 하여 금 logstash 를 포기 하고 filebeat 를 직접 사용 하 게 했다.저 는 nginx 로 그 를 수집 할 뿐 filter 가 많 지 않 습 니 다. filebeat 는 충분 합 니 다.
filebeat 성능 이 logstash 몇 거 리 를 따 돌 렸 습 니 다.logstash 인 스 턴 스 는 1G 메모리 가 비어 있 습 니 다. cpu 를 움 직 이지 않 으 면 죽 을 것 같 습 니 다.반면 filebeat 작업 메모리 가% 1 을 (를) 넘 지 않 고 cpu 도% 1 을 (를) 넘 지 않 아 더 이상 좋 을 수 없습니다.
filebeat.yml

filebeat.config.modules:
  enabled: true
  path: ${path.config}/modules.d/*.yml

queue.mem:
  events: 4096
  flush.min_events: 512
  flush.timeout: 5s

setup.template.name: "web-logs"
setup.template.pattern: "web-log-*"
setup.template.fields: "/etc/filebeat/fields.yml"
setup.template.overwrite: false
setup.template.settings:
  index.number_of_shards: 3
  index.number_of_replicas: 1

output.elasticsearch:
  hosts: ["192.168.13.158:9200", "192.168.13.159:9200"]
  index: "yupoo-logs-%{+yyyy.MM.dd}"

filebeat 에는 기본 적 인 마 판 이 내장 되 어 있 습 니 다. 일반적인 상황 에서 템 플 릿 을 만 들 필요 가 없습니다. 물론 당신 은 자신의 요 구 를 제외 합 니 다.템 플 릿 을 사용자 정의 하려 면:filebeat setup template_name
현재 사용 가능 한 보기:filebeat export template
apache, nginx, my sql, system 등 많은 템 플 릿 이 내장 되 어 있 습 니 다.
elasticsearch index 가 기본 템 플 릿 시리즈 이름 을 사용 하지 않 으 면 다음 두 가 지 를 설정 해 야 합 니 다.setup.template.name: "web-logs" setup.template.pattern: "web-log-*" 웹 로그 와 일치 합 니 다 - 2017 - 12 - 02
setup. template. fields: 기본 fields. yml 을 직접 사용 하면 됩 니 다. 특별한 도움 없 이 다시 만 들 필요 가 없습니다.
테스트 템 플 릿:filebeat test config
테스트 출력:filebeat test output
여기 서 주의해 야 할 것 은 테스트 가 모두 통과 되 었 지만 반드시 문제 가 없 는 것 은 아니다.먼저 filebeat 서 비 스 를 시작 합 니 다:service start filebeat / / rpm 패키지 로 설 치 했 습 니 다.
filebeat 서비스 보기:ps aux | grep filebeat
filebeat 실행 로그 경 로 를 알 수 있 습 니 다 -path.logs /var/log/filebeatfilebeat 로그 관찰tail -f /var/log/filebeat/filebeat
이러한 오 류 를 얻 었 습 니 다.
ERR Failed to connect: Connection marked as failed because the onConnect callback failed: Error loading pipeline for fileset nginx/access: This module requires the following Elasticsearch plugins: ingest-geoip. You can install them by running the following commands on all the Elasticsearch nodes:

sudo bin/elasticsearch-plugin install ingest-geoip

nginx / access 모듈 은 es 에 ingest - geoip 플러그 인 을 설치 해 야 한 다 는 뜻 입 니 다.현재 es 설치 플러그 인 은 회색 으로 간단 합 니 다. 설정 을 수정 하지 않 아 도 ES 에 있 습 니 다.HOME 실행:bin/elasticsearch-plugin install ingest-geoip
modules.d/nginx.yml

- module: nginx
  # Access logs
  access:
    enabled: true
    var.paths: [/disk/ssd1/logs/nginx/x.yupoo.com.access.log]

  # Error logs
  error:
    enabled: true
    var.paths: [/disk/ssd1/logs/nginx/x.yupoo.com.error.log]