ELK 로그 분석 시스템 구축

원문 링크

소개

ELK: Elasticsearch+Logstash+Kibana 로그는 주로 시스템 로그, 응용 프로그램 로그와 보안 로그를 포함합니다.시스템 운영과 개발자는 로그를 통해 서버 하드웨어 정보를 파악하고 설정 과정에서의 오류와 오류가 발생하는 원인을 검사할 수 있다.로그를 자주 분석하면 서버의 부하, 성능 안전성을 파악하고 오류를 바로잡는 조치를 취할 수 있다.
일반적으로 로그는 서로 다른 장치에 분산되어 저장된다.만약 수십 수백 대의 서버를 관리한다면, 당신은 차례대로 기계에 로그인하는 전통적인 방법으로 일지를 찾아보고 있다.이렇게 하면 번거롭고 효율이 떨어지는 것 같지 않아요?급선무는 집중화된 로그 관리를 사용합니다. 예를 들어 원본의syslog를 사용하여 모든 서버의 로그를 수집합니다.
로그를 집중적으로 관리한 후에 로그의 통계와 검색은 또 하나의 번거로운 일이 되었다. 일반적으로 우리는grep,awk,wc 등 Linux 명령을 사용하면 검색과 통계를 실현할 수 있지만 더 높은 조회, 정렬과 통계 등 요구와 방대한 기계 수량에 대해 여전히 이런 방법을 사용하는 것은 약간 힘이 들지 않을 수 없다.
오픈소스 실시간 로그 분석 ELK 플랫폼은 우리가 상술한 문제를 완벽하게 해결할 수 있다. ELK는 Elastic Search, Logstash, Kiabana 세 개의 오픈 도구로 구성된다.공식 사이트:https://www.elastic.co/products
l Elasticsearch는 개원 분포식 검색 엔진으로 분포식, 제로 설정, 자동 발견, 인덱스 자동 분할, 인덱스 사본 메커니즘,restful 스타일 인터페이스, 다중 데이터 원본, 자동 검색 부하 등이 특징이다.
l Logstash는 로그를 수집하고 분석하며 나중에 사용할 수 있도록 저장할 수 있는 완전한 소스 오픈 도구입니다. (예를 들어 검색)
l 키바나도 오픈소스와 무료 도구입니다. 키바나는 Logstash와 Elastic Search가 제공하는 로그 분석에 우호적인 웹 인터페이스를 제공하여 중요한 데이터 로그를 요약하고 분석하며 검색하는 데 도움을 줄 수 있습니다.

다운로드 주소:

https://www.elastic.co/downloads/elasticsearch https://www.elastic.co/downloads/logstash https://www.elastic.co/downloads/kibana

설치

Elasticsearch

1. 설치 패키지를 다운로드하고 운영 체제에 따라 적합한 2를 선택하여 실행합니다bin/elasticsearch or bin\elasticsearch.bat3, 방문http://localhost:9200/

Logstash

1. 설치 패키지를 다운로드하고 운영체제에 따라 적합한 2를 선택하고logstash를 수정합니다.conf 프로필

input {
  file {
    path => "/tmp/*_log"
  }
}
output {
  elasticsearch { hosts => ["localhost:9200"] }
  stdout { codec => rubydebug }
}

3. 실행bin/logstash -f logstash.conf

Kibana

1. 설치 패키지를 다운로드하고 운영 체제에 따라 적합한 2를 선택하여 실행합니다bin/kibana or bin\kibana.bat3, 방문http://localhost:5601