elk 학습

7392 단어

관련 리소스:


설치 패키지:


elasticsearch 다운로드:https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar/elasticsearch/2.2.0/elasticsearch-2.2.0.tar.gz
logstash 다운로드:https://download.elastic.co/logstash/logstash/logstash-2.2.1.tar.gz
kibana 다운로드:https://download.elastic.co/kibana/kibana/kibana-4.4.1-linux-x64.tar.gz

홈 주소:


grok debugger 검증 grok 표현식:https://grokdebug.herokuapp.com/
es 중국어 문서:http://wiki.jikexueyuan.com/project/elasticsearch-definitive-guide-cn/
Elk 중국어 문서:http://kibana.logstash.es/
kibaba 검색 구문:https://segmentfault.com/a/1190000002972420
es 구성:https://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html

es 공식 권장 구성:


테스트 명령:

curl localhost:9200/_nodes/stats/process?pretty

시스템 구성:


    1. JAVA_ 수정OPTS 스택 크기 지정
    2. ulimit-n 65535 이상
    3. sysctl -w vm.max_map_count=262144
    4. swap 또는 swappiness를 0으로 설정 닫기
    5. bootstrap을 설정합니다.mlockall:true, 지정한 tmp 디렉터리를 시작합니다./bin/elasticsearch -Djna.tmpdir=/path/to/new/dir

filebeat 구성:

filebeat:
  registry_file: "/usr/local/filebeat/.filebeat"
  prospectors:
    -
      paths:
        - /usr/local/nginx/logs/access.log
      document_type: type1
    -
      paths:
        - /usr/local/nginx/logs/error.log
      document_type: type2
    -
      paths:
        - /usr/local/nginx/logs/other.log
      document_type: type3
output:
  logstash:
    hosts: ["192.168.241.130:5044"]
    worker: 1

logstash 구성:

input {
    beats {
        port => 5044
        # ssl => false
        # ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
        # ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
    }
}

filter {
    if [type] == "type1" {
       grok {
           patterns_dir => "./patterns"
           match => { "message" => "%{NGINXLOG}" }
       }
       geoip {
            source => "remote_addr"
            target => "geoip"
            database =>"/usr/local/logstash/geoip/GeoLiteCity.dat"
            add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
            add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
       }
       #  ， 。
       date {
           locale => "en"
           match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
       }
       mutate {
           remove_field => "timestamp"
       }
    }
    else if [type] == "type2" {
        #  json， json 。
        grok {
            patterns_dir => "./patterns/"
            match => {"message" => "%{DATETIME:timestamp} \[%{WORD:level}\] %{GREEDYDATA:jsonmessage}"}
        }
        json {
            source => "jsonmessage"
            remove_field => ["jsonmessage"]
        }
    }
    else if [type] == "type3" {
        #  
        multiline {
            pattern => "^\d{4}\/\d{2}\/\d{2} \d{2}\:\d{2}\:\d{2}"
            negate => true
            what => previous
        }
        grok {
            patterns_dir => "./patterns/"
            match => {"message" => "%{LUALOG}"}
        }
        #  
        if "_grokparsefailure" in [tags] {
            grok {
                patterns_dir => "./patterns"
                match => { "message" => "%{NGINX_ERROR_LOG}"}
            }
            date {
                locale => "en"
                match => [ "timestamp", "yyyy/MM/dd HH:mm:ss" ]
            }
            mutate {
                remove_field => "timestamp"
            }
            geoip {
                 source => "client"
                 target => "geoip"
                 database =>"/usr/local/logstash/geoip/GeoLiteCity.dat"
                 add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]
                 add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}"  ]
            }
        }
    }
}

output {
  elasticsearch { hosts => "192.168.241.130"
        index => "logstash-%{type}-%{+YYYY.MM.dd}"
        document_type => "%{type}"
        workers => 2
        flush_size => 20000
        idle_flush_time => 10
    }
}
  • filebeat 지정type 형식,logstash 판단 구분 로그
  • 로그 형식이 복잡하면 필터에서grok+json과 같은 다중 해석을 사용할 수 있습니다.
  • if 안에 if를 다시 끼워 넣을 수 있습니다. if "_grokparsefailure"in [tags]를 통해 이전 일치에 실패한 로그를 일치시킬 수 있습니다
  • 색인 필드로 로그 시간을 사용합니다. 기본적으로 로그 가져오기 시간을 사용합니다..

    • logstash patterns 구성:

    # COMMON
DATETIME (?<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})

# FOR NGINX
DATETIME (?<timestamp>\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})
NGINX_ERROR_DATE_TIME %{YEAR}\/%{MONTHNUM}\/%{MONTHDAY} %{TIME}
NGINXLOG \[%{HTTPDATE:timestamp}\] %{NUMBER:request_time} %{IPORHOST:remote_addr} %{INT:status} %{INT:body_bytes_sent} "%{WORD:method} %{URIPATH:path}(?:%{URIPARAM:param})? HTTP/%{NUMBER:httpversion}" %{QS:http_referer} %{QS:http_user_agent} %{QS:cookie}
NGINX_ERROR_LOG (?<timestamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[%{DATA:err_severity}\] (%{NUMBER:pid:int}#%{NUMBER}: \*%{NUMBER}|\*%{NUMBER}) %{DATA:err_message}(?:, client: (?<client_ip>%{IP}|%{HOSTNAME}))(?:, server: %{IPORHOST:server})(?:, request: %{QS:request})?(?:, host: %{QS:client_ip})?(?:, referrer: \"%{URI:referrer})?

# FOR JAVA
JAVACLASS (?:[a-zA-Z0-9-]+\.)+[A-Za-z0-9$]+
JAVALOGMESSAGE (.*)
CATALINA_EXEC %{WORD}-%{WORD}-%{WORD}
TOMCAT_DATESTAMP %{YEAR}-%{MONTHNUM}-%{MONTHDAY} %{HOUR}:?%{MINUTE}(?::?%{SECOND})
TOMCAT_ERROR %{TOMCAT_DATESTAMP:timestamp} \[%{CATALINA_EXEC:catalina_exec}\] %{LOGLEVEL:level} %{JAVACLASS:class} - %{JAVALOGMESSAGE_NONGREEDY:logmessage}
    %{JAVALOGMESSAGE_NONGREEDY:logmessage}
    \t%{GREEDYDATA:fulllogmessge}

# FOR openresty lua 
(?<timestamp>\d{4}/\d{2}/\d{2} \d{2}:\d{2}:\d{2}) \[%{LOGLEVEL:severity}\] %{POSINT:pid}#%{NUMBER}: %{GREEDYDATA:errormessage}
    (?<traceback>\S+ \S+):
    (?<coroutine>\S+ \d):\s+(?<function>\[C]: in function 'require')?\s+?(?<func-errmsg>.*>), (client: (?<client_ip>%{IP}|%{HOSTNAME}))(?:, server: %{IPORHOST:server})(?:, request: %{QS:request})(?:, host: %{QS:client_ip})

    error 형식이 고정되지 않아서 처리하기 어렵고 위의 방법도 개별적인 errorlog만 처리할 수 있습니다.

    es 구성:

    cluster.name: my-application
bootstrap.mlockall: true
network.host: 192.168.241.130
http.port: 9200
security.manager.enabled: false #  hadoop， false

    kibana 구성:

    elasticsearch.url: "http://192.168.241.130:9200"

    일반 명령:


    elasticsearch 만료 데이터 정리:
    curl -XDELETE 'http://192.168.241.130:9200/logstash-2016.02.24'

    구덩이:


        1.vim로 감시된 파일을 수정하지 마세요. 저장된 후에 이전에 존재했던 내용도logstash에 전송됩니다.
        2. 현재 Filebeat ssl 검증에 문제가 있는 것 같습니다.
    Git push-n은 델레란을 운행할 수 있다고 합니다.
    Elasticsearch Kibana (Beats Logstash) X-Pack Angular - hello world

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage