ELK 로그 수집 분석 시스템

2652 단어

관련 구성 요소

  • Elastic search 서비스는 단어 구분 및 인덱스 로그 데이터
  • 에 사용
  • Logstash/filebeat 서비스는 호스트에서 로그 파일 내용을 수집하여 Elastic Search 서비스 인덱스 저장소로 보내는 데 사용
  • Kibana 서비스가 Elastic Search 서비스를 통해 제공하는restapi 조회와 시각화 디스플레이 로그
  • 서비스 구축


    docker 배포를 통해 배포 스크립트elk.sh를 만드는 내용은 다음과 같습니다. 스크립트를 직접 실행하면 배포를 완성할 수 있습니다. 배포 완료 후 브라우저를 통해 두 Kibana 관리 입구를 방문합니다.http://localhost:9200및 Elastic Search 서비스 포털http://localhost:5601올바른 배치가 완료되었는지 확인하십시오. 서비스 구축이 완료되면 Elastic 검색에 로그 데이터가 없습니다. 다른 호스트에 filebeat를 설정하여 응용 프로그램의 데이터를 서버에 보내야 합니다.
    docker stop elk
    docker rm -f elk
    docker run -d \
    --restart always \
    --name elk \
    -p 9200:9200 \
    -p 5601:5601 \
    nshou/elasticsearch-kibana
    

    Windows 10 filebeat 서비스 설치 구성


    소스 버전 다운로드https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-windows-x86_64.zip, C디스크 루트 디렉터리에 압축을 풀고 다음 그림과 같이 프로필을 수정합니다. c:\logs 디렉터리에 오류 로그 파일 error.log 을 만들고 로그 내용을 추가합니다. 관리자 권한을 통해 파워셸을 열고 파일 install-service-filebeat.ps1 을 드래그하여 서비스를 실행합니다.
    
    filebeat.inputs:
    - type: log
    
      # Change to true to enable this input configuration.
      enabled: true
    
      # Paths that should be crawled and fetched. Glob based paths.
      paths:
        - C:\Program Files (x86)\CMOS-UE\logs\*.log
        #- c:\programdata\elasticsearch\logs\*
    
    
    #============================= Filebeat modules ===============================
    
    filebeat.config.modules:
      # Glob pattern for configuration loading
      path: ${path.config}/modules.d/*.yml
    
      # Set to true to enable config reloading
      reload.enabled: false
    
      # Period on which files under path should be checked for changes
      #reload.period: 10s
    
    #==================== Elasticsearch template setting ==========================
    
    setup.template.settings:
      index.number_of_shards: 1
      #index.codec: best_compression
      #_source.enabled: false
    
    
    
    #-------------------------- Elasticsearch output ------------------------------
    output.elasticsearch:
      # Array of hosts to connect to.
      hosts: ["10.0.23.198:9200"]
    
      # Protocol - either `http` (default) or `https`.
      # protocol: "https"
    

    Ubuntu 18.04 Filebeat 서비스 설치 구성


    공식 주소에서https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-oss-7.6.1-amd64.deb해당 버전 다운로드 설치가 완료되면 프로필/etc/filebeat/filebeat.yml을 수정하고 완료되면 서비스를 재개합니다.
    #  , , 
    dpkg -i filebeat-oss-7.6.1.deb
    service filebeat stop
    service filebeat start
    service filebeat staus 
    

    Kibana 사용


    1단계 구성 완료 후 로그인http://localhost:9200로그를 볼 수 있습니다. Kibana를 사용하는 방법은 공식 도움말 문서를 참고하십시오.

    좋은 웹페이지 즐겨찾기