LOGIQ를 사용하여 Jenkins 로그 전송 및 시각화

옌킨스는 현재 앞장서는 개원 자동화 플랫폼이다.대부분의 개발자들은 Jenkins에 도움을 청해서 그들의 개발, 테스트, 배치 파이프라인의 절차를 자동화한다.Jenkins는 플러그 인에 대한 지원을 통해 거의 모든 작업을 자동화하고 강력한 지속적인 통합 및 지속적인 배송 파이프라인을 구축했습니다.
옌킨스는 자신이 실행하는 모든 작업에 일지를 제공했다.이러한 로그는 이름 및 번호 생성, 완료 시간, 생성 상태 및 작업 실행 결과 분석에 도움이 되는 기타 정보와 같은 작업과 관련된 세부 기록을 제공합니다.젠킨스는 여러 파이프가 있는 다중 노드 환경에서 전형적인 대규모 구현으로 많은 양의 로그를 생성하기 때문에 고장이 날 때마다 오류를 식별하고 근본 원인을 분석하기 어렵다.Jenkins에 대한 집중적인 관찰성은 단일 창을 제공하여 Jenkins 로그를 기록하고 시각화하며 분석함으로써 이러한 도전을 극복하는 데 도움을 줄 수 있다.강력한 관찰성 플랫폼으로 당신은 파이프의 고장을 조정하고 자원 분배를 최적화하며 파이프에서 더 빠른 납품을 방해하는 병목을 식별할 수 있습니다.
우리는 유행하는 큰 뿔 사슴 창고를 이용해 젠킨스 일지를 추적하고 분석하는 글을 많이 만났다.큰 뿔 사슴 창고는 유행하는 로그 기록과 모니터링 서비스이지만use can be a little challenging.ELK Stack은 단순한 1회 사용 시나리오에서 선전했지만, 대규모 배치에서는 관리성과 신축성에 어려움을 겪었다.그 밖에 그것들의 관련 비용(그리고 탄력적인 허가의 변화)이 약간의 관심을 불러일으킬 수 있다.한편, LOGIQ는 진정한 푸른색 관찰성 PaaS로 가격 충격을 주지 않고 Kubernetes, on-prem servers or cloud VMs, applications, several other data sources에서 로그 데이터를 얻을 수 있습니다.LOGIQ는 S3을 주요 스토리지 계층으로 사용하기 때문에 데이터를 더욱 잘 제어하고 보유할 수 있으며 대규모 배포에서 비용을 10배 낮출 수 있습니다.이 글은 두 편의 문장 시리즈의 일부로서, 우리는 LOGIQ를 어떻게 사용해서 Jenkins 로그 분석을 시작하는지 보여줄 것이다.Logstash를 설치하고 Jenkins 인스턴스를 설정하며 로그 데이터를 LOGIQ에 캡처하여 Jenkins 로그를 시각화하고 분석하도록 안내합니다.

네가 시작하기 전에


프레젠테이션에 앞서 다음을 수행하고 Jenkins 로그를 LOGIQ와 통합하는 데 필요한 사항으로 살펴보겠습니다.

  • LOGIQ 인스턴스: LOGIQ 인스턴스에 액세스할 수 있는 권한이 없으면 빠르게 시작할 수 있습니다free-forever Community Edition of LOGIQ PaaS.
  • 젠킨스 사례
  • 로그 라이브러리 설치


    Logstash는 여러 소스로부터 데이터를 받아 변환한 다음 가장 좋아하는 저장소로 전송하는 무료 서버 측 데이터 처리 파이프라인입니다.제인킨스와 LOGIQ 사이의 중개 역할을 하는 Logstash를 사용해 LOGIQ에 접수되기 전에 제인킨스 로그 데이터를 정리할 예정이다.
    로컬(Ubuntu) 컴퓨터에 Logstash를 설치하려면 다음 명령을 실행합니다.
    wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
    
    sudo apt-get install apt-transport-https
    
    echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
    
    sudo apt-get update && sudo apt-get install logstash
    
    다른 운영 체제에 Logstash를 설치하는 방법에 대한 자세한 내용은 official Logstash documentation를 참조하십시오.
    Logstash가 설치되어 있습니다. Flatte 구성을 다운로드하여 원하는 디렉토리에 배치하십시오.flatten configuration는 LOGIQ를 가져오기 전에 데이터를 구축하는 데 도움이 됩니다.편평한 구성을 다운로드한 후 다음 Logstash 구성을 사용하여 Jenkins 로그를 LOGIQ로 전송합니다.
    input {
      tcp {
        port => 12345
        codec => json
      }
    }
    output { stdout { codec => rubydebug } }
    filter {
        split {
            field => "message"
        }
      mutate {
        add_field => { "cluster_id" => "JENKINS-LOGSTASH" }
        add_field => { "namespace" => "jenkins-ci-cd-1" }
        add_field => { "application" => "%{[data][fullProjectName]}" }
        add_field => { "proc_id" => "%{[data][displayName]}" }
      }
    ruby {
            path => "/home/yourpath/flattenJSON.rb"
            script_params => { "field" => "data" }
        }
    }
    output {
      http {
            url => "http://<logiq-instance>/v1/json_batch"
            http_method => "post"
            format => "json_batch"
            content_type => "application/json"
            pool_max => 300
            pool_max_per_route => 100
           }
    }
    
    참고: 구성의 경로를 벤드펴기 구성 파일을 다운로드하는 경로로 변경해야 합니다.또한 LOGIQ 인스턴스의 끝점으로 LOGIQ 끝점을 대체해야 합니다.아직 LOGIQ를 설정하지 않은 경우 Dellquickstart guides에 따라 설정할 수 있습니다.

    젠킨스를 모함하다


    이제 Logstash가 준비되었으므로 Jenkins가 Logstash를 사용하도록 계속 구성하겠습니다.이 프레젠테이션에서는 두 개의 Jenkins 파이핑 작업을 만들고 로그를 Logstash로 전송했습니다.자신의 Jenkins 로그를 사용하여 추적할 수 있습니다.

    Jenkins 로그를 Logstash로 전송하려면 먼저 Jenkins에 Logstash 플러그인을 설치해야 합니다.Logstash를 설치하려면 다음과 같이 하십시오.
  • Jenkins 인스턴스에 로그인합니다.
  • 관리 Jenkins > 관리 플러그인으로 이동합니다.
  • Available에서 Logstash를 검색합니다.
  • Logstash가 나타나면 Install(설치)을 클릭하여 재부팅할 필요가 없습니다.

  • Logstash를 설치한 후 Jenkins를 사용하여 로그를 Logstash로 푸시할 수 있도록 계속 구성하고 활성화합니다.Jenkins를 구성하려면 다음과 같이 하십시오.
  • 관리 Jenkins > 구성 시스템으로 이동합니다.
  • Logstash가 표시될 때까지 아래로 스크롤합니다.
  • 호스트 이름과 포트를 입력합니다.

  • 주의: 이 예에서 Logstash를 설치한 로컬 Ubuntu 기기의 IP 주소와 포트 번호를 입력했습니다.Logstash가 설치된 시스템의 IP 주소와 포트 번호를 제공해야 합니다.
    이제 Jenkins 인스턴스를 Logstash로 보낼 수 있습니다.

    로그를 LOGIQ로 보내기


    우리는 젠킨스에게 통나무를 로거스타시로 옮길 준비를 했고, 로거스타시는 통나무를 주워 로기로 들어갈 준비를 했다.설치 폴더 /usr/share/logstash 에서 Logstash를 시작하고 다음 명령을 사용하여 위에서 준비한 사용자 정의 프로필을 전달합니다.
    /usr/share/logstash# bin/logstash -f /etc/logstash/logstash-sample.conf
    
    이렇게!로그 파이프가 시작되고 실행 중입니다.이제 LOGIQ 대시보드의 Logs 페이지로 이동하면 Logstash가 LOGIQ로 전송하는 모든 Jenkins 로그를 볼 수 있습니다.

    로그에서 사용자 정의 지표를 만들고 이벤트와 경보를 만들고 강력한 계기판을 설정하여 로그 데이터를 시각화할 수 있습니다.

    이렇게 하면 LOGIQ를 사용하여 Jenkins 로그를 배송하고 시각화하는 방법에 대한 개요가 완성됩니다.향후 기사에서는 Jenkins 로그에서 강력한 시각적 효과를 만드는 방법을 보여 드리겠습니다.또한 LOGIQ가 응용 프로그램과 인프라에 어떻게 다차원적인 관찰성을 가져다 주는지, 로그 데이터를 생동감 있게 만드는 방법에 대해 궁금하거나 더 알고 싶으시면 저희에게 댓글을 남겨주시거나 reach out

    좋은 웹페이지 즐겨찾기