SpringBoot 응용 통합 ELK 로그 수집 을 위 한 예제 코드

ELK 는 Elasticsearch,Logstash,Kibana 로 조합 하면 온라인 로그 시스템 을 구축 할 수 있 습 니 다.본 고 는 주로 ELK 를 사용 하여 SpringBoot 응용 에서 발생 하 는 로 그 를 수집 하 는 것 을 설명 합 니 다.
ELK 의 각 서비스의 역할

Elasticsearch:수 집 된 로그 정 보 를 저장 하 는 데 사용 합 니 다.

Logstash:로 그 를 수집 하 는 데 사 용 됩 니 다.SpringBoot 응용 프로그램 은 Logstash 를 통합 한 후에 로 그 를 Logstash 에 보 내 고 Logstash 는 로 그 를 Elasticsearch 에 전달 합 니 다.

Kibana:웹 엔 드 의 시각 화 인터페이스 를 통 해 로 그 를 봅 니 다.

Docker Compose 로 ELK 환경 구축
다운로드 할 Docker 미 러

docker pull elasticsearch:6.4.0
docker pull logstash:6.4.0
docker pull kibana:6.4.0

건설 전 준비
elasticsearch 시작 에 성공 하려 면 특수 설정 이 필요 합 니 다.
시스템 커 널 인 자 를 설정 해 야 합 니 다.그렇지 않 으 면 메모리 부족 으로 시작 할 수 없습니다.

#     
sysctl -w vm.max_map_count=262144
#       
sysctl -p

/my data/elasticsearch/data 디 렉 터 리 를 만 들 고 권한 을 설정 해 야 합 니 다.그렇지 않 으 면 접근 할 수 없 기 때문에 시작 에 실 패 했 습 니 다.

#     
mkdir /mydata/elasticsearch/data/
#           
chmod 777 /mydata/elasticsearch/data

건설 을 시작 하 다
logstash 설정 을 저장 할 디 렉 터 리 를 만 들 고 프로필 을 업로드 합 니 다.
logstash-springboot.conf 파일 내용

input {
 tcp {
  mode => "server"
  host => "0.0.0.0"
  port => 4560
  codec => json_lines
 }
}
output {
 elasticsearch {
  hosts => "es:9200"
  index => "springboot-logstash-%{+YYYY.MM.dd}"
 }
}

프로필 저장 디 렉 터 리 를 만 들 고 프로필 을 디 렉 터 리 에 업로드 합 니 다.

mkdir /mydata/logstash

docker-compose.yml 스 크 립 트 를 사용 하여 ELK 서비스 docker-compose.yml 내용 시작

version: '3'
services:
 elasticsearch:
  image: elasticsearch:6.4.0
  container_name: elasticsearch
  environment:
   - "cluster.name=elasticsearch" #       elasticsearch
   - "discovery.type=single-node" #         
   - "ES_JAVA_OPTS=-Xms512m -Xmx512m" #    jvm    
  volumes:
   - /mydata/elasticsearch/plugins:/usr/share/elasticsearch/plugins #      
   - /mydata/elasticsearch/data:/usr/share/elasticsearch/data #      
  ports:
   - 9200:9200
 kibana:
  image: kibana:6.4.0
  container_name: kibana
  links:
   - elasticsearch:es #   es      elasticsearch  
  depends_on:
   - elasticsearch #kibana elasticsearch       
  environment:
   - "elasticsearch.hosts=http://es:9200" #    elasticsearch   
  ports:
   - 5601:5601
 logstash:
  image: logstash:6.4.0
  container_name: logstash
  volumes:
   - /mydata/logstash/logstash-springboot.conf:/usr/share/logstash/pipeline/logstash.conf #  logstash     
  depends_on:
   - elasticsearch #kibana elasticsearch       
  links:
   - elasticsearch:es #   es      elasticsearch  
  ports:
   - 4560:4560

linux 서버 에 업로드 하고 docker-compose 명령 으로 실행

docker-compose up -d

메모:Elasticsearch 가 시작 되 는 데 몇 분 이 걸 릴 수 있 으 니 인내심 을 가지 고 기 다 려 야 합 니 다.

logstash 에 json 설치라인 플러그 인

#   logstash  
docker exec -it logstash /bin/bash
#   bin  
cd /bin/
#     
logstash-plugin install logstash-codec-json_lines
#     
exit
#   logstash  
docker restart logstash

방화벽 을 열 고 kibana 에서 보기

systemctl stop firewalld

접근 주소:http://192.168.3.101:5601

SpringBoot 응용 통합 Logstash
pom.xml 에 logstash-logback-encoder 의존 도 를 추가 합 니 다.

<!--  logstash-->
<dependency>
  <groupId>net.logstash.logback</groupId>
  <artifactId>logstash-logback-encoder</artifactId>
  <version>5.3</version>
</dependency>

설정 파일 logback-spring.xml 을 추가 하여 logback 로 그 를 logstash 로 출력 합 니 다.
appender 노드 의 destination 은 자신의 logstash 서비스 주소 로 바 꿔 야 합 니 다.예 를 들 어 제 것 은 192.168.3.101:4560 입 니 다.

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE configuration>
<configuration>
  <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
  <include resource="org/springframework/boot/logging/logback/console-appender.xml"/>
  <!--    -->
  <property name="APP_NAME" value="mall-admin"/>
  <!--        -->
  <property name="LOG_FILE_PATH" value="${LOG_FILE:-${LOG_PATH:-${LOG_TEMP:-${java.io.tmpdir:-/tmp}}}/logs}"/>
  <contextName>${APP_NAME}</contextName>
  <!--         appender-->
  <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
      <fileNamePattern>${LOG_FILE_PATH}/${APP_NAME}-%d{yyyy-MM-dd}.log</fileNamePattern>
      <maxHistory>30</maxHistory>
    </rollingPolicy>
    <encoder>
      <pattern>${FILE_LOG_PATTERN}</pattern>
    </encoder>
  </appender>
  <!--   logstash appender-->
  <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--     logstash      -->
    <destination>192.168.3.101:4560</destination>
    <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/>
  </appender>
  <root level="INFO">
    <appender-ref ref="CONSOLE"/>
    <appender-ref ref="FILE"/>
    <appender-ref ref="LOGSTASH"/>
  </root>
</configuration>

Springboot 응용 프로그램 실행

kibana 에서 로그 정 보 를 보고 index pattern 만 들 기



수집 한 로그 보기

인 터 페 이 스 를 호출 하여 테스트 하 다.


이상 을 만 들 고 수정 을 보고 모든 브랜드 목록 인 터 페 이 스 를 가 져 옵 니 다.

이 인 터 페 이 스 를 호출 하고 로 그 를 봅 니 다.

총결산
ELK 로그 수집 시스템 을 구축 한 후 SpringBoot 애플 리 케 이 션 의 로그 정 보 를 보 려 면 로그 파일 을 볼 필요 가 없 으 며 Kibana 에서 직접 확인 하면 됩 니 다.
여기 서 SpringBoot 애플 리 케 이 션 통합 ELK 구현 로그 수집 에 관 한 예제 코드 에 관 한 글 을 소개 합 니 다.더 많은 SpringBoot ELK 로그 수집 내용 은 우리 의 이전 글 을 검색 하거나 아래 의 관련 글 을 계속 조회 하 시기 바 랍 니 다.앞으로 도 많은 응원 부 탁 드 리 겠 습 니 다!