로그 시각화

로그가 시각화되었습니까?
일지의 가시화는 다양한 곳에 흩어져 있는 일지를 한데 모아 쉽게 볼 수 있도록 하는 것이다.
웹 응용프로그램을 예로 들어 생각하다.
웹 응용 프로그램에 대해 다음 로그를 갖고 싶습니다.

애플리케이션 로그

DB의 쿼리 로그

로드 밸런서의 액세스 로그

등

고장이 나서 그 해석을 위해 로그를 보고 싶을 때 각자의 서버를 방문해 로그를 보는 것은 매우 힘들다.
또 현장 기록은 사람에게는 읽기 어려운 일도 많다.
청록색 디자인을 한 상황에서 보고 싶었던 일지가 사라졌을 수도 있다.
따라서 로그의 시각화.
로그를 한데 모으면 전용 뷰어에 모든 로그를 볼 수 있습니다.
일반적으로 쉽게 이해할 수 있도록 로그를 성형한 뒤 시간 순서에 따라 선별하고 키워드까지 검색한다.
고장 분석의 용례를 보면 시간 순서대로 축소하면 고장 발생 시간 전후의 각종 로그를 간단하게 볼 수 있다.
고장이 났을 때 일지를 순조롭게 분석할 수 있다면 너무 기쁩니다!
하지 않은 사람은 반드시 일지를 가시화해야 한다.
이 글에서는 AWS의 Elasticsearch 서비스를 사용하여 로그를 시각화하는 방법을 소개한다.
시사회에서 서비스를 사용하는 사람도 로그의 시각화에서 Elasticsearch 서비스만 사용할 수 있다.

Elastic search Service의 개요

로그 시각화의 일반 구축 방법

Elastic search Service의 개요를 설명하기 전에 일반적인 로그 시각화 방법을 설명합니다.
로그의 시각화는 일반적으로 다음과 같은 세 가지로 구성되어 있다.

로그 수집

여러 곳에 흩어져 있는 일지를 수집하는 메커니즘

백엔드

기록이 통합된 장소입니다.검색엔진이 많아

뷰어

수집된 로그를 표시하는 뷰어

세 개는 각자 많은 공구가 나왔다.
예를 들어 로그 수집에서 Flentd는 매우 유명하다.

AWS의 Elastic search Service

이른바 Elastic search 서비스란 상기 세 가지 구성 중의'백엔드'와'뷰어'조합이 제공하는 서비스를 말한다.
'백엔드'는 Elasticsearch를,'뷰러'는 키바나를 사용했다.
둘 다 Elastic사가 OSS에서 개발한 도구로 Giithub에서 원본 코드를 볼 수 있다.
https://github.com/elastic/elasticsearch
https://github.com/elastic/kibana
Elasticsearch와 키바나의 특징을 간단하게 적으세요.

Elasticsearch

RESTAPI를 통한 데이터 조작

간단하게 조립할 수 있는 묶음 구조

Kibana

일반 뷰러는 Elasticsearch와 함께 사용

키바나 자체가 HTML

에 불과

간단하게 도표 등을 만들 수 있어 데이터의 자유도가 높다

Elasticsearch 서비스를 사용하기 시작하면 Elasticsearch와 Kibana가 조합되어 있습니다. Elasticsearch에 로그를 보내면 Kibana에서 그 로그를 볼 수 있습니다.
간단하고 편리한 서비스를 이용하기 때문에 로그를 조회할 때 반드시 사용 방법을 연구해 주십시오.
그러나 주의해야 할 것은 Elastic search 서비스에 치명적인 오류가 있다는 것이다.(2015년 12월 17일 시점)
회피책이 있다.
잘못은 뒤에 서술할 것이다.

Elastic search Service를 사용해 보십시오.

Elastic search Service를 사용해 보십시오.
여기서 CloudWatchLogs의 로그를 Elasticsearch 서비스에 보냅니다.

1. Elastic search Service의 인스턴스 만들기

서비스 일람표에서 Elastic searchSearvice를 선택합니다.

새 인스턴스를 작성합니다.

식별할 인스턴스의 이름을 입력하고 Next 키를 누릅니다.

여기서 가장 저렴한 인스턴스 유형을 선택하고 Next 를 누릅니다.

액세스 정책을 설정합니다.
계정과 IP 주소로 액세스 제한이 가능합니다.
여기서 모든 액세스를 허용하도록 설정한 후 Next 키를 누릅니다.

마지막으로 입력 항목을 확인하고 실례를 만듭니다.

다음은 제작이 완료된 화면.
빨간색 URL 중 위에는 Elasticsearch URL이 있고 아래에는 Kibana URL이 있습니다.

2. CloudWatchLogs에 로그 보내기

http://qiita.com/ukiuni@github/items/8f0c45037e3a28238290
위의 글을 참고하여 EC2 실례의/var/log/secure를 클라우드 워치 로그에 보냅니다.

3. CloudWatchLogs의 로그를 ELASICsearch 서비스로 보내기 설정

CloudWatch 콘솔의 로그 탭에서 Elastic search Service에 보낼 로그 그룹을 선택합니다.
액션의 Amazon Elastic Service 흐름 전송의 시작을 선택합니다.

Amazon ES 클러스터에서 방금 만든 Elasticsearch 서비스의 인스턴스를 선택합니다.
Lambda IAM 실행 역할에서 새 IAM 역할 작성을 선택합니다.
새로운 IAM 캐릭터'lambda elasticsearch execution'이 제작돼 선택된 상태다.
다음 을 누릅니다.

로그 형식을 선택합니다.
여기서 기타를 선택하고 다음을 누릅니다.

설정 항목을 확인한 후 흐름 전송을 시작합니다.

이렇게 하면 준비가 완성된다.
EC2 인스턴스의/var/log/secure에 기록을 추가하면 Elastic search Service로 자동으로 전송됩니다.
키바나 사용법은 생략했지만 다음 로그를 볼 수 있다.

Elastic search Service를 활용하는 것이 매우 간단하다는 것을 이미 알고 있는 것 같습니다.
이번에AWS기능을 사용하여CloudWatchLogs의로그를Elastic searchService에보냈습니다.물론다른방법으로로그를보낼 수도 있습니다.
Elasticsearch 서비스에서는 Elasticsearch를 사용하기 때문에 Elasticsearch의 WebAPI로 로그를 보낼 수 있습니다.
시사회에서 이용하는 서비스라도 로그의 시각화에서 AWS의 엘라스틱 검색 서비스만 사용할 수 있다는 것이다.

Elastic search Service의 빈대(2015년 12월 17일 현재)

Elastic search Service는 치명적인 결함이 있습니다.
키바나는 한 화면에 여러 개의 로그 데이터를 표시할 수 있지만 두 개 이상의 데이터를 표시하려면 데이터를 정확하게 표시하지 못할 때도 있다.
AWS에 문의해 조사해보니 키바나의 특정 패치의 오류였다.
AWS 측의 답변을 받았지만 아직 해결되지 않은 상태다.
다음은 Kibana 커뮤니티에 AWS의 문의입니다.
https://github.com/kibana-community/kibana4-static/issues/5
Elastic search Service의 Kibana 4를 사용할 때 발생한 버그입니다.
실제로 Elastic search 서비스에서도 구 버전의 키바나 3을 사용할 수 있다.
마지막으로 키바나의 URL입니다.plugen/kibana입니다. 이것은/plugen/kibana3로 바꾸면 Kibana3를 사용할 수 있습니다.
키바나3를 사용하면 버그를 피할 수 있습니다.
나는 한 화면에 여러 개의 기록 데이터를 표시하여 사용하는 것이 키바나의 일반적인 사용 방법이라고 생각하기 때문에 이것을 해결하기 전에 Elastic search 서비스에서 키바나4를 사용하기 어렵다...

기대하는 일

대응 장애 외에도 기대하고 싶은 게 있다.
현재 Elastic search 서비스에 로그를 보내는 수단은 모든 AWS 서비스에서 제공되지 않습니다.
웹 응용 프로그램을 구축한 경우 RDS의 쿼리 로그와 ELB의 액세스 로그를 Elastic search Service에 보내려고 하지만 AWS에서는 이 방법을 제공하지 않습니다.
RDS라면 DB의 테이블에서 ELB라면 S3에서 로그를 출력하기 때문에 이 로그를 Elasticsearch 서비스에 보내는 메커니즘을 만들어야 한다.
나는 모든 로그를 간단히 Elastic search 서비스에 보낼 수 있기를 바란다.

총결산

서비스를 제공할 때 로그를 시각화하면 편리한 일이 많다.
AWS의 Elasticsearch 서비스를 사용하면 로그를 간단하게 시각화할 수 있습니다.
그러나 Elasticsearch 서비스는 현재 오류가 있기 때문에 사용할 때 주의해야 한다.