prometheus에서 하고 싶은 일 중 하나로 경고 알림 제어가 있습니다.
이번에는 alertmanager를 사용하여 경고 알림을 제어 설정합니다.

alertmanager 준비

아래에서 alertmanager를 다운로드합니다.
prometheus 공식

다운로드한 내용을 확장하여/home 아래에 배치했습니다.


"./alertmanager --config.file=simple.yml"에서 실행할 수 있습니다.
설정을 변경해야하기 때문에 simple.yml을 기반으로 alert.yml을 준비했습니다.
※cp simple.yml alert.yml라는 느낌으로 준비했다.

알림 방법

이번은 메일로 했으므로 global에서는 이하와 같이 설정했습니다.

실제 알림 설정

route 지시어로 설정한 내용으로 통지되는 것 같습니다.

경고 요약

warn과 critical이 동시에 되었을 경우, critical만을 통지하는 것이 가능한 것 같습니다.

알림 관련 설정

이번은 메일이므로 이하와 같은 설정으로 했습니다.


여기까지 했으면 "./alertmanager --config.file=alert.yml"로 실행합니다.

prometheus 측 설정

alertmanager는 prometheus가 통지하는 경고 처리를 관리하는 것처럼 보입니다.
알림 자체는 prometheus 측에서 수행해야 합니다.

준비

alert 규칙을 준비합니다.
/home/promethues 아래로 이동한 후 작업

저장 장소 준비

mkdir alert_rules

system.yml을 alert_rules 아래에 설치

내용은 심플하게 InstanceDown만으로 했다.


그런 다음 prometheus.yml의 alerting 및 rule_files 변경


이제 준비가 됐다.

알림 알림

prometheus를 시작하고 node_exporter를 중지하면 경고 메일을 알립니다.
덧붙여서 alertmanager도 「글로벌 IP : 9093」에 브라우저로 액세스하면 다음과 같은 확인을 할 수 있습니다.


여기에서는 확인하고 있지 않습니다만 repeat로 지정한 1h(1시간마다)에 재통지된다고 생각합니다.

요약

여기까지 쉽지만 다음과 같이 왔습니다.
대충은 완료할까라고 생각합니다.
- prometheus 설정
- grafana 설정
- 이 경고 설정

그리고는 감시 대상을 늘리거나 경고 메일의 종류를 늘려 가면 좋겠습니다.