Prometheus에서 컨테이너 정보와 AWS 및 GCP에서 Service Discovery를 수행하고,
능숙한 느낌에 감시 대상을 넣거나 Grafana에서 원하는 정보를 올려 보았지만, 중요한 경고 통지를하지 않았습니다.

Grafana에서 경고 설정을 시도합니다.

도입 당초는 AlertManager로 경보 통지한다고 생각했지만, Grafana 넣으면 AlertManager 필요 없지.
Graph 중에서 설정하면 좋다.

메모리 사용률 경고

이런 그래프에서 Alert 탭 안에서 설정해 본다.


1. [Create Alert] 클릭

2. 그래프의 오른쪽에 나오는 하트의 부분을 드래그 앤 드롭으로 역치 설정. (간단!)
　※이것을 하면 마음대로 Conditions(아래의 조건식적인 개소)의 설정이 반영됩니다.

3. 기타 설정을 한다.
Alert Config
* Name : 선택
* Evaluate every : 60s 임계값 모니터링 간격
* [If no data or all values ​​are null] ※값이 없는 경우의 거동
* [If execution error or timeout] ※값을 취할 수 없을 경우의 거동

TestRule 실행! 하지만. .

[Template variables are not supported in alert queries]
템플릿 변수가 경고 쿼리에서 지원되지 않습니다. 그렇습니다.

음. 템플릿 변수라고 하면, 이 그래프(라고 하는지 대시보드)는 서버마다 표시하도록(듯이) 템플릿 변수를 사용하고 있지만, 그것이라고 안 되는 것인가.

다른 대시보드에서 사용해 보세요.

import하지 않고 경고용으로 대시보드를 만들어 보았습니다.

메모리용 그래프(node_exporter로 취득할 수 있는 서버의 메모리 사용률이 전부 실려 있다)


그리고, 아까와 같은 느낌으로 역치 30으로 시험한다.


OK!
match라고 되어 있는 것이 역치를 넘은 녀석으로, logs 안에서 Eval: false는 역치 넘지 않았다고 느끼는가.

지금이라고 경고 통지는 메일이 되고 있기 때문에, 다음은 Teams에 통지다!

Teams측 설정

Teams측의 설정은 이하를 참고로 했습니다.
Microsoft Teams에 PowerShell로 게시하기
※채널에 Incoming Webhook을 추가할 곳까지 URL을 복사해 둔다.

Grafana Notification

왼쪽 메뉴의 [Alerting]에서 [Notification Channels]에서 [New Channels]를 클릭합니다.

Type을 Microsft Teams로 하여 Url에 조금 복사한 것을 붙이기만 하면 된다.

(간단!)

알림 테스트

Notification Channel의 설정 화면에서 [Send Test]가 있으므로 클릭.



(간단!)



Prometheus 과거 기사

Prometheus의 추천 - Grafana에서 모니터링 할 사용자 목록을 원합니다 -
Prometheus의 추천 - 초기 도입 -
Prometheus 추천 - Service Discovery -
Prometheus의 추천 - exporter 도입 node-exporter(apt-get) -
Prometheus의 추천 - exporter 도입 node-exporter(바이너리) -
Prometheus의 추천 - Service Discovery - EndPoint가 'http://:9100/metrics'가 되어 자신이 되어 버리는 건