Prometheus 추천 - Service Discovery -

Prometheus의 추천 - 초기 도입 - 의 계속입니다.

본 기사에서는, Prometheus를 모르는 사람이 시험하면서 조사하면서 에러 대응도 포함해 기재하고 있습니다.
그래서 정보로 번잡한 느낌이므로 양해 바랍니다.

그런데, Prometheus의 Service Discovery를 사용하면, 우선 알고 있는 AWS계정내의 서버는 인식할 수 있는 것 같기 때문에, 시험해 갈 것이다.
늘어나면 통지라든지 할 수 있을까.

그리고, 그 전에 Prometheus는 바이너리로 도입하고 있으므로, 자동 기동의 설정을 하자.

자동 시작 설정

# killall prometheus
# mv ./prometheus-2.3.1 /usr/local/
# ln -s /usr/local/prometheus-2.3.1/prometheus /usr/bin/
# vi /lib/systemd/system/prometheus.service
[Unit]
Description=Prometheus service
After=syslog.service prometheus.service

[Service]
Type=simple
ExecStart=/usr/bin/prometheus --config.file=/usr/local/prometheus-2.3.1/prometheus.yml
PrivateTmp=true

[Install]
WantedBy=multi-user.target

# systemctl enable prometheus
# systemctl start prometheus

서비스 검색

참고는 상기 일에서도 썼다 차세대 감시의 대본명! Prometheus를 실제 운영해 보았습니다.

# vi /usr/local/prometheus-2.3.1/prometheus.yml
scrape_configs:
  - job_name: 'TEST_PROJECT'

    # EC2 Service Discovery Config
    ec2_sd_configs:

      - region: ap-northeast-1
        access_key: XXXXXXXXXXXXXXXXXXX
        secret_key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
        port: 9100  # 監視対象ポート
# systemctl restart prometheus.service

좋아, 브라우저에서 보자.



제대로 지역에 존재하는 인스턴스 몇 분, 추가되었습니다.
UNKNOWN이 되고 있는 것은 아직 Prometheus로부터 pull 하고 있지 않은 상태로, DOWN이 pull했지만 안 되었던 녀석같다.
아직 exporter를 넣지 않았기 때문에 당연하네요. (재로드하면 전부 DOWN이 되어 있었다)

그렇지만 이것이 내부의 IP로 등록되어 있기 때문에 exporter 넣어도, 내부에서 연결되어 있지 않은 Prometheus에서는 무리?

라고 생각하면, 이하에 방법이 써 있었다.
1만대의 서버를 감시할 수 있다고 화제의 Prometheus를 Grafana와 조합하여 도입한 이야기 ​​~vol2~
흠. . . 여기등의 레퍼런스적인 것이 일본어로 갖고 싶다. . .

우선, 그대로 모방하자.

      - region: ap-northeast-1
        access_key: XXXXXXXXXXXXXXXXXXX
        secret_key: XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX
        port: 9100  # 監視対象ポート
    relabel_configs:
      - source_labels: [__meta_ec2_public_ip]
        regex:  '(.*)'
        target_label: __address__
        replacement: '${1}:9100'
      - source_labels: [__meta_ec2_tag_Name]
        target_label: instance

결과



Labels에 인스턴스 이름과 EndPoint가 퍼블릭 IP가 되었다.
퍼블릭 IP가 없어지고 있는 인스턴스는 정지하고 있는 녀석인가, 정말로 없는 서버.

지금의 회사라면 대개 프로젝트마다 클라우드의 계정이 나뉘어져 있기 때문에, 그것마다 설정해 주면, 대략 전용을 잡을 것 같다.

그리고는 감시의 경고와 통지일지도 하지 않으면.