대규모 상태 확인 관리

15Five에서는 다른 많은 회사와 마찬가지로 cron을 사용하여 정기적으로 발생하는 작업을 예약합니다. 예상 시간에 작업이 완료되지 않거나 오류 코드와 함께 종료되면 healthchecks.io을 통해 경고가 표시됩니다.



한동안 이것은 꽤 잘 작동했습니다.

그러나 곧 우리는 도전에 직면했습니다. 상태 확인을 모든 테스트 환경으로 확장하고 싶었지만 그렇게 하려면 수백 개의 새 확인을 만들어야 했습니다. 이는 수작업이 많은데 자동화할 수 있는데 왜 작업을 해야 할까요?

copy the checks from one project to another에 스크립트를 작성하거나 코드베이스에 쉽게 삽입할 수 있는 형식으로 모든 ping 끝점을 구문 분석하는 스크립트 또는 상태 확인 관리via terraform와 같은 다양한 솔루션을 고민했습니다. 그러나 이러한 솔루션 중 어느 것도 완벽하지 않았습니다. 프로세스를 완전히 자동화하는 무언가를 원했습니다.

다행스럽게도 Healthchecks 관리자와 이야기를 나눈 후 그들이 already had a basic script for that . 작업이 완료될 때마다 Healthcheck API에 대한 간단한 호출을 수행하여 아직 존재하지 않는 경우 확인을 생성하고 확인 엔드포인트를 반환합니다. 끝점에 핑하면 완료됩니다! 쉬운 peasy, 인간 작업이 필요하지 않습니다.

#!/bin/bash

API_KEY=your-api-key-here

# Check's parameters. This example uses system's hostname for check's name.
PAYLOAD='{"name": "'`hostname`'", "timeout": 60, "grace": 60, "unique": ["name"]}'

# Create the check if it does not exist.
# Grab the ping_url from JSON response using the jq utility:
URL=`curl -s https://healthchecks.io/api/v1/checks/  -H "X-Api-Key: $API_KEY" -d "$PAYLOAD"  | jq -r .ping_url`

# Finally, send a ping:
curl -m 10 --retry 5 $URL

경보 채널 작업, 시작 및 종료 시간 측정, 실패 기록을 위해 이를 확장했습니다.