소개

웹 사이트에 게재된 수치를 Web Scraping 로 취득해, 그것을 Datadog 를 사용해 가시화하기 위한 Agent Check 를 만들어 보았습니다.

Datadog는 서버 모니터링 클라우드 서비스이지만, 자체 제작 Agent Check 및 사용자 지정 메트릭을 사용하여 사용자가 지정한 다양한 수치를 모니터링할 수 있습니다.
이 기능을 이용하여 Web Scraping에서 취득한 수치를 Datadog에 캡처하고 Datadog의 다양한 그래프 그리기 기능으로 시각화해 버린다는 자료입니다.

취득 샘플

이 Agent Check을 사용하여 몇 가지 샘플을 만들었습니다.

1. Wikipedia의 페이지 총수 추이

Wikipedia의 총 페이지 수를 얻고 Datadog에서 그 변화를 그래프로 보았습니다.
그래프는 어느 날을 기점으로 하고, 어느 페이지수가 변동했는지를 표시하고 있습니다.
(이 기점의 계산은 Datadog에서 실시하고 있습니다)



이 값은 Wikipedia 톱 페이지의 다음 숫자 부분을 Web Scraping에서 가져옵니다.



그래프를 보면 선형적으로 페이지 수가 증가하고 있음을 알 수 있습니다. 하루 약 900 페이지 정도군요. 굉장하네요.

2. 경매의 출품수 추이

이것은 모 경매 사이트의 한 카테고리의 출품 수를 취득한 것입니다.



매일 21시부터 24시에 걸쳐 출품수가 줄어드네요. 오른쪽 끝에 단번에 내려가는 날은 일요일 밤입니다.
역시, 경매가 제일 고조되는 것은 종료 직전이므로, 모두가 자주 보는 시간에 맞추어 종료 시간을 설정하고 있는 출품자가 많습니까?
(수치 변화가 알기 쉽도록, y축의 원점을 조정하고 있습니다. 이것도 Datadog의 기능으로 실시하고 있습니다)

3. 도쿄의 풍속

이쪽은 아메다스 정보를 전달하고 있는 사이트로부터, 도쿄의 풍속을 취득해 보았습니다.
온도의 변화를 나타낸 그래프는 잘 보이기 때문에, 굳이 풍속입니다.



(전날과의 변화를 알기 쉽도록, 전날의 같은 시각의 수치(흑선)를 동시에 표시시키고 있습니다.이것도 Datadog의 기능이군요)

이 전날의 오전중은 비였던 것도 있어, 풍속도 강한 것 같네요.
또한 이 배포 사이트는 매 시간마다 정보를 업데이트하는 것으로 나타났습니다.

그 밖에도 Datadog의 기능과 Integration을 조합하여 「EC 사이트의 가격 변동을 기록하고 일정한 금액이 되면 slack 통지한다」라고 말할 수도 있다고 생각합니다.

Agent Check 설치 및 구성 방법

설치 방법과 Web Scraping에서 검색할 값을 지정하는 방법은 리포지토리의 희귀 D 째. 자. MD에 설명되어 있습니다.

사용하려면 Datadog 계정과 Datadog Agent가 설치된 서버가 필요합니다.

또한, 이 Agent Check 의 Web Scraping 은 단순히 HTML 를 GET 하고 있을 뿐이므로, JavaScript 등으로 묘화 하고 있는 값이나, 로그인이 필요한 페이지의 값은 취득할 수 없습니다.

요약

Datadog는 Agent Check 또는 SDK를 사용하여 사용자 지정 메트릭으로 다양한 수치를 얻을 수 있습니다.
이 기능으로 서버 감시 정보 이외의, 예를 들면 서버상에서 가동하고 있는 서비스의 이용 정보등도 가시화할 수 있는 것입니다만, 그 연습으로서 만들어 보았습니다.

또한 Agent Check은 파이썬으로 작성되었기 때문에 파이썬 개발자는 쉽게 접근 할 수 있다고 생각했습니다.

Datadog는 재미 있습니다.