CloudWatch Logs Insights

올해 Re;Invent에서 공개되었습니다.
New – Amazon CloudWatch Logs Insights – Fast, Interactive Log Analytics | Amazon Web Services

간단히 정리하면 CloudWatch Logs의 로그 그룹에 SQL을 사용한 쿼리를 던져 로그를 집계할 수 있는 서비스입니다.
지금까지 CloudwatchLogs를 볼 수 없었기 때문에 매우 좋은 업데이트라고 생각합니다.

도쿄 지역에서 이미 사용할 수 있습니다.
가격에 대해서입니다.

you pay $0.005 per GB in US East (N. Virginia), with similar prices in the other regions.

그래서 Athena 등을 사용할 때와 같이 기간으로 구분하여 불필요한 로그의 주사를 하지 않도록 주의할 필요가 있습니다.

샘플 화면에서 시도하면 순식간에

VPC 흐름 로그

CloudTrail 로그

뭔가입니다.

이번에는 RDS의 감사 로그를 참고로 설정을 넣어 보았으므로 소개합니다.

Aurora 감사 로그 사양

감사 로그 세부 정보

위 문서에 설명된 대로 형식으로 로그 파일이 CloudWatchLogs와 연결됩니다.

이번에는 연계된 로그의 Object 섹션에 기재되어 있는 Query 중 SELECT의 건수를 5분마다 집계하여 대시보드에 표시해 보겠습니다.

절차

관리 콘솔에서 Cloudwatch로 이동하여 로그-인사이트를 선택합니다.


상단 검색창에서 대상 로그 그룹 선택
이번은 감사 로그를 사용했기 때문에 디폴트라고 /aws/rds 로부터 시작되는 로그 그룹입니다.



Query

fields @message
  | parse "*,*,*,*,*,*,*,*,'*',*" as timestamp, serverhost, username, host, connectionid, queryid, operation, database, object,retcode
    | filter object like /SELECT/
    | fields username, object, timestamp
    | stats count(*) by bin(5m)

원래 들어온 CloudWatchLogs 필드가 자동으로
@logStream
@message
@timestamp

로 분석됩니다. 그 중에서 로그 본문인 @message 을 parse 를 사용해 퍼스 해 나갑니다.
, 로 단락지어 object 필드만 ''으로 구겨져 있으므로, 그것을 알 수 있도록(듯이) 기재합니다. 또한 각 필드의 이름을 지정합니다.
그 후, object에 대해서 캐릭터 라인의 패턴 매칭을 실시해, 5분 감각으로 건수를 집계했습니다.



시각화 탭을 누르면 그래프가 표시됩니다.
Alert의 구현은 현 상태 한 번 더 추가하지 않으면 무리 것 같습니다만, 향후 확장되어 그대로 SNS에 통지할 수 있다든가 되면 간단하고 좋네요.

limit of four concurrent CloudWatch Logs Insights queries.

Query는 동시에 4 개까지만 안되는 것 같습니다.

문서 기재가 보이지 않지만 (2018/11/28 18시 현재)
logs 아래의 start-query가 API 엔드포인트인 것 같습니다. CLI를 업데이트했는데 help에서 확인할 수있었습니다.

command

aws logs start-query \　#　クエリを開始する時間。
  --log-group-name \ # 対象のロググループ名
  --end-time \ # このクエリがまだ実行されている場合は、このクエリを終了する時間。UNIX秒の秒数で指定
  --query-string # Query文字列（UNIXタイム）　

참고

htps : // / cs. 아 ws. 아마존. 이 m / 그럼 _ jp / 아마 존 C ぉ 우도 tch / ㅁ st / ぉ gs / 아나 ly 진 g ㎉ g이었다. HTML
htps : // / cs. 아 ws. 아마존. 코 m / 아마 존 C ぉ 우도 t ch ぉ gs / ぁ st / あぴれふぇんせ / あぴ _S rt 쿠 ry. HTML