Amazon EventBridge를 사용한 AWS ECS 작업 배포 실패 알림

Amazon Elastic Container Service(ECS)는 Docker 컨테이너를 지원하고 Amazon Elastic Compute Cloud(Amazon EC2) 인스턴스의 관리형 클러스터에서 애플리케이션을 쉽게 실행할 수 있게 해주는 확장성이 뛰어난 고성능 컨테이너 관리 서비스입니다.

우리는 최근 배포를 ECS로 이전하기로 결정했습니다. Ben 삼촌이 말했듯이 — 큰 힘에는 큰 책임이 따른다 — 이 새로운 구현에 대한 모니터링 및 경고를 설정하는 것은 매우 흥미로웠으며 이 블로그 게시물은 우리가 구성한 하나의 특정 경보에 대해 자세히 설명합니다. 배포 중에 ECS 작업이 실패합니까?

실패/오류가 발생할 때 경고를 보내야 하는 Microsoft 팀 웹후크가 있습니다. 이 경고 덤프는 귀하의 경우 다른 응용 프로그램일 수 있습니다.

ECS 작업이 실패할 때마다 알림을 생성하기 위해 Amazon EventBridge 규칙을 활용했습니다. 이를 통해 무엇이 잘못되었는지 확인할 수 있습니다. 아래는 구현의 높은 수준의 블록 다이어그램입니다.



네, 저는 여러분의 눈이 무엇을 찾고 있는지 알고 있습니다. 바로 이벤트 규칙 패턴입니다. 다음은 우리가 사용한 패턴입니다.

{
  "detail": {
    "group": ["service:<<name of your service>>"],
    "lastStatus": ["STOPPED"],
    "stoppedReason": [{
      "anything-but": {
        "prefix": "Scaling activity initiated by (deployment"
      }
    }]
  },
  "detail-type": ["ECS Task State Change"],
  "source": ["aws.ecs"]
}

요지: https://gist.github.com/akhil-ghatiki/1251a54da8eaaca3c20f5322f5106319.js

규칙에 모든 패턴을 사용할 수 있습니다. 위의 예에서는 값이 서비스 이름인 그룹 키를 기반으로 필터링합니다. 따라서 서비스 이름이 있는 모든 이벤트는 SNS로 전송됩니다. 다음은 규칙 패턴에 필요할 수 있는 다른 속성에 도움이 되는 샘플 이벤트입니다.

{
  "version": "0",
  "id": "XXXXXXXXXXXXX",
  "detail-type": "ECS Task State Change",
  "source": "aws.ecs",
  "account": "XXXXXXXXX",
  "time": "2022-10-10T10:06:29Z",
  "region": "XXXXXXXX",
  "resources": [
    "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:task/XXXXXXXXXX/XXXXXX"
  ],
  "detail": {
    "attachments": [
      {
        "id": "XXXXXXXXXXXXX",
        "type": "sdi",
        "status": "DELETED",
        "details": []
      },
      {
        "id": "XXXXXXXXXXXXX",
        "type": "eni",
        "status": "DELETED",
        "details": [
          {
            "name": "subnetId",
            "value": "XXXXXXXX"
          },
          {
            "name": "networkInterfaceId",
            "value": "XXXXXXXX"
          },
          {
            "name": "macAddress",
            "value": "XXXXXXXX"
          },
          {
            "name": "privateDnsName",
            "value": "XXXXXXXX"
          },
          {
            "name": "privateIPv4Address",
            "value": "XXXXXXXX"
          }
        ]
      },
      {
        "id": "XXXXXXXXXXXXX",
        "type": "elb",
        "status": "DELETED",
        "details": []
      }
    ],
    "attributes": [
      {
        "name": "ecs.cpu-architecture",
        "value": "XXXXXXXX"
      }
    ],
    "availabilityZone": "XXXXXXXXa",
    "clusterArn": "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:cluster/XXXXXXXXXX",
    "connectivity": "CONNECTED",
    "connectivityAt": "2022-10-10T10:05:38.02Z",
    "containers": [
      {
        "containerArn": "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:container/XXXXXXXXXX/XXXXXX/XXXXXXXXX",
        "lastStatus": "STOPPED",
        "name": "XXXXXXX",
        "image": "XXXXXXXX.dkr.ecr.XXXXXXXX.amazonaws.com/XXXXXXXX/XXXXXXX:XXXXXX",
        "runtimeId": "XXXXXX-1979092248",
        "taskArn": "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:task/XXXXXXXXXX/XXXXXX",
        "networkInterfaces": [
          {
            "attachmentId": "XXXXXXXXX",
            "privateIpv4Address": "XXXXXXX"
          }
        ],
        "cpu": "0"
      }
    ],
    "cpu": "512",
    "createdAt": "2022-10-10T10:05:34.301Z",
    "desiredStatus": "STOPPED",
    "enableExecuteCommand": false,
    "ephemeralStorage": {
      "sizeInGiB": 20
    },
    "executionStoppedAt": "2022-10-10T10:05:46.497Z",
    "group": "service:XXXXXXX",
    "launchType": "FARGATE",
    "lastStatus": "STOPPED",
    "memory": "1024",
    "overrides": {
      "containerOverrides": [
        {
          "name": "XXXXXXX"
        }
      ]
    },
    "platformVersion": "1.4.0",
    "startedBy": "ecs-svc/XXXXXX",
    "stoppingAt": "2022-10-10T10:05:56.53Z",
    "stoppedAt": "2022-10-10T10:06:29.152Z",
    "stoppedReason": "CannotPullContainerError: inspect image has been retried 1 time(s): failed to resolve ref \"XXXXXXXX.dkr.ecr.XXXXXXXX.amazonaws.com/XXXXXXXX/XXXXXXX:XXXXXX\": XXXXXXXX.dkr.ecr.XXXXXXXX.amazonaws.com/XXXXXXXX/XXXXXXX:XXXXXX: not found",
    "stopCode": "TaskFailedToStart",
    "taskArn": "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:task/XXXXXXXXXX/XXXXXX",
    "taskDefinitionArn": "arn:aws:ecs:XXXXXXXX:XXXXXXXXX:task-definition/XXXXXXX:XXX",
    "updatedAt": "2022-10-10T10:06:29.152Z",
    "version": 4
  }
}

요지: https://gist.github.com/akhil-ghatiki/e2654a551d6989ed0cb652318357f20b.js

신스피드!!