소개

안녕하세요 kappa0923입니다.
평소에는 Sier에서 클라우드 아키텍트를하고 있습니다.

이 기사는 「프로덕션 환경에서 부러워하는 사람 Advent Calendar 2020 」20일째의 기사입니다.

이번에는 AWS의 설정을 실수했기 때문에 평소의 10배 이상의 요금이 청구되기에 이른 경위와 그 대책에 대해 기재해 갑니다.

거절

이 기사는 어디까지나 노하우를 공유하고, 마찬가지로 하는 사람을 조금이라도 줄이는 것을 목적으로 하고 있습니다.

기사의 내용은 어디까지나 개인의 견해이며, 소속과는 관계가 없습니다.

또한, 약간의 가짜를 섞기 때문에, 미리 양해 바랍니다.

발생 배경

특정 웹 시스템을 AWS에서 구축하여 개발 및 운영을 수행했습니다.

이 웹 시스템에서는 일괄 처리를 병렬로 수행하기 때문에 여러 개의 작은 EC2 인스턴스를 생성 → 실행 → 삭제라는 구성을 취했습니다.
이로 인해 필요하지 않은 시간은 EC2 인스턴스가 시작되지 않았고 실행 비용을 줄이려는 목표가있었습니다.



그러나, 이 구성이 원이 되어 발각이 늦어, 한층 더 방대한 비용을 청구되기까지 이르게 되었습니다.

무슨 일이 있었는지

일괄 처리를 수행하는 EC2는 매번 AMI에서 생성되도록 했지만, 언제든지 AMI 설정을 잘못하고 EC2 인스턴스를 삭제할 때 연결된 EBS 볼륨을 삭제하는 옵션 (DeleteOnTermination)이 제거되었습니다. 네.

그 결과 EC2 인스턴스가 삭제되지만 EBS 볼륨이 삭제되지 않은 상태로 유지되는 상태가 발생했습니다.



EBS 볼륨 1개 1개는 사이즈도 작고, 단위 요금도 싸지만, 눈치챘을 때에는 1만대를 넘는 EBS 볼륨이 계속 남아 있었습니다.

결과적으로, 1개월 이상 설정 실수를 눈치채지 못하고, EBS의 스토리지 사용 요금만으로 1개월에 3자리수만엔의 청구가 오게 되어 버렸습니다.

EC2 인스턴스는 부팅 확실하지 않게 매일 확인하고 있었지만 EBS 쪽까지 신경 쓰지 않았던 것은 떨어지는 정도입니다.

대책

AWS Budge 을 이용하여 예산 설정을 한다.

이번에는 급격하게 요금이 튀어 오른 것이 아니라 서서히 서서히 요금이 커졌습니다.
즉, 눈치채는 기회가 있었던 것입니다.

이러한 설정을 설정하면 청구 금액이 비정상적인 값이 되기 전에 알아차릴 수 있습니다.
이 서비스 자체는 인식하고 있었고, 예산을 설정하는 것의 중요성도 알고 있을 생각이었습니다…
하지만 후회해 버렸기 때문에 이번과 같은 실수가 발생했습니다.

클라우드에 관계없이 구성 실수로 인한 흔들림은 종종 발생합니다.
그러므로 실수했을 때 눈치채도록 해 두는 것이 중요합니다.

결론

충분히 주의하고 있었다고 생각해도 사고는 일어납니다.
특히 액세스 키 유출 등에 의한 청구는 자주 있는 이야기이므로, 충분히 주의하고 있었습니다.
그러나 이번에는 예상하지 못한 설정 실수였습니다.

중요한 것은 이러한 실패의 버드 노하우를 공유함으로써 혼자서도 같은 망설임을 방지하는 것입니다.

여러분도 이 배드 노하우를 살려 좋은 클라우드 라이프를 보내 주시기를 기원합니다.

내일의.