CloudTrail이 S3에 담은 로그를 Athena를 사용하여 로드

CloudTrail이란?

AWS CloudTrail은 AWS 계정의 거버넌스, 컴플라이언스, 운영 감사 및 위험 감사를 가능하게 하는 서비스입니다. CloudTrail을 사용하면 AWS 인프라 전반에 걸쳐 계정 활동을 기록, 지속적으로 모니터링 및 유지할 수 있습니다. CloudTrail을 사용하면 AWS Management Console, AWS SDK 및 명령줄 도구 및 기타 AWS 서비스를 사용하여 수행되는 작업 등 AWS 계정 활동의 이벤트 기록을 파악할 수 있습니다. 이 이벤트 기록을 사용하면 보안 분석, 리소스 변경 추적 및 문제 해결을 보다 쉽게 ​​수행할 수 있습니다.

아무것도 하지 않아도 90일간은 이벤트를 로그로서 보관 유지하고 있다.

우선은 흔적을 만들어

　

Athena에서 사용할 테이블 만들기

Amazon Athena

Athena란?

Amazon Athena는 표준 SQL을 사용하여 Amazon S3의 데이터를 간편하게 분석할 수 있는 대화형 쿼리 서비스입니다. Athena는 서버리스이므로 인프라 관리가 필요하지 않습니다. 실행한 쿼리에 대해서만 요금이 발생합니다.
Athena는 쉽게 사용할 수 있습니다. Amazon S3에서 데이터를 지정하여 스키마를 정의하고 표준 SQL을 사용하여 데이터 쿼리를 시작하기만 하면 됩니다. 종종 몇 초 안에 결과가 나옵니다. Athena를 사용하면 분석 데이터를 준비하는 복잡한 ETL 작업이 필요하지 않습니다. 이렇게하면 누구나 SQL 기술을 사용하여 대형 데이터 세트를 빠르고 쉽게 분석 할 수 있습니다.
Athena는 초기 상태에서 AWS Glue 데이터 카탈로그와 통합되어 다양한 서비스에 걸쳐 메타데이터에 대한 통합 리포지토리를 생성할 수 있습니다. 데이터 소스 크롤링 및 스키마 구문 분석, 새롭고 수정된 테이블 정의 및 파티션 정의 카탈로그에 대한 입력, 스키마 버전 관리 보존이 가능합니다. 또한 Glue의 완전 관리형 ETL 기능을 사용하면 데이터 변환 및 열 지향 형식으로 변경하여 비용을 최적화하고 성능을 향상시킬 수 있습니다.

조금 전에 만든 테이블에 쿼리를 던져보세요.

결과 확인

상당히 간단하게 데이터를 취할 수 있으므로 DataLake 입문에는 좋을 것 같다