Athena 로컬 Mac에 td-agent ( Fluentd )를 넣고 Amazon Athena에서 SQL 라이크로 로그를 추출할 때까지. 거기에서는, 라고 하는 gem 을 넣어, /log/development.log 에 원하는 로그 정보를 JSON 형식으로 보내고 있었습니다. /log/development.log 여기에 td-agent를 넣고 로그를 S3로 보내고 Amazon Athena에서 SQL과 같은 로그를 추출하는 것을 원합니다. 여기에 쓰여진 대로 다운로드하고 td-agent를 넣습니다. 결론, 위의 명령으로 갈 수 ... AthenaFluentdtd-agent Athena를 사용하여 AWS 로그 집계 AWS 로그(ELB, CloudFront, CloudTrail)를 S3에 저장하고 Athena에서 집계해 보았습니다. DDL 정의도 포함되어 있습니다. 문서 기재의 것과 달리, 사용하기 쉬운 형태로 변경했습니다. S3에 저장된 데이터에 대해 쿼리를 실행할 수 있음 인스턴스를 시작하지 않고 S3 데이터에 대해 직접 SQL 쿼리 실행 가능 ANSI SQL 지원 내부적으로 Presto가 실행 중이... AthenaCloudtrailelbCloudFrontAWS
로컬 Mac에 td-agent ( Fluentd )를 넣고 Amazon Athena에서 SQL 라이크로 로그를 추출할 때까지. 거기에서는, 라고 하는 gem 을 넣어, /log/development.log 에 원하는 로그 정보를 JSON 형식으로 보내고 있었습니다. /log/development.log 여기에 td-agent를 넣고 로그를 S3로 보내고 Amazon Athena에서 SQL과 같은 로그를 추출하는 것을 원합니다. 여기에 쓰여진 대로 다운로드하고 td-agent를 넣습니다. 결론, 위의 명령으로 갈 수 ... AthenaFluentdtd-agent Athena를 사용하여 AWS 로그 집계 AWS 로그(ELB, CloudFront, CloudTrail)를 S3에 저장하고 Athena에서 집계해 보았습니다. DDL 정의도 포함되어 있습니다. 문서 기재의 것과 달리, 사용하기 쉬운 형태로 변경했습니다. S3에 저장된 데이터에 대해 쿼리를 실행할 수 있음 인스턴스를 시작하지 않고 S3 데이터에 대해 직접 SQL 쿼리 실행 가능 ANSI SQL 지원 내부적으로 Presto가 실행 중이... AthenaCloudtrailelbCloudFrontAWS