AWS 터치 시각 형상 도구

베이스

AWS의 기본을 배우자. 스페셜 편의 스페셜 편 최신 서비스. Athena와 QuickSight 함께 공유. 구현한 내용을 토대로 요약합니다.

Amazon Athena

Amazon S3의 데이터 투척 표준 SQL에 대한 상호 조회 및 데이터 분석을 위한 서버 없는 서비스

Amazon Athena Federated Query

직접 연결기를 제작하여 평상시 작업에서 사용하는 데이터 원본과 연결할 수 있음

미리 Lambda를 만들고 Athena 연결을 통해 데이터 원본에 조회할 수 있음

AWS 공식에서도 소개연결 부호

주의

v2의 사용 가능한 구역

검색에 대한 요금이기 때문에 검색 대상의 데이터가 큰 상황에서 압축하면 원가를 낮출 수 있다

100MB 이상의 데이터를 분석할 때 유효

Athena의 파티션 및 선택 항목

Glue에서 CSV를 Parquet 형식으로 변환하는 것도 선택 항목으로 사용

Amazon Athena Federated Query 설정 화면

새 Lambda

SAM용 정의

  AthenaDynamoDBConnector:
    Type: AWS::Serverless::Application
    Properties:
      Location:
        ApplicationId: arn:aws:serverlessrepo:us-east-1:292517598671:applications/AthenaDynamoDBConnector
        SemanticVersion: 2021.14.1
      Parameters: 
        # The name you will give to this catalog in Athena. It will also be used as the function name. This name must satisfy the pattern ^[a-z0-9-_]{1,64}$
        AthenaCatalogName: YOUR_VALUE
        # WARNING: If set to 'true' encryption for spilled data is disabled.
        # DisableSpillEncryption: 'false' # Uncomment to override default value
        # Lambda memory in MB (min 128 - 3008 max).
        # LambdaMemory: '3008' # Uncomment to override default value
        # Maximum Lambda invocation runtime in seconds. (min 1 - 900 max)
        # LambdaTimeout: '900' # Uncomment to override default value
        # The name of the bucket where this function can spill data.
        SpillBucket: YOUR_VALUE
        # The prefix within SpillBucket where this function can spill data.
        # SpillPrefix: 'athena-spill' # Uncomment to override default value  

Lambda 만들기

Athena에서 DDB 검색

RCU(Region Capacity Unit)를 소모하기 위해 뒷면에 여러 Lambda를 부팅합니다(=비용 발생😍)

Athena는 내부에서Preseto를 엔진으로 작동한다(RDBMS의 사용자는 지금까지의 지식을 이용하여 조회를 쓸 수 있다)

https://prestodb.io/docs/0.217/index.html

Athna 검색 결과

조회의 실행 결과도 S3로 내보내기 때문에 매번 실행하지 않을 수 있음

Preseto의 문법에 따른 Table의 JOIN도 쉽다

Amazon QuickSight

브라우저만 있으면 관리자, 편집, 열람자의 조작을 완성할 수 있다

VPN 및 사설 회선 연결 서비스를 통해 총리의 데이터 소스에 연결 가능

AWS 내의 다른 서비스와도 연결 가능(물론)

AWS 이외의 SaaS 시스템에도 연결 가능

내부에서 SPICE(Super-fast, Parallel, In-memory Calculation Engine)가 실행 중입니다.

화면이 30분 동안 연결되면 하나의 세션이 됩니다.

자유롭게 사용하더라도 최대 5달러

사용하지 않으면 0달러

QuickSight의 Athena 설정

액세스 라이센스 Athena

방문한 S3와 람다의 설정(S3편)

방문한 S3 및 Lambda의 설정(Lambda편)

2021년 4월 연결 가능한 데이터 소스 일람

Athena에 쿼리 발행,QuichSight와 연합(1/3)

Athena에 쿼리 발행,QuichSight와 연합(2/3)

Athena에 조회 발행,QuichSight와 연합(3/3)

가져오기 상태 확인(1/2)

가져오기 확인 (2/2)

다이어그램을 선택하여 드릴링할 수도 있음

도표를 선택하면 시추를 할 수 있다

도 예측 가능(1/2)

도 예측 가능(2/2)

최후

QuickSight는 한 사용자만 있으면 무료로 사용할 수 있다

Athena에 대해서도 모바일 조회를 하지 않으면 비용이 발생하지 않는다

새 부팅 시 고려 사항

2021년 4월 Amazon QuickSight 신규 등록 후
외부 데이터를 읽기 전에 약간의 시간이 필요한 경우
또한 QuickSight는 용량 영역을 가지고 있습니다.
AWS 계정에서 가장 먼저 QuickSight를 시작하는 영역은 용량 영역입니다.
QuickSight가 시작되는 영역은 Athena와 같아야 합니다. 그렇지 않으면 연결할 수 없습니다.

이외에

AWS로 실천!Analythics modernization~ 사례 제편~