AWS용 BigQuery ? Amazon Athena

AWS re:Invent 2016 에서, Amazon Athena 라고 하는, S3 에 스토어 된 데이터에 대해서 SQL 을 던지는 서비스가 발표되었습니다.

AWS Blog 을 읽는 한, 여러가지 Google BigQuery 와 닮아 있습니다.

이미 US East (Northern Virginia), US West (Oregon) 지역에서 사용할 수 있습니다.

BigQuery와 비교

블로그와 FAQ에서 얻은 정보에 따르면 Athena의 Spec은 BigQuery와 비교하여 다음과 같습니다.



Athena
BigQuery


쿼리 엔진
Presto
Dremel

스토리지
S3
Colossus

SQL
ANSI SQL (버전은?)
SQL2011(Standard SQL의 경우)

UDF
×
Javascript, SQL

JDBC
○
×

웹 UI
○
○


웹 UI는 이런 느낌



샘플로서 elb_logs 라는 테이블이 처음부터 들어 있습니다.

수수료

Athena에서는 쿼리에 대해서만 요금이 청구되는 것 같습니다. (그렇지만, 스토리지가 S3이므로 그만큼의 비용은 별도 걸립니다)

$5 per TB of data scanned.

라는 것으로, 요금 체계도 BigQuery와 같습니다.

그러나 Athena에서는 SELECT하는 열을 좁히고 스캔 용량을 줄이기 위해서는, 자전으로 열 지향 포맷으로 S3에 둘 필요가 있는 것 같습니다.

현재, BigQuery의 Billing Tier적인 것은 보이지 않고, 순수하게 스캔한 용량에 의해 요금이 정해지는 것 같습니다.

감상

JDBC를 지원하는 것은 기쁘다

큰 데이터 세트로 시도하고 싶습니다

BigQuery 수준의 초성능이 나오면 상당히 기대할 수있는 것 같습니다.