개요

회사에서 TreasureData를 데이터 레이크로 사용하고 있으므로 BigQuery에서 데이터 가져 오기를 시도합니다.

문서 을 참고로 준비된 데이터 커넥터를 이용합니다.

준비

TreasureData의 커넥터 설정을 준비하기 위해 필요한 것은 다음과 같습니다.

BigQuery의 JSON keyfile

BigQuery 프로젝트 ID

BigQuery에서 가져올 대상 테이블 준비

가이드였던 테이블 만들기

서비스 계정 키 만들기

JSON keyfile을 발행하기 위해 서비스 계정 키를 작성하십시오.

절차 대로 실행해 갑니다.

GCP Console에서 IAM 및 관리 페이지를 엽니다.

IAM 및 관리 페이지 열기

프로젝트를 선택하고 계속을 클릭합니다.

왼쪽 탐색 메뉴에서 서비스 계정을 클릭합니다.

키를 만들 서비스 계정을 찾은 다음 해당 행의 고급 버튼 ︙을 클릭한 다음 키 만들기를 클릭합니다.

키 유형을 선택하고 만들기를 클릭합니다.

확인해 보면 서비스 계정이 없습니다 ...


test용으로 작성합니다.
TD의 문서에 있는 롤은 주의가 말할 것 같습니다.


우선 편집자로서 역할을 붙여 서비스 계정을 작성


그런 다음 단계와 같이 키를 JSON으로 만들면 파일로 다운로드되었습니다.
이제 BigQuery 측을 준비할 수 있었습니다.

TreasureData에서 커넥터 설정

바로 카탈로그에서 BigQuery를 선택해 봅니다.




방금 JSON keyfile을 입력하라는 메시지가 나타납니다.
입력하고 Continue를 누르면 자격 증명이 만들어집니다.


그런 다음 "New Source"에서 커넥터를 만듭니다.
익숙한 가이드에서 사용한 샘플 쿼리를 사용해 봅니다.
(그 외의 항목은, 특별히 변경 없음입니다.)


미리보기도 보입니다.
컬럼 설정도 이번에는 문제 없을 것 같기 때문에 그대로 진행합니다.


계속해서 임포트처의 정보 설정입니다.
여기는 필요에 따라 새로 작성하거나 기존 테이블에 추가할 수 있습니다.
이번에는 신규 테이블을 만들어 보겠습니다.



스케줄 설정은 불필요하므로 건너뛰기



마지막으로 이름을 붙여 실행합니다.



로그를 보면서 조금 기다리면 웹 알림이 도착하고 분명히 성공적으로 완료된 것 같습니다.
테이블을 보자.



안전하게 캡처합니다.

걱정되는 돈

무료 평가판의 크레딧 잔액을 볼 수 있다면이 가져 오기 실행에 변화가 없습니다 ...
여기는 좀 더 큰 쿼리를 실행해 보거나 어떻게 되는지 검증이 필요할 것 같다.

정리

하고 싶은 일을 시도했기 때문에 정리합니다.

TreasureData 측
- 만든 테이블
- BQ용 커넥터
- BQ용 자격 증명
BigQuery 측
- 작성한 데이터 세트 테이블
- 테스트용 서비스 계정