Datastore 데이터를 BigQuery에 넣고 SELECT하는 방법

무엇이 재미있는가



DataStore의 데이터는 GQL을 사용하여 검색할 수 있지만 자유도가 낮다. 일부러 프로그램 짜는 것도 번거롭다. BigQuery에 넣으면 빠르고 자유로운 SQL로 검색을 할 수 있다!

절차



버킷 준비



GAE 콘솔( htps : // 이런. 로 ごぉぺrs. 오, ぇ. 코m/ )(새 GAE 콘솔)에서 Storage Browser를 선택합니다.
처음의 경우는 Create a bucket을 한다.



bucket명이 Datastore를 넣는 장소가 된다.



DatastoreAdmin으로 Backup



GAE 콘솔( htps : // 아펜 기네. 오, ぇ. 코m/ )에서 Datastore Admin을 선택합니다.
이전 콘솔에서만 Datastore Admin이 존재하므로주의하십시오 (2015/03/24 현재)

처음이라면 Enable Datastore Admin을 클릭하십시오.

그러면 화면이 바뀌므로 BigQuery에 넣고 싶은 Model을 선택하고 Backup Entities를 누릅니다.



Backup storage destination:을 GCS로 설정합니다.
Google Cloud Storage bucket name을 준비된 bucket 이름으로 지정합니다.


잘하면 이런 느낌의 화면이 나온다.


잠시 후, 준비한 bucket에 파일을 할 수 있다.

BigQuery 열기



CreateNewDataSet 선택


DataSet ID는 무엇이든 좋다. 좋아하기 때문에.


Create new table을 선택합니다.


table id는 Model명을 알기 쉽다.


SelectData에서 Cloud DataStore Backup을 선택합니다.
gs://[버킷 이름]/[Model 파일 이름].backup_info
실수하면 잘되지 않을 뿐이므로 괜찮습니다.
그래서 submit한다.



Recent Jobs에서 잘 갔는지 알려주세요.


BigQuery 생활에!



지금까지 GQL에서 사용할 수 없었던 GROUP BY나 HAVING이나 JOIN을 사용할 수 있습니다!
지금까지라면 「프로그램 짜는 수밖에 없구나… 」라고 생각했던 것이 이것으로 개선됩니다! !

좋은 웹페이지 즐겨찾기