【BigQuery】 개인적으로 기억해야 할 용어와 자주 사용하는 bq 명령

소개

BigQuery 대단하네요.
일찍 싸다! 확실히 더 이상 없네요.

이번에는 Google이 제공하는 최강의 빅 데이터 해석 서비스 BigQuery에 대해 소개하고 싶습니다.

기억해야 할 용어

[참고 URL] htps //w w. 아 ps-gcp. 코 m / 비 g 쿠에 ry-in t 로즈 c 치온 /

우선 상위 계층에 프로젝트가 있습니다.
그리고 그 프로젝트 안에 데이터 세트가 있고 그 안에 테이블이 있다는 구성이 되어 있습니다.

프로젝트라는 것은 GCP의 프로젝트로, 데이터 세트는 소위 RDB에서 말하는 데이터베이스에 해당합니다.

자주 사용하는 bq 명령

Developer Console에서 조작해도 좋지만, 자동화하기 위해서는 커맨드 라인에서 조작하는 것이 뭔가 편리합니다.
그래서 여기에서 자신이 자주 사용하는 bq 명령을 열거하고 싶습니다.

bq 명령은 Google Cloud SDK를 설치하여 사용할 수 있습니다.

1. bq help [명령 이름]

이것은 소위 help 명령입니다.
뭔가 모르는 명령이 있었을 때는 일단 이것을 두드린다.

ex)

$ bq help ls
Python script for interacting with BigQuery.


USAGE: bq [--global_flags] <command> [--command_flags] [args]


ls         List the objects contained in the named collection.

           List the objects in the named project or dataset. A
           trailing : or . can be used to signify a project or
           dataset.
           * With -j, show the jobs in the named project.
           * With -p, show all projects.

           Examples:
           bq ls
           bq ls -j proj
           bq ls -p -n 1000
           bq ls mydataset
           bq ls -a
           bq ls --filter labels.color:red
           bq ls --filter 'labels.color:red labels.size:*'
           bq ls --transfer_config --transfer_location='us'
           --filter='dataSourceIds:play,adwords'
           bq ls --transfer_run --filter='states:SUCCESSED,PENDING'
           --run_attempt='LATEST'
           projects/p/locations/l/transferConfigs/c
           bq ls --transfer_log
           --message_type='messageTypes:INFO,ERROR'
           projects/p/locations/l/transferConfigs/c/runs/r

           Flags for ls:

2. bq ls

데이터 세트 목록 참조.
-p 옵션을 사용하면 프로젝트 목록을 볼 수 있습니다.

3. bq query

쿼리를 실행하는 명령입니다.

ex)

$ bq query 'select * from sample_dataset.sample_table'

4. bq show

데이터 세트의 상세를 확인하고 싶을 때 사용하는 명령입니다.

5. bq mk

테이블 작성 명령입니다.

ex)

$ bq mk new_dataset.new_table

6. bq rm

데이터 세트와 테이블을 삭제하는 명령입니다.

ex)

$ bq rm sample_dataset

7. bq head

테이블의 레코드 목록을 출력하는 명령입니다.

ex)

$ bq head sample_dataset.sample_table

8. bq shell

터미널 환경을 bq 명령 전용 쉘 환경으로 전환하기 위한 명령.
상당히 편리. 일부러 bq와 칠 필요가 없어진다.

이상입니다!