BigQuery로 로컬 CSV 파일 가져오기
3558 단어 GoogleCloudPlatformgcpBigQuery
환경
GCP 계정 등록
【이미지로 설명】 Google Cloud Platform (GCP) 무료 평가판으로 계정 등록
Google Cloud SDK 설치
Google Cloud SDK 설치 ~ 초기화
프로젝트 만들기
Google Cloud SDK로 프로젝트 만들기
서비스 계정 / 서비스 계정 키 만들기
Python에서 GCS에 액세스할 수 있도록 서비스 계정/서비스 계정 키를 만듭니다.
서비스 계정 생성
gcloud iam service-accounts create サービスアカウントネーム \
--display-name サービスアカウントディスプレイネーム \
지금 프로젝트에 연결되어 있는 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# etag: BwWeTrntoao=
# version: 1
서비스 계정에 권한 부여
BigQuery 관리자 권한 부여
gcloud projects add-iam-policy-binding プロジェクトID \
--member serviceAccount:サービスアカウントネーム@プロジェクトID.iam.gserviceaccount.com \
--role roles/bigquery.admin
role 목록
다시 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# - members:
# - serviceAccount:[email protected]
# role: roles/bigquery.admin
# etag: BwWeTz6vIBY=
# version: 1
데이터세트 만들기
bq --location US mk --dataset(-d) プロジェクトID:データセットID
csv 파일 로드
※ 테이블은 자동으로 만들어집니다.
bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv
테이블 확인
bq ls
# datasetId
# -----------
# テーブル名
참조
Reference
이 문제에 관하여(BigQuery로 로컬 CSV 파일 가져오기), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/komiya_____/items/509a8743f6c45e4abd7c
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
Google Cloud SDK 설치 ~ 초기화
프로젝트 만들기
Google Cloud SDK로 프로젝트 만들기
서비스 계정 / 서비스 계정 키 만들기
Python에서 GCS에 액세스할 수 있도록 서비스 계정/서비스 계정 키를 만듭니다.
서비스 계정 생성
gcloud iam service-accounts create サービスアカウントネーム \
--display-name サービスアカウントディスプレイネーム \
지금 프로젝트에 연결되어 있는 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# etag: BwWeTrntoao=
# version: 1
서비스 계정에 권한 부여
BigQuery 관리자 권한 부여
gcloud projects add-iam-policy-binding プロジェクトID \
--member serviceAccount:サービスアカウントネーム@プロジェクトID.iam.gserviceaccount.com \
--role roles/bigquery.admin
role 목록
다시 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# - members:
# - serviceAccount:[email protected]
# role: roles/bigquery.admin
# etag: BwWeTz6vIBY=
# version: 1
데이터세트 만들기
bq --location US mk --dataset(-d) プロジェクトID:データセットID
csv 파일 로드
※ 테이블은 자동으로 만들어집니다.
bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv
테이블 확인
bq ls
# datasetId
# -----------
# テーブル名
참조
Reference
이 문제에 관하여(BigQuery로 로컬 CSV 파일 가져오기), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/komiya_____/items/509a8743f6c45e4abd7c
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
Python에서 GCS에 액세스할 수 있도록 서비스 계정/서비스 계정 키를 만듭니다.
서비스 계정 생성
gcloud iam service-accounts create サービスアカウントネーム \
--display-name サービスアカウントディスプレイネーム \
지금 프로젝트에 연결되어 있는 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# etag: BwWeTrntoao=
# version: 1
서비스 계정에 권한 부여
BigQuery 관리자 권한 부여
gcloud projects add-iam-policy-binding プロジェクトID \
--member serviceAccount:サービスアカウントネーム@プロジェクトID.iam.gserviceaccount.com \
--role roles/bigquery.admin
role 목록
다시 권한 확인
gcloud projects get-iam-policy mypj-id
# bindings:
# - members:
# - user:[email protected]
# role: roles/owner
# - members:
# - serviceAccount:[email protected]
# role: roles/bigquery.admin
# etag: BwWeTz6vIBY=
# version: 1
데이터세트 만들기
bq --location US mk --dataset(-d) プロジェクトID:データセットID
csv 파일 로드
※ 테이블은 자동으로 만들어집니다.
bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv
테이블 확인
bq ls
# datasetId
# -----------
# テーブル名
참조
Reference
이 문제에 관하여(BigQuery로 로컬 CSV 파일 가져오기), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/komiya_____/items/509a8743f6c45e4abd7c
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
bq --location US mk --dataset(-d) プロジェクトID:データセットID
※ 테이블은 자동으로 만들어집니다.
bq load \
--autodetect \ # スキーマの自動設定
--source_format CSV \
データセット名.テーブル名 \
local/path/to/file.csv
테이블 확인
bq ls
# datasetId
# -----------
# テーブル名
참조
Reference
이 문제에 관하여(BigQuery로 로컬 CSV 파일 가져오기), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다
https://qiita.com/komiya_____/items/509a8743f6c45e4abd7c
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
Reference
이 문제에 관하여(BigQuery로 로컬 CSV 파일 가져오기), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/komiya_____/items/509a8743f6c45e4abd7c텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
좋은 웹페이지 즐겨찾기
