GoogleCloudPlatform Node.js에서 Cloud Storage 사용 (입문) 로 이동하여 서비스 계정 생성(API)을 수행합니다. 탐색 메뉴 > API 및 서비스 > 자격 증명 을 클릭하여 화면으로 이동합니다. 그런 다음 서비스 계정 관리를 클릭합니다. 다음 화면에서 서비스 계정 만들기를 클릭합니다. 서비스 계정의 상세를 각 항목 입력해 갑니다. 설정 항목 설정 내용 서비스 계정 이름 (임의로 설정) 서비스 계정 설명 (각 프로젝트 알기 쉽도록 임의로 설정) 입력이 ... GoogleCloudStorageNode.jsGoogleCloudPlatformCloudStorageCPSLAB WordPress를 속공으로 Google Cloud Platform(GCP)에 구축! 프리가 되고 나서 개인적인 기술 메모를 어딘가에 남겨 두고 싶다고 생각해, Qiita라든지라도 좋지만, 절각이므로 아직 사용한 적이 없는 WordPress를 사용해, 본 사이트를 시작하기로 했습니다 . 플러그인 개발이라든지의 안건도 있을 것 같기 때문에, 만져 두어 손해는 없을 것 같고. 직전에 AWS를 사용하고 있었기 때문에 AWS로 갈까라고 생각했습니다만, 금액을 철저히 조사하면 GCP가... GoogleCloudPlatformgcpWordPressgooglecomputeengine GCP: Cloud Pub/Sub 에 대해 씁니다. 비동기 메시징 서비스 메시징 미들웨어 및 스트리밍 분석 파이프 라인으로 사용할 수 있습니다 메시지 속성 : 게시자가 정의한 키 가치 쌍 게시자와 구독자 간의 관계 fan-out이라는 1대다 관계, fan-in이라는 다대 1 관계, 다대다 관계를 구현할 수 있다. Pub/Sub가 멀티존인 서비스인 반면, Lite는 1존 서비스. 용량은 적절하게 프로비저닝되고 그 용량에 대해 ... GoogleCloudPlatformgcp GCP: Dataflow 에 대해 씁니다. Apache Beam을 기반으로 한 배치/실시간 데이터 처리 기반입니다. Pipelines: 데이터 처리 단위 PCollection : 파이프 라인 데이터로 처리 할 수있는 객체 Transforms : PCollection을 입력으로하는 데이터 변환 처리 ParDo : 사용자 정의 함수를 호출하는 병렬 처리 작업 파이프 라인 I/O : 입력 소스와 출력 싱크로 구성된 Tra... GoogleCloudPlatformgcp heroku에서 Google Cloud 서비스 계정 키 설정 이전에는 다음 문서에서 Google Cloud Vision API를 사용하여 간단한 이미지 분석을 구현했습니다. 그러나 heroku 프로덕션 환경에서 잘 시작되지 않습니다 ... heroku에 각종 프로그램 파일을 투입할 때 git을 사용하고 있습니다. 즉, github과 같은 정보를 heroku 측에 push하고 있습니다. github에 키 정보를 가진 파일 등은 올리지 않도록 설정을하고 ... GoogleCloudVisionAPIGoogleCloudPlatformRails GCP: Operations (Stackdriver, Logging, Monitoring) 것, 이전 Stackdriver에 대해 씁니다. 실제 내용으로는 Logging과 Monitoring으로 나뉩니다. 다양한 GCP 서비스를 기록하는 서비스입니다. API와 라이브러리를 사용하면 GCP 이외의 로그도 가져옵니다. 로그 항목 크기 : 256KB까지 감사 로그 등은 기본적으로 400일간 유지하는, 다른 서비스에서는 디폴트 30일 쿼리 가능 GCS, BigQuery, Pub/Sub로 ... GoogleCloudPlatformgcp Google Cloud Vision API를 사용해 보았습니다. Google Cloud Vision은 Google에서 제공하지만 제공하는 이미지 분석 서비스입니다. 이번에는 이미지의 문장을 읽는 데 사용해 보았습니다. 아래 링크에서 Google Cloud Platform에 가입하세요. 화면 상단의 검색창에 Cloud Vision API를 입력합니다. 전환 후 화면에서 Cloud Vision API를 활성화하면 완료됩니다. 서비스 계정이란? 서비스 계정은 ... GoogleCloudVisionAPIRailsOCRGoogleCloudPlatformgcp Vue.js에서 Geocoder API를 사용해 보았습니다 (vue2-geocoder) Vue.js에서 Geocoder API를 호출 위도/경도를 얻어 보았습니다. 주소를 지리 좌표(위도/경도)로 변환할 수 있는 API입니다. 참조 : 사용 라이브러리 : @pderas/vue2-geocoder 사용 이유 : vue2의 geocoding용 플러그인에서 자주 사용되고 있다. 참조 : query 시에 설정할 수 있는 파라미터의 설명 (address_line_1) : 주소에서 검색할... GoogleCloudPlatformVue.jsgeocoder Kaggle의 Notebooks를 Google Cloud AI Notebooks에서 실행할 때 넘어지는 지점과 조치 Kaggle에서 데이터 분석하고 싶습니다! 그러나 Kaggle의 Kernel이라면 계산 리소스가 부족하고 훈련 시간이 너무 걸립니다 ... 계산 리소스를 업그레이드하기 위해 Google Cloud AI Notebooks로 마이그레이션하는 링크가 있지만 마이그레이션이 어렵습니다! 마이그레이션 링크를 소개 한 후 마이그레이션 넘어지는 지점과 조치를 정리합니다 증상 오류 메시지 "Quota 'GP... GoogleCloudPlatformgcpKaggle 공유 제한이 있는 Google 스프레드시트를 GCP 서비스 계정으로 로드하는 방법 Google 스프레드시트에 공유 제한이 있는 경우 GCP 서비스 계정을 로드할 수 없습니다. 이 경우 서비스 계정의 이메일 주소를 사용자로 Google 스프레드 시트에 등록하십시오. 절차는 다음과 같습니다. ① > IAM 및 관리 > 서비스 계정으로 이동하여 서비스 계정의 이메일 주소를 복사합니다. ② 제한된 로 이동하여 공유 버튼을 클릭합니다. ③ 그리고는 복사한 메일 주소를 등록하면 완료... GoogleCloudPlatformgoogleGoogleSpreadSheetgcp IdeaPad duet으로 개발 환경을 조성 평소 메인 머신으로 Macbook Pro 13 인치를 사용하고 있지만, 가지고 다니기에는 조금 무겁기 때문에 서브 기계를 원한다고 생각했던 곳에서 발견한 이쪽의 상품 Chromebook은 지금까지 사용한 적이 없었지만 Linux 환경을 사용할 수 있다는 점에서 구입했습니다. 모처럼 Linux를 사용할 수 있기 때문에 약간의 개발 환경을 정돈했다 굳이 로그도 남기 때문에 잘 안되는 사람은 참고... 5GoogleCloudPlatformVSCodeAWS Cloud Dataflow에서 BigQuery에 스트리밍 삽입할 때 약간의 주의 이런 프로그램을 다음과 같이 실행하면 에러가 발생. "/usr/local/lib/python3.7/site-packages/apitools/base/py/base_api.py", line 604, in __ProcessHttpResponse http_response, method_config=method_config, request=request) RuntimeError: apitools.b... GoogleCloudPlatformPython3CloudDataflowBigQuery 사쿠라 도메인과 GCP의 정적 주소를 연결 사쿠라 인터넷에서 도메인을 구입하고 있으며, 우선 정적 주소 만들기 정적 주소는 프로젝트 용으로 예약 된 외부 IP 주소이며 해제 될 때까지 예약 된 상태로 유지됩니다. 그런 다음 Cloud DNS 만들기 이 화면의 영역 생성에서 만들 수 있습니다. 생성하면 SOA 및 NS 레코드가 자동으로 생성됩니다. SOA 레코드는 권한 DNS 서버가 참조하는 정보이며 일련 번호 및 업데이트 기간 정보입... GoogleCloudPlatform네트워크 GCP의 데이터를 활용하여 AzureMachineLearning 실행 _3_GBQ 다음 문서는 Google Big Query(GBQ)의 단계입니다. 이 기사는 아래 GitHub에서 소스 코드를 공개합니다. GBQ 준비 현지 실험을 통한 테스트 AML 원격 실험 GBQ 데이터 삭제 jupyter notebook에서 [01_GBQ_Create_Table.ipynb]를 실행합니다. 사용 파일: - 01_GBQ_Create_Table.ipynb - project_folder/서비... AzureMachineLearningBigQueryAzureGoogleCloudPlatformMachineLearning Google BigQuery 데이터를 Data Portal에서 시각화 Tableau 및 Google 데이터 포털과 같은 BI 도구는 이제 데이터 분석 업무에서 필수적입니다. SQL로 데이터를 추출하고 대시보드화하는 스킬은, 절력화로 이어지기 때문에 데이터 분석의 현장에서 도움이 되는 일도 많지 않을까요. 이번에는 Google BigQuery의 데이터를 SQL을 통해 데이터 포털에서 시각화하고 싶습니다. 이번에는 Kaggle의 오픈 데이터에서 iOS 앱의 가격과... GoogleDataPortalGoogleCloudPlatformSQLBigQuery BigQuery 테이블의 정보를 일격(?)으로 취해 본다. 안녕하세요. 언제나 신세를지고 있습니다. 솔직히 귀찮아요. 데이터 세트 단위로 밖에 취할 수 없고. execute IMMEDIATE를 사용하고 싶었을 뿐입니다만. 밥이 익을 때까지 조금 만들어 보았습니다. 결과를 저장하는 테이블을 만듭니다. 야라 데이터 세트나 야라 테이블 찾기나, 데이터의 증량을 매일 보고 싶은 경우를 상정해, 테이블은 파티션 하고 있습니다. 아래와 같은 스크립트를 돌립니다... GoogleCloudPlatformGoogleBigQueryBigQuery BigQuery로 로컬 CSV 파일 가져오기 MacOS X 10.14.5 (Mojave) Homebrew 2.2.5 Google Cloud SDK 281.0.0 bq 2.0.53 Python에서 GCS에 액세스할 수 있도록 서비스 계정/서비스 계정 키를 만듭니다. 서비스 계정 생성 지금 프로젝트에 연결되어 있는 권한 확인 서비스 계정에 권한 부여 BigQuery 관리자 권한 부여 role 목록 다시 권한 확인 ※ 테이블은 자동으로 만들... GoogleCloudPlatformgcpBigQuery Google 스프레드시트와 Google Data Portal에서 Covid-19 대시보드 10분 만에 제작 후로성이 공개하고 있는 신형 코로나 양성자 수의 대시보드를 10분에 작성합니다. Google 스프레드시트와 Google DataPortal을 활용하면 브라우저에서만 무료로 오픈 데이터를 활용한 대시보드를 쉽게 만들 수 있습니다. 원본 데이터 후생노동성 오프 데이터 양성자 수 데이터(CSV) Google 스프레드 시트 Google Data Portal 절차 개요 Google 스프레드 시트의 I... GoogleDataPortalGoogleCloudPlatformGoogleSpreadSheet Google Cloud의 AI Platform Notebooks로 손쉽게 경쟁 환경 구축 kaggle이나 SIGNATE와 같은 데이터 분석 대회에서는 때로는 대용량 데이터를 다룰 수 있으므로 랩톱 PC에서는 메모리가 부족해질 수 있습니다. 그러한 경우는 쭈쭈 PC를 구입하거나 GCP나 AWS와 같은 클라우드 환경을 이용합니다만, 후자는 프로그래밍 초보자에게는 어려운 면이 있습니다. Google Cloud의 AI Platform Notebooks를 사용하면 비교 분석 환경을 쉽게 ... GoogleCloudPlatformKaggle GitHub에 Push하면 Google Cloud Build에서 CI가 움직여 Slack 통지하는 사람 Cloud Build에서 PHP 애플리케이션에서 phpunit을 실행하여 slack에 알리는 사람을 할 수 있습니다. GCP 공식 문서 완성 2. Cloud Build API 활성화 3. GitHub 측에서 Cloud Build App 설정 GitHub marketplace에서 application 사용 이 설정이 완료되면 일단 Pull Request 생성 시 Cloud Build가 움직이는... PHPCloudBuild시슬랙GoogleCloudPlatform 분보를 쓰면 쓸수록 영어 능력이 힘들어지는 이야기 Slack의 분보 굉장히 쓰는 사람이 되었다 이 에너지를 뭔가에 사용할 수 없는가 하고, 자신의 발언을 영역시켜 보면 영어 공부가 되는 것은 아닐까 생각했다 영어로 echo하는 Slack Bot입니다. 일본어 이외에는 반응하지 않게 했다 Outgoing Webhooks가 자신의 발언을 주워 무한 루프 사건 이번에는 매직 워드 (☕️)를 부여하여 루프를 회피 Outgoing Webhooks 사... 빌어 먹을 앱cloudfunctionsbotGoogleCloudPlatform번역 GAE: second generation runtime 기능을 효과적으로 활용하면서 Python 3.7 웹 앱을 실행합니다. 조금 전에 Python 3.7이 GAE의 standard environment에서 사용할 수 있게 되었다고 발표되었습니다(2018/10/14 시점에서는 베타판). 또한 second generation runtime을 사용할 수 있습니다. 그들을 보고, 내가 옛날에 쓴 앱(내부에서 pandas를 사용하고 있습니다)을 second generation 위에서 간단하게 움직일 수 있을까? 라고 생각... GoogleCloudPlatform파이썬gcpGAE GAE/Go (+ dep)를 gcloud 명령없이 CI에 배포 GAE(Google App Engine) 앱을 배포할 때는 일반적으로 gcloud app deploy 명령 사용 그러나 GAE/Go 조합에서 을 사용하면 다음과 같은 오류로 배포하지 못했습니다. 이미 이 오류는 다음 기사에서 다루었습니다. 불행히도 아직 수정되지 않은 것 같습니다. 그래서, 에 올라 있던 「오래된 goapp 를 사용하는 방법」을 시험해 보겠습니다. 다음 페이지에서 goapp ... GoogleAppEngineDEPGAE5GoogleCloudPlatform Google App Engine의 Images API란 무엇입니까(+Go 샘플 구현) Cloud Storage에 저장된 이미지에 대해 매개 변수를 사용하여 동적 크기를 조정하고 잘라내는 공개 URL을 게시합니다. 자전으로 화상의 리사이즈 처리를 쓰지 않아도, 간단하게 썸네일용의 화상등을 전달할 수 있어 매우 편리합니다. URL의 끝에 =s32 와 같은 문자열을 붙여 동적으로 처리된 이미지를 얻을 수 있습니다. 처리 파라미터 예 너비 32px에 맞게 크기 조정http://lh*... 5GoogleCloudPlatformGAEGoogleAppEngine pyenv 환경에서 Google Cloud SDK 설치 Google Cloud SDK는 Python2 계열만 지원하고 게다가 오래된 채로 남아있는 것 같고, pyenv (+virtualenv) 환경하에서 설치를 시도하면 여러 곳이 파괴된다. pyenv virtualenv 2.7.12 gcloudsdk에서 만든 Python2 환경 아래에 Google Cloud SDK를 설치하고 싶습니다. 시스템 환경을 오염시키지 않을 것입니다. 그렇다면 움직이는 ... GoogleAppEngineGoogleCloudSDKpyenvGAEGoogleCloudPlatform Google App Engine에서 버전 관리하기 Google App Engine 버전 관리가 매우 편리했기 때문에 요약합니다. 참고로, 자세한 것은 이 기사를 알기 쉽습니다만, 실제의 방법으로서 제가 잘 된 방법을 정리합니다. 프로덕션 릴리스 버전은 r001, r002와 버전을 올려 간다. 개발 릴리스 버전은 d001, d002로 버전을 올려 간다. 개발 d001 → 개발 d002 → 프로덕션 r001 출시. 그 후, 수정의 필요가 나왔을... GoogleCloudPlatformGAE 실시간 카메라 영상＋Google Cloud Vision 2:LABEL_DETECTION 카메라 이미지에 무엇이 비치고 있는지 (Label)를 표시하는 일반적인 프로그램. 「실시간의 카메라 영상＋Google Cloud Vision(＋OpenCV)」의 샘플 코드가 발견되지 않았으므로, 투고. 무엇이 비치고 있는지 추출하는 엔진은 Google Cloud Vision API(LABEL_DETECTION)를 이용. SDK가 아닌 REST 버전. 그 외는 와 함께 Windows 7 Ope... OpenCVpython2.7GoogleCloudPlatform이미지 인식GoogleVisionAPI
Node.js에서 Cloud Storage 사용 (입문) 로 이동하여 서비스 계정 생성(API)을 수행합니다. 탐색 메뉴 > API 및 서비스 > 자격 증명 을 클릭하여 화면으로 이동합니다. 그런 다음 서비스 계정 관리를 클릭합니다. 다음 화면에서 서비스 계정 만들기를 클릭합니다. 서비스 계정의 상세를 각 항목 입력해 갑니다. 설정 항목 설정 내용 서비스 계정 이름 (임의로 설정) 서비스 계정 설명 (각 프로젝트 알기 쉽도록 임의로 설정) 입력이 ... GoogleCloudStorageNode.jsGoogleCloudPlatformCloudStorageCPSLAB WordPress를 속공으로 Google Cloud Platform(GCP)에 구축! 프리가 되고 나서 개인적인 기술 메모를 어딘가에 남겨 두고 싶다고 생각해, Qiita라든지라도 좋지만, 절각이므로 아직 사용한 적이 없는 WordPress를 사용해, 본 사이트를 시작하기로 했습니다 . 플러그인 개발이라든지의 안건도 있을 것 같기 때문에, 만져 두어 손해는 없을 것 같고. 직전에 AWS를 사용하고 있었기 때문에 AWS로 갈까라고 생각했습니다만, 금액을 철저히 조사하면 GCP가... GoogleCloudPlatformgcpWordPressgooglecomputeengine GCP: Cloud Pub/Sub 에 대해 씁니다. 비동기 메시징 서비스 메시징 미들웨어 및 스트리밍 분석 파이프 라인으로 사용할 수 있습니다 메시지 속성 : 게시자가 정의한 키 가치 쌍 게시자와 구독자 간의 관계 fan-out이라는 1대다 관계, fan-in이라는 다대 1 관계, 다대다 관계를 구현할 수 있다. Pub/Sub가 멀티존인 서비스인 반면, Lite는 1존 서비스. 용량은 적절하게 프로비저닝되고 그 용량에 대해 ... GoogleCloudPlatformgcp GCP: Dataflow 에 대해 씁니다. Apache Beam을 기반으로 한 배치/실시간 데이터 처리 기반입니다. Pipelines: 데이터 처리 단위 PCollection : 파이프 라인 데이터로 처리 할 수있는 객체 Transforms : PCollection을 입력으로하는 데이터 변환 처리 ParDo : 사용자 정의 함수를 호출하는 병렬 처리 작업 파이프 라인 I/O : 입력 소스와 출력 싱크로 구성된 Tra... GoogleCloudPlatformgcp heroku에서 Google Cloud 서비스 계정 키 설정 이전에는 다음 문서에서 Google Cloud Vision API를 사용하여 간단한 이미지 분석을 구현했습니다. 그러나 heroku 프로덕션 환경에서 잘 시작되지 않습니다 ... heroku에 각종 프로그램 파일을 투입할 때 git을 사용하고 있습니다. 즉, github과 같은 정보를 heroku 측에 push하고 있습니다. github에 키 정보를 가진 파일 등은 올리지 않도록 설정을하고 ... GoogleCloudVisionAPIGoogleCloudPlatformRails GCP: Operations (Stackdriver, Logging, Monitoring) 것, 이전 Stackdriver에 대해 씁니다. 실제 내용으로는 Logging과 Monitoring으로 나뉩니다. 다양한 GCP 서비스를 기록하는 서비스입니다. API와 라이브러리를 사용하면 GCP 이외의 로그도 가져옵니다. 로그 항목 크기 : 256KB까지 감사 로그 등은 기본적으로 400일간 유지하는, 다른 서비스에서는 디폴트 30일 쿼리 가능 GCS, BigQuery, Pub/Sub로 ... GoogleCloudPlatformgcp Google Cloud Vision API를 사용해 보았습니다. Google Cloud Vision은 Google에서 제공하지만 제공하는 이미지 분석 서비스입니다. 이번에는 이미지의 문장을 읽는 데 사용해 보았습니다. 아래 링크에서 Google Cloud Platform에 가입하세요. 화면 상단의 검색창에 Cloud Vision API를 입력합니다. 전환 후 화면에서 Cloud Vision API를 활성화하면 완료됩니다. 서비스 계정이란? 서비스 계정은 ... GoogleCloudVisionAPIRailsOCRGoogleCloudPlatformgcp Vue.js에서 Geocoder API를 사용해 보았습니다 (vue2-geocoder) Vue.js에서 Geocoder API를 호출 위도/경도를 얻어 보았습니다. 주소를 지리 좌표(위도/경도)로 변환할 수 있는 API입니다. 참조 : 사용 라이브러리 : @pderas/vue2-geocoder 사용 이유 : vue2의 geocoding용 플러그인에서 자주 사용되고 있다. 참조 : query 시에 설정할 수 있는 파라미터의 설명 (address_line_1) : 주소에서 검색할... GoogleCloudPlatformVue.jsgeocoder Kaggle의 Notebooks를 Google Cloud AI Notebooks에서 실행할 때 넘어지는 지점과 조치 Kaggle에서 데이터 분석하고 싶습니다! 그러나 Kaggle의 Kernel이라면 계산 리소스가 부족하고 훈련 시간이 너무 걸립니다 ... 계산 리소스를 업그레이드하기 위해 Google Cloud AI Notebooks로 마이그레이션하는 링크가 있지만 마이그레이션이 어렵습니다! 마이그레이션 링크를 소개 한 후 마이그레이션 넘어지는 지점과 조치를 정리합니다 증상 오류 메시지 "Quota 'GP... GoogleCloudPlatformgcpKaggle 공유 제한이 있는 Google 스프레드시트를 GCP 서비스 계정으로 로드하는 방법 Google 스프레드시트에 공유 제한이 있는 경우 GCP 서비스 계정을 로드할 수 없습니다. 이 경우 서비스 계정의 이메일 주소를 사용자로 Google 스프레드 시트에 등록하십시오. 절차는 다음과 같습니다. ① > IAM 및 관리 > 서비스 계정으로 이동하여 서비스 계정의 이메일 주소를 복사합니다. ② 제한된 로 이동하여 공유 버튼을 클릭합니다. ③ 그리고는 복사한 메일 주소를 등록하면 완료... GoogleCloudPlatformgoogleGoogleSpreadSheetgcp IdeaPad duet으로 개발 환경을 조성 평소 메인 머신으로 Macbook Pro 13 인치를 사용하고 있지만, 가지고 다니기에는 조금 무겁기 때문에 서브 기계를 원한다고 생각했던 곳에서 발견한 이쪽의 상품 Chromebook은 지금까지 사용한 적이 없었지만 Linux 환경을 사용할 수 있다는 점에서 구입했습니다. 모처럼 Linux를 사용할 수 있기 때문에 약간의 개발 환경을 정돈했다 굳이 로그도 남기 때문에 잘 안되는 사람은 참고... 5GoogleCloudPlatformVSCodeAWS Cloud Dataflow에서 BigQuery에 스트리밍 삽입할 때 약간의 주의 이런 프로그램을 다음과 같이 실행하면 에러가 발생. "/usr/local/lib/python3.7/site-packages/apitools/base/py/base_api.py", line 604, in __ProcessHttpResponse http_response, method_config=method_config, request=request) RuntimeError: apitools.b... GoogleCloudPlatformPython3CloudDataflowBigQuery 사쿠라 도메인과 GCP의 정적 주소를 연결 사쿠라 인터넷에서 도메인을 구입하고 있으며, 우선 정적 주소 만들기 정적 주소는 프로젝트 용으로 예약 된 외부 IP 주소이며 해제 될 때까지 예약 된 상태로 유지됩니다. 그런 다음 Cloud DNS 만들기 이 화면의 영역 생성에서 만들 수 있습니다. 생성하면 SOA 및 NS 레코드가 자동으로 생성됩니다. SOA 레코드는 권한 DNS 서버가 참조하는 정보이며 일련 번호 및 업데이트 기간 정보입... GoogleCloudPlatform네트워크 GCP의 데이터를 활용하여 AzureMachineLearning 실행 _3_GBQ 다음 문서는 Google Big Query(GBQ)의 단계입니다. 이 기사는 아래 GitHub에서 소스 코드를 공개합니다. GBQ 준비 현지 실험을 통한 테스트 AML 원격 실험 GBQ 데이터 삭제 jupyter notebook에서 [01_GBQ_Create_Table.ipynb]를 실행합니다. 사용 파일: - 01_GBQ_Create_Table.ipynb - project_folder/서비... AzureMachineLearningBigQueryAzureGoogleCloudPlatformMachineLearning Google BigQuery 데이터를 Data Portal에서 시각화 Tableau 및 Google 데이터 포털과 같은 BI 도구는 이제 데이터 분석 업무에서 필수적입니다. SQL로 데이터를 추출하고 대시보드화하는 스킬은, 절력화로 이어지기 때문에 데이터 분석의 현장에서 도움이 되는 일도 많지 않을까요. 이번에는 Google BigQuery의 데이터를 SQL을 통해 데이터 포털에서 시각화하고 싶습니다. 이번에는 Kaggle의 오픈 데이터에서 iOS 앱의 가격과... GoogleDataPortalGoogleCloudPlatformSQLBigQuery BigQuery 테이블의 정보를 일격(?)으로 취해 본다. 안녕하세요. 언제나 신세를지고 있습니다. 솔직히 귀찮아요. 데이터 세트 단위로 밖에 취할 수 없고. execute IMMEDIATE를 사용하고 싶었을 뿐입니다만. 밥이 익을 때까지 조금 만들어 보았습니다. 결과를 저장하는 테이블을 만듭니다. 야라 데이터 세트나 야라 테이블 찾기나, 데이터의 증량을 매일 보고 싶은 경우를 상정해, 테이블은 파티션 하고 있습니다. 아래와 같은 스크립트를 돌립니다... GoogleCloudPlatformGoogleBigQueryBigQuery BigQuery로 로컬 CSV 파일 가져오기 MacOS X 10.14.5 (Mojave) Homebrew 2.2.5 Google Cloud SDK 281.0.0 bq 2.0.53 Python에서 GCS에 액세스할 수 있도록 서비스 계정/서비스 계정 키를 만듭니다. 서비스 계정 생성 지금 프로젝트에 연결되어 있는 권한 확인 서비스 계정에 권한 부여 BigQuery 관리자 권한 부여 role 목록 다시 권한 확인 ※ 테이블은 자동으로 만들... GoogleCloudPlatformgcpBigQuery Google 스프레드시트와 Google Data Portal에서 Covid-19 대시보드 10분 만에 제작 후로성이 공개하고 있는 신형 코로나 양성자 수의 대시보드를 10분에 작성합니다. Google 스프레드시트와 Google DataPortal을 활용하면 브라우저에서만 무료로 오픈 데이터를 활용한 대시보드를 쉽게 만들 수 있습니다. 원본 데이터 후생노동성 오프 데이터 양성자 수 데이터(CSV) Google 스프레드 시트 Google Data Portal 절차 개요 Google 스프레드 시트의 I... GoogleDataPortalGoogleCloudPlatformGoogleSpreadSheet Google Cloud의 AI Platform Notebooks로 손쉽게 경쟁 환경 구축 kaggle이나 SIGNATE와 같은 데이터 분석 대회에서는 때로는 대용량 데이터를 다룰 수 있으므로 랩톱 PC에서는 메모리가 부족해질 수 있습니다. 그러한 경우는 쭈쭈 PC를 구입하거나 GCP나 AWS와 같은 클라우드 환경을 이용합니다만, 후자는 프로그래밍 초보자에게는 어려운 면이 있습니다. Google Cloud의 AI Platform Notebooks를 사용하면 비교 분석 환경을 쉽게 ... GoogleCloudPlatformKaggle GitHub에 Push하면 Google Cloud Build에서 CI가 움직여 Slack 통지하는 사람 Cloud Build에서 PHP 애플리케이션에서 phpunit을 실행하여 slack에 알리는 사람을 할 수 있습니다. GCP 공식 문서 완성 2. Cloud Build API 활성화 3. GitHub 측에서 Cloud Build App 설정 GitHub marketplace에서 application 사용 이 설정이 완료되면 일단 Pull Request 생성 시 Cloud Build가 움직이는... PHPCloudBuild시슬랙GoogleCloudPlatform 분보를 쓰면 쓸수록 영어 능력이 힘들어지는 이야기 Slack의 분보 굉장히 쓰는 사람이 되었다 이 에너지를 뭔가에 사용할 수 없는가 하고, 자신의 발언을 영역시켜 보면 영어 공부가 되는 것은 아닐까 생각했다 영어로 echo하는 Slack Bot입니다. 일본어 이외에는 반응하지 않게 했다 Outgoing Webhooks가 자신의 발언을 주워 무한 루프 사건 이번에는 매직 워드 (☕️)를 부여하여 루프를 회피 Outgoing Webhooks 사... 빌어 먹을 앱cloudfunctionsbotGoogleCloudPlatform번역 GAE: second generation runtime 기능을 효과적으로 활용하면서 Python 3.7 웹 앱을 실행합니다. 조금 전에 Python 3.7이 GAE의 standard environment에서 사용할 수 있게 되었다고 발표되었습니다(2018/10/14 시점에서는 베타판). 또한 second generation runtime을 사용할 수 있습니다. 그들을 보고, 내가 옛날에 쓴 앱(내부에서 pandas를 사용하고 있습니다)을 second generation 위에서 간단하게 움직일 수 있을까? 라고 생각... GoogleCloudPlatform파이썬gcpGAE GAE/Go (+ dep)를 gcloud 명령없이 CI에 배포 GAE(Google App Engine) 앱을 배포할 때는 일반적으로 gcloud app deploy 명령 사용 그러나 GAE/Go 조합에서 을 사용하면 다음과 같은 오류로 배포하지 못했습니다. 이미 이 오류는 다음 기사에서 다루었습니다. 불행히도 아직 수정되지 않은 것 같습니다. 그래서, 에 올라 있던 「오래된 goapp 를 사용하는 방법」을 시험해 보겠습니다. 다음 페이지에서 goapp ... GoogleAppEngineDEPGAE5GoogleCloudPlatform Google App Engine의 Images API란 무엇입니까(+Go 샘플 구현) Cloud Storage에 저장된 이미지에 대해 매개 변수를 사용하여 동적 크기를 조정하고 잘라내는 공개 URL을 게시합니다. 자전으로 화상의 리사이즈 처리를 쓰지 않아도, 간단하게 썸네일용의 화상등을 전달할 수 있어 매우 편리합니다. URL의 끝에 =s32 와 같은 문자열을 붙여 동적으로 처리된 이미지를 얻을 수 있습니다. 처리 파라미터 예 너비 32px에 맞게 크기 조정http://lh*... 5GoogleCloudPlatformGAEGoogleAppEngine pyenv 환경에서 Google Cloud SDK 설치 Google Cloud SDK는 Python2 계열만 지원하고 게다가 오래된 채로 남아있는 것 같고, pyenv (+virtualenv) 환경하에서 설치를 시도하면 여러 곳이 파괴된다. pyenv virtualenv 2.7.12 gcloudsdk에서 만든 Python2 환경 아래에 Google Cloud SDK를 설치하고 싶습니다. 시스템 환경을 오염시키지 않을 것입니다. 그렇다면 움직이는 ... GoogleAppEngineGoogleCloudSDKpyenvGAEGoogleCloudPlatform Google App Engine에서 버전 관리하기 Google App Engine 버전 관리가 매우 편리했기 때문에 요약합니다. 참고로, 자세한 것은 이 기사를 알기 쉽습니다만, 실제의 방법으로서 제가 잘 된 방법을 정리합니다. 프로덕션 릴리스 버전은 r001, r002와 버전을 올려 간다. 개발 릴리스 버전은 d001, d002로 버전을 올려 간다. 개발 d001 → 개발 d002 → 프로덕션 r001 출시. 그 후, 수정의 필요가 나왔을... GoogleCloudPlatformGAE 실시간 카메라 영상＋Google Cloud Vision 2:LABEL_DETECTION 카메라 이미지에 무엇이 비치고 있는지 (Label)를 표시하는 일반적인 프로그램. 「실시간의 카메라 영상＋Google Cloud Vision(＋OpenCV)」의 샘플 코드가 발견되지 않았으므로, 투고. 무엇이 비치고 있는지 추출하는 엔진은 Google Cloud Vision API(LABEL_DETECTION)를 이용. SDK가 아닌 REST 버전. 그 외는 와 함께 Windows 7 Ope... OpenCVpython2.7GoogleCloudPlatform이미지 인식GoogleVisionAPI