Embulk Embulk에서 RDS에서 S3로 테이블 단위로 데이터 전송 Embulk에서 플러그인을 넣고 RDS에서 S3로 테이블 단위로 데이터를 전송해 보았습니다. 메모입니다. Embulk는 Java가 필요하므로 설치 embulk 설치 embulk-input-mysql 설치 embulk-output-s3 설치 테스트 데이터 작성 IAM에서 IAM 사용자 만들기 정책은 AmazonS3FullAccess를 연결했습니다. Embulk 설정 파일 편집 Embulk 실행... EmbulkAWS Embulk에서 RDS에서 S3로 열 단위로 데이터 전송 Embulk에서 플러그인을 넣고 RDS에서 S3로 열 단위로 데이터를 전송해 보았습니다. 메모입니다. Embulk는 Java가 필요하므로 설치 embulk 설치 embulk-input-mysql 설치 embulk-output-s3 설치 테스트 데이터 작성 IAM에서 IAM 사용자 만들기 정책은 AmazonS3FullAccess를 연결했습니다. Embulk 설정 파일 편집 Embulk 실행 S... EmbulkAWS embulk-input-mysql의 SSL 통신에 Communications link failure가 나왔을 때의 대처법 어느 시점부터 SSLException 인스턴스 회전으로 인해 인스턴스를 다시 작성한 후 오류가 발생하여 연결할 수 없습니다. 응급 적으로 SSL: true 2020 년부터 TLS v1.0/1.1의 무효화가 결정되었으므로 그 영향을 의심합니다. twitter에서 도움을 받는다 제안 된 설정을 추가하여 해결할 수 있습니다 embulk에 전달할 구성 파일에 SSL: enable를 지정합시다. 여러... Embulkembulk-input-mysql Lambda 함수에서 Embulk 명령을 실행해보십시오 (사용자 정의 런타임 사용) 이 기사는 의 12/20 기사입니다. 12/16에 Lambda에서 Embulk 명령을 실행하는 기사를 썼습니다. 이 때는 파이썬의 기본 이미지를 사용하여 실행했지만, 잘 생각하면 Bash에서 실행할 수 있다면 그 쪽이 불필요한 구현이 필요 없기 때문에, 같은 것을 Lambda의 커스텀 런타임을 사용해 보겠습니다. 했다. 다음을 참고하겠습니다. Embulk 이외의 자세한 것은 이쪽을 확인해 주... 람다EmbulkBashAWS mysql 간의 데이터 전송에 Embulk를 사용해 보았습니다. 동작 확인을 위해 docker-compose에서 MySQL 컨테이너를 세워서 MySQL 간의 데이터 전송을 수행했기 때문에 요약합니다. Embulk is a bulk data loader. Embulk는 데이터베이스, 스토리지, 파일 형식 및 클라우드 서비스와 같은 유형 간의 데이터 전송을 지원하는 대량 데이터 로더로 MySQL뿐만 아니라 BigQuery 등으로 데이터를 전송할 수 있습니다.... MySQLEmbulk Lambda 함수에서 Embulk 명령을 실행해보십시오. 이전 기사에서 Lambda의 컨테이너 이미지에서 실행을 시도했습니다. 이번에는 그 외에도 최근 자주 사용하는 Embulk 명령을 사용할 수 없는지 시도해 보았습니다. Docker: Docker version 19.03.13, build 4484c46d9d Docker 초기 설정 완료 Python3이 설치되었습니다 (Lambda 런타임과 동일하거나 그 이상) AWS 계정이 생성되었습니다 님의 ... 람다파이썬Embulk도커AWS Embulk 메모 Embulk is a open-source bulk data loader that helps data transfer between various databases, storages, file formats, and cloud services. 즉, 원래의 데이터를 단번에 성형·변환하여 출력할 수 있다. Embulk(엔벌크)는 오픈 소스 병렬 데이터 전송 프레임워크입니다. 「fluentd」의... Embulk Embulk에서 MySQL에서 PostgreSQL로 데이터 전송 다른 RDBMS간에 데이터를 전송하는 작업이 발생했습니다. 조사하고 있는 가운데, 지금 게다가 Embulk를 알았으므로 그 사용법의 메모입니다. 이번에는 MySQL -> PostgreSQL 데이터로드를 수행합니다. Embulk is a parallel bulk data loader that helps data transfer between various storages, databases, ... MySQLPostgreSQL도커Embulk Embulk를 파일 압축 해제, 문자 코드 변환에만 사용해보기 Embulk는 유시가 개발한 플러그인을 활용하여 쉽게 기능 확장을 할 수 있습니다. 나는 S3에 놓여있는 CSV 파일을 BigQuery에 넣을 때 잘 활용하지만 script로 쓰면 조금 번거로운 여러 파일의 압축을 풀고 sjis에서 utf8로의 변환이 소량의 설정을 기술하는 것만으로 할 수 있습니다. 어느 때, 미묘하게 스키마가 다른 파일군을 처리할 필요가 있고, 스키마가 다르기 때문에 여러... Embulk k8s의 데이터 전송 기반에 스크래핑 기능을 추가한 이야기 당사의 제품에서는 데이터 전송의 기반을 k8s(EKS)로 구축하고 있습니다. 데이터 전송은 k8s의 job 로 실시하고 있어 데이터 전송의 처리는 Embulk 를 사용하고 있습니다. 이번에는 데이터 전송에 스크래핑 기능을 추가했을 때의 이야기를 드리겠습니다. 기분으로서, 데이터 전송의 메인 컨테이너를 Selenium의 Driver를 실는 것으로 크게 하고 싶지 않다고 생각하고 있었습니다. 그... SeleniumGrid셀레늄Embulkkubernetes Embulk에서 MySQL의 date형을 BigQuery에 보낸다. 2019-11-12 Embulk에서 MySQL 데이터를 BigQuery로 보냅니다. 그때 MySQL date型 를 BigQuery date型 로 편하게 보내면 에러가 됩니다. 그 대응 등을 씁니다. MySQL의 설정에서는 컬럼의 지정 만 BigQuery schema 설정에서 MySQL date型를 BigQuery에서도 date型 scheme.json "Error while reading data, error m... MySQLEmbulkubuntu18.04BigQuery Redmine 데이터베이스를 MySQL에서 PostgreSQL로 마이그레이션 (보충) Redmine 의 Database 를 MySQL 로 운용하고 있었습니다만, MySQL 5.6 이상이나 MariaDB 에는 , , 이러한 티켓이 수년 동안 방치된 상황을 감안하여, PostgreSQL로 마이그레이션하기로 결정했습니다. 다행히, Qiita 기사 에, 목적으로 하는 내용의 순서가 쓰여졌기 때문에, 기사의 저자에게 감사하면서 기사의 내용대로 갔습니다만, 위키 기록을 이전 할 수 없었... PostgreSQLMySQLRedmineEmbulk CloudFront 액세스 로그를 BigQuery로 분석 여러가지로 CloudFront의 로그를 Athena라든지가 아니라 BigQuery로 분석하고 싶었기 때문에 시행착오한 이야기. 로그를 저장하는 버킷 만들기 S3에 적당하게 버킷을 작성해 둔다. CloudFront에서 로그 검색 설정 로그를 얻으려는 배포판 설정 열기 로그 설정 사용 이상의 설정을 함으로써, S3에 액세스 로그가 보존되어 간다. 로그에 대한 자세한 내용은 을 참조하십시오. Em... CloudFrontS3BigQueryEmbulk Embulk를 사용하여 ElasticCloud로 보내기 Embulk에서 ElasticCloud에 보낼 수 있을까라고 생각비망록도 겸해 기술을 남깁니다 Embulk 설치 ElasticCloud (14 일 체험판) brew라면 아래 명령 입력 파일 만들기 파일 내용 seed.yml 만들기 (XXXXX는 ElasticCloud 관리 화면에서 가져옵니다) seed.yml ⇨ config.yml 만들기 embulk 실행 좋았던 표시 7.1.1 이었지만 움... EmbulkElasticsearch embulk-input-mysql의 시간 편차 요약 Embulk에서 MySQL에서 Datetime이나 Timestamp를 취득하면 DB가 일본 시간(+900)인데 Embulk에서는 UTC(+000)가 된다. 이 UTC 변환은, 어느 장소의 타임 존을 사용해 변환하고 있는지 모르기 때문에 조사해 보았다. JST의 경우 UTC의 경우 DB 서버 Embulk 서버 Embulk 설정 DB:datetime DB:timestamp Embulk:datet... Embulkembulk-input-mysql CSV 파일의 postgres 전송 시간 비교. pandas.to_sql,embulk,copy 1000만 줄의 CSV 파일의 postgres 전송 시간을 비교해 보았습니다. copy가 압도적으로 빠르다. CSV 파일 출력보다 빠릅니다. 방법 시간 pandas.to_sql 22분 2초 embulk(insert_direct) 6분 3초 copy(postgres) 0분 12초 참고) CSV 파일 출력 0분 50초 cpu:ryzen 7 1700 메모리:32G postgres:Ver10 os:... PostgreSQLpandasEmbulkJupyter BigQuery로 데이터 로드를 몇 배 가속화하는 방법 BigQuery에 데이터를 로드할 때 압축을 하면 로드 시간이 늘어날 수 있습니다. S3에 배치한 파일을 EC2의 embbulk에 의해 BigQuery로 전송합니다. 전송할 파일을 S3에 배치합니다. S3 파일을 BigQuery로 전송하려면 다음 YAML 파일을 사용합니다. out의 compression을 GZIP , NONE로 할지에 따라 전송 시간이 어떻게 바뀌는지를 검증했습니다. 압축 ... GoogleCloudPlatformgoogleEmbulkBigQuery Embulk 정보 데이터 분석 기반 입문을 읽은 정리. 개인적으로 필요한 부분에 대해서만. Embulk 소개. 이용방법과 어디에 특화되어 있는지 이해 배치형의 병렬·분산 벌크 데이터 로더 간단히 말하면 대량 데이터를 효율적으로 전송하는 도구 병렬 처리를 가지고 있는 것만으로 병렬 정의할 수 있는 것은 아니다 (그것은 digdag) 준 실시간 수집으로 유스 케이스 증가 영향 추출 배치 설정 파일 번잡화에 의한 ... ETLEmbulk애드테크 파이썬과 Embulk로 여러 데이터 소스를 가로 지르는 소나기 ETL 만들기 최근, TreasureData와 자사의 DB의 데이터를 맞춘 집계를 배치 처리하는 것이 많아서 python으로 일단 csv에 내보내 Embulk로 업로드하고 있었습니다만, 데이터 소스가 늘어나면 귀찮아져 가기 때문에 보다 간단하고 범용화한 쓰는 방법을 생각했습니다. 결국은 WF 사용해 주면 좋은 이야기이므로 수요가 있을지 불명합니다만, WF 공부하는 것도 시간이 걸리므로 익숙한 언어로 촉촉하... 파이썬TreasureDataEmbulkETLcron Embulk (gzip -> 압축 해제: csv -> TreasureData) Embulk를 사용할 기회가 있었으므로, 사용법에 대해 잊지 않도록 메모해 둔다. 「sample_01.csv.gz」파일로부터 csv를 취득해, TreasureData에 송신하는 샘플을 해 본다. 터미널 "embulk-output-td"를 추가한다. 터미널 터미널 config.yml 터미널 터미널 my_table 테이블에 데이터가 등록되어 있습니다. 이상... EmbulkTreasureData Elasticsearch + Kibana + Embulk on VirtualBox VirtualBox에 2대의 가상 머신을 준비해, 1대째는 Docker를 이용한 Elasticsearch와 Kibana 환경, 2대째는 가상 머신에 Embulk를 인스톨 해 로그를 넣어 보았을 때의 기록입니다. 품목 대상 Hypervisor VirtualBox OS CentOS Linux release 7.4.1708 (Core) 가상 머신 01 Embulk 가상 머신 02 Elasticse... CentOS키바나EmbulkElasticsearch도커 ETL 메커니즘을 Docker로 구현해 보았습니다. 이전 세미나에서 데이터 분석 기반의 이야기를 들었을 때 규모가 너무 커서 잘 모르는 경우가 있었습니다. CPU보다 GPU가 좋다든가, IoT의 데이터를 실시간으로 업로드한다든지 실제로 그런 일 좀 할 수 없고, 모르면 분위기 잡을 수 없는 사람이 대부분이라고 생각합니다. 그러나 좀 더 규모가 작은 데이터에서도 분석 사용하고 싶은, 분석하고 싶다는 사람도 많을까 생각합니다. os OS X El... ETL도커EmbulkRails Amazon Elasticsearch Service로 Embulk를 사용하여 데이터 로드 AWS ElasticSearch Service는 완전 관리형으로 운영할 필요가 없으며, 지금까지 (2017/5/18) 다른 추종을 용서하지 않는 매력이 있습니다 (필자는 Elastic사의 Elastic Cloud는 사용한 적이 없습니다) Azure의 경우 MarketPlace에서 을 제공하여 완전 점유 클러스터를 자동으로 구축할 수 있습니다. 완전 점유 클러스터의 장점? 당초에는 Azure에... EmbulkElasticsearchServiceAWS
Embulk에서 RDS에서 S3로 테이블 단위로 데이터 전송 Embulk에서 플러그인을 넣고 RDS에서 S3로 테이블 단위로 데이터를 전송해 보았습니다. 메모입니다. Embulk는 Java가 필요하므로 설치 embulk 설치 embulk-input-mysql 설치 embulk-output-s3 설치 테스트 데이터 작성 IAM에서 IAM 사용자 만들기 정책은 AmazonS3FullAccess를 연결했습니다. Embulk 설정 파일 편집 Embulk 실행... EmbulkAWS Embulk에서 RDS에서 S3로 열 단위로 데이터 전송 Embulk에서 플러그인을 넣고 RDS에서 S3로 열 단위로 데이터를 전송해 보았습니다. 메모입니다. Embulk는 Java가 필요하므로 설치 embulk 설치 embulk-input-mysql 설치 embulk-output-s3 설치 테스트 데이터 작성 IAM에서 IAM 사용자 만들기 정책은 AmazonS3FullAccess를 연결했습니다. Embulk 설정 파일 편집 Embulk 실행 S... EmbulkAWS embulk-input-mysql의 SSL 통신에 Communications link failure가 나왔을 때의 대처법 어느 시점부터 SSLException 인스턴스 회전으로 인해 인스턴스를 다시 작성한 후 오류가 발생하여 연결할 수 없습니다. 응급 적으로 SSL: true 2020 년부터 TLS v1.0/1.1의 무효화가 결정되었으므로 그 영향을 의심합니다. twitter에서 도움을 받는다 제안 된 설정을 추가하여 해결할 수 있습니다 embulk에 전달할 구성 파일에 SSL: enable를 지정합시다. 여러... Embulkembulk-input-mysql Lambda 함수에서 Embulk 명령을 실행해보십시오 (사용자 정의 런타임 사용) 이 기사는 의 12/20 기사입니다. 12/16에 Lambda에서 Embulk 명령을 실행하는 기사를 썼습니다. 이 때는 파이썬의 기본 이미지를 사용하여 실행했지만, 잘 생각하면 Bash에서 실행할 수 있다면 그 쪽이 불필요한 구현이 필요 없기 때문에, 같은 것을 Lambda의 커스텀 런타임을 사용해 보겠습니다. 했다. 다음을 참고하겠습니다. Embulk 이외의 자세한 것은 이쪽을 확인해 주... 람다EmbulkBashAWS mysql 간의 데이터 전송에 Embulk를 사용해 보았습니다. 동작 확인을 위해 docker-compose에서 MySQL 컨테이너를 세워서 MySQL 간의 데이터 전송을 수행했기 때문에 요약합니다. Embulk is a bulk data loader. Embulk는 데이터베이스, 스토리지, 파일 형식 및 클라우드 서비스와 같은 유형 간의 데이터 전송을 지원하는 대량 데이터 로더로 MySQL뿐만 아니라 BigQuery 등으로 데이터를 전송할 수 있습니다.... MySQLEmbulk Lambda 함수에서 Embulk 명령을 실행해보십시오. 이전 기사에서 Lambda의 컨테이너 이미지에서 실행을 시도했습니다. 이번에는 그 외에도 최근 자주 사용하는 Embulk 명령을 사용할 수 없는지 시도해 보았습니다. Docker: Docker version 19.03.13, build 4484c46d9d Docker 초기 설정 완료 Python3이 설치되었습니다 (Lambda 런타임과 동일하거나 그 이상) AWS 계정이 생성되었습니다 님의 ... 람다파이썬Embulk도커AWS Embulk 메모 Embulk is a open-source bulk data loader that helps data transfer between various databases, storages, file formats, and cloud services. 즉, 원래의 데이터를 단번에 성형·변환하여 출력할 수 있다. Embulk(엔벌크)는 오픈 소스 병렬 데이터 전송 프레임워크입니다. 「fluentd」의... Embulk Embulk에서 MySQL에서 PostgreSQL로 데이터 전송 다른 RDBMS간에 데이터를 전송하는 작업이 발생했습니다. 조사하고 있는 가운데, 지금 게다가 Embulk를 알았으므로 그 사용법의 메모입니다. 이번에는 MySQL -> PostgreSQL 데이터로드를 수행합니다. Embulk is a parallel bulk data loader that helps data transfer between various storages, databases, ... MySQLPostgreSQL도커Embulk Embulk를 파일 압축 해제, 문자 코드 변환에만 사용해보기 Embulk는 유시가 개발한 플러그인을 활용하여 쉽게 기능 확장을 할 수 있습니다. 나는 S3에 놓여있는 CSV 파일을 BigQuery에 넣을 때 잘 활용하지만 script로 쓰면 조금 번거로운 여러 파일의 압축을 풀고 sjis에서 utf8로의 변환이 소량의 설정을 기술하는 것만으로 할 수 있습니다. 어느 때, 미묘하게 스키마가 다른 파일군을 처리할 필요가 있고, 스키마가 다르기 때문에 여러... Embulk k8s의 데이터 전송 기반에 스크래핑 기능을 추가한 이야기 당사의 제품에서는 데이터 전송의 기반을 k8s(EKS)로 구축하고 있습니다. 데이터 전송은 k8s의 job 로 실시하고 있어 데이터 전송의 처리는 Embulk 를 사용하고 있습니다. 이번에는 데이터 전송에 스크래핑 기능을 추가했을 때의 이야기를 드리겠습니다. 기분으로서, 데이터 전송의 메인 컨테이너를 Selenium의 Driver를 실는 것으로 크게 하고 싶지 않다고 생각하고 있었습니다. 그... SeleniumGrid셀레늄Embulkkubernetes Embulk에서 MySQL의 date형을 BigQuery에 보낸다. 2019-11-12 Embulk에서 MySQL 데이터를 BigQuery로 보냅니다. 그때 MySQL date型 를 BigQuery date型 로 편하게 보내면 에러가 됩니다. 그 대응 등을 씁니다. MySQL의 설정에서는 컬럼의 지정 만 BigQuery schema 설정에서 MySQL date型를 BigQuery에서도 date型 scheme.json "Error while reading data, error m... MySQLEmbulkubuntu18.04BigQuery Redmine 데이터베이스를 MySQL에서 PostgreSQL로 마이그레이션 (보충) Redmine 의 Database 를 MySQL 로 운용하고 있었습니다만, MySQL 5.6 이상이나 MariaDB 에는 , , 이러한 티켓이 수년 동안 방치된 상황을 감안하여, PostgreSQL로 마이그레이션하기로 결정했습니다. 다행히, Qiita 기사 에, 목적으로 하는 내용의 순서가 쓰여졌기 때문에, 기사의 저자에게 감사하면서 기사의 내용대로 갔습니다만, 위키 기록을 이전 할 수 없었... PostgreSQLMySQLRedmineEmbulk CloudFront 액세스 로그를 BigQuery로 분석 여러가지로 CloudFront의 로그를 Athena라든지가 아니라 BigQuery로 분석하고 싶었기 때문에 시행착오한 이야기. 로그를 저장하는 버킷 만들기 S3에 적당하게 버킷을 작성해 둔다. CloudFront에서 로그 검색 설정 로그를 얻으려는 배포판 설정 열기 로그 설정 사용 이상의 설정을 함으로써, S3에 액세스 로그가 보존되어 간다. 로그에 대한 자세한 내용은 을 참조하십시오. Em... CloudFrontS3BigQueryEmbulk Embulk를 사용하여 ElasticCloud로 보내기 Embulk에서 ElasticCloud에 보낼 수 있을까라고 생각비망록도 겸해 기술을 남깁니다 Embulk 설치 ElasticCloud (14 일 체험판) brew라면 아래 명령 입력 파일 만들기 파일 내용 seed.yml 만들기 (XXXXX는 ElasticCloud 관리 화면에서 가져옵니다) seed.yml ⇨ config.yml 만들기 embulk 실행 좋았던 표시 7.1.1 이었지만 움... EmbulkElasticsearch embulk-input-mysql의 시간 편차 요약 Embulk에서 MySQL에서 Datetime이나 Timestamp를 취득하면 DB가 일본 시간(+900)인데 Embulk에서는 UTC(+000)가 된다. 이 UTC 변환은, 어느 장소의 타임 존을 사용해 변환하고 있는지 모르기 때문에 조사해 보았다. JST의 경우 UTC의 경우 DB 서버 Embulk 서버 Embulk 설정 DB:datetime DB:timestamp Embulk:datet... Embulkembulk-input-mysql CSV 파일의 postgres 전송 시간 비교. pandas.to_sql,embulk,copy 1000만 줄의 CSV 파일의 postgres 전송 시간을 비교해 보았습니다. copy가 압도적으로 빠르다. CSV 파일 출력보다 빠릅니다. 방법 시간 pandas.to_sql 22분 2초 embulk(insert_direct) 6분 3초 copy(postgres) 0분 12초 참고) CSV 파일 출력 0분 50초 cpu:ryzen 7 1700 메모리:32G postgres:Ver10 os:... PostgreSQLpandasEmbulkJupyter BigQuery로 데이터 로드를 몇 배 가속화하는 방법 BigQuery에 데이터를 로드할 때 압축을 하면 로드 시간이 늘어날 수 있습니다. S3에 배치한 파일을 EC2의 embbulk에 의해 BigQuery로 전송합니다. 전송할 파일을 S3에 배치합니다. S3 파일을 BigQuery로 전송하려면 다음 YAML 파일을 사용합니다. out의 compression을 GZIP , NONE로 할지에 따라 전송 시간이 어떻게 바뀌는지를 검증했습니다. 압축 ... GoogleCloudPlatformgoogleEmbulkBigQuery Embulk 정보 데이터 분석 기반 입문을 읽은 정리. 개인적으로 필요한 부분에 대해서만. Embulk 소개. 이용방법과 어디에 특화되어 있는지 이해 배치형의 병렬·분산 벌크 데이터 로더 간단히 말하면 대량 데이터를 효율적으로 전송하는 도구 병렬 처리를 가지고 있는 것만으로 병렬 정의할 수 있는 것은 아니다 (그것은 digdag) 준 실시간 수집으로 유스 케이스 증가 영향 추출 배치 설정 파일 번잡화에 의한 ... ETLEmbulk애드테크 파이썬과 Embulk로 여러 데이터 소스를 가로 지르는 소나기 ETL 만들기 최근, TreasureData와 자사의 DB의 데이터를 맞춘 집계를 배치 처리하는 것이 많아서 python으로 일단 csv에 내보내 Embulk로 업로드하고 있었습니다만, 데이터 소스가 늘어나면 귀찮아져 가기 때문에 보다 간단하고 범용화한 쓰는 방법을 생각했습니다. 결국은 WF 사용해 주면 좋은 이야기이므로 수요가 있을지 불명합니다만, WF 공부하는 것도 시간이 걸리므로 익숙한 언어로 촉촉하... 파이썬TreasureDataEmbulkETLcron Embulk (gzip -> 압축 해제: csv -> TreasureData) Embulk를 사용할 기회가 있었으므로, 사용법에 대해 잊지 않도록 메모해 둔다. 「sample_01.csv.gz」파일로부터 csv를 취득해, TreasureData에 송신하는 샘플을 해 본다. 터미널 "embulk-output-td"를 추가한다. 터미널 터미널 config.yml 터미널 터미널 my_table 테이블에 데이터가 등록되어 있습니다. 이상... EmbulkTreasureData Elasticsearch + Kibana + Embulk on VirtualBox VirtualBox에 2대의 가상 머신을 준비해, 1대째는 Docker를 이용한 Elasticsearch와 Kibana 환경, 2대째는 가상 머신에 Embulk를 인스톨 해 로그를 넣어 보았을 때의 기록입니다. 품목 대상 Hypervisor VirtualBox OS CentOS Linux release 7.4.1708 (Core) 가상 머신 01 Embulk 가상 머신 02 Elasticse... CentOS키바나EmbulkElasticsearch도커 ETL 메커니즘을 Docker로 구현해 보았습니다. 이전 세미나에서 데이터 분석 기반의 이야기를 들었을 때 규모가 너무 커서 잘 모르는 경우가 있었습니다. CPU보다 GPU가 좋다든가, IoT의 데이터를 실시간으로 업로드한다든지 실제로 그런 일 좀 할 수 없고, 모르면 분위기 잡을 수 없는 사람이 대부분이라고 생각합니다. 그러나 좀 더 규모가 작은 데이터에서도 분석 사용하고 싶은, 분석하고 싶다는 사람도 많을까 생각합니다. os OS X El... ETL도커EmbulkRails Amazon Elasticsearch Service로 Embulk를 사용하여 데이터 로드 AWS ElasticSearch Service는 완전 관리형으로 운영할 필요가 없으며, 지금까지 (2017/5/18) 다른 추종을 용서하지 않는 매력이 있습니다 (필자는 Elastic사의 Elastic Cloud는 사용한 적이 없습니다) Azure의 경우 MarketPlace에서 을 제공하여 완전 점유 클러스터를 자동으로 구축할 수 있습니다. 완전 점유 클러스터의 장점? 당초에는 Azure에... EmbulkElasticsearchServiceAWS