서두

Embulk에서 ElasticCloud에 보낼 수 있을까라고 생각비망록도 겸해 기술을 남깁니다

사전 준비

Embulk 설치

ElasticCloud (14 일 체험판)

brew라면 아래 명령

$ brew install embulk

절차

입력 파일 만들기

$ vi log/aaa.csv 

파일 내용

a,b,c
100,200,300
200,300,400
500,60000,7000

seed.yml 만들기 (XXXXX는 ElasticCloud 관리 화면에서 가져옵니다)

in:
  type: file
  path_prefix: "/Users/taku333/Documents/embulk/log/aaa.csv"
#out: {type: stdout}
out:
  type: elasticsearch
  index: embulk
  index_type: embulk
  nodes:
  - {host: XXXXXXX, port: XXXX}
  user: XXXXX
  password: XXXXXXXXXXXXXXXXX
  use_ssl: true
  auth_method: basic

seed.yml ⇨ config.yml 만들기

embulk guess seed.yml -o config.yml

embulk 실행

embulk run config.yml

결과

좋았던 표시 7.1.1 이었지만 움직였다


7.0이라면 '_doc'로 자동 등록되므로 'index_type'항목을 삭제하여 시도했지만,
예상대로 움직이지 않았다

Caused by: org.embulk.config.ConfigException: com.fasterxml.jackson.databind.JsonMappingException: Field 'index_type' is required but not set

실패한 점

'auth_method'을 잊어버리고 실패했습니다.

org.embulk.exec.PartialExecutionException: org.eclipse.jetty.client.HttpResponseException: Response not 2xx: 401 Unauthorized

참고 자료

embulk-output-elasticsearch

embulk 초보

Embulk에 대해 정리해 보았다 2017/08

Embulk + Elasticsearch + kibana + OpenStreetMap으로 지리 정보를 손쉽게 시각화