Elasticsearch & kibana install 메모

5373 단어 Elasticsearch키바나

경위


  • 240,000 줄의 CSV 파일이 수중에 있고 Excel이나 google 스프레드 시트에서 처리 할 수 ​​없기 때문에 어떻게해야합니까?
  • non 엔지니어의 사람에게도 봐 주므로, 가능한 한, GUI로 직관적으로 사용할 수 있도록(듯이) 하고 싶다.

    • 정책



  • TreasureData 의 웹 서비스 사용하면, CSV file의 import와 SQL문을 사용한 필요한 data의 select까지 30분 이내에 할 수 있었다. 그렇지만 SQL문이 필수가 된다.
  • ElasticSerach와 Kibana를 사용하면, 꽤 좋은 GUI로 조작을 할 수 있는 것 같다. 이것으로 가자.

    • 환경


  • Ubuntu14.04

    • ElasticSearch2.2


  • download zip
    htps //w w. 에 s c. 코 / 도 w 응 아 ds / 에 s s
  • unzip 에서 해동
  • bin/elasticseaech -d 에서 백그라운드에서 시작
  • curl -X GET localhost:9200 에서 동작 확인

    • kibana4.4


  • download zip
    htps //w w. 에스 c. Ko / Down A ds / Kibana
  • tar xvfz 에서 해동
  • bin/kibana 에서 실행

    • embulk에서 csv(tsv) 파일을 가져오기



    Download Embulk binary


    $ sudo wget http://dl.embulk.org/embulk-latest.jar -O /usr/local/bin/embulk
$ sudo chmod +x /usr/local/bin/embulk

    Install Elasticsearch plugin¶


    $ embulk gem install embulk-output-elasticsearch

    Loading a CSV 파일


  • embulk example ./mydata 에서 병아리 만들기./mydata 이름, 위치는 선택 사항입니다
  • .mydata/csv 아래에 csv 파일을 저장합니다.
    나는 tsv 파일을 압축 (gz) 한 파일을 저장했습니다.
  • ./mydata/seed.yml 편집

    • seed.yml
    in:
  type: file
  path_prefix: "/path/to/file/file-prefix."
out:
  type: elasticsearch
  index: embulk
  index_type: embulk
  nodes:
    - host: localhost
  • embulk guess ./mydata/seed.yml -o config.yml 실행
  • embulk preview config.yml 실행
  • embulk run config.yml 실행
    주의 사항으로는, 이 때는 ElasticSearch가 기동하고 있을 필요가 있습니다.

    • kibana 방문


  • http://x.x.x.x:5601 로 이동하면 아래와 같은 Setings 탭이 나타납니다. 잘 모르겠습니다만, 아래와 같은 느낌으로, 와일드 카드로 해, 먼저 추천합니다.


  • Discover 탭에서 검색창에서 직관적으로 검색이 가능합니다. (자세한 사용법은 앞으로)


  • Visualize 탭으로 그래프를 작성해, Dashboard 탭으로 늘어놓으면 아래와 같은 화면을 만들 수 있습니다.



    • 기타



    dashboard 검색 결과를 csv에서 다운로드하고 싶습니다.


  • 현재 버전의 kibana에서는 dashboard 검색 결과를 csv에서 다운로드 할 수 없습니다. github의 issue에는 등록되어 있지만 아직 지원되지 않습니다.

  • 여기 에서 소개된 Chrome의 addon을 사용하여 csv download를 할 수 있습니다.

    • 데몬으로 부팅


  • ElasticSearch는 결국 bin/elasticsearch -d 했습니다.
  • htp : // bg. h 벽돌 h. 코 m / 호 w - t s t l - f ぅ 엔 td 에 ぁ s 치 쿠 세 아 r ch an 드 기바나 4 / # F ぅ td_

  • kibana는 다음을 참고했습니다.
  • htps //w w. 에스 c. 코/구이데/엔/에아 s 치c세아 rch/레후에렌세/쿤 t/세트 p. HTML


    • 관리자 화면을 사용하고 싶습니다.


  • Marvel plugin을 install

  • h tp // 모리준. 기주 b. 이오/bぉg/에ぁs치c세아 rch-키바나-세트 p마c/? u tm_conten t = bup r7dfbc & u tm _ m = soshi a l & tm _ rr = fusebo k. 코 m & tm_ 또는 mpai gn = Bufu r


    • 요약


  • 쭉 궁금했던 ElasticSearch+Kibana를 만질 수 있었습니다.
  • Kibana로 가시화할 수 있는 내용도 대체로 알았습니다. 좀 더 재미있는 보여주는 방법을 찾고 싶습니다.
    • Brave Search with Python의 유기적 비디오 결과 스크랩
    Firefox 용 Qiita 검색 플러그인

    좋은 웹페이지 즐겨찾기

    개발자 우수 사이트 수집

    개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
    best100-homepage