소개

도쿄도 주오구의 오픈 데이터를 뭔가에 사용해 보려고 했으므로, 우선은 공개 정보의 csv 나 xls 파일을 json 로 변환해 보았습니다.
이번에는 Elasticsesarch의 machine learning 하위 기능을 사용하여 csv에서 json으로 변환하고 싶습니다.

데이터 검색

이쪽에 공개 정보가 있습니다만, 우선은 「구내의 공원 일람(2017년 9월 20일 갱신)(CSV:4KB)」로부터 손을 붙였습니다.

이 데이터에는 공원의 명칭, 소재지, 위도, 경도가 들어 있습니다.

먼저 문자 코드를 utf8로 변환합니다.iconv -f sjis -t utf8 koenichiran.csv > koenichiran.utf8.csv

地域,名称,住所,緯度,経度
京橋,楓川久安橋公園,京橋一丁目十九番十三号先,35.6746531056 ,139.7776647708 
京橋,水谷橋公園,銀座一丁目十二番六号,35.6711857484 ,139.7731931217 
京橋,京橋公園,銀座一丁目二十五番二号,35.6697388867 ,139.7746596645 

데이터 변환

Elasticsearch 7.6.0 Data Visualizer 을 사용하여 변환합니다.

Import data를 클릭합니다.



CSV 파일을 drag and drop 한 후의 화면



Import를 눌러 후속 화면
Advanced 탭을 선택하여 Mapping에서 필드 이름을 일본어에서 영어로 변환합니다.
덧붙여서 전체 화면의 Override settings에서도 가능.



가져오기를 클릭합니다.
Import complete가 되면 성공!



이번에는 캡처 대상 인덱스에 "park"를 지정했으므로 거기에 데이터가 들어 있는지 확인



뭐 이런 일을 하지 않아도, 이 근처 의 툴로 커멘드 라인으로부터도 변환은 가능합니다만, 이번은 굳이 Elasticsesearch 의 기능을 시험해 보았습니다.
csvtojson koenichiran.utf8.csv > koenichiran.json