소개

분산 데이터를 데이터 흐름으로 정리할 수 있는 Apache Nifi를 사용할 기회가 있었습니다.
RDBMS의 데이터를 NoSQL의 Database로 마이그레이션하고 싶은 등에 사용할 수 있습니다.

기사 예: Apache Nifi 시작: RDBMS에서 MarkLogic으로 마이그레이션

Nifi란?

An easy to use, powerful, and reliable system to process and distribute data.

Nifi 아키텍처

출처 : htps : // 에후우. 아파치. rg / cs. HTML

CSV 파일을 Mongobb로 가져오는 샘플

CSV 데이터를 코딩 없이 MongoDB로 가져오려고 합니다.

Nifi 설치(Windows)

①, 다운로드 : htps : // 에후우. 아파치. 오 rg/도 w응아 d. HTML
②, 해동
③ 관리자 권한으로 run-nifi.bat 실행
④, http://localhost:8080/nifi에서 액세스

CSV Reader 추가

설정 버튼에서 다양한 공유 설정이 가능합니다.

CSV Reader 설정

GetFile 프로세서 추가 및 설정

PutMongoRecord 프로세서 추가 및 설정

csv 데이터를 설정한 폴더에 배치

실행

실행 결과

GetFile 에서 「Keep Source File」이 false 로 했을 경우는 데이터 투입 후 원래 CSV 파일을 삭제할 수 있습니다.

Apache Avro : htps : // 아 v로. 아파치. 오 rg / 두 cs / 쿤 t /

이상