데이터 스트리밍 툴 Apache NiFi란 무엇입니까?

2448 단어 NiFi
최근 데이터 흐름 공개 도구Apache NiFi가 재미있으니 실제 어떤 것인지 정리해 보자.
Apache NiFi란 무엇입니까?
한마디로 데이터 흐름 전시 도구다.
미국 국가안전보장국(NSA)이 개발한'니그라파일스'라는 제품으로 2014년 11월 개방원으로 기부됐다.
다음 그림에서 보듯이 화면에서 흐르는 데이터 흐름을 정의하고 동작을 할 수 있습니다.
참조: https://nifi.apache.org/

2015년 7월 아파치의 톱 프로젝트로 발돋움해 개발 중이다.
또 2015년 8월 하순에는 호튼웍스가 니파이의 기업인 온야라를 인수해 호튼웍스에서 니파이의 독자 발매'호튼웍스 데이터플라우'를 제공했다.
'모바일 데이터'NiFi와'정지 데이터'Hadoop을 조합하면 더 넓은 범위의 데이터를 처리할 수 있다.
Apache NiFi의 특징
Apache NiFi의 첫 페이지부터 NiFi는 다음과 같은 특징을 가지고 있다.
NiFi는 확장 가능한 데이터 흐름을 유방향 도표로 정의하여 데이터의 루트, 변환, 중간 논리를 조합할 수 있다.
다음과 같은 기능이 있습니다.
  • 웹 기반 UI
  • 설계, 제어, 피드백 및 모니터링을 원활하게 수행
  • 높은 설치성
  • 신뢰성 및 속도 조절
  • 저연속 및 높은 처리량 조정
  • 동적 정렬
  • 프로세스 변경 가능
  • 배압 기구
  • 데이터 유래의 명확화
  • 시작부터 끝까지 데이터 흐름 추적
  • 확장을 위한 설계
  • 자체 개발 가능 프로세서
  • 빠른 개발 및 간단한 테스트
  • 보안
  • SSL, SSH, HTTPS 등 암호화 지원
  • 플라스틱 볼륨 기반 인증/인증
  • 이런 느낌은 개요를 보면 볼수록 흥분된다.
    이전에 나는 Apache Camel 등 방식으로 이런 데이터 변환 처리를 쓴 적이 있지만 화면에서 정의할 수 있고 신축적으로 조작할 수 있어서 나는 상당히 크다고 생각한다.
    아무튼 NiFi를 시작해 보겠습니다(Windows)
    먼저 NiFi를 시작합니다.
    하지만 시작만 하면 DownloadPage에서 NiFi의 압축 파일을 다운로드하고 펼친 후 다음 처리를 수행하면 된다.

    다음 주소에 액세스하면 NiFi 화면이 표시됩니다.
    데이터 흐름을 정의할 수 있는 메뉴가 있습니다.
    http://localhost:8080/nifi/

    최후
    니파이가 뭐냐면 촉감만 정리하고 나서 실제 작동만 했어요.
    다음에 먼저 도형 동작을 해보고 NiFi의 Overview와 구조를 보고 싶습니다.

    좋은 웹페이지 즐겨찾기