아파치 니피로 기본 데이터 흐름 만들기?

5536 단어 NiFi
저번에서 아파치 니파이를 가동할 수 있기 때문에 이번에는 니파이를 이용해 실제 소형 데이터 흐름을 만들었다.
기본 화면 구성
우선 니피 화면을 다시 본다.
실제 설정 데이터 흐름의 캔버스 상부에 실제 설정 화면의 구성 요소(빨간색 상자), 조작 구성 요소의 단추(파란색 상자), 화면의 동작 상황을 표시하는 표시줄(녹색 상자)이 표시됩니다.

기본 운영 방법
그러면 상술한 화면 설정 데이터 흐름을 실제적으로 사용한다.
그러나 Qita에 매뉴얼을 쓸 수 없기 때문에 기본적인 조작 내용은 재생의 형식으로 바뀌었다.
프로세스 구성
NiFi는 외부에서 데이터를 가져오고, 성형을 수행하고, 외부로 내보내는 어셈블리를 Processor라고 합니다.
Processor는 빨간색 상자의 왼쪽 끝에 있는 화살표가 회전하는 아이콘입니다.
실제 캔버스에 Processor를 설정할 때 Processor 아이콘을 드래그해서 캔버스에 가져옵니다.
그런 다음 배치할 프로세스를 찾을 수 있는 창이 나타납니다.

한 마디로 하면, 검색에서 간이 트위터를 얻을 수 있는 Processor (Get Twitter) 를 선별하고 설정합니다.

트위터의 Processor 메뉴는 다음과 같이 요약해서 원래대로 진행한다.

그런 다음 간단한 데이터 출력 대상으로 파일 출력의 Processor(PutFile)를 구성합니다.

Processor 간 연결
Processor가 구성되어 있으므로 Processor 사이를 드래그하면 Connection 생성 창이 표시되므로 Add 버튼을 눌러 추가합니다.

추가할 때 다음과 같은 설정을 할 수 있지만 자세한 내용을 모르니 넘어가겠습니다.

Processor 작업 시작(실패)
Processor를 설정하고 Connection으로 연결하기 때문에 Processor를 선택하여 시작 단추(파란색 상자의 오른쪽 화살표 단추)를 누르면 다음과 같은 오류가 발생합니다. 정상적인 Processor가 존재하지 않습니다.
그래서 저는 Processor의 설정을 실제로 확인하기로 했습니다.

Processor의 설정 항목 오류 표시
실제로 Processor에 노란색 삼각형 오류가 표시되어 있습니다. 오류 내용을 확인하십시오.
오류 내용 자체는 Processor에서 클릭하면 다음과 같이 표시되므로 이것을 해제하면 됩니다.


트위터 측은 다음과 같이 키와 Token을 설정하는 디벨로퍼 로그인을 한다.

그 다음 Schedule ing 도 아래와 같이 표시됩니다.(설정의 뜻은 현재 불분명)

마찬가지로 PutFile 측도 "Relationship Success", "Relationship Failure"에서 체크하고 "Properties"Directory"에서"/temp/NiFi"디렉터리를 미리 설정합니다.
이렇게 되면 다음과 같은 오류가 제거되어 정지 상태로 표시됩니다.

Processor 작업 시작
오류를 제거할 수 있으므로 다음 단계에서는 실제로 작업을 시작합니다.
GetTwitter의 Processor와 PutFile의 Processor를 선택하고 화면 상단의 시작 단추를 누르십시오.
그러면 다음과 같이 실제 작업이 시작되고 In/Out 값 등이 업데이트됩니다.

실제로 PutFile에 설정된'/temp/NiFi'디렉터리를 보면 다음과 같이 혼잣말마다 파일이 생성된다.

내용은 JSON 형식의 트위터 잔소리 메시지다.(이게 당연한 건가?)
일부 프로세스만 실행
어쨌든 확인이 되었으니 전체를 멈추어 보시면 다음과 같은 연결부의 데이터가 줄을 서 있음을 알 수 있습니다.

따라서 PutFile을 시작하기만 하면 다음과 같이 줄을 서 있는 데이터가 파일로 출력되는지 확인할 수 있습니다.

대기열의 최대 사이즈 등도 정의되었기 때문에 백프로essure가 실현되었는가.
그 일대는 조심히 가세요.
이런 흐름에서 트위터로부터 잔뜩 정보를 얻어 파일로 출력하는 매우 기본적인 데이터 흐름이지만 화면에서 정의할 수 있는 것으로 확인됐다.
총결산
  • NiFi의 UI에서 기본 프로세스를 정의할 수 있음 확인
  • NiFi는 Processor를 처리 단위로 하고 Connection 연결을 통해 데이터 흐름을 실현한다
  • Processor의 오류 내용을 화면에서 확인할 수 있음
  • NiFi는 Connection에 데이터를 대기시킬 수 있음
  • 다운스트림 Processor를 복원하여 줄 서는 데이터를 처리할 수 있음
  • 어쨌든 기본적인 한 권은 통과했으니 NiFi의 Overview 페이지를 보든지 다시 조작해 보든지
    그럼 그건 다음에도 괜찮아요.

    좋은 웹페이지 즐겨찾기