Apache MiNiFi on Windows

개시하다
Apache NiFi 프로젝트의 서브 프로젝트MiNiFi 동작을 확인했습니다.호튼웍스도'Apache MiNiFi가 IOT에 대한 에지 정보 제공'이라는 제목으로 기사를 썼다.예를 들어 HDF는 자체 PC에서 실행되지 않으므로 개별 제품이 실행됩니다.
이번에는 미니파이가 설치된 PC부터 니파이가 설치된 PC까지 파일 전송을 시도했다.
SFTP, SCP 등과 마찬가지로 파일 전송이 이뤄지고, NiFi를 통해 파일을 전송하면 GUI를 통해 이력과 파일 속성을 어느 정도 확인할 수 있다.
1. 전제
다음 환경에서 작업한 내용을 기술하였다.
- Windows 10 Home (64bit) *Memory 8G
- JDK 1.8
또한 NiFi 설치에 대한 참조여기..
2. 미니파이의 입수.
https://nifi.apache.org/minifi/download.html에서 다운로드하십시오.
- MiNiFi (Java)
- MiNiFi Toolkit Binaries
Java의 바이너리(zip Edition)를 각 섹션에서 다운로드합니다.
3. Nifi의 설정
MiniFi가 Nifi에 액세스할 수 있도록 INPUT 포트를 설정합니다.이렇게 하면 Site-to-Site의 교류를 진행할 수 있다.
3.1 Nifi의 propety 설정 및 시작
NiFi가 설치된 폴더\conf\nifi입니다.properties의 다음 부분을 수정합니다.
이번에는 SSL 통신을 사용하지 않기 때문에 secure 옵션을 가짜로 사용할 수 있습니다.
nifi.properties

# Site to Site properties
nifi.remote.input.host=localhost
nifi.remote.input.secure=false
nifi.remote.input.socket.port=10000

bin\run-nifi.bat에서 NiFi를 시작합니다.
3.2 Input Port 및 File 출력 설정
시작 후 Nifi Canvas에 Input Port를 설정합니다.'프롬 미니피'라는 이름으로 설정해보세요.

그런 다음 PutFile Processor를 설정합니다.

파일 출력이 실패하든 성공하든 과정이 끝나기 때문에 SETTINGS의failure와 success가 검사합니다.

PROPRTIES의 Directory(출력 위치)를 지정합니다.여기는 c:\dev\NIFI\output입니다.

From MiNiFi의 Input Port에서 PutFile Processor를 연결합니다.아래와 같이 하면 됩니다.

3.3 미니파이용 설정
MiNiFi가 사용하는 설정은 NiFi 호스트가 설정하고 이를 Template로 Export하여 MiNiFi에서 사용한다.
먼저 Remote Process Group을 만듭니다.URL은 Localhost의 URL이 아니라 PC의 실제 IP로 지정됩니다.

GetFile Processor를 설정합니다.

PROPRTIES에 Input Directory가 지정되어 있지만 NiFi가 설치된 환경에 동일한 구조의 폴더 구성이 없으면 경고가 발생하므로 c:\NIFI\input을 만든 후 설정합니다.

GetFile Processor와 Remote Process Group을 연결합니다.아래와 같이 하면 됩니다.

GetFile Processor, success connection 및 Remote Process Group 3개를 선택하고 Create Template를 클릭합니다.

Template 이름을 입력하여 Template를 만듭니다.여기는'미니파이 플로우'입니다.

3.4 Template 다운로드 및 변환
오른쪽 위의 메뉴에서 Templats 를 선택합니다.

다운로드 버튼을 클릭하여 Template를 XML 파일로 다운로드합니다.

미리 다운로드한 미니피-toolkit-0.3.0을 원하는 곳으로 확장하고, 다운로드한 템플릿을 미니피 툴키트의 config로 확장한다.bat config를 사용합니다.yml 파일로 변환합니다.

C:\dev\NIFI\minifi-toolkit-0.3.0>bin\config.bat transform MiNiFi_Flow.xml config.yml
No validation errors found in converted configuration.

제작된 파일은 MiniFi가 설치된 다른 PC에 복사됩니다.
4. 미니파이 설치 및 시작
4.1 미니파이의 전개
미리 다운로드한 MiniFi를 실행할 폴더로 확장합니다.

 C:\dev\MINIFI\minifi-0.3.0 のディレクトリ

2018/01/16  22:27    <DIR>          .
2018/01/16  22:27    <DIR>          ..
2018/01/16  22:27    <DIR>          bin
2018/01/16  22:27    <DIR>          conf
2018/01/16  22:27    <DIR>          content_repository
2018/01/01  18:03    <DIR>          docs
2018/01/16  22:27    <DIR>          flowfile_repository
2018/01/16  22:27    <DIR>          lib
2016/12/20  14:13            28,824 LICENSE
2018/01/16  22:27    <DIR>          logs
2017/11/27  12:08            35,959 NOTICE
2018/01/16  22:27    <DIR>          provenance_repository
2016/09/26  11:23             5,014 README
2018/01/01  22:43    <DIR>          run
2018/01/16  22:27    <DIR>          state
2018/01/16  22:27    <DIR>          work
               3 個のファイル              69,797 バイト
              13 個のディレクトリ  25,663,508,480 バイトの空き領域

4.2 config.복사
Template로 만든 config입니다.yml를 conf 폴더로 복사합니다.
4.3 MiniFi 시작
bin\run-minifi.bat를 시작합니다.

C:\dev\MINIFI\minifi-0.3.0>bin\run-minifi.bat

5. 동작 테스트
5.1 NiFi 처리 시작
Start NiFi 호스트의 Processor입니다.하나를 선택하지 않고 Start 를 클릭하면 모든 처리가 시작됩니다.

시작 후 녹색 삼각형이 표시됩니다.

5.2 Input 파일 준비
미니파이를 시작하는 PC의 input 폴더(c:\NIFI\input)에 적절한 파일을 배치합니다.
그러면 파일이 자동으로 NiFi 호스트의 output 폴더(c:\dev\NIFI\output)로 이동합니다.
5.3 파일 전송 이력 등의 확인
Input Port 또는 Processor를 마우스 오른쪽 버튼으로 클릭하면 View Data Province를 통해 전송 이력을 확인할 수 있습니다.

파일의 전송 시간과 속성을 확인할 수 있습니다:.

또한 전송된 파일의 내용을 참조하여 텍스트 파일, jpeg 파일에 적합한 디스플레이 형식으로 파일을 확인할 수 있다.

참조 링크