NiFi1.8부터 NiFi1까지.9로 업그레이드된 노트

Ambari 및 HDP3 1개3(NiFi만 사용) 클러스터를 관리합니다.NiFi1.8의 PutHive 3 Streaming 관련 메모리 유출은 결함이 있으며 일정 시간이 지나면 JVM OOM 오류가 발생합니다.
There are unfortunately 2 memory leaks around this processor:
one in the NiFi processor that was fixed in 1.9.0:
https://issues.apache.org/jira/browse/NIFI-5841
and one in the Hive client library,
https://issues.apache.org/jira/browse/HIVE-20979
따라서 Ambari 및 HDP 3 은1의 구성 요소 버전은 HDF3로 유지됩니다.3.0(NiFi1.8)에서 HDF3까지.4.1.1 (NiFi1.9)로 업그레이드를 시도한다.
순서는 대체로 여기에 있다
NiFi 등 관련 구성 요소 중지
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.4.1.1/ambari-managed-hdf-upgrade/content/hdf-stop-hdf-services.html
HDF 관리 팩 업그레이드
https://docs.hortonworks.com/HDPDocuments/HDF3/HDF-3.4.1.1/ambari-managed-hdf-upgrade/content/upgrade-mpack-hdf-on-hdp.html

7단계에는 HDF-3.4라고 쓰여 있지만 HDF-3.4는 사실상 존재하지 않아 설정할 수 없다.

새로운 버전을 만드는 것도 고민했지만 버전 이름이 공존할 수 없기 때문에 새로 만들면 HDP 버전도 달라져 조금 위험한 맛이 나기 때문에 포기했다.

거기에 수동으로 각 서버에 새 버전의 NiFi를 설치했습니다.
상기 8단계에서 각 노드는 다음과 같은 내용을 추가한다

path=/
enabled=1
gpgcheck=0
[HDF-3.4-repo-1]
name=HDF-3.4-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDF/centos7/3.x/updates/3.4.1.1

그런 다음 설치합니다.이번에는 니피랑 니피톨키트밖에 없어요.

yum install -y nifi_3_4_1_1_4
yum install -y nifi_3_4_1_1_4-toolkit

설치 확인


/usr/hdf/아래 HDF 버전 2개
기호 링크는 여전히 구 버전입니다.
기호 링크를 변경하려면 다음과 같이 하십시오(직접 수정할 수 있습니다).

hdf-select set nifi 3.4.1.1-4
hdf-select set nifi-toolkit 3.4.1.1-4

마지막으로 암바리에서 니피까지.properties에 다음 속성을 추가합니다

nifi.nar.library.autoload.directory = {{nifi_internal_dir}}/work/extensions

이 상태에서 Ambari에서 NiFi를 시작합니다.

성공했어!!