텐센트 구름hadoop 집단 구축 절차,namenode/datanode 시작 문제

텐센트 구름hadoop 집단 구축 절차 및 주의사항

단계:

방화벽 처리/닫기 [서버 보안 수준이 높지 않은 환경에서만 진행]

완전 분포식hadoop 집단을 설정합니다

namenode/datanode 시작 문제

1. 방화벽 처리

가장 직접적인 방법은 방화벽을 닫는 것으로 간단하고 편리하다.물론 이것은 필자 본인이 초보로서 서버를 처리하는 비교적 간단하고 거친 방식이기도 하다.

sudo ufw disable

2. 완전 분포식hadoop 집단 설정

집단의 구축에 대한 상세한 절차는 참고할 수 있다

3. namenode/datanode 시작 문제

먼저 집단을 시작하는데 다음과 같은 문제가 발생하면 집단core-site를 나타낸다.xml에서hdfs 기본 포트 9000에 대한 접근을 거부합니다.필자가 이 문제에 부딪힌 것은/etc/hosts에서 호스트 이름과 IP를 설정할 때나hadoop 디렉터리에 있는 etc/hadoop 아래의 *-site 때문이다.xml 파일에서 IP:Port를 설정할 때 클라우드 서비스의 외부 네트워크 IP를 사용합니다.해결 방법: 텐센트 클라우드 서비스는 내부 네트워크 IP를 이용하여 집단 간의 통신을 설정해야 한다.
report: Call From node1-64GB/10.104.XX.XX to XXXXXXXX:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

집단을 잘 구축하면 실행 프로그램에 다음과 같은 문제가 발생한다.노드가 모두 가동되었지만 집단이 정상적으로 작동하지 않고 통신에 문제가 있음을 나타낸다.해결 방법: 필자는 이 사이트를http://wiki.apache.org/hadoop/ConnectionRefused에서 제시한 모든 상황을 배열하였는데,/etc/hosts를 설정할 때 호스트 이름의 여러 번 이름이 나타나는 것을 발견하였다.즉, 127.0.0.1 뒤에 호스트 이름 1을 명명하고 네트워크 IP 뒤에 호스트 이름 2를 명명합니다.그러니까 호스트 이름 1을 빼고 호스트 이름 2를 유지하면 돼요.
org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=XXX OPERATION=Application Finished - Failed TARGET=RMAppManager RESULT=FAILURE DESCRIPTION=App failed with state: FAILED PERMISSIONS=Application application_1496888779647_0001 failed 2 times due to Error launching appattempt_1496888779647_0001_000002. Got exception: java.net.ConnectException: Call From localhost/127.0.0.1 to localhost:43484 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

집단을 재개합니다

# 
stop-all.sh

# namenode datanode hadoopdata 
rm -rf hadoop /hadoopdata/* rm -rf hadoop /logs/*

hadoopdata는hdfs-site에 설정됩니다.xml 파일에서<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop-2.6.0/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///homehadoop-2.6.0/hadoopdata/dfs/data</value>
</property>