Hadoop 3.2.0 클 러 스 터 구축 흔 한 주의사항

포트 변화
3.2.0 버 전에 서 namenode 페이지 포트 는 9870 이 고 datanode 관리 포트 는 8088 이 므 로 이 두 포트 를 열 어 웹 페이지 에 접근 해 야 합 니 다.
둘 째 는 YARN 이 없습니다.RESOURCEMANAGER_USER defined. Aborting operation
hadop-env.sh 에 서 는 자바-home 을 설정 할 뿐만 아니 라 다음 사용자 변 수 를 설명 해 야 합 니 다.그렇지 않 으 면 시작 할 수 없습니다.
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_191
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
3.3.2.0 버 전 mapred-site.xml 파일 설정 은 mapreduce.application.classpath 속성 을 추가 해 야 합 니 다.
mapreduce.application.classpath /usr/local/hadoop3/etc/hadoop, /usr/local/hadoop3/share/hadoop/common/*, /usr/local/hadoop3/share/hadoop/common/lib/*, /usr/local/hadoop3/share/hadoop/hdfs/*, /usr/local/hadoop3/share/hadoop/hdfs/lib/*, /usr/local/hadoop3/share/hadoop/mapreduce/*, /usr/local/hadoop3/share/hadoop/mapreduce/lib/*, /usr/local/hadoop3/share/hadoop/yarn/*, /usr/local/hadoop3/share/hadoop/yarn/lib/*
4 salave 파일 프로 그래 밍 workers 파일 입 니 다.내용 설정 은 같 습 니 다.
5.시동 성공 은 틀 리 지 않 지만 가장 아 픈 Live Nodes 는 0 문제 입 니 다.

해결 절차:
datanode 로그 먼저 보기:

이 설명 이 연결 설정 에 문제 가 있 으 면 core-site.xml 설정 을 보십시오.이것 은 datanode 와 namnode 통신 을 설정 하 는 것 입 니 다.
보다

여기 설 정 된 연결 주소 에 문제 가 있 습 니 다.
hdfs 는 namnode 의 주소 로 설정 해 야 합 니 다.datanode 의 주소 로 설정 할 수 없습니다.모든 노드 가 같 습 니 다.이 주 소 는 재 부팅 이 완료 되 었 습 니 다.
인터넷 에서 도/etc/hots 분석 이 성공 하지 못 한 것 도 한 원인 입 니 다.도 메 인 이름 맵 을 설정 하면 됩 니 다.중요 한 것 은 로그 분석 이 어떤 문제 인지 먼저 보 는 것 입 니 다.
마지막 성공 페이지


이상 이 바로 본 고의 모든 내용 입 니 다.여러분 의 학습 에 도움 이 되 고 저 희 를 많이 응원 해 주 셨 으 면 좋 겠 습 니 다.