hadoop 수정hostname IP 구성으로 구성

왜 host 설정이 필요합니까 & 문제가 발생했습니다

개인적 이해, 편리함

집단 확대는 이상을 일으키기 쉽다.hadoop 집단 설정에서 많은 곳에서host 설정을 사용하지만 현재 대부분의 응용 프로그램은 집단/etc/hosts 방식으로 이름 해석을 실현합니다.그룹 확장이 발생하면hosts 동기화가 필요합니다. 자주 누락되거나 오류가 발생합니다.

상술한 문제를 해결하는 방식의 하나는 내부 DNS로 해결할 수 있지만 DNS 유지보수를 도입했다.

host에 대한 의존도를 없애고 설정에서 모두 IP 방식을 사용합니다

Host 구성에 대한 설명
설명:

Host와 관련된 모든 지역은 IP

로 수정

그룹 이름:dev-env

namenode IP 가정: 10.237.49.121, 10.237.49.148

journal 주소는 다음과 같이 가정합니다.qjournal://10.237.49.23:8485;10.237.54.239:8485;10.237.54.244:8485/dev-env

zookeeper 주소는 10.237.49.121:2181,10.237.49.148:211,10.237.49.23:2181,10.237.54.239:2181,10.237.54.244:2181

로 가정한다.
hdfs-site.xml 설정

  dfs.ha.namenodes.dev-env
  10.237.49.121,10.237.49.148


  dfs.namenode.rpc-address.dev-env.10.237.49.121
  10.237.49.121:8020


  dfs.namenode.rpc-address.dev-env.10.237.49.148
  10.237.49.148:8020


  dfs.namenode.http-address.dev-env.10.237.49.121
  10.237.49.121:50070


  dfs.namenode.http-address.dev-env.10.237.49.148
  10.237.49.148:50070

 ：namenode 

  dfs.namenode.datanode.registration.ip-hostname-check
  false

 ： true，namenode datanode ， host 

  dfs.namenode.shared.edits.dir
  qjournal://10.237.49.23:8485;10.237.54.239:8485;10.237.54.244:8485/dev-env

설명:journal 주소 구성

  ha.zookeeper.quorum
  10.237.49.121:2181,10.237.49.148:2181,10.237.49.23:2181,10.237.54.239:2181,10.237.54.244:2181

설명:zookeeper 구성
core-site.xml
yarn-site.xml
mapred-site.sh