[해결] Spark 실행 중java.net.Unknown HostException: nameservice1의 예외

2346 단어
[Author]: kwu
Spark 실행 중java를 해결합니다.net.Unknown HostException: name 서비스 1의 이상입니다. name 서비스 1은hdfs에 사용되는 HA를 설정하는 데 사용되며,spark 프로그램을 실행할 때java가 나타납니다.net.Unknown HostException: namese 서비스 1 예외입니다. 정확한 경로를 찾았습니다.
CDH 5.4 의 구성 파일/etc/hadoop/conf/hdfs-site.xml, 이 파일은hdfs의 경로와 주 노드의 설정을 기록합니다
hdfs-site.xml 기본 구성은 다음과 같습니다.

    dfs.nameservices
    nameservice1
  
  
    dfs.client.failover.proxy.provider.nameservice1
    org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider
  
  
    dfs.ha.automatic-failover.enabled.nameservice1
    true
  
  
    ha.zookeeper.quorum
    bdc40.hexun.com:2181,bdc41.hexun.com:2181,bdc46.hexun.com:2181,bdc53.hexun.com:2181,bdc54.hexun.com:2181
  
  
    dfs.ha.namenodes.nameservice1
    namenode50,namenode85
  
  
    dfs.namenode.rpc-address.nameservice1.namenode50
    bdc20.hexun.com:8020
  
  
    dfs.namenode.servicerpc-address.nameservice1.namenode50
    bdc20.hexun.com:8022
  
  
    dfs.namenode.http-address.nameservice1.namenode50
    bdc20.hexun.com:50070
  
  
    dfs.namenode.https-address.nameservice1.namenode50
    bdc20.hexun.com:50470
  
  
    dfs.namenode.rpc-address.nameservice1.namenode85
    bdc220.hexun.com:8020
  
  
    dfs.namenode.servicerpc-address.nameservice1.namenode85
    bdc220.hexun.com:8022
  
  
    dfs.namenode.http-address.nameservice1.namenode85
    bdc220.hexun.com:50070
  
  
    dfs.namenode.https-address.nameservice1.namenode85
    bdc220.hexun.com:50470

name 서비스 1의 별명을 설정했습니다. 두 대의 namenode 50,namenode 85 노드에 대응합니다.
zookeeper를 통해 현재namenode의active를 선거합니다.
hdfs-site.xml 파일을 $SPARK 로 복사HOME/conf 디렉토리에서 spark job이hdfs 경로에 액세스하는 문제를 해결할 수 있습니다.
[22/01/25] 로그인 할 때 favicon.ico 오류
[디자인 모드] 의 조합 모드 (Composite)

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage