hadop 은 3 노드 클 러 스 터 를 구축 하고 Live Nodes 가 0 으로 표 시 될 때 해결 방법 을 만 납 니 다.

원본 링크:http://www.cnblogs.com/DeepRunning/p/9205955.html
우선, 니 마 고 는 hadop 의 3 노드 클 러 스 터 를 구축 할 때 기본 적 인 절 차 를 설치 하고 다음 과 같은 몇 개의 파일 을 설정 합 니 다.
  • core-site.xml
  • hadoop-env.sh
  • hdfs-site.xml
  • yarn-env.sh
  • yarn-site.xml
  • slaves

  • 그 다음 에 NameNode 노드 를 포맷 하고,
    [root@spark1 hadoop]# hdfs namenode -format

    hdfs 군집 시작
    [root@spark1 hadoop]# start-dfs.sh

    각 노드 가 성공 적 으로 실행 되 었 는 지 확인 합 니 다.spark1 :
    [root@spark1 hadoop]# jps
    5575 SecondaryNameNode
    5722 Jps
    5443 DataNode
    5336 NameNode

    spark2:
    [root@spark2 hadoop]# jps
    1859 Jps
    1795 DataNode

    spark3:
    [root@spark3 ~]# jps
    1748 DataNode
    1812 Jps

    니 마 고 클 러 스 터 구축 과정 에서 핵심 파일 설정 은 문제 가 없 지만 50070 포트 검 측 을 사용 할 때 livenode 를 1 로 표시 하고 spark 1 만 표시 합 니 다!
    그래서 문제 에 대한 조 사 를 통 해 최종 적 으로 초기 설정 / etc / hosts 때 설정 은 다음 과 같다.
    spark1:
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.30.111  spark1

    spark2:
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.30.112  spark2

    spark3:
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.30.113  spark3

    이제 통일 은:
    
    127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
    ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
    192.168.30.113  spark3
    192.168.30.111  spark1
    192.168.30.112  spaqk2

    ok, 문제 해결 이용 코드:
    [root@spark1 hadoop]# hadoop dfsadmin -report
    DEPRECATED: Use of this script to execute hdfs command is deprecated.
    Instead use the hdfs command for it.
    
    Configured Capacity: 55609774080 (51.79 GB)
    Present Capacity: 47725793280 (44.45 GB)
    DFS Remaining: 47725719552 (44.45 GB)
    DFS Used: 73728 (72 KB)
    DFS Used%: 0.00%
    Under replicated blocks: 0
    Blocks with corrupt replicas: 0
    Missing blocks: 0
    
    -------------------------------------------------
    Datanodes available: 3 (3 total, 0 dead)
    
    Live datanodes:
    Name: 192.168.30.111:50010 (spark1)
    Hostname: spark1
    Decommission Status : Normal
    Configured Capacity: 18536591360 (17.26 GB)
    DFS Used: 24576 (24 KB)
    Non DFS Used: 2628579328 (2.45 GB)
    DFS Remaining: 15907987456 (14.82 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 85.82%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Last contact: Wed Aug 09 05:03:06 CST 2017
    
    
    Name: 192.168.30.113:50010 (spark3)
    Hostname: spark3
    Decommission Status : Normal
    Configured Capacity: 18536591360 (17.26 GB)
    DFS Used: 24576 (24 KB)
    Non DFS Used: 2627059712 (2.45 GB)
    DFS Remaining: 15909507072 (14.82 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 85.83%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Last contact: Wed Aug 09 05:03:05 CST 2017
    
    
    Name: 192.168.30.112:50010 (spark2)
    Hostname: spark2
    Decommission Status : Normal
    Configured Capacity: 18536591360 (17.26 GB)
    DFS Used: 24576 (24 KB)
    Non DFS Used: 2628341760 (2.45 GB)
    DFS Remaining: 15908225024 (14.82 GB)
    DFS Used%: 0.00%
    DFS Remaining%: 85.82%
    Configured Cache Capacity: 0 (0 B)
    Cache Used: 0 (0 B)
    Cache Remaining: 0 (0 B)
    Cache Used%: 100.00%
    Cache Remaining%: 0.00%
    Last contact: Wed Aug 09 05:03:05 CST 2017
    

    코드 부분 에서 볼 수 있 듯 이 연 결 된 datanode 는 3 개 입 니 다.각각 192.168.301.111 192.168.301.112 192.168.301.113
    다음으로 전송:https://www.cnblogs.com/DeepRunning/p/9205955.html

    좋은 웹페이지 즐겨찾기