Hadoop 삭제 노드 추가

주소 http://www.cnblogs.com/rilley/archive/2012/02/13/2349858.html
노드 추가
1. host 를 일반 datanode 와 같이 수정 합 니 다.namenode ip 추가
2. namenode 설정 파일 conf / slaves 를 수정 하여 노드 의 ip 또는 host 를 추가 합 니 다.
3. 새로운 노드 의 기계 에서 서 비 스 를 시작 합 니 다.

[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
[root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  

4. 균형 블록

[root@slave-004 hadoop]# ./bin/start-balancer.sh

1) 밸 런 스 가 맞지 않 으 면 cluster 는 새로운 데 이 터 를 새로운 node 에 저장 합 니 다. 그러면 mapred 의 작업 효율 을 낮 출 수 있 습 니 다. 2) 밸 런 스 한도 값 을 설정 합 니 다. 기본 값 은 10% 이 고 값 이 낮 을 수록 각 노드 가 균형 을 이 루 지만 소모 시간 도 길 어 집 니 다.

[root@slave-004 hadoop]# ./bin/start-balancer.sh -threshold 5

3) balance 의 대역 폭 을 설정 합 니 다. 기본 값 은 1M / s 입 니 다.

1 <property>
2 　　<name>dfs.balance.bandwidthPerSec</name>  
3 　　<value>1048576</value>  
4 　　<description>  
5 　　　　Specifies the maximum amount of bandwidth that each datanode   
6 　　　　can utilize for the balancing purpose in term of   
7 　　　　the number of bytes per second.   
8 　　</description> 
9 </property>

주의: 1. slave 의 firewall 이 닫 혔 는 지 확인 해 야 합 니 다.2. 새로운 slave 의 ip 이 master 및 기타 slaves 의 / etc / hosts 에 추가 되 었 는 지 확인 하고, 반대로 master 및 기타 slave 의 ip 를 새로운 slave 의 / etc / hosts 에 추가 해 야 합 니 다.
노드 삭제
1. 클 러 스 터 설정 수정 conf / hdfs - site. xml 파일

1 <property>  
2 　　<name>dfs.hosts.exclude</name>  
3 　　<value>/data/soft/hadoop/conf/excludes</value>  
4 　　<description>Names a file that contains a list of hosts that are   
5 　　not permitted to connect to the namenode.  The full pathname of the   
6 　　file must be specified.  If the value is empty, no hosts are   
7 　　excluded.</description>
8 </property>

2. 내 릴 기계 dfs. hosts. exclude 가 정의 하 는 파일 내용 은 오프라인 이 필요 한 모든 기계, 한 줄 씩 입 니 다.이것 은 그들 이 Namenode 에 연결 하 는 것 을 막 을 것 이다.예:

slave-003  
slave-004  

3. 설정 다시 불 러 오기 강제

[root@master hadoop]# ./bin/hadoop dfsadmin  -refreshNodes  

배경 에서 Block 블록 이동 을 합 니 다.
4. 노드 를 닫 고 방금 작업 이 끝 난 후에 내 려 야 하 는 기 계 를 안전하게 닫 을 수 있 습 니 다.

[root@master hadoop]# ./bin/ hadoop dfsadmin -report  

현재 클 러 스 터 에 연 결 된 노드 를 볼 수 있 습 니 다.

    Decommission，   ： 
Decommission Status : Decommission in progress  

     ，   ： 
Decommission Status : Decommissioned  

5. excludes 파일 을 다시 편집 합 니 다. 기기 에서 내 려 오 면 excludes 파일 에서 내 려 올 기 계 를 제거 할 수 있 습 니 다. DataNode 프로 세 스 가 없어 졌 지만 TaskTracker 는 여전히 존재 합 니 다. 수 동 으로 처리 해 야 합 니 다.