decomission hadoop node

소개
hadoop 집단은 많은 일반적인node 서버로 구성되어 있기 때문에 서버에 하드웨어나 다른 문제가 발생하여 노드가 사용할 수 없는 상황이 자주 발생한다. hadoop은live-dead-decomission 메커니즘을 제공한다. 즉, 어떤 노드가 좋은지, 어떤 노드가 나쁜 것인지, 어떤 노드가 nn에서 제거되었는지 정의할 수 있지만 rm나 dn 서비스는 마음대로 달린다.
 
본문
Decommission node : test.node
 
1 먼저 50070 포트에서 decom의 노드가 어떤 상태인지 봅시다
https://nn.com:50070
또는 nn에 로그인하여 명령으로 보기

sudohadoop
hadoop dfsadmin -report | grep -A 3 $ip_of_decommistion_node

 
2. rm나 jt 노드에 로그인하여 mapred-exclude 파일을 수정하고 decom의 노드를 추가합니다.
 
3. rm나 클라이언트에서 노드를 새로 고치고live의 노드 수량을 보십시오

sudohadoop
hadoop job -list-active-trackers | wc -l
yarn rmadmin -refreshNodes
hadoop job -list-active-trackers | wc -l

 
4. decom 노드에 로그인하여 nodemanager 끄기

svc -d /service/nodemanager
or 
stop-yarn.sh

 
5. nn에 로그인하여 hdfs-exclude 파일을 수정하고 decom의 노드를 추가합니다.
 
6. nn 또는 클라이언트에 로그인하여 노드를 새로 고칩니다.

sudohadoop
hadoop dfsadmin -refreshNodes

  
7. Datanode 서비스 중지

svc -d /service/datanode
or
stop-dfs.sh

 
8 50070 포트로 가서 decom의 노드가 어떤 상태인지 봅시다.
https://nn.com:50070
이때는 dead 상태일 것입니다. decommision은hadoop1 버전에 대해 오래 기다려야 합니다. 버전의 버그 때문에hadoop2를 사용하면 빠릅니다. decomissioning의 상태를 주의하십시오. under replicated blocks의 수량이 0일 때 이 node 안의 모든 blocks가 다른 node로 복사되었다고 합니다.
이 글은 "Linux 운영"블로그에서 나왔습니다. 전재 사절!