decomission hadoop node
1441 단어 hadoopdecomission
hadoop 집단은 많은 일반적인node 서버로 구성되어 있기 때문에 서버에 하드웨어나 다른 문제가 발생하여 노드가 사용할 수 없는 상황이 자주 발생한다. hadoop은live-dead-decomission 메커니즘을 제공한다. 즉, 어떤 노드가 좋은지, 어떤 노드가 나쁜 것인지, 어떤 노드가 nn에서 제거되었는지 정의할 수 있지만 rm나 dn 서비스는 마음대로 달린다.
본문
Decommission node : test.node
1 먼저 50070 포트에서 decom의 노드가 어떤 상태인지 봅시다
https://nn.com:50070
또는 nn에 로그인하여 명령으로 보기
sudohadoop
hadoop dfsadmin -report | grep -A 3 $ip_of_decommistion_node2. rm나 jt 노드에 로그인하여 mapred-exclude 파일을 수정하고 decom의 노드를 추가합니다.
3. rm나 클라이언트에서 노드를 새로 고치고live의 노드 수량을 보십시오
sudohadoop
hadoop job -list-active-trackers | wc -l
yarn rmadmin -refreshNodes
hadoop job -list-active-trackers | wc -l4. decom 노드에 로그인하여 nodemanager 끄기
svc -d /service/nodemanager
or
stop-yarn.sh5. nn에 로그인하여 hdfs-exclude 파일을 수정하고 decom의 노드를 추가합니다.
6. nn 또는 클라이언트에 로그인하여 노드를 새로 고칩니다.
sudohadoop
hadoop dfsadmin -refreshNodes7. Datanode 서비스 중지
svc -d /service/datanode
or
stop-dfs.sh8 50070 포트로 가서 decom의 노드가 어떤 상태인지 봅시다.
https://nn.com:50070
이때는 dead 상태일 것입니다. decommision은hadoop1 버전에 대해 오래 기다려야 합니다. 버전의 버그 때문에hadoop2를 사용하면 빠릅니다. decomissioning의 상태를 주의하십시오. under replicated blocks의 수량이 0일 때 이 node 안의 모든 blocks가 다른 node로 복사되었다고 합니다.
이 글은 "Linux 운영"블로그에서 나왔습니다. 전재 사절!
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Azure HDInsight + Microsoft R Server에서 연산 처리 분산Microsoft Azure HDInsight는 Microsoft가 제공하는 Hadoop의 PaaS 서비스로 인프라 주변의 구축 노하우를 몰라도 훌륭한 Hadoop 클러스터를 구축할 수 있는 훌륭한 서비스입니다. 이...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
