Hadoop 클러스터 nodes unhealthy 솔루션

Hadoop 클러스터를 구축한 후 모든 서비스가 정상적으로 시작되었지만MapReduce 프로그램을 실행할 때 작업 카드가 7/09/07 22:28:14 INFO mapreduce에 있는 것을 발견했습니다.Job: Running job: job_1504781778966_0003, 더 이상 실행하지 않습니다. 검사를 통해 모든 nodes 노드가 unhealthy 상태에 있음을 발견했습니다. 명령을 사용하여 node의 상태를 보십시오.
bin/yarn node -list -all

로그 검색 보기
2015-07-16 15:28:58,643 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory /opt/beh/data/yarn/nmlocal error, used space above threshold of 90.0%, removing from list of valid directories

2015-07-16 15:28:58,645 WARN org.apache.hadoop.yarn.server.nodemanager.DirectoryCollection: Directory/opt/beh/logs/yarn/nmlogs error, used space above threshold of 90.0%, removing from list of valid directories
2015-07-16 15:28:58,645 INFO org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Disk(s) failed: 1/1 local-dirs are bad: /opt/beh/data/yarn/nmlocal; 1/1 log-dirs are bad: /opt/beh/logs/yarn/nmlogs

2015-07-16 15:28:58,645 ERROR org.apache.hadoop.yarn.server.nodemanager.LocalDirsHandlerService: Most of the disks failed. 1/1 local-dirs are bad: /opt/beh/data/yarn/nmlocal; 1/1 log-dirs are bad: /opt/beh/logs/yarn/nmlogs

노드의 메모리 부족으로 인한 것입니다!
해결 방법*1 노드에서 사용하지 않는 물건을 삭제하고 90% 이하로 삭제하면 됩니다.*2yarn-site.xml에 다음 설정 정보를 추가하고 상한선과 하한선을 수정합니다
  
     yarn.nodemanager.disk-health-checker.min-healthy-disks
     0.0
  
  
     yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage
     100.0
 

재시작 서비스 문제 해결

좋은 웹페이지 즐겨찾기