서버 이상 종료, yarn node 관리자 시작 오류 보고Corrruption: checksum mismatch 처리 방법

2263 단어 hadoop
우연히 서버가 다운되어 서버에 많은 파일이 손상되었습니다.nodemanager를 시작할 때 계속 오류를 보고했습니다. 로그는 다음과 같습니다. 어떤 파일이 손상되어 생긴 것 같습니다.
2019-05-16 16:11:35,195 FATAL nodemanager.NodeManager (NodeManager.java:initAndStartNodeManager(549)) - Error starting NodeManager
org.apache.hadoop.service.ServiceStateException: org.fusesource.leveldbjni.internal.NativeDB$DBException: Corruption: checksum mismatch
	at org.apache.hadoop.service.ServiceStateException.convert(ServiceStateException.java:59)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:204)
	at org.apache.hadoop.yarn.server.nodemanager.containermanager.AuxServices.serviceStart(AuxServices.java:178)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
	at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
	at org.apache.hadoop.yarn.server.nodemanager.containermanager.ContainerManagerImpl.serviceStart(ContainerManagerImpl.java:457)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
	at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:120)
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.serviceStart(NodeManager.java:302)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.initAndStartNodeManager(NodeManager.java:547)
	at org.apache.hadoop.yarn.server.nodemanager.NodeManager.main(NodeManager.java:594)
Caused by: org.fusesource.leveldbjni.internal.NativeDB$DBException: Corruption: checksum mismatch
	at org.fusesource.leveldbjni.internal.NativeDB.checkStatus(NativeDB.java:200)
	at org.fusesource.leveldbjni.internal.NativeDB.open(NativeDB.java:218)
	at org.fusesource.leveldbjni.JniDBFactory.open(JniDBFactory.java:168)
	at org.apache.hadoop.mapred.ShuffleHandler.startStore(ShuffleHandler.java:596)
	at org.apache.hadoop.mapred.ShuffleHandler.recoverState(ShuffleHandler.java:564)
	at org.apache.hadoop.mapred.ShuffleHandler.serviceStart(ShuffleHandler.java:499)
	at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
	... 10 more

로그에서 알 수 있듯이 어떤 파일 검사가 통과되지 않아서 nodemanager가 시작할 수 없습니다./var/log/hadoop-yarn/nodemanager를 삭제하려고 시도하면 문제가 해결됩니다.

좋은 웹페이지 즐겨찾기