Hadoop 클러스터 문제

2759 단어 hadoop
Hadoop 클러스터를 배치하고 Hadoop을 시작하려고 했는데 Datanode가 일어나지 않았습니다. 로그는 다음과 같습니다.

2013-04-09 21:56:28,196 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /tmp/hadoop-hadoop/dfs/data: namenode namespaceID = 1993765830; datanode namespaceID = 1375972635
        at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:232)

인터넷의 자료를 찾아보는 것은 흔히 볼 수 있는 문제이다.
포맷namenode를 다시 만들면namenode 결점에서 새로운namenodenamespaceID를 생성합니다. 이때 HDFS 집단을 시작하면 datanode 결점에서 다음과 같은 오류 알림이 발생합니다. datanodenamespaceID는namenodenamespaceID와 일치하지 않습니다.
참고
http://stackoverflow.com/questions/10097246/no-data-nodes-are-started
첫 번째:
1. Stop the cluster
2. Delete the data directory on the problematic DataNode: the directory is specified by dfs.data.dir in conf/hdfs-site.xml; if you followed this tutorial, the relevant directory is/app/hadoop/tmp/dfs/data
dfs를 설정하지 않았습니다.data.dir 속성은hdfs-site에 있습니다.mxl에서namenode기계에만 있는core-site.xml이 hadoop을 설정했습니다.tmp.dir 속성, 그리고 나의 데이터 노드 기계의 코어-site.xml과hdfs-site.xml은 두 가지를 따로 설정하지 않았습니다.name node의 임시 폴더는 설정된 디렉터리에서/home/hadoop/tmp/이고, 데이터 node의 임시 폴더는 기본적으로/tmp/hadoop - 아래.
3. Reformat the NameNode (NOTE: all HDFS data is lost during this process!)
4. Restart the cluster
두 번째:
1. Stop the DataNode
2. Edit the value of namespaceID in/current/VERSION to match the value of the current NameNode
3. Restart the DataNode
두 번째 질문:
namenode의 로그:

 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
2013-04-09 22:06:09,658 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 9000, call addBlock(/home/hadoop/tmp/mapred/system/jobtracker.info, DFSClient_NONMAPREDUCE_278324081_1, null) from 192.168.1.121:36492: error: java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1
java.io.IOException: File /home/hadoop/tmp/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1

datanode 아래 코어 사이트를 수정합니다.xml,hadoop 추가.tmp.dir,namenode와 같게 합니다.다시 포맷하고cluster를 시작합니다.문제 해결.
오류는addBlock 함수를 호출할 때hadoop 사용자 그룹에 쓰기 권한이 없는 것 같습니다.
addBlock () 방법은 새로운 Block과 이 Block 백업 저장소의 datanode를 분배하는 것입니다.
하지만 저는/home/hadoop/tmp/mapred/system/jobtracker를 찾지 못했습니다.info, 그래서 곤혹스러워요.
okhttp(java.lang.NoSuchMethodError: No interface method rangeEquals(JLokio/ByteString;)Z) 오류
처음 만나다

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage