hadoop2.0 문제 발생(지속적인 업데이트)

2041 단어
요즘 Hadoop 2.0, 몇 가지 문제에 대해 필기를 한다.
버전:apache hadoop-2.2.0
2013-10-29
nodemanager를 시작할 때 다음 오류를 보고합니다.
2013-10-29 11:32:21,523 FATAL org.apache.hadoop.yarn.server.nodemanager.NodeManager: Error starting NodeManager
java.lang.IllegalArgumentException: The ServiceName: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid.The valid service name should only
 contain a-zA-Z0-9_ and can not start with numbers

또는 작업을 제출하는 동안 다음과 같은 오류가 발생했습니다.
3/10/29 11:49:01 INFO mapreduce.Job: Task Id : attempt_1383017347984_0001_m_000000_0, Status : FAILED
Container launch failed for container_1383017347984_0001_01_000002 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:
mapreduce_shuffle does not exist

해결 방법:
yarn-site.xml 프로필에 추가된 내용:
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

다시 켜면 OK.
이 문제는 사실
yarn.nodemanager.aux-services
설정이 잘못되었거나 설정이 없습니다. 사실 이 인자가 설정되지 않았다면 기본값이 있을 것입니다.이것은 현재 버전의 작은 버그입니다.
https://issues.apache.org/jira/i#browse/YARN-1289
2013-10-30:
Fairscheduler의 acl을 설정합니다. 대기열을 업데이트하거나 Resource 관리자를 다시 시작하든 acl이 작동하지 않습니다.
사실은 버그입니다.https://issues.apache.org/jira/i#browse/YARN-1288
이 문제는 다음과 같이 해결되었습니다.http://blog.csdn.net/baiyangfu_love/article/details/14004331
2013-11-01:
웹 ui 페이지, 응용 프로그램 id를 통해 작업 상세 정보를 보려면 다음 정보를 참조하십시오.
You (User dr.who) are not authorized to view application application_xxxx
이 문제는 권한이 제한되어 있기 때문에, 웹 페이지에 로그인한 사용자를core-site에 설정해야 합니다.xml 파일은 다음 설정을 추가합니다.
        <property>
                <name>hadoop.http.staticuser.user</name>
                <value>hadoop</value>
        </property>
이렇게 하면 응용 프로그램 상세 페이지가 정상적으로 열립니다.

좋은 웹페이지 즐겨찾기