spark on yarn 퀘 스 트 제출 시 계속 ACCEPTED 표시

spark on yarn 이 작업 을 제출 할 때 ACCEPTED 를 계속 표시 합 니 다. 한 시간 이 지나 면 작업 에 실패 하지만 제출 할 때 셸 터미널 에 표 시 된 로 그 는 잘못 보고 되 지 않 았 습 니 다. logs 폴 더 에 도 로그 가 생 성 되 지 않 았 습 니 다.비고: spark on yarn 은 spark 클 러 스 터 를 시작 할 필요 가 없습니다. 작업 을 제출 하 는 기계 에 spark 를 설정 하면 됩 니 다. 작업 은 hadop 에서 수행 되 기 때문에 spark 는 작업 의 제출 만 책임 집 니 다.
퀘 스 트 제출 명령 은
 bin/spark-submit --class org.apache.spark.examples.JavaWordCount\    --master yarn-client\    --num-executors 25\    --executor-memory 1g\    --executor-cores 1\    lib/spark-examples-1.0.1-hadoop2.2.0.jar\    hdfs://192.168.1.11:9000/test
spark - env. sh 설정 은 다음 과 같 습 니 다.
export SPARK_JAR=hdfs://192.168.1.11:9000/test1/spark-assembly-1.0.1-hadoop2.2.0.jar export SPARK_YARN_APP_JAR=hdfs://192.168.1.11:9000/test1/spark-examples-1.0.1-hadoop2.2.0.jar export HADOOP_CONF_DIR=/hadoop/etc/hadoop export SPARK_EXECUTOR_INSTANCES=1000 export SPARK_EXECUTOR_CORES=1 export SPARK_EXECUTOR_MEMORY=10000M export SPARK_DRIVER_MEMORY=20000M export SPARK_YARN_APP_NAME=spark
로그 보기 오류 발견:
14/09/04 17:10:44 INFO RMProxy: Connecting to ResourceManager at/0.0.0.0:803214/09/04 17:10:45 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)14/09/04 17:10:46 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)14/09/04 17:10:47 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
이 문 제 는 분명히 resourcemanager 를 찾 지 못 했 습 니 다. 우 리 는 다음 과 같은 방법 으로 해결 할 수 있 습 니 다.
1 spark - env. sh 에 추가
export SPARK_YARN_USER_ENV = "CLASSPATH = hadop - 2.3.0/etc/hadop"(자신의 hadop 경로 로 변경)
2 자바 워드 Count 프로그램 을 직접 작성 하여 프로그램 에 클 러 스 터 정 보 를 설정 합 니 다.

        SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount");
        sparkConf.set("mapreduce.framework.name", "yarn");
        sparkConf.set("mapreduce.jobtracker.address", "192.168.1.10:9001");
        sparkConf.set("yarn.resourcemanager.hostname", "192.168.1.10");
        sparkConf.set("yarn.resourcemanager.admin.address", "192.168.1.10:8033");
        sparkConf.set("yarn.resourcemanager.address", "192.168.1.10:8032");
        sparkConf.set("yarn.resourcemanager.resource-tracker.address", "192.168.1.10:8031");
        sparkConf.set("yarn.resourcemanager.scheduler.address", "192.168.1.10:8030");
        sparkConf.set("yarn.resourcemanager.hostname", "192.168.1.10");

그리고 포장, spark 퀘 스 트 를 제출 할 때 자신 이 포장 한 jar 가방 을 사용 하면 됩 니 다.