spark 1.4 설정 학습

1.spark 설치 에 사용 되 는 매 뉴 얼
http://spark.apache.org/docs/latest/spark-standalone.html
https://spark.apache.org/docs/latest/running-on-yarn.html
http://www.tuicool.com/articles/M3mym2
2.컴 파일 scala 2.11-spark
http://zhangyi.farbox.com/post/wen-ti-jie-jue/solve-spark-issue-of-all-masters-are-unresponsive
http://www.open-open.com/lib/view/open1397180071590.html
문 제 는 spark-shell 이 들 어가 서 master 를 연결 하지 못 하 는 것 입 니 다.그래서 위의 블 로 그 는 2.11 판 spark 를 재 편 한 것 같 지만 제 문제 에 소 용이 없습니다.
마지막 으로 시작 할 때 ip 를 지정 해 야 합 니 다.

spark-shell --master spark://115.29.55.100:7077

3.spark lzo 지원 추가
export SPARK_LIBRARY_PATH=$SPARK_LIBRARY_PATH:/usr/local/hadoop/lib/nativeexport SPARK_CLASSPATH=$SPARK_CLASSPATH:/usr/local/hadoop/lib/native:/usr/local/hadoop/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar
  블 로그 참조http://zengzhaozheng.blog.51cto.com/8219051/1597902
4.snappy 지원 export SPARK 추가CLASSPATH=$SPARK_CLASSPATH:/usr/local/hadoop/lib/native:/usr/local/hadoop/share/hadoop/common/:/usr/local/jdk1.7.0_51/jre/lib/amd64/:/usr/local/hadoop/lib/native/Linux-amd64-64/:/usr/local/hadoop/share/hadoop/common/hadoop-lzo-0.4.20-SNAPSHOT.jar:/usr/local/hadoop/share/hadoop/common/lib/hadoop-snappy-0.0.1-SNAPSHOT.jar
5.설치 완료 후의 테스트 사례
  http://dataunion.org/10345.html
여섯,일부 잘못 보고
오류 보고 1:
Application report for application_1434263747091_0023 (state: ACCEPTED)
이 가능 하 다,~할 수 있다,...
yarn application --list
오류 보고 2:
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient memory
http://pkoperek.github.io/braindump/2015/02/18/spark-not-accepting-resources/  일종 의 해결 사고방식
사용자 가 Yrn job 를 실행 할 수 있 는 권한 이 있 는 지 확인 한 후에 기계 자원 의 사용 제한 을 너무 낮 추 지 마 세 요.다음은 제 자원 의 설정 입 니 다:
spark.driver.memory             512mspark.executor.memory           512mexport SPARK_WORKER_CORES=2export SPARK_WORKER_MEMORY=2g