spark2.0+hadoop2.7.1 단순 배포
1) tar-xvzf scala-2.11.8 mv scala-2.11.8/usr 2) 구성 환경 변수를/etc/profile에 다음과 같은 문구를 추가합니다. export SCALAHOME=/usr/scala-2.11.8 export PATH= PATH: SCALA_HOME/bin
2. 스파크 설치
마스터에서 다음과 같은 동작을 한다. 1)tar-xzvfspark-2.0-bin-hadoop2.7.tgz mv spark-2.0.0-bin-hadoop2.7/usr/spark2.0 구성 환경 변수: (/etc/profile) export SPARKHOME=/usr/spark2.0 export PATH= PATH: SPARK_HOME/bin 2) 스파크 환경 (spark 2.0/conf) 에서 스파크-env를 설정합니다.sh 파일: mv spark-env.sh.template spark-env.sh는spark-env에 있습니다.sh에 추가:
export SCALA_HOME=/usr/scala-2.11.8
export JAVA_HOME=/usr/java
export HADOOP_HOME=/usr/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=master
slaves 파일을 구성하려면:
mv slaves.template slaves s에서 노드 node1 node2 추가
3)/etc/profile 및 spark2.0 폴더를 노드 scp -r spark2로 복사합니다.0 node1:/home/hadoop
2, 실행 실례 실행 spark 자체 로컬피 실례: spark의 bin 디렉터리에 들어가서run-example를 찾습니다.sh, 다음 명령을 입력합니다.
hadoop@master:/usr/spark2.0/bin$ ./run-example org.apache.spark.examples.LocalPi spark://master:7077
Pi is roughly 3.14496이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
spark2.0+hadoop2.7.1 단순 배포hadoop이 정상적으로 배치되었음을 보증합니다. 다음은spark배치에 대해 작은 필기를 하겠습니다. 1. scala-2.11.8.tgz 1) tar-xvzf scala-2.11.8 mv scala-2.11.8/us...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
