spark - 2.4.2 - bin - 2.6.0 - cdh 5.7.0 소스 코드 컴 파일
1328 단어 spark
jdk-8u211-linux-x64.tar.gz
spark-2.4.2.tgz
apache-maven-3.6.1-bin.tar.gz
주: 공식 문서 에 따 르 면 spark - 2.4.2 컴 파일 은 자바 8, Maven - 3.5.4 및 이상 버 전이 필요 합 니 다.
환경 설정
jdk 압축 을 풀 고 자바 환경 변 수 를 설정 합 니 다.
Maven 압축 해제, Maven 환경 변수 설정
컴 파일 준비
tar -zxvf spark-2.4.2.tgz # spark
cd spark-2.4.2.tgz # spark
spark 소스 패키지 루트 디 렉 터 리 에 pom. xml 파일 을 엽 니 다.
다음 설정 을 탭 에 추가 합 니 다.
cloudera
https://repository.cloudera.com/artifactory/cloudera-repos
spark 루트 디 렉 터 리 에서 다음 명령 을 실행 합 니 다.
./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn -Pkubernetes
# --name 2.6.0-cdh5.7.0 , :spark-2.4.2-bin-2.6.0-cdh5.7.0.tgz
#--tgz tgz
#-Dhadoop.version=2.6.0-cdh5.7.0 hadoop
#-Phadoop-2.6 spark hadoop
#-Phive hive
#-Phive-thriftserver hive
#-Pyarn yarm
#-Pkubernetes kubernetes
컴 파일 이 성공 할 때 까지 기 다 립 니 다. (컴 파일 시간 이 오래 걸 립 니 다) 컴 파일 이 성공 하면 spark 루트 디 렉 터 리 에 하나 가 나타 납 니 다. spark - 2.4.2 - bin - 2.6.0 - cdh 5.7.0. tgz 파일
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark 프로그래밍 기본 사항(Python 버전)참조 웹사이트: Hadoop 환경이 있어야 합니다. 내 다른 블로그를 읽을 수 있습니다. 2.Spark 환경 변수 파일 수정 spark env SH 파일(vi ./conf/spark-env.sh)을 편집하고 첫 번째...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.