spark - 2.4.2 - bin - 2.6.0 - cdh 5.7.0 소스 코드 컴 파일

1328 단어 spark
준비 작업
    jdk-8u211-linux-x64.tar.gz
    spark-2.4.2.tgz
    apache-maven-3.6.1-bin.tar.gz
주: 공식 문서 에 따 르 면 spark - 2.4.2 컴 파일 은 자바 8, Maven - 3.5.4 및 이상 버 전이 필요 합 니 다.
 
환경 설정
    jdk 압축 을 풀 고 자바 환경 변 수 를 설정 합 니 다.
    Maven 압축 해제, Maven 환경 변수 설정    
 
컴 파일 준비
    
tar -zxvf  spark-2.4.2.tgz  #  spark   
cd  spark-2.4.2.tgz    #  spark       

   spark 소스 패키지 루트 디 렉 터 리 에 pom. xml 파일 을 엽 니 다.
   다음 설정 을 탭 에 추가 합 니 다.


    cloudera
    https://repository.cloudera.com/artifactory/cloudera-repos

  spark 루트 디 렉 터 리 에서 다음 명령 을 실행 합 니 다.    
./dev/make-distribution.sh --name 2.6.0-cdh5.7.0 --tgz -Dhadoop.version=2.6.0-cdh5.7.0 -Phadoop-2.6 -Phive -Phive-thriftserver -Pyarn -Pkubernetes


# --name 2.6.0-cdh5.7.0              ,        :spark-2.4.2-bin-2.6.0-cdh5.7.0.tgz
#--tgz           tgz  
#-Dhadoop.version=2.6.0-cdh5.7.0    hadoop     
#-Phadoop-2.6     spark   hadoop  
#-Phive       hive
#-Phive-thriftserver   hive
#-Pyarn       yarm
#-Pkubernetes    kubernetes

컴 파일 이 성공 할 때 까지 기 다 립 니 다. (컴 파일 시간 이 오래 걸 립 니 다) 컴 파일 이 성공 하면 spark 루트 디 렉 터 리 에 하나 가 나타 납 니 다. spark - 2.4.2 - bin - 2.6.0 - cdh 5.7.0. tgz 파일

좋은 웹페이지 즐겨찾기