l 7.7 설치 배치 4 노드 spark 3.0.0 분포 식 군집 의 상세 한 튜 토리 얼
바 텀 hadop 클 러 스 터 가 설치 되 어 있 습 니 다.ol 7.7 설치 배치 4 노드 hadop 3.2.1 분포 식 클 러 스 터 학습 환경참조
우선,해당 설치 패 키 지 를 다운로드http://spark.apache.org/downloads.html
스트레스 를 풀다
[hadoop@master ~]$ sudo tar -zxf spark-3.0.0-bin-without-hadoop.tgz -C /usr/local
[hadoop@master ~]$ cd /usr/local
[hadoop@master /usr/local]$ sudo mv ./spark-3.0.0-bin-without-hadoop/ spark
[hadoop@master /usr/local]$ sudo chown -R hadoop: ./spark
export SPARK_HOME=/usr/local/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbinspark 디 렉 터 리 의 conf 디 렉 터 리 아래 cp./conf/spark-env.sh.template./conf/spark-env.sh 뒤에 추가
export SPARK_MASTER_IP=192.168.168.11
export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop
export SPARK_LOCAL_DIRS=/usr/local/hadoop
export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoop classpath)master
slave1
slave2
slave3
데 드 JAVAHOME,sbin/spark-config.sh 마지막 으로 추가
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
spark 디 렉 터 리 를 다른 노드 로 복사 합 니 다.
sudo scp -r /usr/local/spark/ slave1:/usr/local/
sudo scp -r /usr/local/spark/ slave2:/usr/local/
sudo scp -r /usr/local/spark/ slave3:/usr/local/
sudo chown -R hadoop ./spark/시작 클 러 스 터
hadop 클 러 스 터/usr/local/hadop/sbin/start-all.sh 를 먼저 시작 합 니 다.
그리고 spark 군집 을 시작 합 니 다.
master 8080 포트 모니터링 을 통 해
설치 완료
여기 서 ol 7.7 설치 배치 4 노드 spark 3.0.0 분포 식 클 러 스 터 에 대한 상세 한 튜 토리 얼 을 소개 합 니 다.더 많은 ol 7.7 설치 배치 spark 클 러 스 터 내용 은 우리 의 이전 글 을 검색 하거나 아래 의 관련 글 을 계속 조회 하 시기 바 랍 니 다.앞으로 많은 지원 을 바 랍 니 다!
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark 팁: 컴퓨팅 집약적인 작업을 위해 병합 후 셔플 파티션 비활성화작은 입력에서 UDAF(사용자 정의 집계 함수) 내에서 컴퓨팅 집약적인 작업을 수행할 때 spark.sql.adaptive.coalescePartitions.enabled를 false로 설정합니다. Apache Sp...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
