Spark 완전 분포 식 클 러 스 터 구축

Spark 완전 분포 식 클 러 스 터 구축

군집 계획

환경 준비

비밀 로그 인 면제

spark 설치 패키지

오픈 포트

배치 절차

설치 패 키 지 를 master 서버 에 업로드 하고 압축 해제

spark - env. sh 프로필 수정

slaves 프로필 수정

spark 설 치 를 다른 노드 에 보 내기

환경 변수 설정

spark 클 러 스 터 시작

검증

군집 계획
네 대의 가상 컴퓨터 node 1 은 Master 노드 를 하고 node 1, node 2, node 3 는 Worker 노드 master 192.168.1.18 master 192.168.1.19 master 192.168.1.20 master 192.168.1.21
환경 준비
비밀 로그 인 면제
배치 하기 전에 Master 노드 를 Worker 의 비밀 로그 인 면제 로 설정 해 야 합 니 다.마스터 에서 실행

[root@master ~]# ssh -keygen -t rsa

그 다음 에 사용자 의 루트 디 렉 터 리 에 'ssh' 폴 더 를 생 성하 여 master 에서 공개 키 (id rsa. pub) 를 다른 노드 로 복사 합 니 다. 이 컴퓨터 를 포함 합 니 다.

[root@master ~]# ssh-copy-id master
[root@master ~]# ssh-copy-id node1
[root@master ~]# ssh-copy-id node2
[root@master ~]# ssh-copy-id node3

마스터 에서 테스트 하기

 [root@master ~]# ssh node3

비밀 번 호 를 입력 하지 않 아 도 로그 인 할 수 있 습 니 다.
spark 설치 패키지
필요 한 버 전에 따라 spark 설치 패 키 지 를 다운로드 합 니 다. 제 가 사용 하 는 버 전 은 spark - 2.2.1 - bin - hadop 2.7. tgz 입 니 다.
개방 포트
기본 포트 7077, 6066, 8080 을 열 어야 합 니 다.
배치 절차
설치 패 키 지 를 master 서버 에 업로드 하고 압축 을 풀 어 줍 니 다.

tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz

spark - env. sh 프로필 수정
SPARKHOME / conf / 아래 spark - env. sh. template 파일 을 spark - env. sh 로 복사 합 니 다.

[root@master conf]# mv spark-env.sh.template spark-env.sh
[root@master conf]# vi spark-env.sh 
#   Master    
export SPARK_MASTER_HOST=192.168.1.18
#     ip
#export SPARK_LOCAL_IP=192.168.1.18
#   Application   ，  7077
#export SPARK_MASTER_PORT=7077
#    Worker       cpu core   
export SPARK_WORKER_CORES=8
#    Worker         
export SPARK_WORKER_MEMORY=25g
#    Executor         
export SPARK_EXECUTOR_MEMORY=20g
#    WEB-UI          8080
#SPARK_MASTER_WEBUI_PORT=8080

slaves 프로필 수정
SPARKHOME / conf / 의 slaves. template 파일 을 slaves 로 복사 하고 Worker 의 호스트 목록 을 추가 합 니 다.

  [root@master conf]## vi slaves
   #         localhost
    node1
    node2
    node3

spark 설 치 를 다른 노드 에 보 냅 니 다.
spark 설치 패 키 지 를 다른 노드 에 나 누 어 줍 니 다. pwd 현재 디 렉 터 리 로 갑 니 다.

[root@master data]# scp -r spark-2.2.1-bin-hadoop2.7 node1:'pwd'
[root@master data]# scp -r spark-2.2.1-bin-hadoop2.7 node2:'pwd'
[root@master data]# scp -r spark-2.2.1-bin-hadoop2.7 node3:'pwd'

환경 변수 설정
클 러 스 터 의 모든 노드 에 SPARK 설정HOME 환경 변수

 [root@master ~]# vi /etc/hosts
 export SPARK_HOME=/data/spark-2.2.1-bin-hadoop2.7
 export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

spark 군집 시작
master 노드 에서 spark 군집 을 시작 합 니 다.

[root@master conf]# ./start-all.sh

검증 하 다.
임의의 노드 에 jps 입력

 [root@master ~]# jps

현재 기계 가 master 또는 worker 인 것 을 볼 수 있 습 니 다.
브 라 우 저 master: 8080 을 입력 하면 클 러 스 터 정 보 를 볼 수 있 습 니 다.
master 에서 퀘 스 트 제출

 [root@master ~]#spark-submit --master spark://192.168.1.18:7077 /data/test.jar