자세히 보기
필요한 환경:
1.java1.8
2.hadoop-3.1.1(spark는 그의hdfs를 사용한다)
3.zookeeper-3.4.11(spark 자동 이동 마스터용)
4.spark-2.3.1-bin-without-hadoop
 
세 서버 호스트는 각각
host-01
host-02
host-03
 
주요 구성:

hadoop

hadoop/hadoop-3.1.1/etc/hadoop/hadoop-env.sh
 

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

 
hadoop/hadoop-3.1.1/etc/hadoop/core-site.xml
 

        fs.defaultFS
        hdfs://host-01:9000
    
    
        hadoop.tmp.dir
        file:///home/hadoop/tmp


ha.zookeeper.quorum
host-01:2181,host-02:2181,host-03:2181

 
hadoop/hadoop-3.1.1/etc/hadoop/hdfs-site.xml
 

        dfs.replication
        2
    
    
        dfs.namenode.name.dir
        /home/hadoop/hdfs/name
    
    
        dfs.datanode.data.dir
        /home/hadoop/hdfs/data
    

 
hadoop/hadoop-3.1.1/etc/hadoop/yarn-site.xml
 

        yarn.resourcemanager.hostname
        host-01
    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

 
hadoop/hadoop-3.1.1/etc/hadoop/workers 없으면 새로 만들고 데이터 노드 설정

host-02
host-03

 

spark

 spark-2.3.1-bin-without-hadoop/conf/spark-env.sh 첫 번째 줄은 비교적 중요합니다. "java.lang.ClassNotFoundException: org.slf4j.Logger", "failed to launch: nice-n"등 문제가 발생하는 것은 이로 인한 것이 아닙니다.

export SPARK_DIST_CLASSPATH=$(/home/hadoop/hadoop-3.1.1/bin/hadoop classpath)
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.161-0.b14.el7_4.x86_64
export SPARK_MASTER_HOST=host-01
export HADOOP_HOME=/home/hadoop/hadoop-3.1.1
export HADOOP_CONF_DIR=/home/hadoop/hadoop-3.1.1/etc/hadoop
export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=host-01:2181,host-02:2181,host-03:2181 -Dspark.deploy.zookeeper.dir=/spark"

참고: Export SPARK_MASTER_HOST=host-01
호스트의 IP를 지정하고, 세 대의 서버가 각각의 호스트name를 설정합니다.
 
spark-2.3.1-bin-without-hadoop/conf/slaves 설정 슬레이브
 

host-02
host-03

 
 
구성 완료
 

부팅

1. 조키퍼 시작
zookeeper-3.4.11/bin/zkServer.sh start
2. hdfs 시작
hadoop-3.1.1/sbin/start-dfs.sh
3. 스파크 시작
spark-2.3.1-bin-without-hadoop/sbin/start-all.sh
4. 각각 host-02와 host-03의 master를 시작합니다(host-01은 ALIVE, 다른 것은 STANDBY 상태, host-01은 다른 zookeeper를 끊고 자동으로 alive 대체를 선택합니다).
spark-2.3.1-bin-without-hadoop/sbin/start-master.sh
 
jps 명령 보기
 
host-01:

[root@localhost home]# jps
26304 NameNode
24310 QuorumPeerMain
30152 Jps
29946 Master
26622 SecondaryNameNode

 host-02:

[root@localhost home]# jps
13857 DataNode
15938 Master
16118 Jps
15752 Worker
12767 QuorumPeerMain

 host-03

[root@localhost home]# jps
3186 QuorumPeerMain
14323 Master
6100 DataNode
15966 Jps