Spark 시리즈 (3) Spark-yarn 집단 설치 및 실행

전언
앞에서 언급한 바와 같이 스파크의 배치 모델은 Local, Local-cluster, Standalone, Yarn, Mesos가 있는데 여기서mark에서 Yarn 집단의 설치 배치와 집행이 있다.
Yarn 클러스터의 배치는 Standalone 클러스터에 의존하지 않으며 Spark를 시작할 필요가 없지만 Hadoop과 Spark를 설치해야 합니다. 본 Yarn 클러스터는 앞의 Spark 거울을 바탕으로 구축된 것입니다. 상세하게 설치하면 다음과 같습니다.
1. Yarn 클러스터 설치
1. Hadoop 설정에서 yarn-site를 수정합니다.xml:

<property>
        <name>yarn.resourcemanager.hostnamename>
        <value>hadoop0value>
property>
<property>
        <name>yarn.nodemanager.aux-servicesname>
        <value>mapreduce_shufflevalue>
property>

<property>
        <name>yarn.nodemanager.pmem-check-enabledname>
        <value>falsevalue>
property>

<property>
        <name>yarn.nodemanager.vmem-check-enabledname>
        <value>falsevalue>
property>

2、스파크-env를 수정합니다.sh 추가:
Spark에서 Hadoop 구성 파일을 검색할 수 있도록 하기

HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop
YARN_CONF_DIR=/opt/module/hadoop/etc/hadoop

2. Yarn 집단 집행
2.1 Hadoop 클러스터를 먼저 시작하고(다른 것을 시작할 필요가 없음) 2.2 다음 명령을 실행합니다.

[root@hadoop0 /]# /opt/module/spark-2.1.1-bin-hadoop2.7/bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
/opt/module/spark-2.1.1-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.1.jar \

구체적으로 앞의 스파크 시리즈(二)를 참고하고 특히 설명하자면 여기서 집단 마스터가 Yarn으로 제출되고 배치 모델은 Client이며 Yarn 집단 제출 시 두 가지 모델인 Client 모델과 Cluster 모델이 있음을 가리킨다. 이 두 가지 모델의 구체적인 차이는 뒤의 스파크 집단 모델의 상세한 설명을 볼 수 있다.

이 내용에 흥미가 있습니까?

현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:

Spark Streaming의 통계 소켓 단어 수

1. socket 단어 수 통계 TCP 소켓의 데이터 서버에서 수신한 텍스트 데이터의 단어 수입니다. 2. maven 설정 3. 프로그래밍 코드 입력 내용 결과 내보내기...

텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.

CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.

Spark 시리즈 (3) Spark-yarn 집단 설치 및 실행

좋은 웹페이지 즐겨찾기