Mac용 Docker를 사용하여 로컬 Kubernetes 클러스터에서 Spark 작업 실행
2841 단어 스파크Mac도커kubernetes
Mac용 Docker 설치
아래를 참조하십시오.
htps : // / cs. 도 c r. 코 m / 도 c 케 루 푸 루 마 c
Kubernetes 클러스터 사용
Preferences -> Kubernetes -> Enable Kubernetes를 클릭합니다.
Spark의 Docker 이미지 만들기
아래 기사를 참조하십시오.
htps : // 코 m / 요헤이 1126 @ gi te b / ms / e f c906b8609 d78274 f
Spark 작업 실행
샘플로 제공되는 spark-examples_2.11-2.4.3.jar를 실행합니다. 이것은 π를 계산하는 프로그램입니다.
먼저 클러스터 URL을 확인합니다.
$ kubectl cluster-info
Kubernetes master is running at https://localhost:6443
KubeDNS is running at https://localhost:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
서비스 계정 만들기
Preferences -> Kubernetes -> Enable Kubernetes를 클릭합니다.
Spark의 Docker 이미지 만들기
아래 기사를 참조하십시오.
htps : // 코 m / 요헤이 1126 @ gi te b / ms / e f c906b8609 d78274 f
Spark 작업 실행
샘플로 제공되는 spark-examples_2.11-2.4.3.jar를 실행합니다. 이것은 π를 계산하는 프로그램입니다.
먼저 클러스터 URL을 확인합니다.
$ kubectl cluster-info
Kubernetes master is running at https://localhost:6443
KubeDNS is running at https://localhost:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
서비스 계정 만들기
샘플로 제공되는
spark-examples_2.11-2.4.3.jar를 실행합니다. 이것은 π를 계산하는 프로그램입니다.먼저 클러스터 URL을 확인합니다.
$ kubectl cluster-info
Kubernetes master is running at https://localhost:6443
KubeDNS is running at https://localhost:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy
서비스 계정 만들기
$ kubectl create serviceaccount spark
$ kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default
작업을 실행하려면 Spark-submit 명령이 필요하므로 리포지토리에서 검색하고 다음 명령을 실행합니다.
$ wget https://www-us.apache.org/dist/spark/spark-2.4.3/spark-2.4.3-bin-hadoop2.7.tgz
$ tar zxvf spark-2.4.3-bin-hadoop2.7.tgz
$ cd spark-2.4.3-bin-hadoop2.7
$ bin/spark-submit \
--master k8s://https://localhost:6443 \
--deploy-mode cluster \
--conf spark.executor.instances=3 \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.kubernetes.container.image=yohei1126/spark:v2.4.3 \
--class org.apache.spark.examples.SparkPi \
--name spark-pi \
local:///opt/spark/examples/jars/spark-examples_2.11-2.4.3.jar
Spark 작업의 결과 확인
kubectl logs 에서 포드의 로그를 확인하면 π가 계산됩니다. $ kubectl get pods
NAME READY STATUS RESTARTS AGE
spark-pi-2e689dc329e934f38c1017d59635da59-driver 0/1 Completed 0 46m
$ kubectl logs spark-pi-2e689dc329e934f38c1017d59635da59-driver
...
Pi is roughly 3.1442157210786053
...
Reference
이 문제에 관하여(Mac용 Docker를 사용하여 로컬 Kubernetes 클러스터에서 Spark 작업 실행), 우리는 이곳에서 더 많은 자료를 발견하고 링크를 클릭하여 보았다 https://qiita.com/yohei1126/items/e401babdd7cd57c794b1텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
우수한 개발자 콘텐츠 발견에 전념
(Collection and Share based on the CC Protocol.)
좋은 웹페이지 즐겨찾기
