[문제 해결] Spark 클 러 스 터, master 노드 를 통 해 start - all. sh 시작 slave 오류 보고

Spark 클 러 스 터, master 노드 를 통 해 start - all. sh 시작 slave 오류:. / sbin / start - all. sh
그래서 처음에 저 는 Spark 클 러 스 터 를 만 든 후에 master 와 각 slave 의 스 크 립 트 를 각각 실행 하여 시 작 했 습 니 다.
시작 master:

./sbin/start-master.sh -h 192.168.3.207 --host 192.168.3.207

슬 레이 브 시작:

/sbin/start-slave.sh spark://192.168.3.207:7077

그리고 각 조작 은 각자 의 기계 에 있다.
오늘 동 료 는 master 노드 를 직접 통 해 start - all 로 모든 노드 를 시작 할 수 있 는 것 이 정상 이 라 고 말 했다.
마스터 가 모든 것 을 시작 할 때 다음 과 같이 오 류 를 보 고 했 습 니 다.

$ ../sbin/start-all.sh
starting org.apache.spark.deploy.master.Master, logging to /home/ubutnu/spark_2_2_1/logs/spark-ubutnu-org.apache.spark.deploy.master.Master-1-ubutnu-Super-Server.out
192.168.3.104: bash:   0  : cd: /home/ubutnu/spark_2_2_1:          
192.168.3.104: bash: /home/ubutnu/spark_2_2_1/sbin/start-slave.sh:          
192.168.3.102: bash:   0  : cd: /home/ubutnu/spark_2_2_1:          
192.168.3.102: bash: /home/ubutnu/spark_2_2_1/sbin/start-slave.sh:          

관건: 경 로 를 찾 을 수 없습니다. 192.168.3.102 와 104 신문 입 니 다.master 기 계 는 각 slave 의 ip 만 설치 되 어 있 기 때문에 그들의 spark 설치 경 로 를 모 르 기 때문에 master 는 이 컴퓨터 의 경로 에 따라 조정 하 는 것 이 라 고 추측 합 니 다. 그러나 아 쉽게 도 spark 는 다른 두 대의 디 렉 터 리 와 master 가 다 르 기 때문에 지정 한 경 로 를 찾 을 수 없습니다.
해결 방법: 모든 slave 기계 의 spark 경 로 를 master 와 일치 하 게 바 꾸 면 해결 할 수 있 습 니 다.

$ ./start-all.sh 
starting org.apache.spark.deploy.master.Master, logging to /home/ubutnu/spark_2_2_1/logs/spark-ubutnu-org.apache.spark.deploy.master.Master-1-ubutnu-Super-Server.out
192.168.3.104: starting org.apache.spark.deploy.worker.Worker, logging to /home/ubutnu/spark_2_2_1/logs/spark-he-org.apache.spark.deploy.worker.Worker-1-he-V660.out
192.168.3.102: starting org.apache.spark.deploy.worker.Worker, logging to /home/ubutnu/spark_2_2_1/logs/spark-he-org.apache.spark.deploy.worker.Worker-1-he-200.out

하지만 웹 ui 페이지 를 열 면 URL 은 호스트 이름 이 있 습 니 다: URLspark://ubutnu-Super-Server:7077
그리고 워 커 기계 가 틀 렸 습 니 다.
18/04/17 17:03:33 INFO Worker: Spark home: /home/ubutnu/spark_2_2_118/04/17 17:03:33 INFO Utils: Successfully started service 'WorkerUI' on port 8081.18/04/17 17:03:33 INFO WorkerWebUI: Bound WorkerWebUI to 192.168.3.102, and started at http://192.168.3.102:808118/04/17 17:03:33 INFO Worker: Connecting to master ubutnu-Super-Server:7077...18/04/17 17:03:38 WARN TransportClientFactory: DNS resolution for ubutnu-Super-Server:7077 took 5028 ms18/04/17 17:03:38 WARN Worker: Failed to connect to master ubutnu-Super-Server:7077Caused by: java.io.IOException: Failed to connect to ubutnu - Super - Server: 7077 해결 방법: master 와 slave 각 기계 의 conf / spark - env. sh 를 추가 합 니 다.

export SPARK_MASTER_HOST=192.168.3.207

요약:
master 모든 노드 직접 시작:. / sbin / start - all. sh
master 모든 노드 직접 정지:. / sbin / stop - all. sh