spark 여러 애플 리 케 이 션 동시 실행

spark 의 Job Scheduling 에서 spark 여러 작업 을 동시에 수행 하 는 것 을 소 개 했 습 니 다. 관련 링크 는:
https://spark.apache.org/docs/1.2.0/job-scheduling.html
    spark 는 여러 애플 리 케 이 션 이 동시에 실행 되 고 여러 애플 리 케 이 션 의 자원 공유 와 관련 되 어야 합 니 다.spark on yarn 모드 에서 yarn 은 클 러 스 터 자원 을 관리 할 수 있 습 니 다.클 러 스 터 의 메모리 자원 과 cpu 자원 을 잘 이용 하기 위해 서 는 spark 의 Dynamic Resource Allocation 을 사용 해 야 합 니 다. 기능.
       Dynamic Resource Allocation 에 문제 가 있 습 니 다. executor 가 비어 있 을 때 executor 는 remove 되 지만 executor 가 실 행 된 데이터 결 과 는 다른 executor 에 의 해 사 용 될 수 있 습 니 다. 이 문 제 를 해결 하기 위해 spark 는 외부 shfuffle 서 비 스 를 시작 해 야 합 니 다. 관련 설정 은 Yrn - site. xml 파일 에 다음 과 같은 내용 을 추가 합 니 다.

   yarn.nodemanager.aux-services
   spark_shuffle
  
  
   yarn.nodemanager.aux-services.spark_shuffle.class
   org.apache.spark.network.yarn.YarnShuffleService
  

   동시에
spark - - yarn - shuffle. jar 는 hadop 의 yarn lib 라 이브 러 리 에 넣 었 습 니 다. 제 spark 버 전 은 1.3.1 입 니 다. 즉,
spark-1.3.1-yarn-shuffle.jar 문건
  내 yarn 의 lib 라 이브 러 리 디 렉 터 리 는: / usr / local / hadop 2.6.0 / share / hadop / yarn / lib /
   /usr / local / hadop 2.6.0 / 제 hadop 설치 디 렉 터 리 입 니 다.
   하면, 만약, 만약... 파일 을 올 바른 디 렉 터 리 에 두 지 않 았 습 니 다. spark application 은 시작 할 때 accepted state 에 걸 립 니 다. 관련 인쇄 는 다음 과 같 습 니 다.
/06 10:49:14 INFO yarn.Client:           client token: N/A          diagnostics: N/A          ApplicationMaster host: N/A          ApplicationMaster RPC port: -1          queue: default          start time: 1436150953666          final status: UNDEFINED          tracking URL: http://ddos12:8088/proxy/application_1435917011732_0005/          user: root 15/07/06 10:49:15 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED) 15/07/06 10:49:16 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED) 15/07/06 10:49:17 INFO yarn.Client: Application report for application_1435917011732_0005 (state: ACCEPTED)
......................................................................
    external shuffle service 는 reove 된 executor 의 계산 결과 데 이 터 를 위탁 관리 하 는 역할 을 합 니 다. 다른 running 의 executor 가 이 데 이 터 를 사용 해 야 할 때 external shuffle service 에 데 이 터 를 요청 합 니 다.