Spark 질문 1 SparkContext가 닫히지 않은sc를 어떻게 보는지
627 단어 spark
Spark 의문1의 SparkContext가 닫히지 않은 것을 어떻게 보는지
spark 프로그램을 뛰고 나면sc.stop 실행을 잊어버릴 때가 있어요.
hadoop@Master:~/cloud/testByXubo/spark/hs38DH/package$ ./cluster.sh
fq0.count:105887
Method 1=> Length:2971 sum:7888989 time:34715ms
Method 2=> Length:2971 sum2:7888989 time:5665ms
Method 3=> Length:2971 sum3:7888989.0 time:1362ms
16/04/17 14:15:21 WARN QueuedThreadPool: 2 threads could not be stopped
집단에서 닫히지 않은sc의 수량을 어떻게 확인합니까?
이것은 집단의 메모리나 기타 성능에 영향을 줄 수 있습니까?
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark 프로그래밍 기본 사항(Python 버전)참조 웹사이트: Hadoop 환경이 있어야 합니다. 내 다른 블로그를 읽을 수 있습니다. 2.Spark 환경 변수 파일 수정 spark env SH 파일(vi ./conf/spark-env.sh)을 편집하고 첫 번째...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
