spark 로 컬 아이디어 실행: java. lang. NoClassDefFoundError: org / apache / spark / sql / sparkSession
spark 프로그램, 컴 파일 된 것 을 jar 에 포장 하고 Linux 서버 에 업로드 하여 spark 작업 을 제출 하 는 것 은 문제 가 없 지만, 로 컬 에서 spark 프로그램 을 실행 할 때 오류 가 발생 했 습 니 다.
java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 7 more
문제 원인
pom. xml 에 provided 를 넣 었 기 때 문 입 니 다.
<dependency>
<groupId>org.apache.sparkgroupId>
<artifactId>spark-sql_2.10artifactId>
<version>2.11.8version>
<scope>providedscope>
dependency>
provided 역할 은 컴 파일 환경 이 사용 가능 하고 실행 할 때 사용 할 수 없습니다. 주요 목적 은 포장 할 때 이러한 의존 을 넣 지 않 는 것 입 니 다. 서버 에 있 기 때문에 가방 이 너무 크 지 않도록 하 는 것 입 니 다.
그러나 로 컬 이 실 행 될 때 는 이러한 의존 이 필요 합 니 다. 로 컬 에 의존 하 는 것 이 없 기 때문에 잘못 보고 합 니 다.해결책 은 provided 를 제거 하면 된다.
해결 방법
provided 탭 을 제거 하고 의존 도 를 다시 가 져 옵 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Spark Streaming의 통계 소켓 단어 수1. socket 단어 수 통계 TCP 소켓의 데이터 서버에서 수신한 텍스트 데이터의 단어 수입니다. 2. maven 설정 3. 프로그래밍 코드 입력 내용 결과 내보내기...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
