hadoop 스케줄러에서 "Error opening jobjar"오류가 발생했습니다.
1571 단어 hadoop
Exception in thread "main" java.io.IOException: Error opening job jar: /home/deploy/recsys/workspace/ouyangyewei/recommender-dm-1.0-SNAPSHOT-lib
at org.apache.hadoop.util.RunJar.main(RunJar.java:90)
Caused by: java.util.zip.ZipException: error in opening zip file
at java.util.zip.ZipFile.open(Native Method)
at java.util.zip.ZipFile.<init>(ZipFile.java:127)
at java.util.jar.JarFile.<init>(JarFile.java:135)
at java.util.jar.JarFile.<init>(JarFile.java:72)
at org.apache.hadoop.util.RunJar.main(RunJar.java:88)
-bash-3.2$ hadoop fs -ls /home/deploy/recsys/workspace/ouyangyewei
Warning: $HADOOP_HOME is deprecated.스케줄링 명령:
hadoop jar recommender-dm_fat.jar com.yhd.ml.statistics.category.GenCategoryUserProfileJob --userProfileTable full_user_profile --categoryId 957370 --categoryFile /user/hive/warehouse/category/part-m-00000 --output /home/deploy/recsys/workspace/ouyangyewei/output일반적으로 이 오류의 원인은 두 가지가 있다.
1. 해당 경로에서 이jar 패키지가 있는지 확인
2.jar 패키지의 경로가 정확한지 여부
3.jar가방에 문제가 있음
원인은 다음과 같다. 해당 폴더에 이jar 패키지가 없습니다. 저는hadoopfs-ls 폴더 경로 명령으로 이jar 패키지가 있는 것을 발견했지만 ll 명령으로 이jar 패키지를 보지 못했습니다.
"ll"명령과 "hadoop fs -ls 경로"명령의 차이점:
1.ll 명령: 서버 로컬의 모든 파일 보기
2. hadoop fs -ls 경로 명령: HDFS의 모든 파일 보기
hadoop 스케줄링 명령은 서버 로컬jar 패키지입니다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Azure HDInsight + Microsoft R Server에서 연산 처리 분산Microsoft Azure HDInsight는 Microsoft가 제공하는 Hadoop의 PaaS 서비스로 인프라 주변의 구축 노하우를 몰라도 훌륭한 Hadoop 클러스터를 구축할 수 있는 훌륭한 서비스입니다. 이...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
