sbt 패키지 scala 가 쓴 spark 프로젝트 를 사용 하여 패키지 에 의존 합 니 다.

1300 단어 scalasparksbt
프로젝트 루트 디 렉 터 리 build.sbt
//     
  
name := "sparkScala"
 
 
//     
 
version := "1.0"

 
//scala  

scalaVersion := "2.11.7"

 
//jdk  

javacOptions ++= Seq("-source", "1.7", "-target", "1.7")

 
//   ,%%       ,  %; % "provided"   jar      jar   

libraryDependencies += "com.alibaba" % "fastjson" % "1.2.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-sql" % "1.4.1" % "provided"

 
//   

mainClass in Compile := Some("main.MergePartition")

 
//   ,  scala  

assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)

 
프로젝트 루트 디 렉 터 리 프로젝트/plugins.sbt assembly 플러그 인 추가
 addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.13.0")

 
최종 프로젝트 루트 디 렉 터 리 에서 실행
sbt clean assembly

 고소 한 jar 패키지 파일 을 볼 수 있 습 니 다.
 
압축 을 풀 면 fastjson 이 jar 가방 에 들 어 가 는 것 을 볼 수 있 습 니 다.다른 것 은 모두 제거 되 었 습 니 다.
META-INF/MANIFEST.MF 파일 에 도 Main-Class:main.MergePartition 이라는 주 함수 실행 클래스 를 기록 하 였 습 니 다.

좋은 웹페이지 즐겨찾기