Spark 프로그램 디버깅 Idea

481 단어 spark
Spark 프로그램의 Idea 로컬 디버깅
var conf = new SparkConf().setAppName("WordCount").setMaster("local")
var sc = new SparkContext(conf)
...
...
...
sc.stop()

Spark 프로그램 클러스터 디버깅에 대한 Idea
var conf = new SparkConf().setAppName("WordCount")
      .setMaster("spark://node05:7077")
      .setJars(List("D:\\code\\streming\\target\\WordCount.jar"))
var sc = new SparkContext(conf)
...
...
...
sc.stop()

좋은 웹페이지 즐겨찾기