Spark Streaming의 IDEA 작업이 Spark 작업에서의 차이점과 해결

Spark Streaming의 IDEA 작업 블로그https://blog.csdn.net/qq_43688472/article/details/86499291여기서는 반복하지 않겠습니다.

[hadoop@hadoop001 bin]$ ./spark-shell

Spark Streaming이 코드에서 Spark에 썼을 때 val ssc = new StreamingContext(conf, Seconds(10)) 이것을 가져올 때 conf가 없는 것을 발견했습니다.

scala> conf
:24: error: not found: value conf
       conf

이 conf가 발견되지 않았습니다. 어떻게 해야 합니까? conf를sc로 변경합니다.

val ssc = new StreamingContext(sc, Seconds(10))

더 조작해 볼게요.

scala> import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.{Seconds, StreamingContext}

scala> val ssc = new StreamingContext(sc, Seconds(10))

ssc: org.apache.spark.streaming.StreamingContext = org.apache.spark.streaming.StreamingContext@6a7cbeed

그런데 굳이 conf를 쓰지 않으면 어떡해요.

val ssc = new StreamingContext(sc.getConf, Seconds(10))
scala> val ssc = new StreamingContext(sc.getConf, Seconds(10))
org.apache.spark.SparkException: Only one SparkContext may be running in this JVM (see SPARK-2243). To ignore this error, set spark.driver.allowMultipleContexts = true. The currently running SparkContext was created at:

Only one Spark Context SPARK-2243https://lssues.apache.org/jira/browse/SPARK-2243
그럼 어떻게 해결할까요?
외부 가져오기 사용: conf.get ("spark...") 내부 전송: ssc.sparkContext.getConf.get ("spark...") 컨트롤러에sc/spark가 있습니다
넓히다
프로그래밍 입구점 데이터 수신점 데이터 변환점 데이터 출력점은 비록 많이 쓰지 않지만 이 몇 가지는 반드시 보아야 한다