sparkstream 수신kafka 정보

spark는 kafka가 보낸 메시지를 받았는데 원래 간단했는데 익숙하지 않아서 몇 시간 동안 끊겼어요.무슨 문제인지 알 때는 울 정도로 간단하다.

Error:scalac: bad symbolic reference. A signature in KafkaUtils.class refers to term serializer
in package kafka which is not available.
It may be completely missing from the current classpath, or the version on
the classpath might be incompatible with the version used when compiling KafkaUtils.class.

다음은 spark 읽기 kafka:jar 가방 사용:kafka_2.10-0.8.2.0-kafka-1.4.0.jar(위 오류는 이 가방이 적음)spark-streaming-kafka_2.10-1.5.0-cdh5.5.2.jar kafka-clients-0.8.2.0-kafka-1.4.0.jar spark-assembly-1.5.1-hadoop2.6.0.jar datanucleus-rdbms-3.2.9.jar datanucleus-core-3.2.10.jar spark-1.5.1-yarn-shuffle.jar datanucleus-api-jdo-3.2.6.jar zkclient-0.3.jar zookeeper-3.4.5-cdh5.5.2.jar metrics-core-2.2.0.jar
예:

object SparkInKafka extends App{

  val zkQuorum = "master:2181"
  val group = "1"
  val topics = "demo"
  val numThreads = 2
  val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
  val ssc =  new StreamingContext(sparkConf, Seconds(20))
  ssc.checkpoint("checkpoint")
  val topicpMap = Map(
    "demo" -> 2
  )
  val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap)
  lines.saveAsTextFiles("/datafile/steam/log")
  ssc.start()
  ssc.awaitTermination()

}

간단하게 요약하자면 실수를 당하면 포기하지 말고 많은 시도를 하고 자료를 많이 찾으면 무심코 해결된다.