sparkstream 수신kafka 정보

2988 단어 spark
spark는 kafka가 보낸 메시지를 받았는데 원래 간단했는데 익숙하지 않아서 몇 시간 동안 끊겼어요.무슨 문제인지 알 때는 울 정도로 간단하다.
Error:scalac: bad symbolic reference. A signature in KafkaUtils.class refers to term serializer
in package kafka which is not available.
It may be completely missing from the current classpath, or the version on
the classpath might be incompatible with the version used when compiling KafkaUtils.class.

다음은 spark 읽기 kafka:jar 가방 사용:kafka_2.10-0.8.2.0-kafka-1.4.0.jar(위 오류는 이 가방이 적음)spark-streaming-kafka_2.10-1.5.0-cdh5.5.2.jar kafka-clients-0.8.2.0-kafka-1.4.0.jar spark-assembly-1.5.1-hadoop2.6.0.jar datanucleus-rdbms-3.2.9.jar datanucleus-core-3.2.10.jar spark-1.5.1-yarn-shuffle.jar datanucleus-api-jdo-3.2.6.jar zkclient-0.3.jar zookeeper-3.4.5-cdh5.5.2.jar metrics-core-2.2.0.jar
예:
object SparkInKafka extends App{

  val zkQuorum = "master:2181"
  val group = "1"
  val topics = "demo"
  val numThreads = 2
  val sparkConf = new SparkConf().setAppName("KafkaWordCount").setMaster("local[2]")
  val ssc =  new StreamingContext(sparkConf, Seconds(20))
  ssc.checkpoint("checkpoint")
  val topicpMap = Map(
    "demo" -> 2
  )
  val lines = KafkaUtils.createStream(ssc, zkQuorum, group, topicpMap)
  lines.saveAsTextFiles("/datafile/steam/log")
  ssc.start()
  ssc.awaitTermination()

}

간단하게 요약하자면 실수를 당하면 포기하지 말고 많은 시도를 하고 자료를 많이 찾으면 무심코 해결된다.
golang의 filepath 패키지 함수 예시
golang의 시간대와 신기한 시간.Parse

좋은 웹페이지 즐겨찾기

개발자 우수 사이트 수집

개발자가 알아야 할 필수 사이트 100선 추천 우리는 당신을 위해 100개의 자주 사용하는 개발자 학습 사이트를 정리했습니다
best100-homepage