Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException

1276 단어 kafka
flume에서 Kafka에 데이터 오류 보고:
04 Jul 2018 20:43:44,401 ERROR [kafka-producer-network-thread | producer-1] (org.apache.kafka.clients.producer.internals.Sender.run:130)  - Uncaught error in kafka producer I/O thread: 
org.apache.kafka.common.protocol.types.SchemaException: Error reading field 'throttle_time_ms': java.nio.BufferUnderflowException
	at org.apache.kafka.common.protocol.types.Schema.read(Schema.java:71)
	at org.apache.kafka.clients.NetworkClient.handleCompletedReceives(NetworkClient.java:439)
	at org.apache.kafka.clients.NetworkClient.poll(NetworkClient.java:265)
	at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:216)
	at org.apache.kafka.clients.producer.internals.Sender.run(Sender.java:128)
	at java.lang.Thread.run(Thread.java:748)

flume 버전이 1.7이고 kafka 버전이 0.8로 오래되어 호환되지 않기 때문에 kafka 버전을 0.11 또는 flume 버전으로 업그레이드하여 1.6로 해결합니다!
주:flume1.6 및 이전 버전에는 Taildir(org.apache.flume.source.taildir.Taildir.TaildirSource)라는 소스 type이 없습니다. 이 형식은 디렉터리 변화를 지원하는 파일입니다. 단점 리셋을 지원합니다. 1.6 버전에서 이 기능을 사용하려면 1.7 버전의 Taildir Source 구성 요소 원본을 컴파일하여 포장한 후,Flume1.6 설치 디렉터리의lib 파일 디렉터리에 넣어야 합니다.
TaildirSource 구성 요소를 사용하려면 Flume 구성 파일에 전체 클래스 이름을 지정합니다.
a1.sources.r1.type = com.xxx.flume.source.TaildirSource

좋은 웹페이지 즐겨찾기