Kafka 생산 환경의 오류.

최근 storm 실시간 통계 pv를 작성했습니다.uv.ip의 프로젝트 후 전방 서버는flume로 수집하여 모든 서버를 점차적으로 증가시킨다.증가의 차이는 많지 않다.Kafka는 다음과 같은 오류를 보고했습니다.
4709 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 214 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
4869 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with    correlation id 217 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5035 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with   correlation id 220 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5198 [main] WARN  kafka.producer.async.DefaultEventHandler  - Produce request with correlation id 223 failed due to [datasift,0]: kafka.common.MessageSizeTooLargeException
5305 [main] ERROR kafka.producer.async.DefaultEventHandler  - Failed to send requests for topics datasift with correlation ids in [213,224]

kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.
at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
at kafka.producer.Producer.send(Unknown Source)
at kafka.javaapi.producer.Producer.send(Unknown Source)

여러 가지 자료를 찾아보니 Kafka의 기본 설정 때문인 것으로 나타났다.보낸 메시지가 최대 바이트를 초과하여 발생했습니다.다음 매개변수를 수정하면 됩니다.
  •   replica.fetch.max.bytes - this will allow for the replicas in the brokers to send messages within the cluster and make sure the messages are replicated correctly. If this is too small, then the message will never be replicated, and therefore, the consumer will never see the message because the message will never be committed (fully replicated).
  • message.max.bytes - this is the largest size of the message that can be received by the broker from a producer.

  • 수정이 끝난 후에 모든 것이 정상이다.

    좋은 웹페이지 즐겨찾기