storm 1.0.2 사용 중 발생한 문제

1876 단어
1, 시작할 때 오류 보고하기
2015-12-03 12:28:53.338 b.s.m.n.Client [ERROR] connection attempt 10 to Netty-Client-host1.grid.myco.com/10.1.2.3:6710 failed: java.net.ConnectException: Connection refused: host1.grid.myco.com/10.1.2.3:6710

시작할 때 이 오류 정보를 눈치채지 못했습니다. 토폴로지를 발표한 후에 정상적으로 사용해야 합니다.무의식중에 로그에 error 수준의 오류 로그가 있는 것을 보았을 뿐입니다.분석: 1, 치명적인 오류가 아닌 것 같아서 내용에 따라 해당 포트의 사용 여부를 살펴봤다.2, 홈페이지에 ip6를 지원하지 않는다고 쓰여 있는 것을 감안하여 검사기는 ip6를 닫았지만 이런 문제가 있었다.3, 시작 순서 문제를 고려하여 병행도가 4인 spout을 보기 위해 3개의worker 로그에 오류 정보가 있고 다른 하나는 없습니다.4, 보이다http://stackoverflow.com/questions/36612557/aws-workers-cant-communicate-due-to-netty-client-hostname-resolution/39104515#39104515누군가가 이미 이것을 제기한 적이 있다.
2, 토폴로지 제출 후 오류 신고
Consumer has failed with exception: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance

stormui에 발생한 오류 정보는 그래도 소비할 수 있습니다. spout의 소비 프로세스가 잘못된 시간이 있음을 보고 balance가 있었다는 것을 증명합니다.분석: 1. 잘못된 정보는 오프셋을 제출할 때 리밸런스 프로세스를 만들었고 리밸런스가 촉발하는 조건은http://zqhxuyuan.github.io/2016/10/27/Kafka-Definitive-Guide-cn-04/여기에 명확하게 쓰여 있지만, 멀쩡한 것은 왜 리밸런스를 해야 하는가.2, 고려 중요 한 것 은 통신 시간 초과, consumer 가 통 kafka 중 어느 broker 통신 할 때.시간 초과 시간이 필요합니다.삼,http://stackoverflow.com/questions/35658171/kafka-commitfailedexception-consumer-exception이런 잘못을 언급했다.참고하셔도 돼요.http://blog.csdn.net/weitry/article/details/53009134, 하지만 매개 변수 max.poll.records (1.×)버전 문제를 주의해야 합니다.
해결 방법:
  • 소비 시간 초과 증가.시간 초과 소비는 하트비트를 통해.interval.ms 설정, 하트비트.interval.ms의 크기는session을 초과할 수 없습니다.timeout.ms,session.timeout.ms는 [group.min.session.timeout.ms, group.max.session.timeout.ms] 범위 내에서..
  • 메시지 처리 시간 감소;백엔드 처리로 결정..
  • 1회 소비 소식량 감소.max.partition.fetch.bytes 용량 결정, max.poll.records(1.×)수량을 결정하다.max.partition.fetch.bytes는 파티션이pull에서 가져온 데이터의 크기를 지정합니다.max.poll.records는 pull에서 얻은 메시지 수량을 규정합니다.
  • 좋은 웹페이지 즐겨찾기