spark 스 트 리밍 제한 삼투
1101 단어 Stream
Maximum rate (number of records per second) at which each receiver will receive data. Effectively, each stream will consume at most this number of records per second. Setting this configuration to 0 or a negative number will put no limit on the rate. See the deployment guide in the Spark Streaming programing guide for mode details.
기본적으로 설정 이 없습니다.즉,제한 을 하지 않 았 습 니 다.
100 을 제한 하면 1 초 에 최대 100 개 를 삼 키 는 것 이다.
그 다음 에 문서 에 또 하나의 속성 spark.streaming.kafka.max RatePerPartition 도 삼투 제한 입 니 다.kafka 가 읽 는 속 도 를 제한 하 는 것 에 불과 합 니 다.공식 문 서 는 이렇게 말 합 니 다.
Maximum rate (number of records per second) at which data will be read from each Kafka partition when using the new Kafka direct stream API. See the Kafka Integration guide for more details.
기본 값 도 설정 되 어 있 지 않 습 니 다.
아직 이 두 사람의 연관 성 을 알 수 없다. 이것 은 소스 코드 를 연구 해 야 한다.spark.streaming.receiver.maxRate 는 kafka 를 제외 한 삼투 를 제한 하고 spark.streaming.kafka.macRatePerPartition 의 삼투 라 고 추측 합 니 다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
socket 통신 코드 연습--매일 조금씩 진보/*服务器*/ #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/socket.h> #include ...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.
좋은 웹페이지 즐겨찾기
