키가 null일 때 Kafka는 메시지를 어느 구역에 보냅니까?
KeyedMessage<K, V> keyedMessage = new KeyedMessage<>(topicName, key, message)
이곳의 키 값은 비어 있을 수 있습니다. 이 경우 카프카는 이 메시지를 어느 구역에 보낼까요?Kafka 공식 문서에 따르면 기본 섹션 클래스는 랜덤으로 하나의 섹션을 선택합니다.
The third property "partitioner.class"defines what class to use to determine which Partition in the Topic the message is to be sent to. This is optional, but for any non-trivial implementation you are going to want to implement a partitioning scheme. More about the implementation of this class later. If you include a value for the key but haven't defined a partitioner.class Kafka will use the default partitioner. If the key is null, then the Producer will assign the message to a random Partition.
그러나 이 말은 상당히 사람을 오도한다.글자 그대로 말하자면 이 말은 문제없지만, 이곳의 랜덤은 매개 변수 'topic.metadata.refresh.ms' 를 새로 고친 후 랜덤으로 하나를 선택하는 것을 가리킨다. 이 시간대에는 항상 유일한 구역을 사용한다.기본적으로 10분마다 새 구역을 다시 선택할 수 있습니다.그러나 대부분의 프로그래머들은 나와 마찬가지로 모든 메시지가 랜덤으로 하나의 구역을 선택한다고 믿는다.관련 코드를 볼 수 있습니다.
private def getPartition(topic: String, key: Any, topicPartitionList: Seq[PartitionAndLeader]): Int = {
val numPartitions = topicPartitionList.size if(numPartitions <= 0)
throw new UnknownTopicOrPartitionException("Topic " + topic + " doesn't exist")
val partition =
if(key == null) {
// If the key is null, we don't really need a partitioner
// So we look up in the send partition cache for the topic to decide the target partition
val id = sendPartitionPerTopicCache.get(topic)
id match {
case Some(partitionId) =>
// directly return the partitionId without checking availability of the leader,
// since we want to postpone the failure until the send operation anyways
partitionId case None =>
val availablePartitions = topicPartitionList.filter(_.leaderBrokerIdOpt.isDefined)
if (availablePartitions.isEmpty)
throw new LeaderNotAvailableException("No leader for any partition in topic " + topic)
val index = Utils.abs(Random.nextInt) % availablePartitions.size
val partitionId = availablePartitions(index).partitionId
sendPartitionPerTopicCache.put(topic, partitionId)
partitionId }
} else
partitioner.partition(key, numPartitions)
if(partition < 0 || partition >= numPartitions)
throw new UnknownTopicOrPartitionException("Invalid partition id: " + partition + " for topic " + topic +
"; Valid values are in the inclusive range of [0, " + (numPartitions-1) + "]")
trace("Assigning message of topic %s and key %s to a selected partition %d".format(topic, if (key == null) "[none]" else key.toString, partition))
partition }
키가 null이면 sendPartitionPerTopicCache에서 캐시 구역을 선택하고, 없으면 랜덤으로 구역을 선택하십시오. 그렇지 않으면 캐시 구역을 사용합니다.
Kafka는 대부분의 사용자가 이해하는 대로 매번 랜덤으로 하나의 구역을 선택했다가 정기적으로 하나의 구역을 선택하는 것으로 바뀌었다. 이는 서버 구역의 socket 수를 줄이기 위한 것이다.그러나 이는 사용자를 오도하는 것으로 0.8.2 버전 이후 매번 무작위 선택으로 바뀌었다고 한다.그러나 나는 0.8.2의 코드를 보았지만 아직 변동을 보지 못했다.
그러니 가능하면 KeyedMessage에 키 값을 설정하세요.
Kafka Producer를 작성할 때 Keyed Message 대상을 생성합니다.
KeyedMessage<K, V> keyedMessage = new KeyedMessage<>(topicName, key, message)
이곳의 키 값은 비어 있을 수 있습니다. 이 경우 카프카는 이 메시지를 어느 구역에 보낼까요?Kafka 공식 문서에 따르면 기본 섹션 클래스는 랜덤으로 하나의 섹션을 선택합니다.
The third property "partitioner.class"defines what class to use to determine which Partition in the Topic the message is to be sent to. This is optional, but for any non-trivial implementation you are going to want to implement a partitioning scheme. More about the implementation of this class later. If you include a value for the key but haven't defined a partitioner.class Kafka will use the default partitioner. If the key is null, then the Producer will assign the message to a random Partition.
그러나 이 말은 상당히 사람을 오도한다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
다양한 언어의 JSONJSON은 Javascript 표기법을 사용하여 데이터 구조를 레이아웃하는 데이터 형식입니다. 그러나 Javascript가 코드에서 이러한 구조를 나타낼 수 있는 유일한 언어는 아닙니다. 저는 일반적으로 '객체'{}...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.