[kafka] 단일 노드 멀티브로커 설정

1. 여러 브로커 설정에 들어가기 전에 ZooKeeper 서버를 시작합니다.

/usr/local/zookeeper/bin/zkServer.sh start

2. 카프카의 서버를 복사합니다.properties 파일

cd /usr/local/kafka/config/
cp -a server.properties server1.properties
cp -a server.properties server2.properties

vim server.properties
----------------------
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
# The port the socket server listens on
listeners=PLAINTEXT://:9092
port=9092
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs


vim server1.properties
----------------------
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=1
# The port the socket server listens on
listeners=PLAINTEXT://:9093
port=9093
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-1

vim server2.properties
----------------------
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=2
# The port the socket server listens on
listeners=PLAINTEXT://:9094
port=9094
# A comma seperated list of directories under which to store log files
log.dirs=/tmp/kafka-logs-2

3. 브로커 3개 시작

# Broker1
cd /usr/local/kafka
bin/kafka-server-start.sh config/server.properties &

# Broker2
cd /usr/local/kafka
bin/kafka-server-start.sh config/server1.properties &

# Broker3
cd /usr/local/kafka
bin/kafka-server-start.sh config/server2.properties &

# jps
8274 Jps
8079 Kafka
8145 Kafka
8210 Kafka
2004 QuorumPeerMain

4. topic 만들기
(1) 이 토픽의 복제 인자 값 (replication-factor) 은 3개로 지정됩니다. 왜냐하면 우리는 3개의 다른 브로커가 실행되기 때문입니다.
(2) 브로커가 두 개 있다면 분배된 복제 인자 값도 2개여야 한다

cd /usr/local/kafka
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 -partitions 1 --topic Three

5. 현재 만든 테마를 탐색하는 브로커를 확인합니다

cd /usr/local/kafka
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic Three
------------
Topic: Three	PartitionCount:1	ReplicationFactor:3	Configs:             #  ,topic , , 
Topic: Three	Partition: 0	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2   # broker 0 
------------

6. 생산과 소비(ip와port 주의)

#  
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list   10.1.44.188:9092 --topic Three
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list   10.1.44.188:9093 --topic Three
/usr/local/kafka/bin/kafka-console-producer.sh --broker-list   10.1.44.188:9094 --topic Three
#  
/usr/local/kafka/bin/kafka-console-consumer.sh --zookeeper 10.1.44.188:2181 --topic Three --from-beginning

jps
2290 ConsoleConsumer
1974 Kafka
1946 QuorumPeerMain
2042 Kafka
2107 Kafka
2460 Jps
2364 ConsoleProducer
2414 ConsoleProducer
2239 ConsoleProducer