Kafka 군집 구축 및 명령

오 랜 만 에 블 로 그 를 써 서 게 을 러 서 빨리 Kafka 클 러 스 터 를 만들어 보 세 요.
테스트 기 세 노드 hadop 1 hadop 2 hadop 3 이 세 노드 는 독립 된 zookeeper 를 설치 하고 제 다른 hadop hbase 등 메타 데이터 정 보 는 모두 위 에 있 습 니 다. 저 는 Kafka 가 가지 고 있 는 zookeeper 를 사용 하지 않 습 니 다.
이번 버 전 은: / kafka2.10-0.10.0.1
설정 수정:
kafka_2.10 - 0.10.0.1 / config 아래 에 우리 가 주목 해 야 할 파일 이 많 습 니 다. log4j 를 제외 하고 사실은 세 개 입 니 다.

consumer.properties            
server.properties
producer.properties

가장 중요 한 server. properties 부터 볼 게 요.
나 는 주로 다음 과 같이 수정한다.

broker.id=0   //hadoop1  0   Hadoop2  1   Hadoop3 2
listeners=PLAINTEXT://192.168.90.  :9092 //       ip
delete.topic.enable=true   //           （          ）
log.dirs=/tmp/kafka-logs  //                  .log             .index      （     ）

zookeeper.connect=192.168.90.**:2181,192.168.90.**:2181,192.168.90.**:2181   //zookeeper      

//                  

아래 comsumer. properties

zookeeper.connect=192.168.90.**:2181,192.168.90.**:2181,192.168.90.**:2181   //zookeeper      

아래 producer. properties

bootstrap.servers=192.168.90.**:9092,192.168.90.**:9092,192.168.90.**:9092

그리고 세 대 를 시작 하면 됩 니 다. 클 러 스 터 상태 정 보 를 구체 적 으로 보면 제 지난 블 로그 kafka 의 시각 화 인터페이스 를 참고 할 수 있 습 니 다.
다음 명령: 첫 번 째 명령: 클 러 스 터 시작 세 노드 모두 실행 해 야 합 니 다.

./kafka-server-start.sh  ../config/server.properties 

테마 보기

./kafka-topics.sh --list --zookeeper hadoop1:2181
  ：
__consumer_offsets
visit3

테마 정보 보기

[root@hadoop1 bin]# ./kafka-topics.sh --describe --topic visit3 --zookeeper hadoop1:2181
   //                      
  Topic:visit3 PartitionCount:4  ReplicationFactor:2    Configs:

  //       
  //        visit3   0      broker0  broker2   learder broker0           learder isr  
 Topic: visit3  Partition: 0 Leader: 0  Replicas: 0,2   Isr: 0,2

 Topic: visit3  Partition: 1 Leader: 0  Replicas: 1,0   Isr: 0,1

 Topic: visit3  Partition: 2 Leader: 1  Replicas: 2,1   Isr: 1,2

 Topic: visit3  Partition: 3 Leader: 0  Replicas: 0,1   Isr: 0,1

테마 만 들 기

    test   4         2   
./kafka-topics.sh  --create --topic test --partitions 4 --replication-factor 2 --zookeeper hadoop1:2181
Created topic "test".

테마 삭제

./kafka-topics.sh --delete --topic test1 --zookeeper hadoop1:2181
Topic test1 is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.
//              

그리고 콘 솔 생산자 소비자.

./kafka-console-producer.sh  --topic test  --broker-list hadoop1:9092,hadoop2:9092,hadoop3:9092


./kafka-console-consumer.sh --topic test --zookeeper hadoop1:2181