[kafka] Azure vm에 kafka 클러스터 설치

출처: https://blog.voidmainvoid.net/325

일반적으로 kafka 클러스터는 3개의 클러스터를 설치해 사용한다. replication을 통한 고가용성을 위함이며, 하나의 master와 2개의 slave 구조로 이루어질 예정이다.

현재는 하나의 클러스트만을 설치했고, 실제로 metrics 서버를 사용할때 클러스터를 3개로 늘릴 예정이다.

azure vm(인스턴스)에 Apcahe kafka와 zookeeper 설치 과정을 기술한다.

1. 먼저 방화벽 설정이다. 방화벽은

아래와 같이 2888, 3888, 2181, 9092 포트를 인바운드 포트 큐칙에 설정했다.

(더 좁게 설정이 가능할듯 한데, 일단 이렇게설치)

1. zookeeper를 설치한다.(만약 3개의 클러스터를 사용한다면, 각 인스턴스에 모두 zookeeper도 설치해 주어야한다)

$ wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz

압축을 해제한다.

$ tar xvf zookeeper-3.4.12.tar.gz

zookeeper의 configuaration을 위해, zookeeper폴더 내부의 conf 폴더에 zoo.cfg 파일을 생성하고 아래와 같이 configuartion한다.

tickTime=2000
dataDir=/var/lib/zookeeper
clientPort=2181
initLimit=20
syncLimit=5
server.1=${brokerhost}:2888:3888
# server.2
# server.3
# 클러스터를 여러개 설치하는 방법은 후에 기술할 예정

후에 zookeper 앙상블을 위해 myid라는 파일을 만들어준다

$ cat /var/lib/zookeeper/myid
1

zookeeper 실행

$ ./bin/zkServer.sh start

ZooKeeper JMX enabled by default
Using config: /home/ec2-user/zookeeper-3.4.12/bin/../conf/zoo.cfg
Strating zookeeper ... STARTED

1. Apache kafka 설치

$ wget https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz

압축해제

$ tar xvf kafka_2.11-2.1.0.tgz

apche configuaration

broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://${brokerhost}:9092
zookeeper.connect=${brokerhost}:2181

카프카실행(자바가 설치되어있어야 한다(https://davelogs.tistory.com/71) 참조)

$ ./bin/kafka-server-start.sh ../config/server.properties