azkaban 집단 다중 노드 모드 설정

다중 노드 실행 서버를 설정할 때 Azkaban Web Server의 프로필azkaban.properties에 추가해야 합니다

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

분포식 방식을 사용했는지 확인하고, 다음에 제출한job는 상황에 따라 실행 서버를 선택합니다. 그렇지 않으면 기본적으로 로컬 실행 서버만 사용합니다. 주의하세요!
이후 mysql의 azkaban 라이브러리에 각 실행 서버의 ip/도메인 이름과 포트를 추가해야 합니다.
insert into executors(host,port) values("EXECUTOR_PORT",EXECUTOR_PORT);
이로써 azkaban의 분포식 설정이 성공한 셈이다.
다중 노드 실행 서버를 설정할 때 Azkaban Web Server의 프로필azkaban.properties에 추가해야 합니다

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

분포식 방식을 사용했는지 확인하고, 다음에 제출한job는 상황에 따라 실행 서버를 선택합니다. 그렇지 않으면 기본적으로 로컬 실행 서버만 사용합니다. 주의하세요!
이후 mysql의 azkaban 라이브러리에 각 실행 서버의 ip/도메인 이름과 포트를 추가해야 합니다.
insert into executors(host,port) values("EXECUTOR_PORT",EXECUTOR_PORT);
이로써 azkaban의 분포식 설정이 성공한 셈이다.
다음 출처 홈페이지 문서:http://azkaban.github.io/azkaban/docs/latest/

Configuring AzabanWebServer and AzkabanExecutorServer clients

The Executor server needs to be setup with a port, and the AzabanWebServer will need to know what this port is.
The following properties need to be set on AzkabanExecutorServer's  azkaban.properties .

# Azkaban Executor settings
executor.maxThreads=50
executor.port=12321
executor.flow.threads=30

Single Executor Mode

By default the  executor.port  is set to  12321 . The AzkabanWebServer will have to point to this port as well.
This is done by setting the following property in AzkabanWebServer's  azkaban.properties .

executor.port=12321

Multiple Executor Mode

We need to enable multiple executor mode in webserver configuration if we want to run in multiple executor mode. Please verify that you have following properties in azkaban.properties. azkaban.use.multiple.executors and azkaban.executorselector.comparator.* are required properties. Please note that  azkaban.use.multiple.executors  is not honoured in multiple exeutor mode.

azkaban.use.multiple.executors=true
azkaban.executorselector.filters=StaticRemainingFlowSize,MinimumFreeMemory,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

These changes are only picked up after restarting the servers.

Configure executors for Multiple Executor Mode

We don't have a executor management UI at this point of Time. Executors need to be configured in database. For examples:-
Insert all executors into the mysql DB for executor setups. Verify that correct executors are active in executors table. insert into executors(host,port) values("EXECUTOR_PORT",EXECUTOR_PORT);