1. 왜 워 크 플 로 스케줄 링 시스템 이 필요 합 니까?
완전한 데이터 분석 시스템 은 보통 대량의 작업 단원 으로 구성 된다. 셸 스 크 립 트 프로그램, 자바 프로그램, mapreduce 프로그램, hive 스 크 립 트 등 각 퀘 스 트 단원 간 에 시간 선후 와 전후 의존 관계 가 존재 한다 이런 복잡 한 집행 계획 을 잘 조직 하기 위해 서 는 워 크 플 로 스케줄 링 시스템 이 필요 하 다 .
물론 많은 회사 들 이 자신의 스케줄 링 시스템 을 개발 한다 2. 아 즈 카 반 은 무엇 인가
Azkaban 은 Linkedin 에서 시작 하 는 대량의 워 크 플 로 작업 스케줄 러 입 니 다.하나의 워 크 플 로 에서 특정한 순서 로 작업 과 절 차 를 실행 하 는 데 사용 합 니 다. Azkaban 은 하나의 = = KV 파일 (properties) 형식 = = 을 정의 하여 작업 간 의존 관 계 를 구축 하고 사용 하기 쉬 운 웹 사용자 인터페이스 유지 와 추적 작업 흐름 을 제공 합 니 다.https://azkaban.github.io/ 기능 특징
기능 이 뚜렷 하고 사용 하기 쉬 운 웹 UI 인터페이스 제공 job 프로필 을 제공 하여 작업 과 작업 간 의 관 계 를 신속하게 구축 합 니 다 모듈 화 된 플러그 인 메커니즘 을 제공 하고 원생 지원 command, java, hive, hadop 자바 개발 을 바탕 으로 코드 구조 가 뚜렷 하고 2 차 개발 이 용이 하 다 3. Azkaban 기본 구조
Azkaban 은 세 부분 으로 구성 되 어 있다. 1、Azkaban Web Server 웹 UI 를 제 공 했 고 azkaban 의 주요 관리자 로 procject 의 관리, 인증, 스케줄 링, 워 크 플 로 실행 과정 에 대한 모니터링 등 을 포함한다. 2、Azkaban Executor Server 구체 적 인 워 크 플 로 와 임무 의 배정 제출 3、Mysql 프로젝트, 로그 또는 실행 계획 과 같은 정 보 를 저장 하 는 데 사용 합 니 다 4. Azkaban 구조의 세 가지 운행 모델
1. solo server mode (단기 모드) H2
web server 和 executor server运行在一个进程里
最简单的模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大项目可以采用此模式。
2、two server mode web server 和 executor server运行在不同的进程
数据库为mysql，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响。
3、multiple executor mode web server 和 executor server运行在不同的进程，executor server有多个
该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。
