知名度比较高的应该是Apache Oozie，但是其配置工作流的过程是编写大量的XML配置，而且代码复杂度比较高，不易于二次开发。另外一个应用也比较广泛的调度系统是Airflow，但是其开发语言是Python。
1.选择Azkaban的理由
提供功能清晰，简单易用的Web UI界面
提供job配置文件快速建立任务和任务之间的依赖关系
提供模块化和可插拔的插件机制，原生支持command、Java、Hive、Pig、Hadoop
基于Java开发，代码结构清晰，易于二次开发
2.适用场景
实际项目中经常有这些场景：每天有一个大任务，这个大任务可以分成A，B，C，D四个小任务，A，B任务之间没有依赖关系，C任务依赖A，B任务的结果，D任务依赖C任务的结果。一般的做法是，开两个终端同时执行A,B，两个都执行完了再执行C，最后再执行D。这样的话，整个的执行过程都需要人工参加，并且得盯着各任务的进度。但是我们的很多任务都是在深更半夜执行的，通过写脚本设置crontab执行。其实，整个过程类似于一个有向无环图（DAG）。每个子任务相当于大任务中的一个流，任务的起点可以从没有度的节点开始执行，任何没有通路的节点之间可以同时执行，比如上述的A，B。总结起来的话，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。
3.架构
Azkaban在LinkedIn上实施，以解决Hadoop作业依赖问题。我们有工作需要按顺序运行，从ETL工作到数据分析产品。最初是单一服务器解决方案，随着多年来Hadoop用户数量的增加，Azkaban 已经发展成为一个更强大的解决方案。Azkaban总共有三个角色：关系型数据库（MySQL）、AzkabanWebServer、AzkabanExecutorServer。Azkaban使用MySQL存储服务状态，AzkabanWebServer和AzkabanExecutorServer都需要访问MySQL的DB数据库
AzkabanWebServer是所有Azkaban的主要管理器。它处理项目管理，身份验证，调度程序和执行监视。它还用作Web用户界面。 使用Azkaban很容易。 Azkaban使用 .job键值属性文件来定义工作流程中的各个任务，并使用_dependencies_属性来定义作业的依赖关系链。这些作业文件和相关的代码可以存档为 .zip，并通过Azkaban UI或curl通过Web服务器上传。
以前的Azkaban版本(version 3.0之前)在单个服务器中同时具有AzkabanWebServer和AzkabanExecutorServer功能。此后，执行程序已被分离到单独的服务器中。拆分这些服务的原因有很多：方便的扩展Executor的数量，并在失败的情况下可以恢复。分离以后在对Azkaban升级的时候对用户的使用影响很小。
二.部署环境
本集群azkaban部署模式位分布式安装，webserver在cdh01,executor在cdh01、cdh02、cdh03三台节点，mysql5.7在cdh03,采用的是2.5.0版本。
1.注意要点
a.mysql数据库是程序指定的版本5.7，且源码中的jdbc以及url都是5.7格式的，注意mysql版本问题
b.Azkaban各版本的sql脚本中的建表语句或许会有所差别，2.5.0与3.73.1版本所建的表相差很大
c.Webserver配置文件中注意分布式部署所需要的额外配置语句，下文中会提到
d.安装完成后注意启动的脚本选择，默认的脚本选择为start-web.sh，查看此脚本
脚本最后一行是自己修改的，原本的没有最后一行，只有被注释掉的那行，可以发现其启动路径与实际启动路径不相符，可以将此脚本拖到与bin目录同级下启动或者直接启动azkaban-web-start.sh,但可能会出现日志文件打印在控制台的现象，可以指定日志输出路径解决
三.Azkaban2.5.0集群安装
1.建立安装路径
mkdir /data/soft/Azkaban
2.上传解压文件，并改名
cdh01上传webserver和executer的tar包
cdh02上传executer的tar包
cdh03上传sql和executer的tar包,以为mysql安装在cdh03
3.在cdh03安装mysql5.7
进入mysql,并创建azkaban数据库,导入sql脚本
mysql -uroot -p123456
create database azkaban;
use azkaban;
source /opt/module/azkaban/azkaban-2.5.0/create-all-sql2.5.0.sql
4.生成密钥对和证书(cdh01)
Keytool 是 java 数据证书的管理工具，使用户能够管理自己的公/私钥对及相关证书。
-keystore 指定密钥库的名称及位置(产生的各类信息将存在.keystore 文件中)
-genkey(或者-genkeypair) 生成密钥对
-alias 为生成的密钥对指定别名，如果没有默认是 mykey -keyalg 指定密钥的算法 RSA/DSA 默认是 DSA
生成 keystore 的密码及相应信息的密钥库
keytool -keystore keystore -alias jetty - genkey -keyalg RSA
注意： 密钥库的密码至少必须 6 个字符，可以是纯数字或者字母或者数字和字母的组合等等 密钥库的密码最好和的密钥相同，方便记忆
5.将 keystore 拷贝到 azkaban web服务器所在目录中
6.Web 服务器配置（cdh01）
进入 azkaban web 服务器安装目录 conf 目录，打开 azkaban.properties 文件
vim azkaban.properties
并更改配置文件：
7.执行服务器配置(cdh02、cdh03)
进入执行服务器安装目录 conf，打开azkaban.properties
vim azkaban.properties
8.web 服务器用户配置
在 azkaban web 服务器安装目录 conf 目录，按照如下配置修改 azkaban-users.xml 文件， 增加管理员用户。
附：webserver和executor的bin目录和根目录，注意各路径下可能需要自己创建的文件夹
cdh03上：
9.在mysql的azkaban库中的executors表中添加各个执行服务器的ip/域名和端口
四.启动服务
先启动exec-server（执行器），然后启动web-server（web服务）
可以直接执行azkaban-executor-start.sh 和 Azkaban-web-start.sh
启动成功后打开页面：https://cdh01:8443/
https://190.168.3.60:8443/
原文：https://blog.51cto.com/anfishr/2550434