使用 DolphinScheduler 调度 Kylin 构建

从这个图上可以看出，DS 设计之初就考虑了高可用、多租户、可视化等高级功能，也支持扩展任务类型等，相比于其它工具来说，更适合企业内的复杂场景，可视化的操作界面也非常适合作为平台交给各部门自助使用（注：Airflow 目前也有多租户的支持）。

为了验证 DS 的功能，我们决定先在一个单机上进行安装。参考文档后，发现它的安装配置步骤稍多，于是先尝试 Docker 安装；可惜的是，它的 Dockerfile 跟当前代码有一点不匹配，加上国内的网络条件，Docker build 较慢屡次失败，于是就放弃了，尝试单机用二进制包安装。

从官网 [2] 下载 1.2.0 版本的安装包，分前端和后端两个包；前端是一些静态文件，不到 2MB；后端是主程序，较大 127MB；前后端需要分别安装和配置。（据了解从 1.2.1 后，前后端将不再分离。）

参考前端安装文档 [3]，将资源放到某个目录，然后安装和配置 Nginx，让其 8888 端口的静态资源从 DS 的前端目录获取，如果是 API 的调用，转给后端服务 12345 端口；了解 Nginx 配置的话这块不难。小注意一下，它的安装脚本 install-dolphinscheduler-ui.sh 会自动安装 Nginx，如果你的系统中已经有 Nginx 服务的话，需要手动修改脚本以避免重新安装。

后端的安装相对比较复杂一些。首先你需要准备前置条件：

1.  Linux 服务器一台，CentOS 6/7 或 Ubuntu；

2. 创建一个 DolphinScheduler 的 Linux 账户，有 sudo 权限，且开启免密码登录；因为要切换不同租户，所以单机安装也需要这个账户；

3. MySQL 5.5 或以上；起初我的 MySQL 版本较低（5.1），遇到 DB 初始化脚本失败的问题，切换高版本 MySQL 后解决；（注：目前 MySQL 8 也不支持）；

4.  Zookeeper，用于协调多个节点的状态。

安装的时候，需要仔细查看它的安装文档 [4]；文档中介绍了多节点的自动部署（为有自动化一键安装脚本点赞），但没有介绍单节点的手动部署。我先用了它的自动部署脚本 install.sh，发现略有点复杂，在 DS 开发者的指导下改用手动部署。下面是一些注意事项：

1.  安装和启动服务的时候，切换到 dolphinscheduler用户，建议不要用 root；使用 root 会让一些新创建的目录权主是 root，其它用户不可访问；

2.  安装目录不要放到 /root 等高权限目录，最好放到 /opt 或 dolphinscheduler 的 home 目录下；

3. MySQL JDBC 连接的配置，除了在 conf/application-dao.properties 以外，还需要在 conf/quartz.properties 也里配置一下;

4. DS 的安装目录，需要显式地在 conf/common/common.properties 里配置一下，默认的安装目录 /data1_1T/dolphinscheduler 很可能不是你的安装路径；

5. 在 conf/config/run_config.conf 中配置各个节点的机器名；如果单机的话，配置本机的机器名；

6.  在 conf/zookeeper.properties 中配置 zk 地址；

7.  启动使用 scripts/start-all.sh 和 scripts/stop-all.sh  来启动和停止；如果不正常，检查在 logs 目录下的日志；

8.  确保 Nginx 之前已经正常启动。

如果一切正常的话，浏览器打开  http://<host_name>:8888  就会出现 DS 的登录界面，初始用户/密码为：admin/dolphinscheduler123。

按照使用操作手册，先创建项目，再创建一个租户（tenant）；租户就是运行任务的 Linux 用户。