Apache DolphinScheduler 1.2.0 发布，分布式可视化工作流任务调度系统

内容简介：DolphinScheduler Release 1.2.0 Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后，经过长达4个月后，终于迎来了自己的第一个Apache版本 - 1.2.0，本次发版包括以下重要更新 新特性： ...

DolphinScheduler Release 1.2.0 

Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后，经过长达4个月后，终于迎来了自己的第一个Apache版本 -  1.2.0，本次发版包括以下重要更新

新特性：

1. 支持PostgreSql、 Mysql 等多种数据库，添加Postgre性能监控
2. 添加Flink和Http任务类型支持
3. 添加跨项目依赖支持
4. 添加流程定义导出和导入功能
5. 添加CI自动编译检查
6. 完善代码注释
7. 为Common模块添加java doc文档

增强：

1. 将batchDelete流程定义/实例移到事务的外部

2. Dockerfile优化

3. 改变mysql-connector-java作用域为test，规避mysql license问题

4. 管理员和创建者可以删除定时

5. 删除告警组需要删除用户与告警组的关系

6. 删除租户时删除检查资源

7. 在删除流程实例之前检查其状态

8. 添加license和notice文件

BUG修复：

1. 为scan待执行任务添加事务支持
2. 修复ZKWorkerClient不关闭PathChildrenCache
3. 数据类型转换错误，电子邮件发送错误错误修复
4. Catch异常事务方法不生效，无法修改
5. 修复spring事务而不是worker错误
6. 任务日志打印工作日志错误修复
7. 修复api服务器调试模式错误
8. 任务异常，任务正在运行错误修复
9. 修复错误：任务队列长度错误
10. 修复不合适的错误消息
11. 修正错误：手机可以为空
12. 修复电子邮件错误密码

13. 在升级或创建时修复过多连接

14. 修复工作进程使用队列执行任务时的错误。并删除检查等20处bug

具体请参加本次发版说明

特别感谢为本次发版做出突出贡献的50多位社区贡献者

 

Dolphin Scheduler for Big Data

设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。
其主要目标如下：
- 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
- 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker cpu load，memory，cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索

系统部分截图

文档

• 后端部署文档

• 前端部署文档

• 使用手册

• 升级文档

• 我要体验

更多文档请参考 DolphinScheduler中文在线文档

近期研发计划

DolphinScheduler的工作计划：研发计划 ，其中 In Develop卡片下是正在研发的功能，TODO卡片是待做事项(包括 feature ideas)

贡献代码

非常欢迎大家来参与贡献代码，提交代码流程请参考：
[How to contribute code]

How to Build

mvn clean install -Prelease

Artifact:

dolphinscheduler-dist/dolphinscheduler-backend/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-backend-bin.tar.gz: Binary package of DolphinScheduler-Backend
dolphinscheduler-dist/dolphinscheduler-front/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-front-bin.tar.gz: Binary package of DolphinScheduler-UI
dolphinscheduler-dist/dolphinscheduler-src/target/apache-dolphinscheduler-incubating-${latest.release.version}-src.zip: Source code package of DolphinScheduler

感谢

Dolphin Scheduler使用了很多优秀的开源项目，比如google的guava、guice、grpc，netty，ali的bonecp，quartz，以及apache的众多开源项目等等，
正是由于站在这些开源项目的肩膀上，才有Dolphin Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢！我们也希望自己不仅是开源的受益者，也能成为开源的
贡献者，于是我们决定贡献出来，并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来，一起为开源献出一份力！

本次发版下载链接: http://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html
官网: https://dolphinscheduler.apache.org/

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Uber 开源 AI 可视化调试工具 Manifold，2 个工作流让计算性能提升百倍
• [JWFD开源工作流]JWFD开源工作流-矩阵引擎设计初步
• 前端工程工作流规范
• SharePoint PowerShell 启动工作流
• Git工作流规范 Beta
• 前端工作流中的hooks

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。