内容简介:DolphinScheduler Release 1.2.0 Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后,经过长达4个月后,终于迎来了自己的第一个Apache版本 - 1.2.0,本次发版包括以下重要更新 新特性: ...
DolphinScheduler Release 1.2.0
Apache DolphinScheduler在2019年8月底获得全票通过成功进入Apache孵化器后,经过长达4个月后,终于迎来了自己的第一个Apache版本 - 1.2.0,本次发版包括以下重要更新
新特性:
- 支持PostgreSql、 Mysql 等多种数据库,添加Postgre性能监控
- 添加Flink和Http任务类型支持
- 添加跨项目依赖支持
- 添加流程定义导出和导入功能
- 添加CI自动编译检查
- 完善代码注释
- 为Common模块添加java doc文档
增强:
-
将batchDelete流程定义/实例移到事务的外部
-
Dockerfile优化
-
改变mysql-connector-java作用域为test,规避mysql license问题
-
管理员和创建者可以删除定时
-
删除告警组需要删除用户与告警组的关系
-
删除租户时删除检查资源
-
在删除流程实例之前检查其状态
- 添加license和notice文件
BUG修复:
- 为scan待执行任务添加事务支持
- 修复ZKWorkerClient不关闭PathChildrenCache
- 数据类型转换错误,电子邮件发送错误错误修复
- Catch异常事务方法不生效,无法修改
- 修复spring事务而不是worker错误
- 任务日志打印工作日志错误修复
- 修复api服务器调试模式错误
- 任务异常,任务正在运行错误修复
- 修复错误:任务队列长度错误
- 修复不合适的错误消息
- 修正错误:手机可以为空
- 修复电子邮件错误密码
-
在升级或创建时修复过多连接
-
修复工作进程使用队列执行任务时的错误。并删除检查等20处bug
具体请参加本次发版说明
特别感谢为本次发版做出突出贡献的50多位社区贡献者
Dolphin Scheduler for Big Data
设计特点: 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用
。
其主要目标如下:
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker
cpu load,memory,cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
- 还有更多等待伙伴们探索
系统部分截图
文档
更多文档请参考 DolphinScheduler中文在线文档
近期研发计划
DolphinScheduler的工作计划:研发计划 ,其中 In Develop卡片下是正在研发的功能,TODO卡片是待做事项(包括 feature ideas)
贡献代码
非常欢迎大家来参与贡献代码,提交代码流程请参考:
[How to contribute code]
How to Build
mvn clean install -Prelease
Artifact:
dolphinscheduler-dist/dolphinscheduler-backend/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-backend-bin.tar.gz: Binary package of DolphinScheduler-Backend
dolphinscheduler-dist/dolphinscheduler-front/target/apache-dolphinscheduler-incubating-${latest.release.version}-dolphinscheduler-front-bin.tar.gz: Binary package of DolphinScheduler-UI
dolphinscheduler-dist/dolphinscheduler-src/target/apache-dolphinscheduler-incubating-${latest.release.version}-src.zip: Source code package of DolphinScheduler
感谢
Dolphin Scheduler使用了很多优秀的开源项目,比如google的guava、guice、grpc,netty,ali的bonecp,quartz,以及apache的众多开源项目等等,
正是由于站在这些开源项目的肩膀上,才有Dolphin Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢!我们也希望自己不仅是开源的受益者,也能成为开源的
贡献者,于是我们决定贡献出来,并承诺长期维护。也希望对开源有同样热情和信念的伙伴加入进来,一起为开源献出一份力!
本次发版下载链接: http://dolphinscheduler.apache.org/en-us/docs/user_doc/download.html
官网: https://dolphinscheduler.apache.org/
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- Uber 开源 AI 可视化调试工具 Manifold,2 个工作流让计算性能提升百倍
- [JWFD开源工作流]JWFD开源工作流-矩阵引擎设计初步
- 前端工程工作流规范
- SharePoint PowerShell 启动工作流
- Git工作流规范 Beta
- 前端工作流中的hooks
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。