Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

栏目: 软件资讯 · 发布时间: 3年前

内容简介:新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数...

新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 30 多位小伙伴的贡献与努力下于发布了 1.3.4 版本,1.3.4 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.3 发现的 10 多处 bug,其中多数 bug 是测试伙伴在极端环境下发现的。1.3.4 重要的修复需要关注下面这个:

个重要修复

现象:

任务实例(taskInstance) 状态更改错误:[#4084][server] fix taskInstance state change error

taskInstance 状态从 7 变为 1,用户观察到状态从“ SUCCESS”变为“ RUNNING”。主节点仍然循环检查 taskInstance状态,等待 taskInstance 状态完成。

原因:

master 向 worker 发送 task
1. worker 接收到 task 后,会回复给 master一个“ack”,然后去执行task,执行结束之后给 master 发送任务执行结果 result
2.master 接收到 ack 后将 taskInstance 的状态更新成 1,接收到任务结果 result 后将状态更新成 7。(假设 task 的状态是成功)
正常情况:
ack 和 result 根据 worker 执行的顺序,ack 会先发送到 mastertask 状态从 0 -> 1, result 后发送到 master task状态从 1 -> 7
异常情况:
在 ack 的 response 处理的时候出现阻塞,或者是在 netty 消息传输或消费的时候延迟,造成 result 更新数据库的时间早于 ack,导致状态变化 0 -> 7 -> 1. 而实际 worker 已经执行过 task 了,所以 master 就会阻塞住,一直循环查看当前节点的状态。

解决:https://github.com/apache/incubator-dolphinscheduler/pull/4097

其他 BUG FIX 请参考下列内容:

#2917 #4034 #4104 #4135 ] [sqoop] sqoop优化和错误修复
[  #3177 ] 任务时间参数解析错误
[  #3457 ] [flink]修复flink args构建问题
[  #4034 ] [server] 修复sqoop导入失败
[  #3900 ] [server在一项工作中杀死多个yarn应用
[  #4054 ] [api] 修复本月的最后一周,添加/编辑时间,预览和保存时间将报告错误
[  #4054 ] [ui ] 修复每月的最后一个星期日
[  #4084 ] [server] 修复 taskInstance 状态更改错误
[  #4104 ] 修复 sqoop 任务 jdbc 字符串包含特殊字符
[  #4135 ] [worker] 修复 sqoop 导入配置单元错误
[  #4114 ] [server] 修复清除任务的执行路径与 master 相关
[  #4084 ] [master] 修复taskInstance状态更改错误
[  #4090 ] dao在工作流中执行单个任务时抛出NullPointerException
[  #4190 ] [dao] json数据量很大时,进程列表页面显示缓慢。
[  #4218 ] [bug] 从具有NODE_PRE的设置节点开始将为NPE
[  #4223 ] [ui] 修复dag节点名称验证

除了 Bug 修复外,本次也做了几处功能改进,参考以下内容:

[#2925][server] init TaskLogger in TaskExecuteProcessor
[ambari-update] 将版本从 1.3.3 更改为 1.3.4
[sqoop-update] 修改 sqoop task 参数
[#4143][quartz-update] 升级 quartz 版本到 2.3.0

1.3.4 版本经过测试伙伴的大量测试,修复了不少极端情况下可能出现问题的情况,十分推荐大家下载部署 1.3.4 版本此外,1.3.4 具体变化请参考:https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.4

1.3.4 下载地址https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html

Apache DolphinScheduler 社区介绍

新一代大数据任务调度 -  Apache DolphinScheduler 11 19 日由 InfoQ 举办、在 300+ 参评项目中脱颖而出获得 “2020 年度十大开源新锐项目”  “2020 年度最具人气新锐项目” 以来,近期社区又荣获 OSCHINA 年度最佳技术团队称号,非常欢迎更多小伙伴加入到贡献队伍中来,为中国的开源崛起贡献自己的一份力量。

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

DolphinScheduler 介绍

Apache DolphinScheduler(incubator) 于 17 年在易观数科立项, 19 年 3 月开源,8 月进入 Apache 孵化器, 据不完全统计,已有 400+ 公司在生产上使用。DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系,使整个数据处理流程直观可见”DolphinScheduler以 DAG(有向无环图) 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。DolphinScheduler 专注于以下 6 个主要能力

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

Apache 组织崇尚社区大于代码DolphinScheduler 目前微信用户群近 4000 人,社区目前有  190 + 贡献者,来自 80+ 家公司、机构和高校(部分统计)

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

部分用户案例

据不完全统计,目前已经有 400 + 家公司及机构采用 DolphinScheduler 在生产环境使用,以下是部分案例(排名不分先后)

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

此外,还有 1700+ 用户注册了 demo 试用,欢迎大家先体验,十分欢迎对比哈。

参与贡献

随着国内开源的崛起,DolphinScheduler迎来了蓬勃发展,为了做更好用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,青春在开源上留下一点印记

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统

参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:

贡献第一个PR(文档、代码我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度

社区汇总了以下适合新手的问题列表:https://github.com/apache/incubator-dolphinscheduler/issues/4124

如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/docs/development/contribute.html

文档github 地址:https://github.com/apache/incubator-dolphinscheduler-website

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的

如果您想参与贡献,却发现上述方法都搞不明白,也没关系,我们有个开发者种子孵化群,可以添加微信(dailidong66) 手把手教会您,添加时请说明想参与贡献哈

DolphinScheduler开源社区非常期待您的参与。

喜欢️ DolphinScheduler 的话,别忘了 Star 收藏一下哟~


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

深入浅出Rust

深入浅出Rust

范长春 / 机械工业出版社 / 2018-8-21 / 89.00元

本书详细描述了Rust语言的基本语法,穿插讲解一部分高级使用技巧,并以更容易理解的方式解释其背后的设计思想。全书总共分五个部分。 第一部分介绍Rust基本语法,因为对任何程序设计语言来说,语法都是基础,学习这部分是理解其他部分的前提。 第二部分介绍属于Rust独一无二的内存管理方式。它设计了一组全新的机制,既保证了安全性,又保持了强大的内存布局控制力,而且没有额外性能损失。这部分是本书......一起来看看 《深入浅出Rust》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

SHA 加密
SHA 加密

SHA 加密工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换