内容简介:新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本,1.3.3 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.2 发现的 30 多个bug,其中多数...
新一代大数据任务调度 - Apache DolphinScheduler(incubator) 在经过社区 20 多位小伙伴的贡献与努力下于发布了 1.3.3 版本,1.3.3 作为 1.3.x 的 bug 修复版本,本次共修复了 1.3.2 发现的 30 多个bug,其中多数bug是测试伙伴在极端环境下发现的。1.3.x 重要的修复需要关注以下 3 个:
3 个重要修复:
1、现象:在任务执行的 worker 节点上发现异常: Too many open files #3618
原因:
[worker] 由于已完成任务执行但未释放文件句柄,因此将打开太多文件。
[api] 删除流程实例级联删除任务日志时,log client 没有 close
解决:
https://github.com/apache/incubator-dolphinscheduler/pull/3075 https://github.com/apache/incubator-dolphinscheduler/pull/3971
2、现象:当worker向master发送执行结果的时候,master刚好被挂掉,重启master后,工作流及任务状态一直为进行中,且工作流无法停止
原因: master 和 worker 异步交互,通信流程中遇到极端情况出现任务状态丢失问题
解决:
部分环节改为同步,具体修复请参考:https://github.com/apache/incubator-dolphinscheduler/pull/3748
3、现象:某些网络情况下,master submit task时,无法进行netty通信,task信息发送不到worker,等待很长时间之后,出现time out的异常,然后过一段儿时间就又会出现这种现象。 #3789
解决: 添加master和worker之间的心跳检测 PR #3913
其他 BUG FIX 请参考下列内容:
[ #3615 ] [master] 成功执行任务,但尚未提交下一个任务后,停止 master,工作流将失败
[ #4010 ] [master] 当条件节点失败时,过程状态为在容错后失败
[ #3929 ] [master/worker] 在 master 和 worker 容错之后,在成功执行任务实例后,流程实例失败
[ #3994 ] [Sql] 无法导入 sql/dolphinscheduler_mysql 的 SQL 文件 .sql
[ #3964 ] [api/ui] sub_process的超时警告未生效
[ #3974 ] [api/worker] 子进程不继承父进程的工作组
[ #3966 ] [master] 超时警告在 sub_process
[ #3958 ] [api] 文件中不生效,不应在以下子目录中成功创建文件授权文件的目录
[ #3618 ] [工作人员] 由于已完成任务执行但未释放文件句柄,因此将打开太多文件。
[ #3615 ] [master] 任务成功执行但下一个任务尚未提交后,停止 master,工作流程将失败。
[ #3843 ] [api] 当更新工作流定义名称已存在时,提示不友好。
[ #3924 ] [ui] 保存工作流程定义时,如果后端验证不成功,则保存弹出窗口将不会关闭。
[ #3789 ] [remote] 支持netty心跳以解决频道超时问题。
[ #3836 ] [api] verifyProcessDefinitionName错误消息
[ #3702 ] [api] 重新上传资源文件不会覆盖原始文件。此按钮无效
[ #3621 ] [master] 批量删除正在执行的流程实例后,master无法获得工作人员的反馈结果
[ #3617 ] [master]子任务容错后,生成了2个任务实例,该流程实例状态始终在执行
[ #3616 ] [master] 主机收到工作人员的结果后,主机就停止了。主服务器重新启动后,工作流状态始终在执行
[ #3573 ] [dao] 潜在的水平未经授权的访问
[ #3887 ] [ui] 资源文件列表和UDF列表数据的英文版未显示
[ #3702 ] [api ]重新上传资源文件不会覆盖原始文件。此按钮无效。
[ #3487 ] [API]创建具有多个线程的文件夹将导致多个相同的文件夹
[ #3493 ] [api]工作组管理ui无法显示创建时间和更新时间
[ #3549 ] [Server] [sqlTask]查询SQL中的别名列不生效
[ #3719 ] [api] 任务资源可以不可删除
[ #3548 ] [UI] 监控器量表显示空白,具有相同的pid错误
[ #3707 ] [ui] 如果选择,则无法取消工作流定义和工作流实例页面中的批处理删除功能
[ #3553 ] [ui] 编辑工作流程时,所选的连接线没有样式更改,但其他连接线变大
[ #3238 ] [docker] 无法在独立模式下的 docker 中创建文件夹
[ #3713 ] [common] catfile方法流未关闭
[ #3258 ] [api] 无法获取创建时间和更新时间,报告DateTimeParseException
除了 Bug 修复外,本次也做了几处功能改进,参考以下内容:
[ #3720 ] [ui] js邮箱验证
[ #3843 ] [api]当更新工作流定义名称已存在时,提示不友好
[ #3131 ] [api]当新租户已存在时,提示不正确
1.3.3 版本经过测试伙伴的大量测试,修复了不少极端情况下可能出现问题的情况,十分推荐大家下载部署 1.3.3 版本
此外,1.3.3 具体变化请参考:https://github.com/apache/incubator-dolphinscheduler/releases/tag/1.3.3
1.3.3 下载地址:https://dolphinscheduler.apache.org/zh-cn/docs/release/download.html
Apache DolphinScheduler 社区介绍
Apache DolphinScheduler 是一个非常多样化的社区,至今贡献者已100多名, 他们分别来自 30 多家不同的公司。 微信群用户近4000人。
部分用户案例(排名部分先后)
已经有近 400 多家企业和科研机构在使用 DolphinScheduler,来处理各类调度和定时任务,另有 1200 多家公司开通了海豚调度的试用:
Apache DolphinScheduler 能力
- 以DAG图的方式将Task按照任务的依赖关系关联起来,可实时可视化监控任务的运行状态
- 支持丰富的任务类型:Shell、MR、Spark、Flink、SQL(mysql、postgresql、hive、sparksql)、 Python 、Http、Sub_Process、Procedure等
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复,同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
- 支持工作流全局参数及节点自定义参数设置
- 支持资源文件的在线上传/下载,管理等,支持在线文件创建、编辑
- 支持任务日志在线查看及滚动、在线下载日志等
- 实现集群HA,通过Zookeeper实现Master集群和Worker集群去中心化
- 支持对Master/Worker cpu load,memory,cpu在线查看
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
- 支持补数
- 支持多租户
- 支持国际化
参与开源 - 加入 Apache DolphinScheduler
DolphinScheduler 社区参与贡献的方式,包括:
- 文档
- 翻译
- 布道
- 答疑
- 测试
- 代码
- 实践文章
- 会议分享等
欢迎加入贡献的队伍,加入开源社区从提交第一个 PR开始
- 找到带有”easy to fix”标记或者一些非常简单的issue(比如拼写错误等),先通过第一个PR熟悉提交流程,如果有任何疑问,欢迎联系
邮件订阅方式:
https://dolphinscheduler.apache.org/zh-cn/docs/development/subscribe.html
gitee:
https://gitee.com/dolphinscheduler/DolphinScheduler
github:
https://github.com/apache/incubator-dolphinscheduler
官方网站
https://dolphinscheduler.apache.org
最后非常欢迎在线试用 http://106.75.43.194:8888/ !
以上所述就是小编给大家介绍的《Apache DolphinScheduler 1.3.3 发布,新一代大数据任务调度系统》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- Apache DolphinScheduler 1.3.4 发布,新一代大数据任务调度系统
- Apache DolphinScheduler 1.3.5 发布,新一代大数据任务调度系统
- 新一代大数据任务调度系统-Apache DolphinScheduler 1.3.6 发布
- 值得你拥有的新一代分布式调度与计算框架:OhMyScheduler
- 新一代工作流调度-Apache DolphinScheduler 1.3.5 Docker镜像发布
- 新一代大数据任务调度系统 Apache DolphinScheduler 发布第一个官方 Docker 镜像
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。