Easy Scheduler 1.0.4 发布，分布式工作流任务调度系统

内容简介：Easy Scheduler Release 1.0.4 Easy Scheduler 1.0.4 发布了，这是1.x系列中的第五个版本。 新版本更新内容： 修复： [EasyScheduler-198] 流程定义列表根据定时状态和更新时间进行排序 [EasyScheduler-419] 修复...

Easy Scheduler Release 1.0.4 

Easy Scheduler 1.0.4 发布了，这是1.x系列中的第五个版本。

新版本更新内容：

修复：

• [EasyScheduler-198] 流程定义列表根据定时状态和更新时间进行排序
• [EasyScheduler-419] 修复在线创建文件，hdfs文件未创建，却返回成功
• [EasyScheduler-481]修复job不存在定时无法下线的问题
• [EasyScheduler-425] kill任务时增加对其子进程的kill
• [EasyScheduler-422] 修复更新资源文件时更新时间和大小未更新的问题
• [EasyScheduler-431] 修复删除租户时,如果未启动hdfs,则删除租户失败的问题
• [EasyScheduler-485] shell进程退出，yarn状态非终态等待判断

增强:

• [EasyScheduler-482]sql任务中的邮件标题增加了对自定义变量的支持
• [EasyScheduler-483]sql任务中的发邮件失败,则此 sql 任务为失败
• [EasyScheduler-484]修改sql任务中自定义变量的替换规则,支持多个单引号和双引号的替换
• [EasyScheduler-485]创建资源文件时，增加对该资源文件是否在hdfs上已存在的验证

感谢：

最后但最重要的是，没有以下伙伴的贡献就没有新版本的诞生(排名不分先后)：

bailgot，zhzhenqin，xianhu, baoqi, jimmy201602, samz406, petersear, millionfor, hyperknob, fanguanqun, yangqinlong, qq389401879, feloxx, coding-now, hymzcn, nysyxxg, chgxtony, lfyee, Crossoverrr, gj-zhang, sunnyingit, zhengqiangtan

以及微信群里众多的热心伙伴！在此非常感谢！

 

Easy Scheduler

Easy Scheduler for Big Data

Easy Scheduler是一个分布式工作流任务调度系统，主要解决数据研发ETL错综复杂的依赖关系，而不能直观监控任务健康状态等问题。Easy Scheduler以DAG流式的方式将Task组装起来，可实时监控任务的运行状态，同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作。EasyScheduler由在工作流调度方面工作多年的多位小伙伴研发而成，致力于成为大数据平台的中流砥柱，使调度变得更加容易，更可以从其中文名“易调度”看出我们的初衷，如果你对目前市面上的调度不够满意，非常欢迎使用易调度，欢迎大家加入进来，提出需求，也欢迎贡献代码。

设计特点： 一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，其主要目标如下：

• 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态
• 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql),Python,Sub_Process、Procedure等
• 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作
• 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败
• 支持工作流全局参数及节点自定义参数设置
• 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑
• 支持任务日志在线查看及滚动、在线下载日志等
• 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化
• 支持对Master/Worker cpu load，memory，cpu在线查看
• 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计
• 支持补数
• 支持多租户
• 支持国际化
• 还有更多等待伙伴们探索

与同类调度系统的对比

 

系统部分截图

 

文档

• 后端部署文档

• 前端部署文档

• 使用手册

• 升级文档

• 我要体验

更多文档请参考 easyscheduler中文在线文档

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• 分布式任务调度系统设计：详解 Go 实现任务编排与工作流
• Easy Scheduler 1.0.2 发布，分布式工作流任务调度系统
• Easy Scheduler 1.0.2 发布，分布式工作流任务调度系统
• Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统
• Easy Scheduler 1.0.3 发布，分布式工作流任务调度系统
• Easy Scheduler 1.0.4 发布，分布式工作流任务调度系统

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。