Apache Airflow 2.1.4 发布,Airbnb 开源的调度系统

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Apache Airflow 2.1.4 已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志...

Apache Airflow 2.1.4  已正式发布,Airflow 是一个灵活、可扩展的工作流自动化和调度系统,可编集和管理数百 PB 的数据流。项目可轻松编排复杂的计算工作流,通过智能调度、数据库和依赖关系管理、错误处理和日志记录,Airflow 可以对从单个服务器到大规模集群的资源进行自动化管理。Airflow 采用 Python 编写,具有高扩展性,能够运行其他语言编写的任务,并允许与常用的体系结构和项目集成,如 AWS S3、 Docker 、Kubernetes、 MySQL 、PostgresSQL 等。

主要更新内容

  • 修复弃用错误消息而不是使其静音 
  • 限制调度程序创建的排队 dagruns 的数量
  • 修复 DagRun 执行顺序从排队到运行没有被正确遵循
  • 修复 max_active_runs 不允许将排队的 dagruns 移动到运行状态
  • 避免为没有权限的用户重定向循环
  • 当用户没有角色时避免无限重定向循环
  • 修复图形 TI 模态上的日志链接
  • 如果用户没有权限,隐藏变量导入表单
  • 改进 dag/task 并发检查
  • 修复清除任务实例端点重置所有 DAG 运行错误
  • 修复传递给视图的错误参数 
  • 修复 LocalTask​​Job 中导致错误的 Sentry 处理程序 
  • 限制 colorlog 版本(6.x 不兼容)
  • 仅在悬停时显示暂停/取消暂停 工具 提示 
  • 改进具有开放组的 dag 的图形视图加载时间 
  • 增加运行列的宽度 
  • 修复运行 tis 时的错误查询
  • 将 root 添加到树刷新 url 
  • 不要从 UI 中删除正在运行的 DAG
  • 提高提供程序包功能的可发现性
  • 不要让 create_dagrun 覆盖显式 run_id
  • 错误修复:pid 重置回归以允许在心跳后启动任务
  • 在运行时删除 pod 时将任务状态设置为失败 
  • 建议内核不要缓存 Airflow 生成的日志文件 
  • 在 _check_for_stalled_adopted_tasks 方法中对采用的任务进行排序 
  • 修复 MySQLdb 驱动程序的 DagRunState 枚举查询

详情请查看更新公告


以上所述就是小编给大家介绍的《Apache Airflow 2.1.4 发布,Airbnb 开源的调度系统》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Java程序员修炼之道

Java程序员修炼之道

[英] Benjamin J. Evans、[荷兰] Martijn Verburg / 吴海星 / 人民邮电出版社 / 2013-7 / 89.00元

本书分为四部分,第一部分全面介绍Java 7 的新特性,第二部分探讨Java 关键编程知识和技术,第三部分讨论JVM 上的新语言和多语言编程,第四部分将平台和多语言编程知识付诸实践。从介绍Java 7 的新特性入手,本书涵盖了Java 开发中最重要的技术,比如依赖注入、测试驱动的开发和持续集成,探索了JVM 上的非Java 语言,并详细讲解了多语言项目, 特别是涉及Groovy、Scala 和Cl......一起来看看 《Java程序员修炼之道》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

随机密码生成器
随机密码生成器

多种字符组合密码