LF AI & Data 基金会——该组织正在构建一个生态系统,以支持人工智能(AI)和数据开源项目的开源创新——今天宣布OpenLineage[1]为其最新的沙箱项目。
由 Datakin 发布并开放源码的 OpenLineage 是元数据和谱系收集的开放标准,旨在检测正在运行的作业。它定义了使用一致命名策略识别的运行、作业和数据集实体的通用模型。核心谱系模型是可扩展的,通过定义特定的方面来丰富这些实体。
OpenLineage 是一个跨行业的项目,涉及来自主要开源数据项目的贡献者,包括 LF AI & Data 项目:Marquez、Amundesen 和 Egeria。如果没有 OpenLineage,项目必须检测所有作业,并且集成是外部的,这可能会破坏新版本。当使用 OpenLineage 时,集成的工作是共享的,可以在每个项目中推进集成,这意味着用户不需要追赶。
没有 OpenLineage
使用 OpenLineage
LF AI & Data 执行董事 Ibrahim Haddad 博士说:“我们非常高兴地欢迎 OpenLineage 项目加入 LF AI & Data。该项目解决了管理人工智能和数据项目的一个关键组件,并进一步扩展了我们托管技术项目组合的健壮性。我们期待与 OpenLineage 项目合作,在生态系统中扩大项目的足迹,扩大采用者和贡献者的社区,并促进与我们的成员和其他相关项目的合作机会。”
OpenLineage 创始人 Julien Le Dem 说:“数据谱系是一个复杂而多维的问题;最好的解决方案是直接观察数据通过异构管道的移动。这需要广泛的行业协调,而 Linux 基金会正是以这种协调而闻名。OpenLineage 能够成为 LF AI & Data 项目,我们感到非常自豪,并期待与之继续合作。”
LF AI & Data 通过广泛的服务支持项目,第一步是作为孵化项目加入。在GitHub[2]上了解更多关于 OpenLineage 的信息,并确保加入OpenLineage-Announce[3]和OpenLineage-Technical-Discuss[4]邮件列表,加入社区并保持联系。
热烈欢迎 OpenLineage!我们期待该项目作为 LF AI & Data 基金会的一部分继续增长和成功。要了解如何与我们一起托管一个开源项目,请访问LF AI & Data 网站[5]。
参考资料
[1]OpenLineage: https://github.com/OpenLineage/OpenLineage
[2]GitHub: https://github.com/OpenLineage/OpenLineage
[3]OpenLineage-Announce: https://lists.lfaidata.foundation/g/openlineage-announce
[4]OpenLineage-Technical-Discuss: https://lists.lfaidata.foundation/g/openlineage-technical-discuss
[5]LF AI & Data 网站: https://lfaidata.foundation/proposal-and-hosting-process/
猜你喜欢: