近日，数据湖（data lakes）数据治理项目 Delta Lake 进入 Linux 基金会，基金会表示将与 Delta Lake 共建数据湖开放标准。
Delta Lake 是一个存储层，为 Apache Spark 和大数据 workloads 提供 ACID 事务能力，其通过写和快照隔离之间的乐观并发控制（optimistic concurrency control），在写入数据期间提供一致性的读取，从而为构建在 HDFS 和云存储上的数据湖带来可靠性。
Linux 基金会介绍，当前每个组织都希望通过数据科学、机器学习和分析从数据中获得更多价值，但由于数据湖内部缺乏数据可靠性，产生了极大的阻碍。Delta Lake 通过使事务符合 ACID 标准来启用并发读取和写入，从而解决了数据可靠性挑战。它的架构实施能力有助于确保数据湖中没有损坏且不合格的数据。自 2017 年 10 月推出以来，Delta Lake 已被 4 000 多家组织采用，每月处理超过 2 exabyte（十亿字节）数据。
“将 Delta Lake 引入 Linux 基金会的中立组织之下，将有助于依赖该项目的开源社区开发解决存储和处理大数据（本地和云端）的技术”，Linux 基金会战略计划副总裁 Michael Dolan 表示。
实际上 Databricks 的联合创始人是 Apache Spark 项目的创建者，Spark 目前已成为大规模数据处理事实上的标准，尽管 Delta Lake 最初设计为与 Spark 配合使用，但其目前已经发展出了一个蓬勃的开源社区，并增加了对其它开源数据系统的支持。
目前 Delta Lake 已经被成千上万的组织采用，包括 Intel、阿里巴巴、Booz Allen Hamilton 与 Starburst 等，并且他们也是其开源生态的重要贡献者。为了进一步推动 Delta Lake 开源生态的发展，Delta Lake 背后的公司 Databricks 作出了将 Delta Lake 托管到 Linux 基金会的决定。
Databricks 的 CEO 兼联合创始人 Ali Ghodsi 表示：“我们的团队继续创建开源项目并为之做出贡献，因为我们知道这是最快、最全面的创新方式。为了解决组织的数据挑战，我们希望确保该项目以最真实的形式开源。通过 Linux 基金会社区的力量和贡献，我们相信 Delta Lake 将很快成为数据湖中数据存储的标准。”
相关阅读：
前阵子 Delta Lake 刚被 InfoWorld 评为 2019 年最佳开源软件，详见：
https://www.oschina.net/news/110451/2019-infoworld-bossie-awards
猜你喜欢: