Apache Beam 2.24.0 发布，大数据流处理与批处理编程范式

内容简介：Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 ...

Apache Beam 2.24.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

此版本主要特性变更包括：

• Python SDK 添加了一个共享库，用于简化对大型共享对象的管理。
• 将数据流流计时器设置为较早的 mid-bundle 时并没有严格的时间顺序。
• 在 FnApiDoFnRunner 中处理每个元素/计时器时，OnTimerContext 不应创建新的计时器。
• @OnTimer 方法中 key 应该可用。

详情查看更新说明：

https://beam.apache.org/blog/beam-2.24.0

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Apache Beam 2.25.0 发布，大数据流处理与批处理编程范式
• Apache Beam 2.27.0 发布，大数据流处理与批处理编程范式
• Apache Beam 2.28.0 发布，大数据流处理与批处理编程范式
• 大数据技术 DataPipeline在大数据平台的数据流实践
• DataPipeline在大数据平台的数据流实践
• 我对前后端数据模型和数据流的理解

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。