内容简介：Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 ...
Apache Beam 2.25.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。
此版本主要特性变更包括：
- 在 ReadFromBigQuery 的 JSON 解码器中增加了对可重复字段的支持。（Python）
- 为 Python SDK 添加了一个 opt-in、performance-driven 的运行时类型检查系统。
- 添加了对使用 typed PCollections 的 PTransforms 上的 Python 3 类型注释的支持。
- 改进了 Interactive Beam API，streaming jobs 现在可以启动长时间运行的后台录制作业。从 recording 中运行 ib.show() 或 ib.collect() samples。
- 在 Interactive Beam 中，ib.show() 和 ib.collect() 现在具有“n”和“duration”作为参数。这些意味着最多只能读取“ n”个元素，并且最多只能从 recording 中读取“duration”秒的数据。
- Dataframes 支持的初步预览。
- 修复了 Python SDK 中对 @ptransform_fn 装饰符的类型提示支持。默认情况下未启用此功能以保持向后兼容性；可使用
--type_check_additional=ptransform_fn标志启用。在以后的 Beam 版本中，可能会默认启用它。 - 添加了 X feature（Java/Python）。
详情查看更新说明：https://github.com/apache/beam/blob/master/CHANGES.md#2250---2020-10-23
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
- Apache Beam 2.24.0 发布，大数据流处理与批处理编程范式
- Apache Beam 2.27.0 发布，大数据流处理与批处理编程范式
- Apache Beam 2.28.0 发布，大数据流处理与批处理编程范式
- 大数据技术 DataPipeline在大数据平台的数据流实践
- DataPipeline在大数据平台的数据流实践
- 我对前后端数据模型和数据流的理解
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
