Apache Beam 2.27.0 发布，大数据流处理与批处理编程范式

内容简介：Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 ...

Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型，包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

此版本主要更新内容如下：

Highlights

• Java 11 Containers 现已随所有 Beam 版本一起发布。

• 有一个新的转换ReadAllFromBigQuery，可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见 PR 13170 和 BEAM-9650。

I/Os

• ReadFromMongoDB 现在可以与 MongoDB Atlas (Python) 一起使用（BEAM-11266）

• ReadFromMongoDB/WriteToMongoDB 将屏蔽 display_data (Python) 中的密码（BEAM-11444）
• 有一个新的转换ReadAllFromBigQuery，可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见 PR 13170 和 BEAM-9650。

New Features / Improvements

• 依赖于 Hadoop 的 Beam 模块现在已经测试了与 Hadoop 3 的兼容性（BEAM-8569）。（Hive/HCatalog pending）

• 作为 Apache Beam 发行过程的一部分，现在支持发布 Java 11 SDK 容器镜像。（BEAM-8106）
• 向 Beam SQL 添加了 Cloud Bigtable Provider 扩展（BEAM-11173，BEAM-11373）
• 为 thrift data 添加了一个 schema provider（BEAM-11338）
• 在 Dataflow runner 中添加了 combiner packing pipeline 优化（BEAM-10641）

Breaking Changes

• HBaseIO hbase-shaded-client 依赖项现在应该由用户提供（BEAM-9278）

• amazon-web-services2 中的--region标志已被-awsRegion替代（BEAM-11331）

更新说明：https://github.com/apache/beam/releases/tag/v2.27.0

以上所述就是小编给大家介绍的《Apache Beam 2.27.0 发布，大数据流处理与批处理编程范式》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• Apache Beam 2.24.0 发布，大数据流处理与批处理编程范式
• Apache Beam 2.25.0 发布，大数据流处理与批处理编程范式
• Apache Beam 2.28.0 发布，大数据流处理与批处理编程范式
• 大数据技术 DataPipeline在大数据平台的数据流实践
• DataPipeline在大数据平台的数据流实践
• 我对前后端数据模型和数据流的理解

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。