Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式

栏目: 软件资讯 · 发布时间: 3年前

内容简介:Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 ...

Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

此版本主要更新内容如下:

Highlights

  • Java 11 Containers 现已随所有 Beam 版本一起发布。

  • 有一个新的转换ReadAllFromBigQuery,可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见 PR 13170 和 BEAM-9650

I/Os

  • ReadFromMongoDB 现在可以与 MongoDB Atlas (Python) 一起使用(BEAM-11266

  • ReadFromMongoDB/WriteToMongoDB 将屏蔽 display_data (Python) 中的密码(BEAM-11444
  • 有一个新的转换ReadAllFromBigQuery,可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见 PR 13170 和 BEAM-9650

New Features / Improvements

  • 依赖于 Hadoop 的 Beam 模块现在已经测试了与 Hadoop 3 的兼容性(BEAM-8569)。(Hive/HCatalog pending)

  • 作为 Apache Beam 发行过程的一部分,现在支持发布 Java 11 SDK 容器镜像。(BEAM-8106
  • 向 Beam SQL 添加了 Cloud Bigtable Provider 扩展(BEAM-11173BEAM-11373
  • 为 thrift data 添加了一个 schema provider(BEAM-11338
  • 在 Dataflow runner 中添加了 combiner packing pipeline 优化(BEAM-10641

Breaking Changes

  • HBaseIO hbase-shaded-client 依赖项现在应该由用户提供(BEAM-9278

  • amazon-web-services2 中的--region标志已被-awsRegion替代(BEAM-11331

更新说明:https://github.com/apache/beam/releases/tag/v2.27.0


以上所述就是小编给大家介绍的《Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

项目管理艺术

项目管理艺术

Scott Berkun / 东南大学出版社 / 2006-4-1 / 58.00

《项目管理艺术(英文影印版)(2006年度Jolt获奖图书)》 “该书内容涵盖了项目管理的各个方面:保证项目按时按质交付的有效方法,如何激励项目成员全力以赴地工作,如何成为一名有影响力的领导者等等。通过阅读本书,您会详细地了解微软公司的最优秀的项目管理方法。衷心希望书中的经验能够被付诸于实践!” -Joe Belfiore,General Manager,E-home Divisi......一起来看看 《项目管理艺术》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具