Apache Beam 2.7.0 发布，大数据批处理和流处理标准

内容简介：Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale 的数据集处理提供简单灵活，功能丰富以及表...

Apache Beam 2.7.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目，主要目标是统一批处理和流处理的编程范式，为无限，乱序，web-scale 的数据集处理提供简单灵活，功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义，并不涉及具体执行引擎的实现，Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。

下载地址：https://beam.apache.org/get-started/downloads/

此版本包括以下主要新功能和改进：

- 新的 KuduIO, Amazon SNS sink, Amazon SqsIO
- 升级依赖关系到新版本
- 对于简单示例，在本地 Flink 运行器上添加对 Python 的实验性支持
- 各种错误修正和小改进

详情请查看 发布主页 和 发布说明。

【声明】文章转载自：开源中国社区 [http://www.oschina.net]

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Spark 持续流处理和微批处理的对比
• Jet 4.5 发布，分布式批处理和流处理引擎
• 动画骨骼节点批处理
• Apache Beam 2.3.0 发布，大数据批处理和流处理标准
• Apache Beam 2.23.0 发布，大数据批处理和流处理标准
• Apache Beam 2.7.0 发布，大数据批处理和流处理标准

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。