Apache Beam 2.23.0 发布,大数据批处理和流处理标准

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及...

Apache Beam 2.23.0 现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 

主要更新内容:

Highlights

I/Os

  • 添加了对 Snowflake reading 的支持(Java)(BEAM-9722)。
  • 增加了对写入 Splunk 的支持(Java)(BEAM-8596)。
  • 添加了对 assume role 的支持(Java)(BEAM-10335)。
  • 已添加一个新的可从 BigQuery 读取的 transform:apache_beam.io.gcp.bigquery.ReadFromBigQuery。此 transform 是实验性的。它通过将数据导出到 Avro 文件并读取这些文件来从 BigQuery 读取数据。它还支持通过导出到 JSON 文件来读取数据。与时间和日期相关的字段在行为上有很小的差异。
  • 为 SnowflakeIO.write 添加 dispositions(BEAM-10343

New Features/Improvements

  • 更新 Snowflake JDBC 依赖关系,并将 application=beam 添加到 connection URL(BEAM-10383)。

Breaking Changes

  • 在反序列化 JSON(Java)时,RowJson.RowJsonDeserializerJsonToRowPubsubJsonTableProvider现在默认接受“implicit nulls”。以前的 null 只能用 explicit null 值表示,例如 {"foo": "bar", "baz": null},而像{"foo": "bar"} 这样的 implicit null 值则会引发异常。现在,两个 JSON 字符串默认都会产生相同的结果。可以使用用RowJson.RowJsonDeserializer#withNullBehavior来覆盖此行为。
  • 修复 PythonGroupIntoBatches实验转换中的一个错误,该错误实际上是按键对批次进行分组的。这将更改此转换的输出类型(BEAM-6696)。

Deprecations

  • 删除 Gearpump runner。(BEAM-9999
  • 删除 Apex 运行程序。(BEAM-9999
  • RedisIO.readAll()  已被弃用,将在 2 个版本中删除,用户必须使用 RedisIO.readKeyPatterns()  作为替代(BEAM-9747)。

更新说明:https://beam.apache.org/blog/beam-2.23.0/


以上所述就是小编给大家介绍的《Apache Beam 2.23.0 发布,大数据批处理和流处理标准》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

嵌入式系统软件设计中的常用算法

嵌入式系统软件设计中的常用算法

周航慈 / 2010-1 / 24.00元

《嵌入式系统软件设计中的常用算法》根据嵌入式系统软件设计需要的常用算法知识编写而成。基本内容有:线性方程组求解、代数插值和曲线拟合、数值积分、能谱处理、数字滤波、数理统计、自动控制、数据排序、数据压缩和检错纠错等常用算法。从嵌入式系统的实际应用出发,用通俗易懂的语言代替枯燥难懂的数学推导,使读者能在比较轻松的条件下学到最基本的常用算法,并为继续学习其他算法打下基础。 《嵌入式系统软件设计中的......一起来看看 《嵌入式系统软件设计中的常用算法》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

SHA 加密
SHA 加密

SHA 加密工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具