内容简介:Apache Beam 2.28.0 已发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 ...
Apache Beam 2.28.0 已发布,Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。
更新亮点
- 与 Parquet 支持相关的大量改进 (BEAM-11460, BEAM-8202 和 BEAM-11526)
- BeamSQL 中的哈希函数 (BEAM-10074)
- ZetaSQL 中的哈希函数 (BEAM-11624)
- 使用 HLL Impl 创建 ApproximateDistinct (BEAM-10324)
I/Os
SpannerIO 支持面向 Numeric 字段使用 BigDecimal (BEAM-11643)
- 将 Beam schema 支持添加到 ParquetIO (BEAM-11526)
- 支持 ParquetTable Writer (BEAM-8202)
- GCP BigQuery sink (streaming inserts) 使用 runner 已确定的分片 (BEAM-11408)
- PubSub 支持类型:TIMESTAMP, DATE, TIME, DATETIME (BEAM-11533)
新特性/改进
- ParquetIO 添加 readGenericRecords 和 readFilesGenericRecords 方法可以读取具有未知 schema 的文件。详情查看 PR-13554 和 (BEAM-11460)
- 添加对 KafkaTableProvider 中 thrift 的支持 (BEAM-11482)
- 添加对 HadoopFormatIO 的支持以跳过 key/value 克隆 (BEAM-11457)
- 在 Convert.to 转换中支持转换为 GenericRecords (BEAM-11571)
- 支持读取未知 schema 的 Parquet 文件 (BEAM-11460)
以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网
猜你喜欢:- Apache Beam 2.24.0 发布,大数据流处理与批处理编程范式
- Apache Beam 2.25.0 发布,大数据流处理与批处理编程范式
- Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式
- 大数据技术 DataPipeline在大数据平台的数据流实践
- DataPipeline在大数据平台的数据流实践
- 我对前后端数据模型和数据流的理解
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
人工智能
腾讯研究院、中国信通院互联网法律研究中心、腾讯AI Lab、腾讯开放平台 / 中国人民大学出版社 / 2017-10-25 / 68.00元
面对科技的迅猛发展,中国政府制定了《新一代人工智能发展规划》,将人工智能上升到国家战略层面,并提出:不仅人工智能产业要成为新的经济增长点,而且要在2030年达到世界领先水平,让中国成为世界主要人工智能创新中心,为跻身创新型国家前列和经济强国奠定基础。 《人工智能》一书由腾讯一流团队与工信部高端智库倾力创作。本书从人工智能这一颠覆性技术的前世今生说起,对人工智能产业全貌、最新进展、发展趋势进行......一起来看看 《人工智能》 这本书的介绍吧!