DataFusion 5.0.0 发布,可扩展的查询执行框架

栏目: 软件资讯 · 发布时间: 4年前

内容简介:DataFusion 是一个可扩展的查询执行框架,用 Rust 编写,使用 Apache Arrow 作为其内存格式。 DataFusion 支持用于构建逻辑查询计划的 SQL 和 DataFrame API,以及能够使用线程对分区数据源(CSV 和 Parquet)并行...

DataFusion 是一个可扩展的查询执行框架,用 Rust 编写,使用 Apache Arrow 作为其内存格式。

DataFusion 支持用于构建逻辑查询计划的 SQL 和 DataFrame API,以及能够使用线程对分区数据源(CSV 和 Parquet)并行执行的查询优化器和执行引擎。DataFusion 还通过 Ballista crate 支持分布式查询执行 。

近日,Apache Arrow 团队正式推出了 DataFusion 5.0.0 版本,该版本汇集了 31 个不同的贡献者共 211 个提交。

该版本的更新亮点包括:

性能

这个版本在性能上有许多改进,下图显示了单个 TPC-H 查询与前一版本相比的相对性能。

该版本还扩展了对更多 TPC-H 查询的支持:q7、q8、q9 和 q13 均在 DataFusion 5.0 中成功运行。

DataFusion 5.0.0 发布,可扩展的查询执行框架

新功能

  • 对 SQL-99 Analytics 的初步支持;
  • 改进了 JOIN 支持:cross join、semi-join、anti join,以及对空处理的修正;
  • 改进的 EXPLAIN 支持;
  • 支持 SELECT DISTINCT;
  • 支持 Json 和 NDJson 格式的输入;
  • 具有关系的查询列;
  • 增加了更多与日期时间相关的函数: nowdate_truncto_timestamp_millisto_timestamp_microsto_timestamp_seconds
  • Streaming Dataframe.collect;
  • 支持表列别名;
  • 仅使用统计数字回答 count(*)、min() 和 max() 查询;
  • 支持按列位置分组;
  • 增加了常量折叠查询优化器;
  • 哈希分区聚合;
  • 增加了 random SQL 函数;
  • 实现了对浮点和字典类型的计数区分;
  • 在 Datafusion 中重新导出 arrow 和 parquet 板块;

更多详情可查看:https://github.com/apache/arrow-datafusion/blob/5.0.0/datafusion/CHANGELOG.md


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

嵌入式系统软件设计中的常用算法

嵌入式系统软件设计中的常用算法

周航慈 / 2010-1 / 24.00元

《嵌入式系统软件设计中的常用算法》根据嵌入式系统软件设计需要的常用算法知识编写而成。基本内容有:线性方程组求解、代数插值和曲线拟合、数值积分、能谱处理、数字滤波、数理统计、自动控制、数据排序、数据压缩和检错纠错等常用算法。从嵌入式系统的实际应用出发,用通俗易懂的语言代替枯燥难懂的数学推导,使读者能在比较轻松的条件下学到最基本的常用算法,并为继续学习其他算法打下基础。 《嵌入式系统软件设计中的......一起来看看 《嵌入式系统软件设计中的常用算法》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

Markdown 在线编辑器
Markdown 在线编辑器

Markdown 在线编辑器

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具