Apache Arrow 1.0.0 发布,内存数据交换格式

栏目: 软件资讯 · 发布时间: 4年前

内容简介:Apache Arrow 1.0.0 现已发布。官方表示,此版本是 Apache Arrow 的第 18 个主要版本,标志着 columnar format 向二进制稳定性的过渡,以及 Arrow 软件库向语义版本控制的过渡。 Apache Arrow 是 Apache 基金会的...

Apache Arrow 1.0.0 现已发布。官方表示,此版本是 Apache Arrow 的第 18 个主要版本,标志着 columnar format 向二进制稳定性的过渡,以及 Arrow 软件库向语义版本控制的过渡。  

Apache Arrow 是 Apache 基金会的顶级项目之一,目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度。它包含一组规范的内存中的平面和分层数据表示,以及多种语言绑定以进行结构操作。 它还提供低架构流式传输和批量消息传递,零拷贝进程间通信(IPC)和矢量化的内存分析库。

columnar format 的一些更改内容如下: 

  • metadata 版本被更改为新版本 V5,表明 Union 类型的缓冲区布局发生了不兼容的更改。
  • Dictionary indices  现在允许是无符号整数,而不是只有符号整数。由于 Java 支持不佳,仍然不鼓励使用UInt64。
  • 添加了一个新的“Feature”枚举。
  • 在 IPC 格式中增加了使用 LZ4 或 ZStandard 的可选缓冲区压缩。
  • Decimal types 获得了一个可选的“bitWidth”字段,默认为 128。根据团队的说法,这将使它们将来支持其他 decimal widths,例如 32 位和 64 位。
  • 有效性位图缓冲区已删除。

此外,该团队还扩展了集成测试,以测试扩展类型和嵌套词典;并更新了对 C ++、Java、 Python 、R、 Ruby 、C GLib 以及 Rust 的支持。

更多详细内容可查看官方发布说明:https://arrow.apache.org/blog/2020/07/24/1.0.0-release/ 


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

零基础学C语言

零基础学C语言

康莉//李宽 / 机械工业 / 2009-4 / 48.00元

《零基础学C语言》的特点是内容全面、翔实,通俗易懂,循序渐进地介绍了C语言各方面的知识,重点突出。《零基础学C语言》含有大量实例,代码短小精炼,紧扣所讲要点的本质,以加深读者的印象,同时结合笔者多年使用C语言的经验,阐述了很多代码编写技巧,读者可将代码复制到自己的机器上进行实验,自行实践和演练。C语言是编程方式灵活多样、功能强大、应用广泛的一种程序设计语言。从程序设计语言的发展历程来看,尽管后来出......一起来看看 《零基础学C语言》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

URL 编码/解码
URL 编码/解码

URL 编码/解码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具