Apache Doris（incubating）0.11.0 版本正式发布

栏目: 软件资讯 · 发布时间: 5年前

内容简介：经历了三个多月的研发，Apache Doris(incubating) 0.11.0版本今天正式发布了。这是Doris进入Apache社区孵化以来第三个正式版本。 Doris功能、性能在0.11.0版本都有极大的提升，总计有29名社区同学贡献了382个com...

经历了三个多月的研发，Apache Doris(incubating) 0.11.0版本今天正式发布了。这是Doris进入Apache社区孵化以来第三个正式版本。

Doris功能、性能在0.11.0版本都有极大的提升，总计有29名社区同学贡献了382个commit。Doris的contributor数目也增长到了57名。

在过去的一个月，外部同学的代码提交量已经达到了主创团队代码提交量的一半。同时也迎来了Doris第一个海外用户Shopee。

引擎重构

本次版本最大的改进就是重构了存储引擎。通过重构存储引擎工作，引擎的代码框架变得更加清晰，之前版本很多的Corner Case也在本版本修复。除此外，通过本次的引擎重构，代码的可读性、扩展性都得到了极大的提升。也正是基于此次工作，正在优化存储结构，预计在0.12版本中，能够支持字符串字典压缩，压缩比比现在提升1倍左右。以及在未来的版本中增加倒排索引等工作。

Bitmap类型支持

在这个版本中，Doris支持了Bitmap类型，用户如果有精确去重的需求可以通过使用这种类型来实现。用户可以在聚合模型下创建Bitmap类型的value列，然后向这个字段导入数据时，Doris内部会将所有导入的数据求并呈现为一个Bitmap。当用户进行查询的时候能够对这个字段进行union、count等计算，从而能够达到精确去重的功能。

这个功能是由美团的@kangkaisen(github.com/kangkaisen)同学贡献，在美团内部，性能已经达到可上线标准。

文档工作

文档一直被用户所抱怨，在这个版本中，重构了文档结构，将之前需要写多份的文档变成“书写一次，多次应用”。这样能够保证无论是用户从官网上看到的，以及用户通过help查看到的文档内容都是一致的。同时也在不断的增加文档内容。此外，还增加了我们的英文文档内容，当前大部分英文文档内容是通过翻译软件获得。

用户可以从Doris官网(doris.apache.org/)获得文档的内容。

导入优化

parquet

通过社区同学们的努力，Doris现在能够直接导入Parquet格式的数据内容了。

识别分区列

同时也能够从导入文件路径中获得对应的列信息，这样能够更好的兼容Hadoop/Spark生态，让用户能够更加方便的导入数据。

指定过滤条件

用户可以在导入的时候指定过滤条件。通过这个机制，用户能够在数据导入到Doris前，完成对数据的抽取功能，将不需要的数据过滤掉，是的用户在导入数据的时候能够更加灵活地进行数据导入。

时区支持

在这个版本中，京东的同学@HangyuanLiu(github.com/HangyuanLiu)为Doris支持了时区功能。现在用户无论导入、查询都能够设定时区来完成时间数据的相关转化。

除了上述所列功能外，还有很多其他功能、性能方面的修复。用户可以访问这里(github.com/apache/incubator-doris/issues/1891)来获取所有相关改进。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。

码农书籍

算法学

哈雷尔 / 霍红卫 / 高等教育 / 2007-6 / 39.00元

本书主要论述计算机科学的基本概念、思想、方法和结果。全书内容由 5个部分组成。“预备知识”部分包括算法学中的基本概念、算法结构、算法所操纵的数据以及描述算法所用的程序设计语言。“方法和分析”部分包括算法设计的方法、算法的正确性和效率、评价算法的方法。“局限性和健壮性”部分包括可执行算法的固有局限性以及实现这些算法的计算机的固有局限性、不可计算性和不可判定性、算法学的通用性及其健壮性。此外，还讨论了......一起来看看《算法学》这本书的介绍吧!

码农工具