IT资讯 【Doris Weekly 】2021.11.01~2021.11.13

Google 开发者在线课程首发！中文免费在线资源助你提升开发技能>>>>>

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021 年 11 月 01 日 ～ 2021 年 11 月 13 日的双周总结。

• Dev 邮件组：dev@doris.apache.org

• Github Issue：https://github.com/apache/incubator-doris/issues

• 社区论坛地址：https://github.com/apache/incubator-doris/discussions

1. 统计数据

共 33 位作者提交了 72 个 Commit 。感谢以下作者的贡献：

Mingyu Chen, jiafeng.zhang, wei zhao, wangyongfeng, thinker, Zhengguo Yang, HappenLee, GoGoWen, EmmyMiao87, 曹建华, xy720, wudi, qiye, pengxiangyu, ccoffline, Zhikai Zuo, Pxl, zhangstar333, zh0122, xuliuzhe, weajun, tinkerrrr, tianhui5, tarepanda1024, luozenglin, lihuigang, flynn, dh-cloud, Xinyi Zou, Userwhite, Universe, Lijia Liu, ChPi

最近 2 周，共修改新增代码行 6906 ，删除代码行 1689 。

2. 主要进展

2.1 新增功能

https://github.com/apache/incubator-doris/pull/6942

https://github.com/apache/incubator-doris/pull/6917

https://github.com/apache/incubator-doris/pull/6918

https://github.com/apache/incubator-doris/pull/6912

https://github.com/apache/incubator-doris/pull/6982

https://github.com/apache/incubator-doris/pull/6980

https://github.com/apache/incubator-doris/pull/6977

新增函数：

• bitmap_and_not()
• bitmap_and_not_count()
• bitmap_subset_in_range()
• bitmap_has_all()
• bitmap_and_count()
• bitmap_or_count()
• bitmap_xor_count()
• bitmap_subset_limit()
• sub_bitmap()

• https://github.com/apache/incubator-doris/pull/6577

  FE配置参数支持通过回调函数响应参数的修改操作。

• https://github.com/apache/incubator-doris/pull/6993

  新增 alter table 语法支持将 mysql 引擎外表修改为 odbc 引擎。

2.2 Bug 修复

• https://github.com/apache/incubator-doris/pull/6932

  修复某些情况下 schema change 因内存分配失败而失败的问题。

• https://github.com/apache/incubator-doris/pull/7004

  修复Colocation plan某些情况下无法找到tablet的问题。

• https://github.com/apache/incubator-doris/pull/7026

  修复select into outfile不支持union查询语句的问题。

• https://github.com/apache/incubator-doris/pull/7013

  修复部分情况下，导入数据导致BE宕机的问题。

• https://github.com/apache/incubator-doris/pull/7022

  将DateTimeValue内存数据排列修改为原来的格式，解决因格式不兼容而导致的导入查询错误问题。

• https://github.com/apache/incubator-doris/pull/7020

  修复部分情况下，drop backend后，colocation表无法进行数据均衡的问题。

• https://github.com/apache/incubator-doris/pull/7069

  修复部分情况下，为包含物化视图的表添加分区时可能出现空指针异常的问题。

• https://github.com/apache/incubator-doris/pull/7094

  修复BE端数据导入时因引用问题可能导致的BE宕机问题。

• https://github.com/apache/incubator-doris/pull/6846

  修复partition cache无法正确处理时间格式的问题。

• https://github.com/apache/incubator-doris/pull/6934

  修复 RLE 编码数据页的页大小检查逻辑错误。

• https://github.com/apache/incubator-doris/pull/7061

  增加定清理过期 Sync job 的功能。

• https://github.com/apache/incubator-doris/pull/7085

  修复 sql cache 无法正确处理聚合函数包含表达式的问题。

2.3 功能改进

• https://github.com/apache/incubator-doris/pull/6962

  支持通过s3 sdk 访问某些仅支持 path-style 的对象存储系统。

• https://github.com/apache/incubator-doris/pull/6947

  优化大批量导入时，减少segment的文件数量。

• https://github.com/apache/incubator-doris/pull/6973

  支持通过spark-connector写入数据时，指定写入的列。

• https://github.com/apache/incubator-doris/pull/6974

  新增http api来获取 backend 列表

• https://github.com/apache/incubator-doris/pull/6916

  新增 BE 端 brpc client-server 检查和测试逻辑，已解决部分情况下 brpc client 失效导致 rpc 一直失败的问题。

• https://github.com/apache/incubator-doris/pull/7017

  会话变量 forward_to_master 的默认值修改为 true。

• https://github.com/apache/incubator-doris/pull/6600

  重构 FE、BE 的日志打印接口，规范日志输出格式。

• https://github.com/apache/incubator-doris/pull/7050

  优化libhdfs的错误显示和写入文件的默认行为。

• https://github.com/apache/incubator-doris/pull/6986

  show routine load 结果中新增当前正在运行的子任务的事务id，方面查看子任务状态。

• https://github.com/apache/incubator-doris/pull/6885

  Spark DPP新增bitmap not() 和 xor() 函数支持。

• https://github.com/apache/incubator-doris/pull/6915

  优化集合操作算子的内存占用。

• https://github.com/apache/incubator-doris/pull/6970

  show proc 增加 stream load 作业的查看入口。

• https://github.com/apache/incubator-doris/pull/6971

  优化HLL类型的内存占用。

• https://github.com/apache/incubator-doris/pull/7075

  spark/flink connector支持string类型。

2.3 其他

• https://github.com/apache/incubator-doris/pull/7047

  官方网站新增 blog 入口，分享各种功能案例。