IT资讯 Doris Weekly & FAQ:修复 String 类型 null 值处理错误的问题

quentin · 2021-10-04 08:00:06 · 热度: 63

Doris Weekly & FAQ:修复 String 类型 null 值处理错误的问题

观众朋友们:

欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年09月13日 ~ 2021年09月26日 的双周总结。

Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。

  • Dev 邮件组:dev@doris.apache.org

  • Github Issue:https://github.com/apache/incubator-doris/issues

  • 社区论坛地址:https://github.com/apache/incubator-doris/discussions

1. 统计数据

 

22位作者提交了36 Commit 。感谢以下作者的贡献:

Zhengguo Yang, Mingyu Chen, xy720, jiafeng.zhang, Zeno Yang, EmmyMiao87, zhuixun, zhoubintao, xhmz, weizuo93, smallhibiscus, qiye, pierre xiong, dh-cloud, ccoffline, caiconghui, Ming King, Lijia Liu, GeoffreyStark, Gabriel, Cui Kaifeng, ChPi

最近2周,共修改新增代码行 3776 ,删除代码行 1250 

2. 主要进展

2.1 Bug修复

  • https://github.com/apache/incubator-doris/pull/6615

    修复string类型null值处理错误的问题。

  • https://github.com/apache/incubator-doris/pull/6605

    修复replace函数部分情况下结果不正确的问题。

  • https://github.com/apache/incubator-doris/pull/6665

    1. 修复某些情况下,导入数据可能导致BE coredump的问题。

    2. 修复某些情况下 schema change 操作可能导致BE coredump的问题。

    3. 修复部分情况下,tablet调度逻辑不释放working slot的问题。

    4. 修复在使用资源标签功能后,数据副本无法自动补齐的问题。

    5. 修复show load 语句无法筛选pending状态作业的问题。

  • https://github.com/apache/incubator-doris/pull/6699

    1. 修复查询层内存泄露的问题。

    2. 新增BE配置以限制一个rowset中包含过多的segment。

  • https://github.com/apache/incubator-doris/pull/6667

    修复string类型处理zonemap错误的问题。

  • https://github.com/apache/incubator-doris/pull/6729

    修复使用drop schema语句会直接删除database的问题。

2.2 功能改进

  • https://github.com/apache/incubator-doris/pull/6567

    优化show proc "/statistic"语句的执行效率。

  • https://github.com/apache/incubator-doris/pull/6517

    优化sync job的线程模型,支持使用有限的线程处理上百张 mysql 表的同步数据。

  • https://github.com/apache/incubator-doris/pull/6644

    select into outfile功能支持使用libhdfs3导出数据。

  • https://github.com/apache/incubator-doris/pull/6648

    修复当使用表名大小写不敏感配置时,backup操作无法正确执行的问题。

2.3 其他

  • https://github.com/apache/incubator-doris/pull/6634

    修复1.6版本的librdkafka无法适配低版本glibc的问题。

  • https://github.com/apache/incubator-doris/pull/6570

    新增spark-doris-connector的代码示例。

  • https://github.com/apache/incubator-doris/pull/6666

    新增BE存储层错误码文档。

3. FAQ

Q:关于数据目录SSD和HDD的配置。

A:

Doris支持一个BE节点配置多个存储路径。通常情况下,每块盘配置一个存储路径即可。同时,Doris支持指定路径的存储介质属性,如SSD或HDD。SSD代表高速存储设备,HDD代表低速存储设备。

通过指定路径的存储介质属性,我们可以利用Doris的冷热数据分区存储功能,在分区级别将热数据存储在SSD中,而冷数据会自动转移到HDD中。

需要注意的是,Doris并不会自动感知存储路径所在磁盘的实际存储介质类型。这个类型需要用户在路径配置中显式的表示。比如路径 "/path/to/data1.SSD" 即表示这个路径是SSD存储介质。而 "data1.SSD" 就是实际的目录名称。Doris是根据目录名称后面的 ".SSD" 后缀来确定存储介质类型的,而不是实际的存储介质类型。也就是说,用户可以指定任意路径为SSD存储介质,而Doris仅识别目录后缀,不会去判断存储介质是否匹配。如果不写后缀,则默认为HDD。

换句话说,".HDD" 和 ".SSD" 只是用于标识存储目录“相对”“低速”“高速”之分,而并不是标识实际的存储介质类型。所以如果BE节点上的存储路径没有介质区别,则无需填写后缀。

猜你喜欢:
暂无回复。
需要 登录 后方可回复, 如果你还没有账号请点击这里 注册