观众朋友们:
欢迎收看【 Doris 近日要闻】~本次为您带来的是 2021年09月13日 ~ 2021年09月26日 的双周总结。
Doris 社区周报每期会包含 FAQ 环节。我们会在社区论坛、Github ISSUE、Dev邮件组以及微信用户群中挑选一些主要问题并在 FAQ 环节中进行解答。
-
Dev 邮件组:dev@doris.apache.org
-
Github Issue:https://github.com/apache/incubator-doris/issues
-
社区论坛地址:https://github.com/apache/incubator-doris/discussions
1. 统计数据
共22位作者提交了36个 Commit 。感谢以下作者的贡献:
Zhengguo Yang, Mingyu Chen, xy720, jiafeng.zhang, Zeno Yang, EmmyMiao87, zhuixun, zhoubintao, xhmz, weizuo93, smallhibiscus, qiye, pierre xiong, dh-cloud, ccoffline, caiconghui, Ming King, Lijia Liu, GeoffreyStark, Gabriel, Cui Kaifeng, ChPi
最近2周,共修改新增代码行 3776 ,删除代码行 1250 。
2. 主要进展
2.1 Bug修复
-
https://github.com/apache/incubator-doris/pull/6615
修复string类型null值处理错误的问题。
-
https://github.com/apache/incubator-doris/pull/6605
修复replace函数部分情况下结果不正确的问题。
-
https://github.com/apache/incubator-doris/pull/6665
1. 修复某些情况下,导入数据可能导致BE coredump的问题。
2. 修复某些情况下 schema change 操作可能导致BE coredump的问题。
3. 修复部分情况下,tablet调度逻辑不释放working slot的问题。
4. 修复在使用资源标签功能后,数据副本无法自动补齐的问题。
5. 修复show load 语句无法筛选pending状态作业的问题。
-
https://github.com/apache/incubator-doris/pull/6699
1. 修复查询层内存泄露的问题。
2. 新增BE配置以限制一个rowset中包含过多的segment。
-
https://github.com/apache/incubator-doris/pull/6667
修复string类型处理zonemap错误的问题。
-
https://github.com/apache/incubator-doris/pull/6729
修复使用drop schema语句会直接删除database的问题。
2.2 功能改进
-
https://github.com/apache/incubator-doris/pull/6567
优化show proc "/statistic"语句的执行效率。
-
https://github.com/apache/incubator-doris/pull/6517
优化sync job的线程模型,支持使用有限的线程处理上百张 mysql 表的同步数据。
-
https://github.com/apache/incubator-doris/pull/6644
select into outfile功能支持使用libhdfs3导出数据。
-
https://github.com/apache/incubator-doris/pull/6648
修复当使用表名大小写不敏感配置时,backup操作无法正确执行的问题。
2.3 其他
-
https://github.com/apache/incubator-doris/pull/6634
修复1.6版本的librdkafka无法适配低版本glibc的问题。
-
https://github.com/apache/incubator-doris/pull/6570
新增spark-doris-connector的代码示例。
-
https://github.com/apache/incubator-doris/pull/6666
新增BE存储层错误码文档。
3. FAQ
Q:关于数据目录SSD和HDD的配置。
A:
Doris支持一个BE节点配置多个存储路径。通常情况下,每块盘配置一个存储路径即可。同时,Doris支持指定路径的存储介质属性,如SSD或HDD。SSD代表高速存储设备,HDD代表低速存储设备。
通过指定路径的存储介质属性,我们可以利用Doris的冷热数据分区存储功能,在分区级别将热数据存储在SSD中,而冷数据会自动转移到HDD中。
需要注意的是,Doris并不会自动感知存储路径所在磁盘的实际存储介质类型。这个类型需要用户在路径配置中显式的表示。比如路径 "/path/to/data1.SSD" 即表示这个路径是SSD存储介质。而 "data1.SSD" 就是实际的目录名称。Doris是根据目录名称后面的 ".SSD" 后缀来确定存储介质类型的,而不是实际的存储介质类型。也就是说,用户可以指定任意路径为SSD存储介质,而Doris仅识别目录后缀,不会去判断存储介质是否匹配。如果不写后缀,则默认为HDD。
换句话说,".HDD" 和 ".SSD" 只是用于标识存储目录“相对”的“低速”和“高速”之分,而并不是标识实际的存储介质类型。所以如果BE节点上的存储路径没有介质区别,则无需填写后缀。
猜你喜欢: