openLooKeng V1.2.0 发布

栏目: 软件资讯 · 发布时间: 3年前

内容简介:自去年6月开源以来,openLooKeng社区得到越来越多朋友的支持。社区内,小伙伴们对openLooKeng的性能给予了肯定和赞赏,同时也给出了许多有价值的建议。暖春3月,在众人的期待下,openLooKeng迎来了新版本V1.2.0。...

自去年6月开源以来,openLooKeng社区得到越来越多朋友的支持。社区内,小伙伴们对openLooKeng的性能给予了肯定和赞赏,同时也给出了许多有价值的建议。暖春3月,在众人的期待下,openLooKeng迎来了新版本V1.2.0。openLooKeng V1.2.0是在旧版本的基础上进行优化,并基于小伙伴们的体验和建议,新增一些技术,以提高引擎性能,争取为大家带来更丝滑流畅的体验。

于引擎内核来说,主要增强两个维度:融合分析场景和性能。

» 查询容错增强,提高引擎执行的可靠性

在批查询处理运行的过程中,当某个工作节点出现故障时,可在其他节点上恢复任务,比如对Hive数据源的 insert 和 create table as select 操作。针对长时间运行的批查询处理任务,相比上一个版本,稳定性和可靠性有了极大的提升。

» 查询性能的优化:基于 StarTree 的查询预聚合能力增强

StarTree旨在优化低延迟、聚合查询语句。我们通过StarTree查询预聚合能力,为用户构建所需要的不同维度和不同聚合操作的 cube。在以后的查询过程中,如果遇到任何可匹配的聚合子查询,引擎将直接从cube中读取数据,避免在原始表上执行查询,从而提高查询性能。

» 引入 CTE(公共表表达式)优化技术,减少内存使用

在执行计划优化过程中引入CTE(公共表表达式)技术。当一个复杂查询中,存在某个子查询(例如 with语句)被多次使用,优化器会为重复的子查询自动生成一个CTE节点,该CTE节点的输出会被执行计划流程中的多个父节点消费。也就是说,重复的子查询只会执行一次,化繁为简, 同时也减少内存占用,引擎获得更好的性能。

» 通用算子下推框架,让 Connectors 参与到执行计划优化中

为了让算子下推过程更加简单灵活,我们采用新的通用算子下推框架,让每个Connector可以参与到执行计划优化中。引擎在进行执行计划优化时,能够自行应用Connector的优化规则,使得算子下推过程变得更加高效。

» 增强HIVE ORC的数据维护性能

该特性优化了数据写入和数据修改(更新和删除)的处理速度,并不影响『读性能』的流畅度;支持并发访问Hive Metastore,提高元数据操作性能,从而进一步优化数据写入和修改的性能。

于引擎门户来说,主要集中在南向生态方面的优化。

» HBase Connector性能优化

针对单表查询性能的提升,我们新增了分片算法。另外,该性能支持 HBase 访问 Snapshot 的模式,从而提升多并发查询性能。

» 数据源UDF(User-Defined Function)支持下推

引擎支持外部函数(UDF)的注册,也支持将其下推到JDBC数据源。为了让大家拥有更好的体验,用户可以在不迁移自己数据源UDF的情况下,使用已有的UDF, 提高UDF的复用度。

以上便是openLooKeng新版本V1.2.0 在性能优化上较为亮眼的地方。当然,作为大数据领域的关键项目,openLooKeng十分看重引擎的易用性和安全性。针对这两点,新版本V1.2.0做出如下增强:

» 易用性 | 增强Admin Dashboard UI用户体验

  • 优化定时全量加载导致的UI页面卡顿,
  • 增强查询历史和查询结果的分页显示,
  • 优化新增连接器的参数配置,
  • UI 界面支持Kerberos 和密码登录,支持查询历史按用户进行过滤。

» 安全性 | 基于Ranger的细粒度权限管控:支持行过滤和列掩码

增加行过滤和列掩码,增加认证用户模拟权限控制,提供更细化的权限控制粒度。


看了这么多,是不是很想动手一试?感兴趣的朋友可以下载体验。

新版本下载地址: https://openlookeng.io/zh-cn/download.html

如果您对新版本V1.2.0有其他建议,欢迎发邮件至 users@openlookeng.io 告知我们。openLooKeng社区感谢朋友们的支持,期待并欢迎更多朋友们的参与。

• • •

openLooKeng是一款开源的高性能数据虚拟化引擎,提供统一 SQL 接口,具备跨数据源/数据中心分析能力,为大数据用户提供极简的数据分析体验。欢迎加入openLooKeng社区,一起做点有意思的事儿,让大数据更简单!

openLooKeng开源社区官方网站: https://openlookeng.io/zh-cn/

openLooKeng代码仓地址: https://gitee.com/openlookeng


以上所述就是小编给大家介绍的《openLooKeng V1.2.0 发布》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

豆瓣,流行的秘密

豆瓣,流行的秘密

黄修源 / 机械工业出版社 / 2009-9 / 29.00

380万人为何会齐聚豆瓣? HIN1和SARS是如何传播扩散开的? 贾君鹏何以快速窜红网络? 通过创新扩散的理论的分析和说明,给出了所有这些问题的答案! 这本书从豆瓣的流行现象说开来,应用了创新扩散等传播学道理来解释了豆瓣如何流行起来,同时作者还同时用创新扩散的理论解释了为何会出现世界变平的现象,长尾理论,SARS病毒的高速传播等。 作者以前任豆瓣设计师的身份以自己亲......一起来看看 《豆瓣,流行的秘密》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

正则表达式在线测试
正则表达式在线测试

正则表达式在线测试

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具