Linkis 0.11.0 发布,新增 ElasticSearch 与 Presto 引擎

栏目: 软件资讯 · 发布时间: 3年前

内容简介:大家期待已久的ElasticSearch引擎和Presto引擎来啦! Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spa...

大家期待已久的ElasticSearch引擎和Presto引擎来啦!

Linkis 0.11.0 是由微众银行和MobTech团队作为主要贡献者的一个重要版本。这是基于Linkis 0.10.0的下一个发行版本。此版本新增了Presto引擎、Es引擎、以及Spark引擎on cluster模式进行了实现,并对0.10.0版本前的多个Bug进行了修复。

 

特性增强

1. 新增了ElasticSearch引擎,支持通过Linkis-Client提交esql和ejson脚本;

2. 新增 Presto 引擎,支持通过Linkis-Client提交对Presto的查询;

3. Linkis-RM支持了对Presto 的资源组的资源进行控制;

4. Spark引擎支持yarn on cluster,用户可以灵活选择Spark的运行模式;

5. Linkis-RM支持通过restful获取有权限的Yarn队列,方便用户在前端应用 工具 进行队列选择;

6. Linkis-GateWay 网关添加了基于 DataSource 路由规则;

7. Spark引擎日志新增打印Yarn的ApplicationID方便用户查找问题;

8. Spark引擎的PySpark 任务适配 Spark3.0

9. Shell 引擎支持自定义变量

10. Shell 引擎支持输出结果集

11. 支持在脚本的变量替换时进行循环替换

 

Bug修复

1. 修复Linkis-RM模块中Resource moreThan 判断逻辑问题;

2. 修复 LDAP 认证时,名称太长导致异常问题;

3. 修复 CDH Spark 版本获取问题;

4. 修复 JDBC 任务不同用户相互影响的问题;

5. 修复 JDBC 引擎写结果集问题;

6. 修复 HiveQLProcessBuilder 中 java.library.path 配置写死问题;

7. 修复UDF模块中的共享函数到指定目录问题;

8. 修改 linkis_udf_tree 表中 name 字段长度

9. 修复接入单点登录后用户 cookie 丢失问题

10. 修复第三方系统集成linkis,Token认证方式,Token校验Bug

 

新贡献者

Linkis 0.11.0 的发布,离不开WeDataSphere社区的贡献者,他们无私地贡献自己的代码,积极地与社区伙伴进行技术交流,有了他们的助力,Linkis 0.11.0才能顺利地发布,在此感谢各位社区的贡献者! 排名不分先后:

wForget: 作为主持者,实现 ElasticSearch 引擎,实现网关路由插件,其他若干功能实现以及BUG修复。

Yogaflre: 实现 Presto 引擎,Presto 资源控制。

77954309: Shell 引擎支持自定义变量。

xfei6868: PySpark 任务适配 Spark3.0。

hcl3039359: 修改 linkis_udf_tree 表中 name 字段长度。

linweijiang: 修复接入单点登录后用户 cookie 丢失问题

cumtcwf修复第三方系统集成linkis,Token认证方式,Token校验Bug

zhangxhmuyeShell 引擎支持输出结果集

 

展望未来

未来,微众银行WeDataSphere大数据团队将继续携手MobTech大数据团队,打造全面连通融合的金融级大数据平台,深耕金融级生产环境和场景的自研打磨完善,为社区用户提供相应个性化的大数据解决方案,赋能金融机构企业服务生产及业务支持,共同推动Linkis生态圈的成长。

Linkis 开源项目地址如下,欢迎大家提交 issue 及 star:


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

挑战编程

挑战编程

斯基纳 / 刘汝佳 / 2009-7 / 39.00元

《挑战编程:程序设计竞赛训练手册》分为14章,分别介绍在线评测系统的基本使用方法、数据结构、字符串、排序、算术与代数、组合数学、数论、回溯法、图遍历、图算法、动态规划、网格、几何,以及计算几何,并在附录中介绍了一些著名的程序设计竞赛以及相应的备赛建议与比赛技巧。每章的正文用十余页的篇幅覆盖了该领域最核心的概念和算法,然后给出八道可在线提交的完整编程挑战题目供读者练习。 全书内容紧凑、信息量大......一起来看看 《挑战编程》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具