Linkis 1.0.1 正式发版 - 大数据平台中间件解决方案

栏目: 软件资讯 · 发布时间: 3年前

内容简介:Linkis 1.0.1对Linkis1.0.0版本发现Bug和影响性能,便利性的问题进行了修复和增强,欢迎更新升级。 Linkis 1.0.1 Linkis 1.0.1 作为1.0.0的修复版本,这次版本主要修复了高并发场景下的性能bug,以及优化资源管理...

Linkis 1.0.1对Linkis1.0.0版本发现Bug和影响性能,便利性的问题进行了修复和增强,欢迎更新升级。

Linkis 1.0.1

    Linkis 1.0.1 作为1.0.0的修复版本,这次版本主要修复了高并发场景下的性能bug,以及优化资源管理模块,以及修复多个已发现的bug,并优化Spark引擎支持 FATE使用。

    FATE (Federated AI Technology Enabler) 是微众银行AI部门发起的开源项目,为联邦学习生态系统提供了可靠的安全计算框架(https://github.com/FederatedAI/FATE)。

Abbreviations(关键字缩写):
CGS: Computation Governance Services(计算治理服务)
PES: Public Enhancement Services(公共增强服务)
MGS: Microservice Governance Services(微服务治理服务)

增强

  • [Commons] Linkis-HTTPClient在上传文件时支持设置ContentType.
  • [Commons] Linkis-HttpClient支持兼容Response的content为空.
  • [Commons] HDFS FileSystem对象支持进行缓存.
  • [Commons] 优化Shoutdown兼容windows操作系统.
  • [Orchestrator] ioClient支持隔离单独的Orchestrator.
  • [PES-JobHistory] JobHistory支持记录用户提交任务的原始代码.
  • [PES-InstanceLabel] InstanceLabel模块支持增加和移除标签信息.
  • [PES-ErrorCode] 优化错误码模块的初始化sql,移除id字段的默认值.
  • [PES-Configuration] 管理台的配置支持修改实时刷新缓存值.
  • [PES-Configuration] 管理台支持内存设置单位,默认单位是GB.
  • [CGS-Entrance] 优化支持任务提交记录客户端IP信息,以方便链路分析.
  • [CGS-LimkisMnagager ] ECM的租户标签应该不被移除的,方便重启时保留租户标签信息.
  • [EnginePlugin-Spark] Spark EngineConn的启动参数支持设置原生参数去支持Fate使用,例如设置 python 版本.

Bug修复

  • [Commons] Logging 是建议被优化, 因为如果用户传入的内容是null会导致空指针异常.
  • [Commons] jackson-core-asl 包存在冲突, linkis1.0在兼容CDH版本时.
  • [PES-UDF] UDFClient存在只能获取UDF不能获取方法函数的Bug.
  • [PES-BML] 优化BML EngineConnHook的执行顺序,修复资源文件不可读问题.
  • [PES-Configuration] Linkis管理台在设置JDBC参数时,保存会出错.
  • [CGS-Entrance] 当一个任务包含千条 sql 时,存在错误执行的Bug.
  • [CGS-Entrance] 当sql的limit超过5000时任务会执行失败.
  • [CGS-Entrance] 在压测同时运行一万个任务时,日志存在记录不全的情况.
  • [CGS-Entrance] 在压测10000个任务时存在任务处在 Inited/Running/Scheduled不更新的情况.
  • [CGS-LimkisMnagager] 当管理台设置引擎为2时,在schedulis进行调度时存在会启动18个引擎的情况.
  • [CGS-LimkisMnagager] ECM管理存在concurrent label的值为空问题.
  • [EnginePlugin-Hive] 当kill 一个复杂的Hive任务时,存在不能kill Yarn上任务的偶发情况.

贡献者

Linkis 1.0.1 的发布离不开 WeDataSphere 社区的贡献者。在此感谢各位社区的贡献者!

云资源

腾讯云:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Linkis/1.0.1/wedatasphere-linkis-1.0.1-combined-package-dist.tar.gz


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

算法设计与分析

算法设计与分析

郑宗汉//郑晓明 / 清华大学 / 2011-7 / 45.00元

《算法设计与分析(第2版)》系统地介绍算法设计与分析的概念和方法,共4部分内容。第1部分介绍算法设计与分析的基本概念,结合穷举法、排序问题及其他一些算法,对算法的时间复杂性的概念及复杂性的分析方法作了较为详细的叙述;第2部分以算法设计技术为纲,从合并排序、堆排序、离散集合的union和find操作开始,进而介绍递归技术、分治法、贪婪法、动态规划、回溯法、分支与限界法和随机算法等算法设计技术及其复杂......一起来看看 《算法设计与分析》 这本书的介绍吧!

JS 压缩/解压工具
JS 压缩/解压工具

在线压缩/解压 JS 代码

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

Base64 编码/解码
Base64 编码/解码

Base64 编码/解码