Linkis 0.9.2 版本发布

内容简介：什么是Linkis? Linkis是微众银行自研的一个打通了多个计算存储引擎如：Spark、TiSpark、Hive、Python和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。...

什么是Linkis?

Linkis是微众银行自研的一个打通了多个计算存储引擎如：Spark、TiSpark、Hive、 Python 和HBase等，对外提供统一REST/WebSocket/JDBC接口，提交执行 SQL 、Pyspark、HiveQL、Scala等脚本的计算中间件。

Linkis 0.9.2发布，主要优化了部署和启动脚本，并对hadoop和HttpClient的依赖进行了优化。

特性增强

• [Linkis-193] 部署增强：脚本会自动识别是单机部署还是分布式部署，单机部署和启动时，不再使用SSH和SCP。
• [Linkis-194] 环境检查：在安装Linkis之前先检查依赖的所有Linux命令和环境，如果检查失败，则直接退出安装部署。
• [Linkis-195] 服务检测：在start-all脚本里面对服务是否正常启动进行检查，如果服务不正常则给出错误日志。
• [Linkis-191] 依赖优化：将hadoop相关 工具 类从公共core/common模块移到单独的core/hadoop-common模块，减少包冲突问题.
• [Linkis-192] 依赖优化：core/common模块不再依赖httpclient相关jar包，统一移到core/linkis-httpclient模块.
• [Linkis-196] 统一分配Linkis各个服务的端口，从9100开始分配.
• [Linkis-197] Linkis支持通过配置SERVER_HEAP_SIZE环境变量，统一指定所有微服务的堆内存大小.
• [Linkis-198] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外，新增一种通过参数配置的方式获取。
• [Linkis-199] 统一微服务的启动脚本，方便后续统一修改.
• [Linkis-200] 将公共依赖的模块放到public-module，减少包冲突和降低安装包大小.
• [Linkis-201] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.
• [Linkis-208 ] 在安装脚本中新增haoop/hive/spark版本兼容性检测，如果版本不兼容，会提醒用户是否选择继续安装.
• [Linkis-221 ] 增强Linkis-RM模块，使RM可以获取更多hadoop版本的Yarn队列信息.
• [Linkis-174 ] 增强metadata模块，使metadata支持访问postgresql类型的hive元数据库.

Bug修复

• [Linkis-175] 将yarn的默认队列从ide修改为default.
• [Linkis-202] 移除Entrance错误码功能对hdfs的依赖，使精简版可以完全不依赖hadoop.
• [Linkis-205] SQL注释优化，在--后面加空格.
• [Linkis-210] 修复BML访问hdfs的权限问题.
• [Linkis-218] 从start和install脚本中移除yum命令，兼容更多的unix系统.
• [Linkis-226] 优化metadata模块，使引入的hive包，排除对Jackson包的依赖，降低包冲突风险.
• [Linkis-229] 排除公共依赖public-module中的Jasper包，降低包冲突风险.
• [Linkis-143] Linkis的配置文件增加对中文配置的支持.

贡献者

最后但是最重要的一点是，如果没有以下贡献者不可能发布此版本，在此感谢各位社区的贡献者!
排名不分先后(按字母排序)：
allwefantasy: 增加了MLSQL引擎.
chenxi0599: 修复filesystem在日志打印错误问题.
hj2016: 解决当Yarn为Capacity调度获取最大资源时，由于maxEffectiveCapacity参数不存在导致的bug.
houjunxiong: 增强模块metadata对hive的元数据库类型为postgresql的支持.
Just-do-it-Fan: 增加ResourceManager模块对Yarn的Capacity调度支持.
leisore: 修复start和stop脚本命名问题.
liangqilang: 修复httpclient下载文件抛NullPointException的bug和增加流传输下载结果集功能，等多个特性.
nimuyuhan: 修复配置文件不支持中文bug.
patinousward: 修复多个bug，并在metadata模块中增加建表功能.
wForget：提供了linkis的CDH5.7.6可用的发布版本.
zhanghaicheng1: 增加部署安装问题文档.

以上所述就是小编给大家介绍的《Linkis 0.9.2 版本发布》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• IJPay 0.8 版本发布，兼容低版本 JDK
• fastjson 1.2.55 版本发布，Bug 修复版本
• Apache Ignite 2.9.1 版本发布，小版本更新
• Swoole v4.6.1 版本发布，Bug 修复版本
• Swoole v4.6.2 版本发布，Bug 修复版本
• Swoole v4.6.4 版本发布，Bug 修复版本

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。