【里程碑】Linkis 1.0.0-RC1 版本发布

内容简介：Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本，提供了超 60 个新特性和功能增强， 标志着 Linkis 正式进入1.0版本时代。 Linkis是什么？ Linkis 在上层应用和底层引擎之间构建了一层计算中间件，上层应用只需对...

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本，提供了超 60 个新特性和功能增强， 标志着 Linkis 正式进入1.0版本时代。

Linkis是什么？

Linkis 在上层应用和底层引擎之间构建了一层计算中间件，上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口，就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎，并实现上层应用间的互通。 Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现，提供了全栈计算/存储引擎的架构支持，包括离线批量型、交互式型、实时流式型和存储型，并新增了多种新特性，向下兼容 Linkis0.X 版本的所有接口。

开源链接:

https://github.com/WeBankFinTech/Linkis

https://gitee.com/WeBankFinTech/Linkis

新版简介

丰富的底层计算存储引擎支持度。

已支持的计算存储引擎：Spark、Hive、 Python 、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和 Shell 等；

集成中的计算存储引擎：Flink、Impala和Clickhouse等；

已支持的脚本语言：SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。

强大的计算治理能力。Linkis 1.0总体分为三大模块：

公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下： 公共增强服务为Linkis 0.X已经提供的物料库服务、上下文服务、数据源服务和公共服务等；

微服务治理服务为Linkis 0.X已经提供Spring Cloud Gateway、Eureka和Open Feign，同时 Linkis1.0还会提供对Nacos的支持；

计算治理服务是Linkis 1.0的核心重点，从 提交 —> 准备 —> 执行三个阶段，来全面升级Linkis 对 用户任务的执行管控能力。

全栈计算存储引擎架构支持。作为计算中间件，将接收、执行和管理针对各种计算存储引擎的任务和请求，包括离线批量型、交互式型、实时流式型和存储型任务，并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力；

更强大的资源管理能力。ResourceManager不仅具备Linkis0.X对Yarn和Linkis EngineManager的资源管理能力，还将提供基于标签的多级资源分配和回收能力，让ResourceManager具备跨集群、跨计算资源类型的强大资源管理能力；

全流程标签化。基于多级组合标签，提供跨IDC、跨集群的计算任务路由管控能力，和EngineConnManager, EngineConn的多租户隔离能力；

统一上下文服务。统一用户和系统资源文件（JAR、ZIP、Properties等），跨用户、系统、计算引擎的参数和变量统一管理，一处设置，处处自动引用；

统一物料。系统和用户级物料管理，可分享和流转，跨用户、系统共享物料，支持全生命周期自动管理。

 

全新特性

[Linkis-572] 在“Entrance”模块中新增了EngineConn管理插件。

[Linkis-576] 新增EngineConnPlugin模块，简化用户实现Linkis新计算存储引擎。

[Linkis-579] 新增EngineConn的交互式类型顶层设计，让用户实现交互式引擎更加简单容易。

[Linkis-584]新增LinkisManager Common模块，为LinkisManager提供常用 工具 类。

[Linkis-585]新增LinkisManager Monitor模块，用于LinkisManager实时监控EngineConn和EngineConnManager的健康状态。

[Linkis-587] 新增EngineConn Common模块，为EngineConn提供常用工具类。

[Linkis-590] 新增EngineConn的核心模块，提供了EngineConn核心接口的定义。

[Linkis-591] 新增Computation Governance Common模块，为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增Linkis ResourceManager Common模块，提供常用工具类。

[Linkis-600] 新增LinkisManager Service Common模块，为AppManager和ResourceManager提供常用工具类。

[Linkis-602] 新增LinkisManager Persistence模块，用于持久化EngineConn和EngineConnManager的。

[Linkis-604] 新增微服务标签功能，并支持为每个微服务添加标签。 [Linkis-609] 新增Linkis Label模块，为Linkis全流程的标签化能力 提供基础支撑。

[Linkis-611] 强化Linkis的管控能力，全新抽象Linkis AppManager模块，用于管理EC和ECM的全生命周期。 [Linkis-630] 新增EngineConn Launch模块，提供EngineConn的main class入口。

功能增强

[Linkis-569] 增强Linkis RPC的处理能力，并向下兼容Linkis0.X的 RPC。

[Linkis-574] 增强Linkis的标签管理功能，支持对EngineConnManager和EngineConn进行标签管理。

[Linkis-575] 增强ResourceManager的能力，并将其集成到LinkisManager中。

[Linkis-578] 增强EngineManager，全新定义实现EngineConnManager模块。

[Linkis-580] 增强SparkEngineConn，以适配Linkis1.0新架构。

[Linkis-583] 增强ShellEngine，以适配Linkis1.0新架构。

[Linkis-592] 增强JDBCEngine，以适配Linkis1.0新架构。

[Linkis-594] 增强IOEngine，以适配Linkis1.0新架构。

[Linkis-596] 增强HiveEngine，以适配Linkis1.0新架构。

[Linkis-597] 增强PipelineEngine，以适配Linkis1.0新架构。

[Linkis-606] 拆分Linkis0.X的EngineReceiver为多种Service，封装到Executor模块。

[Linkis-608] 增强Linkis启动和关闭服务的脚本，优化启动步骤。

[Linkis-618] 增强PublicService和ContextService模块，以适配Linkis1.0新架构。

[Linkis-638] 增强Linkis Common的加密功能。

[Linkis-643] 增强DataSource模块，以适配Linkis1.0新架构。

[Linkis-645] 增强Linkis Hadoop模块，使Linkis支持多套Hadoop 集群。

[Linkis-648] 增强Linkis httpclient模块以支持PUT和Delete请求。

[Linkis-650] 优化Linkis mybatis模块,以与mybatis-plus集成。

[Linkis-652] 增强Linkis protocol模块，以适配Linkis1.0新架构。

[Linkis-654] 增强Linkis Gateway模块，支持通过标签路由转发前端请求。

[Linkis-655] 增强Linkis JobHistory模块，支持缓存Job的结果集，强化Job标签的管理功能。

[Linkis-656] 优化Linkis RPC模块序列化器的底层实现。

[Linkis-660] 增强Linkis Scheduler模块，支持自动清除空闲的Consumer。

[Linkis-662] 增强Linkis user control模块，以适配Linkis1.0新架构。 [Linkis-663] 增强Linkis Entrance模块，以适配Linkis1.0新架构。 [Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 增强Linkis storage模块，以支持viewFS和多hadoop集群。 [Linkis-674] 增强PythonEngineConn，以适配Linkis1.0新架构。 [Linkis-675] 优化目录，更新所有pom文件的版本信息。

社区贡献

Linkis 1.0.0-RC1的发布与WeDataSphere社区的贡献者密不可分。他们无私奉献自己的时间，并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助，Linkis 1.0.0-RC1不能如此顺利地发布。

谢谢社区的所有贡献者！

升级向导

原则上，Linkis 1.0.0-RC1的所有接口都向下兼容，因此升级对上层应用无感。 作为计算中间件，除了PublicService的用户配置数据外，Linkis数据库中的其他数据无需迁移。 有关PublicService用户配置数据的迁移，请参阅Linkis Wiki：Linkis1.0.0-RC1升级文档。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Apache Ignite 2.8.0 版本发布，内存计算平台，里程碑版本更新
• Kotlin 1.4 第一个里程碑版本 M1 发布
• Dubbo 2.6.5 发布，里程碑版本 2.7.0 前哨
• Dubbo 2.6.5 发布，里程碑版本 2.7.0 前哨
• Phoronix Test Suite 8.6 发布，第一个里程碑版本。
• 微服务框架 Micronaut 1.1.0 首个里程碑版本发布

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。