Volcano 社区 v1.2.0 正式发布,基于 K8s 的容器批量计算平台

栏目: 软件资讯 · 发布时间: 3年前

内容简介:Volcano社区已正式发布v1.2.0版本。此次发布的1.2版本关键特性为支持TDM和SLA插件。 Volcano v1.2 关键特性介绍 SLA插件 SLA(Service Level Agreement)插件支持用户通过为作业定义最大预期等待时长的方式来进行...

Volcano社区已正式发布v1.2.0版本。此次发布的1.2版本关键特性为支持TDM和SLA插件。

Volcano v1.2 关键特性介绍

SLA插件

SLA(Service Level Agreement)插件支持用户通过为作业定义最大预期等待时长的方式来进行调度优先级排序。

用户可以对单个作业打上名为“sla-waiting-time”的annotation,定义最大预期等待时长。equeue action和allocate action将比较作业的实际等待时长和最大预期等待时长的关系。若已超时,该作业将被直接被标记为“piplined”的状态,获取优先分配资源的权利。JobOrderFn中会根据作业实际等待时间和最大预期等待时间的差值,决定作业调度的排序。

例1 作业的SLA定义

apiVersion: batch.volcano.sh/v1alpha1
kind: Job
metadata:
 annotations:
   sla-waiting-time: 1h2m3s  // 定义作业最大等待时长为1h2m3s

例2 全局定义作业SLA

用户也可以通过在scheduler的配置文件中定义全局SLA的方式,为所有作业配置SLA。

 actions: "enqueue, allocate, backfill"
 tiers:
- plugins:
- name: priority
- name: gang
- name: sla
arguments:
sla-waiting-time: 1h2m3s // 全局定义作业SLA

SLA插件的实现是对v1.1.0版本中作业资源预留特性设计的优化。点此查看该特性的详细设计和实现。

TDM插件

TDM(Time Division Multiplexing)插件的使用场景为:某些节点同时属于Kubernetes集群和Yarn集群,且被分时复用。

为了满足该场景,可提前为复用节点打上“volcano.sh/revocable-zone”标签,并在scheduler配置文件中配置分用时段。打上“volcano.sh/preemptable: true”标签的作业,其所属的Pod也将集成该标签。这类Pod将被优先调度到复用节点上。当复用节点的管理权在集群层面进行切换时(分用时段到期),复用节点上的负载将被驱逐,腾空后的节点纳入到新集群中。

例3 TDM插件在scheduler中的配置

 tiers:
   - plugins:
            - name: tdm
              arguments:
                tdm.revocable-zone.rz1: 1:00-4:00
                tdm.evict.period: 1m

其他特性

v1.2.0还新增了和系统稳定性、用户体验、性能优化有关的一些特性,如重构了overcommit插件、当作业更新时同时更新ssh secret、优化了nodeorder插件等。

详情查看 https://github.com/volcano-sh/volcano/releases/tag/v1.2.0

关于 Volcano

Volcano 是基于 Kubernetes 构建的批量计算平台,源自于华为云 AI 容器,提供作业管理、批量调度、依赖管理、资源预留等能力,支持包括 TensorFlow、Spark、MPI、Slurm 在内的多个业界主流计算框架,主要帮助用户将 AI、大数据等资源消耗波动大、计算密集型的业务从传统的 Batch、HPC 系统快速迁移到云原生。Volcano 也是 CNCF 首个和唯一的容器批量计算项目。

稿源:华为开源


以上所述就是小编给大家介绍的《Volcano 社区 v1.2.0 正式发布,基于 K8s 的容器批量计算平台》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

大话存储

大话存储

张冬 / 清华大学出版社 / 2008-11 / 58.00元

网络存储,是近二十年来的新兴行业。从纸带到硬盘再到大型磁盘阵列,存储系统经历了从简单到复杂,从单块硬盘到存储区域网络(SAN)。网络存储行业目前已经是一个步入正轨的IT行业了。. 网络存储是一个涉及计算机硬件以及网络协议/技术、操作系统以及专业软件等各方面综合知识的领域。目前国内阐述网络存储的书籍少之又少,大部分是国外作品,对存储系统底层细节的描述不够深入,加之术语太多,初学者很难真正理解网......一起来看看 《大话存储》 这本书的介绍吧!

URL 编码/解码
URL 编码/解码

URL 编码/解码

html转js在线工具
html转js在线工具

html转js在线工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具