华为发布Volcano开源项目,让AI算力像火山一样迸发

栏目: 软件资讯 · 发布时间: 6年前

内容简介:Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。

华为发布Volcano开源项目,让AI算力像火山一样迸发

Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。

整体架构

华为发布Volcano开源项目,让AI算力像火山一样迸发

Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:

  • 机器学习/深度学习
  • 生物信息学/基因组学
  • 其他“大数据”应用

这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。

Volcano 为 Kubernetes 添加的机制和功能的一些例子:

1、作业管理的扩展和改进,如:

  • Multi-pod 作业
  • 生命周期管理扩展,包括挂起、恢复和重启
  • 提升错误处理
  • 作业的索引
  • 任务依赖

2、调度扩展

  • 联合调度
  • 公平调度
  • 队列调度
  • 抢先和收回
  • 预订和回填
  • 基于拓扑逻辑的调度

3、运行时扩展

  • 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能

4、其他

  • 数据局部感知和智能调度
  • 优化数据吞吐量,往返延迟等

Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。


以上所述就是小编给大家介绍的《华为发布Volcano开源项目,让AI算力像火山一样迸发》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

数据挖掘导论

数据挖掘导论

Pang-Ning Tan, Michael Steinbach / 范明 范宏建 / 人民邮电出版社 / 2006-01-01 / 49.00元

本书全面介绍了数据挖掘的理论和方法,旨在为读者提供将数据挖掘应用于实际问题所必需的知识。本书涵盖五个主题:数据、分类、关联分析、聚类和异常检测。除异常检测外,每个主题都包含两章:前面一章讲述基本概念、代表性算法和评估技术,后面一章较深入地讨论高级概念和算法。目的是使读者在透彻地理解数据挖掘基础的同时,还能了解更多重要的高级主题。此外,书中还提供了大量示例、图表和习题。 本书适合作为......一起来看看 《数据挖掘导论》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

HEX CMYK 转换工具
HEX CMYK 转换工具

HEX CMYK 互转工具