内容简介:Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:
Volcano 是基于 Kubernetes 的批处理系统,源自于华为云 AI 容器。
Volcano 方便 AI、大数据、基因、渲染等诸多行业通用计算框架接入,提供高性能任务调度引擎,高性能异构芯片管理,高性能任务运行管理等能力。
整体架构
Volcano 提供一整套目前 Kubernetes 在批量和弹性工作负载处理中缺失的机制,包括:
- 机器学习/深度学习
- 生物信息学/基因组学
- 其他“大数据”应用
这些类型的应用程序通常运行在 Volcano 集成的 Tensorflow,Spark,PyTorch,MPI 等通用域框架上。
Volcano 为 Kubernetes 添加的机制和功能的一些例子:
1、作业管理的扩展和改进,如:
- Multi-pod 作业
- 生命周期管理扩展,包括挂起、恢复和重启
- 提升错误处理
- 作业的索引
- 任务依赖
2、调度扩展
- 联合调度
- 公平调度
- 队列调度
- 抢先和收回
- 预订和回填
- 基于拓扑逻辑的调度
3、运行时扩展
- 支持 Singularity 等专用容器运行时,具有 GPU 加速器扩展和增强的安全功能
4、其他
- 数据局部感知和智能调度
- 优化数据吞吐量,往返延迟等
Volcano 建立在使用多个系统和平台大规模运行各种高性能工作负载的十五年经验之上,并结合了开源社区的最佳创意和实践。
以上所述就是小编给大家介绍的《华为发布Volcano开源项目,让AI算力像火山一样迸发》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 聆听中国开源最强音 | 国内大厂开源项目齐聚 OSCAR 开源先锋日
- 小米 9 开源内核代码,上市即开源
- 开源 | 陌陌风控系统正式开源
- 开源 |《Go 语言高级编程》开源图书
- 开源不只是“喊喊” 看红帽的开源之道
- 中国开源走向世界,深圳落成国际开源谷
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
JS 压缩/解压工具
在线压缩/解压 JS 代码
HEX HSV 转换工具
HEX HSV 互换工具