近日,字节跳动宣布推出开源机器学习平台 Klever。Klever 是一个支持 OCI(Open Container Initiative)标准存储训练模型、支持在线模型服务部署的云原生机器学习平台。算法科学家可以使用 Klever 进行模型管理、模型解析、模型转换、模型服务,它已经解决了智能技术落地流程中的如下问题:
- 模型的管理和分发
- 模型解析和转换
- 在线模型服务部署和管理
Klever 有四个自研发的组件:
- ormb:模型打包、解压、上传、下载工具(点击了解 ormb)
- model-registry:模型仓库及模型服务 API 管理层
- modeljob-operator:ModelJob controller,管理模型解析、模型转换任务
- klever-web:前端组件
并依赖三个开源组件:
- Istio:开源服务网格组件,模型服务通过 Istio 对外暴露模型服务地址,实现模型服务按内容分流和按比例分流
- Harbor:模型底层存储组件,对模型配置和模型文件进行分层存储
- Seldon Core:开源模型服务管理的 Seldon Deployment CRD 的 controller,通过 SeldonDeployment CR 实现模型服务的管理
暂无回复。