内容简介:DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库,它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,使分布式训练变得容易、高效和有效。 新特性 DeepSpeed:面向所有人的极限模...
DeepSpeed v0.3.0 发布了。DeepSpeed 是微软开源的深度学习优化库,它可以在当前一代的 GPU 集群上训练具有超过千亿个参数的 DL 模型,使分布式训练变得容易、高效和有效。
新特性
- DeepSpeed:面向所有人的极限模型训练
- 通过 DeepSpeed 稀疏注意力提高 10 倍的序列长度和 6 倍的执行速度
- 使用管道并行性训练数万亿个参数
- 通过 1 位 Adam 最多可减少 5 倍的交流和 3.4 倍的训练
- 通过 ZeRO-Offload 在单个 GPU 上进行 10 倍于大型模型的训练
改进
- 重构代码库,以更清楚地区分 ops/runtime/zero 等
- 条件运算构建
- 并非所有用户都必须花时间构建 transformer kernels,如果他们不想使用的话
- 为了确保 DeepSpeed 在多个环境中可移植,某些功能需要唯一的依赖关系,但并非每个人都能够或想要安装
- DeepSpeed 启动器除了支持 pdsh 外还支持其他后端,例如 Open MPI 和 MVAPICH
更新说明:https://github.com/microsoft/DeepSpeed/releases/tag/v0.3.0
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 开源 | 深度有趣 - 人工智能实战项目合集
- Facebook开源深度学习推荐模型DLRM
- Uber 开源深度学习分布训练库 Petastorm
- 谷歌开源强化学习深度规划网络 PlaNet
- 阿里开源深度神经网络推理引擎 MNN
- 小米崔宝秋:小米 AIoT 深度拥抱开源
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
Android和PHP开发最佳实践
黄隽实 / 机械工业出版社华章公司 / 2013-3-20 / 79.00元
本书是国内第一本同时讲述Android客户端开发和PHP服务端开发的经典著作。 本书以一个完整的微博应用项目实例为主线,由浅入深地讲解了Android客户端开发和PHP服务端开发的思路和技巧。从前期的产品设计、架构设计,到客户端和服务端的编码实现,再到性能测试和系统优化,以及最后的打包发布,完整地介绍了移动互联网应用开发的过程。同时,本书也介绍了Android系统中比较有特色的功能,比如Go......一起来看看 《Android和PHP开发最佳实践》 这本书的介绍吧!
XML 在线格式化
在线 XML 格式化压缩工具
HEX HSV 转换工具
HEX HSV 互换工具