面向高维稀疏数据场景的深度学习框架 X-DeepLearning

• 授权协议: Apache 2.0
• 开发语言: C/C++ Python
• 操作系统: 跨平台
• 软件首页: https://github.com/alibaba/x-deeplearning
• 软件文档: https://github.com/alibaba/x-deeplearning
• 官方下载: https://github.com/alibaba/x-deeplearning

软件介绍

X-DeepLearning (简称 XDL ) 是面向高维稀疏数据场景（如广告/推荐/搜索等）深度优化的一整套解决方案。

现有开源框架在分布式性能、计算效率、水平扩展能力以及实时系统适配性的等方面往往难以满足工业级生产应用的需求，XDL 正是面向这样的场景设计与优化的工业级深度学习框架，经过阿里巴巴广告业务的锤炼，XDL 在训练规模和性能、水平扩展能力上都表现出色，同时内置了大量的面向广告/推荐/搜索领域的工业级算法解决方案。

系统核心能力

• 为高维稀疏数据场景而生。支持千亿参数的超大规模深度模型训练，支持批学习、在线学习等模式。

• 工业级分布式训练能力。支持 CPU/GPU 的混合调度，具备完整的分布式容灾语义，系统的水平扩展能力优秀，可以轻松做到上千并发的训练。

• 高效的结构化压缩训练。针对互联网样本的数据特点，提出了结构化计算模式。典型场景下，相比传统的平铺样本训练方式，样本存储空间、样本IO效率、训练绝对计算量等方面都大幅下降，推荐等场景下整体训练效率最大可提升10倍以上。

• 成熟多后端支持。单机内部的稠密网络计算复用了成熟开源框架的能力，只需要少量的分布式驱动代码修改，就可以把 TensorFlow/MxNet 等的单机代码运行在 XDL 上，获得 XDL 分布式训练与高性能稀疏计算的能力。

介绍来自：云栖

本文地址：https://codercto.com/soft/d/11679.html