GMIS 2017大会Leo Dirac演讲：MXNet在分布式机器学习训练中的优势

内容简介：GMIS 2017大会Leo Dirac演讲：MXNet在分布式机器学习训练中的优势

全球机器智能峰会（GMIS 2017），是全球人工智能产业信息服务平台机器之心举办的首届大会，邀请了来自美国、欧洲、加拿大及国内的众多顶级专家参会演讲。本次大会共计 47 位嘉宾、5 个 Session、32 场演讲、4 场圆桌论坛、1 场人机大战，兼顾学界与产业、科技巨头与创业公司，以专业化、全球化的视角为人工智能从业者和爱好者奉上一场机器智能盛宴。

5 月 27 日，机器之心主办的全球机器智能峰会（GMIS 2017）在北京 898 创新空间正式开幕。本次大会邀请了「LSTM 之父」Jürgen Schmidhuber、《人工智能：一种现代方法》的作者 Stuart Russell、Citadel 首席人工智能官邓力等知名人工智能专家登台演讲。

下午 2 点，Leo Parker Dirac 发表了演讲。Leo Dirac 是亚马逊人工智能首席工程师，目前致力于 Apache MXNet 机器学习框架的开发工作。他的演讲主题是 MXNet 在工业级的深度学习应用。

正如上午通用电气 Wesly Mukai 的演讲中说到的，在亚马逊，人工智能-机器学习技术已经渗入到了这家公司的各个业务，并已产生了巨大价值。

去年底，亚马逊曾经展示了完全自由购物的超市 Amazon Go。这是一家不需要店员的商店，顾客只需要在进门时刷一次二维码，拿上想要购买的商品，就可以大摇大摆地走出商店。在这个过程中，商店内的摄像头和传感器会采集用户的行动，通过计算机视觉和机器学习获知他们购买了哪些商品，随后自动结账。

亚马逊对于工业级机器学习运用和传统公司有所不同。「首先定义一下工业级的深度学习，」Deo Dirac 说道，「这不是关于矿厂或者是火车、铁路，在这里我要定义一下我的工业级的 AI，它是基于数以百万级用户上的人工智能应用，包括大规模场景识别，或者是亚马逊的商店。」

Amazon Go 是一种未来购物的体验，背后需要机器学习技术的支撑。自 AlexNet 创造了很高的图像分辨成绩后，随着深度神经网络的发展，网络层数的增多导致了训练模型所需的计算能力不断升高，这导致了机器学习的效率变低。Aphache MXNet 就是为了应对这样的挑战而生的，亚马逊致力于将 MXNet 构建为高效率可扩展的机器学习框架。

MXNet 流行于学界和业界，在社区贡献的代码中，只有大约三分之一是亚马逊自己的。

MXNet 起源于卡内基梅隆大学和华盛顿大学的实验室，它是一个全功能、可编程和可扩展的深度学习框架，支持最先进的深度学习模型。MXNet 支持混合编程模型（命令式和声明式编程）和多种编程语言的代码（包括 Python 、C++、R、Scala、Julia、Matlab 和 JavaScript）。2017 年 1 月 30 日，MXNet 被列入了 Apache Incubator 开源项目。

MXNet 支持深度学习架构，如卷积神经网络（CNN）、循环神经网络（RNN）和其包含的长短时间记忆网络（LTSM）。该框架为图像、手写文字和语音的识别和预测以及自然语言处理提供了出色的工具。有些人称 MXNet 是世界上最好的图像分类器。

MXNet 具有可扩展的强大技术能力，如 GPU 并行和内存镜像、快速编程器开发和可移植性。此外，MXNet 与 Apache Hadoop YARN（一种通用分布式应用程序管理框架）集成，使 MXNet 成为 TensorFlow 有力的竞争对手。

MXNet 也支持最近流行的生成对抗网络（GAN）模型。该模型启发自实验经济学方法的纳什均衡。

MXNet 是为分布式机器学习训练而设计的。Leo Dirac 介绍说，MXNet 在进行 AlexNet 任务中可以可以达到接近 90% 的效率，即使是在同时使用 256 个 GPU 时也能保证 88% 的运行效率，这意味着并行计算可以大大减少训练所需要的时间。

另一方面，MXNet 支持平行训练。在这种方式中，每个工作器可以获得整个模型的使用权，使用自己的数据分别进行训练。「在模型训练中，我们也可以应用 SGD——快速联动扫描的模式来训练整个神经网络，」Leo Dirac 说道。「利用 SGD，我们可以将大量不精确的数据加以利用。」

亚马逊认为，提高分布式计算的根本方法在于让通讯的方式更加高效。Leo Dirac 表示：「我们需要一个统一的服务器，每一个工作器都只与服务器对话，而不是每一个工作器都与其他所有工作器对话。所有的信息都集中在这一个参数服务器上，它被称为 Parameter Server，作为集中的地方，统一集中所有的信息，再负责把信息分配下去。」

在 MXNet 上，开发者只需要简单的代码即可以轻松实现多 GPU（在上面的例子中只需要加一行代码），甚至多用户训练，这是它对于其他框架的优势。

「过去，在很多其他的深度学习框架里，一些模型根本是不可能实现的。也许我们可以实现，但在那些框架中，我们需要理解刚才说的所有的理论，并且必须让自己成为一个非常好的分布式神经网络专家才能设计出一个应用级产品。但是如果我们使用 Apache MXNet，就不需要成为一个专家，也能够来进行编程了。」

亚马逊的人工智能团队正在不断改进 MXNet。通过不断地改进框架，深度学习正逐渐从实验室中走进我们的生活。

以上所述就是小编给大家介绍的《GMIS 2017大会Leo Dirac演讲：MXNet在分布式机器学习训练中的优势》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！

查看所有标签

猜你喜欢:

• 视频演讲： Tera 大型分布式表格系统的架构设计与实践
• 视频演讲： Tera 大型分布式表格系统的架构设计与实践
• 视频演讲： 谷歌云全球分布式系统架构设计在游戏产业的实践
• 深度学习和几何（演讲提要）
• 视频演讲： 移动 App 性能监测
• 聊聊技术演讲的二三事

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。