机器学习需要怎样的硬件？

如果你想要了解未来的机器学习硬件是什么样子，那么最好看看在这个领域中占绝大多数处理和应用的超大规模用户和云建设者正在部署什么。或者更准确地说，看看他们的ODM合作伙伴试图向其他公司兜售的硬件，他们的灵感来自于超大规模用户和云建设者正在使用的工具。

浪潮（Inspur）公司就是一个很好的例子。浪潮是一家新兴的基础设施制造商，总部位于中国，但正在向北美和欧洲扩张。

浪潮非常了解中国的四大巨头——阿里巴巴、百度、腾讯、中国移动或京东（第四和第五取决于你心中的排名）——在其庞大的基础设施方面所做的工作，而且浪潮在其中一些客户中占据主导地位。正如我们在2018年10月报道的那样，当时浪潮正在进军开放计算（Open Compute）领域，它大约有一半的普通服务器和大约80%的GPU加速机器学习出货量是给中国的超大规模用户和云建设者的。浪潮还与美国四大企业之一微软合作，开发其当前一代的Project Olympus服务器。其设计通过Facebook倡导的开放计算项目（Open Compute Project）开源，还有其他一些受到浪潮与阿里巴巴和腾讯的制造协议启发的超大规模用户硬件。2018年，浪潮的服务器预订量有望达到60亿美元，在竞争激烈的服务器市场上，这个数字不算太低。

要做到这一点需要很大的努力，机器学习领域的许多创新都是由超大规模用户和云建设者完成的，他们需要把关于我们的所有数据货币化，需要与他们合作或直接支持研究的学术人员，还需要传统的和新兴的IT供应商。

浪潮公司数据中心与云部门副总裁兼总经理，主要负责美国和加拿大市场的Dolly Wu在接受The Next Platform采访时表示：“超大规模用户肯定利用这项技术作为其业务增长的推动力，而且他们真的很好地利用了这一技术。微软、谷歌、阿里巴巴、腾讯等超大规模用户都在快速增长。我们认为，这种增长的部分原因是人工智能。如果HPC（高性能计算）基本上是让机器非常快地完成任务，那么AI所做的就是向机器注入智能，使其更快地帮助人们处理业务问题。”

简而言之，这就是为什么各种人工智能技术，无论是基于机器学习还是其他统计技术，最终都将被嵌入到各种企业应用中。

基于浪潮向超大规模用户和云建设者客户销售的产品（这是该行业在IT市场的代表性部分），机器学习训练主要由GPU加速服务器主导，但机器学习推理（使用经过训练和简化的模型）仍主要在CPU上完成，但是一些公司开始使用CPU和GPU或者CPU和FPGA的混合。Wu指出，英特尔正在寻求通过在未来几个月正式发布的“Cascade Lake”Xeons SP中添加矢量神经网络指令集（VNNI，也被称为深度学习Boost或DLBoost）来保护其用于推理工作负载的CPU的销售。有一些定制ASIC也试图进入推理领域，不仅限于谷歌的Tensor Processing Unit（TPU）芯片，它只是一个例子而已。

Wu说：“CPU仍然是推理市场的主体，英特尔声称，所有推理的80%仍然是在他们的标准CPU上完成的。FPGA正在超大规模用户领域被广泛采用和使用，但它们还没有真正渗透到二级云服务提供商或更多的普通企业。”

与亚马逊一样，阿里巴巴也是一家在线零售商，也是一家公共云服务提供商。它让我们看到了超大规模用户所面临的挑战，以及他们如何利用机器学习通过大量的自动化来推动销售。

阿里巴巴在其各个网站上（淘宝、阿里巴巴和天猫是最主要的几个）拥有数亿客户和数以百万计的商家，以前的支付宝支付服务（类似于PayPal，现在被称为蚂蚁金融）也是一个庞然大物，或许是最有价值的支付平台，估值约为1500亿美元，足以比肩阿里巴巴集团3500亿美元的市值。阿里巴巴是一家庞大的企业，自动化是绝对必要的。我们都知道它是发明之母。这项业务产生了大量的客户信息，众所周知，这些信息是等待机器学习来挖掘的黄金。

世界上最大的购物日属于阿里巴巴，即每年的双十一“光棍节”，这个节日始于电子商务热潮开始之前的1993年，当时，这是南京大学庆祝单身的一种方式，但阿里巴巴已将这一天变成了世界上最大的购物日，比黑色星期五、网络星期一，以及亚马逊黄金日加起来还要大。请见阿里巴巴自2013年双十一真正流行以来的总商品价值（GMV）：

2018年双十一的销售数据被广泛报道，阿里巴巴旗下6万个品牌的销售额达到308亿美元（粗略地用GMV来表示，不是阿里巴巴的实际收入）。在2018年双十一开始的85秒内，阿里巴巴的销售额就达到了10亿美元，并在一小时内实现了100亿美元的销售额。2018年双十一308亿美元的总销售额比2017年增长了27%，这是一个很大的数字。在双十一的前3个月，阿里巴巴从浪潮订购了5万台服务器，浪潮供应其大部分基础设施（但不是全部），以满足阿里巴巴在2018年预计的销售额增量，并推动新型应用，这将使阿里巴巴在一开始的24小时内就能完成如此多笔交易。

去年的双十一，阿里巴巴网站的推荐引擎是由机器学习推理驱动的，更具体而言，据Wu所说，阿里巴巴选择了Xilinx的FPGA来驱动推理，选择了英伟达的GPU来驱动训练。（Inspur有自己的F10A FPGA卡和为FPGA编程的TF2推理引擎，这个推理引擎运行混合使用8位和4位整数以及32位浮点运算的TensorFlow推理模型。）

机器学习也被用于编程机器人和无人机，这些机器人和无人机用于自动转移阿里巴巴仓库中的库存（是产品，而非数据），还有一些聊天机器人用于95%的客户服务电话，因为处理许多与人的通话不能很好地扩展。这些聊天机器人能够在一定程度上解读人类的情感，知道在客户非常激动的时候为客户转接真人客服。这有助于他们平静下来。最后，机器学习被用来驱动阿里巴巴为旗下10多万家零售店开发的面部识别软件和支付系统。该系统可以让顾客自行选购，并自动为他们拿的东西付费。（亚马逊 Go 商店也承诺提供同样的功能。）

所有这些机器学习都需要硬件。

目前，FPGA卡只是放在基础架构服务器中，该服务器中运行应用来处理推理，具体而言，这些是由阿里巴巴、百度和腾讯发起的，由浪潮的支持的“Project Scorpio”开源硬件工作创建的服务器机架，这是英特尔Rack Scale架构的模拟，在某种程度上是Open Compute标准和Open Rack设计的模拟。有趣的是，浪潮制造自己的基于Xilinx FPGA的卡而不是从Xilinx购买它们，并且很可能有一天它会出售自己的基于英特尔Altera FPGA的卡。在浪潮的出货量上，它可以成为ODM，而无法成为英特尔或Xilinx。 

虽然有很多初创公司正在开发定制芯片来进行推理，但至少在超大规模用户中（当然，谷歌除外），Wu认为这些芯片的成功机会并不大。“我看不到定制ASIC腾飞的机会。它太贵了，而且目的太专一了。”

在机器学习训练方面，阿里巴巴使用的是AGX-4系统，这是一款2U、双插槽的Intel Xeon SP服务器，配有四个NVIDIA V100 GPU加速器（通过PCI-Express交换机和GPU sidecars，即GX4，可以在一个系统中扩展到最多16个GPU）。这些机器的成本约为80000美元，满载CPU、内存、闪存和8个GPU。据Wu表示，阿里巴巴已经计划明年采用即将推出的AGX-5系统。AGX-5系统是Nvidia HGX-2系统的衍生产品，该系统使用其NVSwitch互连将16个GPU连接在一个存储空间中。

事实是：浪潮的售价将远低于英伟达与之类似的DGX-1和DGX-2的售价，尽管由于超大规模用户和云建设者客户的保密性，吴无法对此进行具体的比较。根据我们在浪潮上看到的有限的定价信息，我们的猜测是，浪潮的价格将会比DGX-1和DGX-2低40％到50％。

接下来，阿里巴巴希望拥有的——以及浪潮正在努力建设的——是可组合的基础设施，这将允许整合不同于CPU计算的FPGA和GPU加速器，允许将加速器动态配置到CPU上，以适应不同且不断变化的工作负载。

这里的想法是只购买你需要的CPU、GPU、FPGA和闪存，并在整个网络中提高这些不同组件的利用率，而不是通过根据特定工作负载在构建时对服务器进行不同的物理和静态配置来提高利用率。Wu说，数据中心的平均利用率仍然只有12%左右（仅衡量CPU利用率），谷歌的使用率最高，约为30%。但是有了可组合的基础设施，这些组件的利用率可以提高到60%到90%。

至少这是一个梦想。