从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

栏目: 编程工具 · 发布时间: 7年前

【51CTO.com原创稿件】当前,人工智能正在以前所未有的速度发展,它所蕴藏的巨大潜力将带给我们无限的想象。众所周知,计算、算法和数据是人工智能的三大基础,因此,要保证AI的成功就需要从这几方面入手。

随着数据量的增长和技术的发展,对数据进行处理的能力也有了长足的进步。特别是随着摩尔定律的延续,从2006到2017年,整体计算成本降低了56%,存储降低了77%,但同时性能提升了41倍。从性能和成本角度,AI在各个行业的落地已经具备了充足的条件。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

英特尔高性能计算解决方案和销售总经理 Nash Palaniswamy

日前,主题为“HPC+一切皆可计算”第十四届全国高性能计算学术年会(HPC China2018)在青岛召开。大会期间,英特尔高性能计算解决方案和销售总经理Nash Palaniswamy在接受51CTO记者采访时表示, 英特尔正在从以PC为中心的战略,转向以数据为中心的战略。在数据中心方面,英特尔希望帮助客户从计算、存储角度降低整体拥有的成本,增强整个系统的性能。从而,推动客户实现以数据为中心的基础设施转型。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

HPC China2018-英特尔展台

持久内存技术破解HPC存储挑战

人工智能特别是机器学习和深度学习,需要庞大的计算资源,随着数据的增长,高性能计算(HPC)变得越来越重要,只有拥有更好的HPC才能更好的训练深度学习模型。因此,我们不难理解,计算是人工智能的发展基础,而HPC则是人工智能最为坚实、可靠的计算力供给源泉。

实际上,大规模HPC的存储面临着非常大的挑战。在人工智能领域,存储需要更快的速度,同时数据在被移动和存储后,还能够进行实时处理。 在以数据为中心的基础设施中,英特尔的策略就是保证能够更好更快的移动数据、存储数据、处理数据。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

存储在HPC和AI中都非常重要,相比较于我们熟知的固态硬盘、内存,英特尔创新性的研发了持久内存(Persistent Memory)的产品形态。数据显示,持久内存未来将达到100亿美金的市场规模,对于实际应用程序的性能提升效果非常明显,原来需要十分钟的处理速度,现在可能只需要几秒钟。

Nash Palaniswamy表示,持久内存的闪存速度比SSD闪存会更快,将成为存储领域中非常重要的创新。 从一个完整的存储架构角度来说,无论是AI应用、HPC应用,还是一般的企业级应用,实际上都能够很大程度从大容量的持久内存中受益。

帮助用户一次性解决AI开发难题

目前,大多数HPC或人工智能应用都运行在英特尔至强可扩展处理器之上。从HPC和人工智能的关系来说,人工智能实际上是一种比较典型的高性能运算工作负载。但是单一的产品,并不能满足人工智能领域的所有应用,因此英特尔希望可以通过不同的产品线满足不同的市场需求。

Nash Palaniswamy指出,在整个AI开发流程中,实际上训练工作大约占到了全部时间的30%,训练之前要花费大量时间准备数据、格式化数据、处理数据、再输入进去,把数据用不同方式呈现给最终用户。但其实,训练应该只是整个流程中非常小的一个部分。 英特尔希望帮助用户搭建一个一致性的平台,不需要再去切换更多的平台,一次性解决AI开发难题。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

针对于人工智能,英特尔也将在下一代至强处理器中加入深度学习的加速器英特尔®DL Boost,在进行INT8运算时,最高可以提升约11倍性能。在新功能帮助下,用户在已有的软件优化条件下进行纯粹的训练运算时可以提升1.4倍的性能。但对于普通用户来说,其实并没有这么多的训练需求,一个星期可能只训练一次,为了这一次训练而单独采购一个额外的加速器,实际上并不是一个非常划算的投入。因此,在英特尔整体性能提升情况下,用户完全可以把训练工作放在英特尔已有的平台上进行处理。

除了硬件之外,软件框架也是人工智能领域非常重要的一个基础。今年3月,英特尔的人工智能产品团队宣布开源 nGraph,这是一个面向各种设备和框架的深度神经网络模型编译器。通过nGraph,数据科学家能够专注于数据科学研发,而不需要担心如何将 DNN 模型部署到各种不同设备做高效训练和运行。通过新的软件基础设施,英特尔能够给用户提供更多性能,从而可以更快的解决他们面临的问题。

Nash Palaniswamy给记者举了一个在医药行业的案例。英特尔正在与诺华(Novartis)合作,利用深度神经网络来加速高内涵筛选,这是早期药品研发的关键因素。该合作团队大大缩短了训练图像分析模型的时间,从之前的11小时变为了31分钟,近乎20倍的改变。在药物研发过程中,图像训练面临着很高的计算负载,大内存的AI处理方式在传统GPU上很难完成并且效率非常低,这种场景就非常适合用CPU处理。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

最终,该团队使用了八个基于CPU的服务器,一个高速光纤互连和优化的TensorFlow1。通过在深度学习训练中利用数据并行的基本原理,以及在服务器平台上充分利用大容量内存支持的优势,完成了每秒缩放超过120张3.9百万像素的图像的任务。因此,针对这种大内存或大数据量的应用需求,英特尔平台就体现出了非常强的性能优势。

揭秘至强平台新一代路线图

Nash Palaniswamy也对英特尔至强平台的新一代路线图进行了解读。英特尔将在今年年内推出Cascade Lake,也就是下一代英特尔至强可扩展处理器的核心,它将基于新一代平台,性能将会得到显著提升,包含新的I/O功能,增加人工智能深度学习加速器英特尔®DL Boost功能以提升INT8性能,以及英特尔®傲腾™数据中心级持久内存的创新,单个内存插槽最大可以支持到512G的内存容量。

从HPC瓶颈到AI开发难题,英特尔帮你“一次性解决”

未来,英特尔也会持续保持在数据中心领域的持续投入,预计明年将会推出Cooper Lake平台,2020年将会推出Ice Lake平台。

“从英特尔的策略来讲,不仅仅关注人工智能,更是推动着整个数据中心化趋势下基础设施的更新和创新。未来通过对AI、HPC、BigDL等技术的持续投入,为用户提供更加完善、更加强大的产品和解决方案。”Nash Palaniswamy说。

注重AI开发者和人才培养

在整个生态中,英特尔也非常注重开发者和人才培养,并希望用开源的方式推动AI实现更快的发展。目前,英特尔建立了AI学院和AI开发者社区,在全球已经有超过11万个开发者。同时,英特尔与全球超过90个大学在人工智能领域达成合作。

在中国,今年9月,南京大学与英特尔宣布成立了英特尔-南京大学人工智能联合研究中心,双方将在人工智能技术创新、人才培养以及生态建设方面进一步加强合作。

此外,英特尔还参与倡导发起了2018年“全国并行应用挑战赛”(PAC),PAC大赛也采用英特尔至强处理器作为推荐平台。在人工智能赛中,组委会选择华为云EI大数据MRS服务作为大赛结果评选的独家评审平台。

【51CTO原创稿件,合作站点转载请注明原文作者和出处为51CTO.com】

【责任编辑:Barry TEL:(010)68476606】


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

The Joy of X

The Joy of X

Niall Mansfield / UIT Cambridge Ltd. / 2010-7-1 / USD 14.95

Aimed at those new to the system seeking an overall understanding first, and written in a clear, uncomplicated style, this reprint of the much-cited 1993 classic describes the standard windowing syste......一起来看看 《The Joy of X》 这本书的介绍吧!

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具