PyTorch v1.1 重大更新,TensorBoard已加入豪华套餐

栏目: Python · 发布时间: 5年前

内容简介:雷锋网 AI 科技评论按:Facebook 对人工智能相关技术的长期大规模投入尽人皆知。这些技术不仅构成了 Facebook 获得盈利的技术基础,Facebook 也宣称它们可以帮助 Facebook 成为一个更安全、更具包容性、更公平的平台。Facebook 对 AI 方面的成果也相当慷慨,不仅秉持着学术研究成果全面开放的作风,他们开发的深度学习框架 PyTorch 也易用、亲民,在工业级应用领域大有赶超谷歌 TensorFlow 之势。近日在 2019 年 Facebook 开发者大会「F8」上,Fac

PyTorch v1.1 重大更新,TensorBoard已加入豪华套餐

雷锋网 AI 科技评论按:Facebook 对人工智能相关技术的长期大规模投入尽人皆知。这些技术不仅构成了 Facebook 获得盈利的技术基础,Facebook 也宣称它们可以帮助 Facebook 成为一个更安全、更具包容性、更公平的平台。Facebook 对 AI 方面的成果也相当慷慨,不仅秉持着学术研究成果全面开放的作风,他们开发的深度学习框架 PyTorch 也易用、亲民,在工业级应用领域大有赶超谷歌 TensorFlow 之势。

近日在 2019 年 Facebook 开发者大会「F8」上,Facebook 公布了 PyTorch 的重大更新 1.1 版本,同时还发布并开源了其它多个开发工具,继续降低机器学习/深度学习模型开发调试以及深度学习专用硬件设计的门槛。雷锋网 (公众号:雷锋网) AI 科技评论把更新主要内容介绍如下。

更新更强的 PyTorch v1.1

PyTorch v1.1 重大更新,TensorBoard已加入豪华套餐

PyTorch 在设计之初就兼顾了科研需要的灵活性、模块性,以及工业级应用部署需要的稳定性和后续支持,它也具有类似 Python 的快速执行特性以及灵活的网络结构动态调整功能。随着 PyTorch 1.0 版本在去年 12 月发布,它也支持了基于图(Graph)的运行、前后端模块间的无缝混合运行、分布式训练、高效移动端部署等功能,此外还可以使用 PyTorch JIT(即时汇编)在图模式和动态图模式之间灵活切换。据 Facebook 介绍,许多企业已经把 AI 科研以及计算机视觉、对话系统、工业优化、自动驾驶等应用迁移到了 PyTorch 平台上运行。

如今 Facebook 正式宣布了 PyTorch v1.1 版本即将到来,包含性能提升、提升易用性的新的理解和视觉 工具 、新的 API 等。具体更新项目如下:

  • TensorBoard:TensorBoard 是一个web 应用套件,含有多种针对训练过程以及图的检查理解工具。PyTorch 1.1 中提供了优秀的原生支持,可以把 TensorBoard 用于可视化以及模型 debug。由于是原生支持,只需要一句简单的「from torch.utils.tensorboard import SummaryWriter」指令就可以调用。

  • JIT 编译器:针对即时汇编进行了多项改进,包括多项 bug 修复,增加了 TorchScript 中的多项功能(比如支持辞典、用户自定义类以及属性)。

  • 新的 API:支持布尔类型张量,以及对用户自定义的循环神经网络提供更好的支持。

  • 分布式训练:提升了 CNN 之类常见模型的性能,增加了多设备模块的支持,包括在使用分布式数据并行化(DDP)的同时为不同的 GPU 指定不同的模型,而且开始支持并不是在每次迭代中都使用所有参数的模型(比如控制流、自适应 softmax 等等)

Facebook 也和机器学习社区内的多个机构合作,孵化更多帮助机器学习工程师们更高效地工作的项目,涉及的方面从提升理解模型的能力一直到用 AutoML 之类的方法自动调节模型。

更多生产和科研辅助工具

在宣布 PyTorch v1.1 版本的同时,Facebook 也一并介绍了几个新的开源工具。它们都是已经在 Facebook 大规模部署的成熟项目,有 Facebook 自己开发的工具,也有和谷歌等业界领路人一同开发的产品和服务,都为开放、合作式的机器学习大家庭贡献了一份力量。其中最为重要的是 BoTorch 和 Ax,Facebook 有一篇单独的介绍

  • BoTorch:这是一个用于贝叶斯优化科研的基于 PyTorch 的开发库。BoTorch 使用了模块化设计,并且同时使用了基于蒙特卡洛的采集功能和 PyTorch 中的自动微分功能,可以极大提升开发效率。BoTorch 可以和任何 PyTorch 模型集成,这给同时使用贝叶斯优化和深度学习的科研带来了极高的灵活性。另外,贝叶斯优化的样本效率很高,很适合用于测试成本很高的黑盒功能的序列优化。

  • Ax:Ax 是一个便于使用、通用目的设计的适应性试验平台,它可以管理、部署、自动化机器学习试验。Ax 会使用 BoTorch 中的最新功能,为开发者优化产品、优化技术基础设施提供更多便捷。Ax 也降低了贝叶斯优化、多臂抽奖问题(multiarmed bandit)以及其他复杂试验技巧的使用门槛,帮助研究人员们更好地把科研想法引入到生产中。

  • PyTorch-BigGraph:这是一个为含有数十亿个节点、数千亿个边的超大规模图生成嵌入的分布式系统。它可以支持分片和逆向采样,并且提供了基于维基百科数据嵌入的使用示例。

  • Google AI Platform Notebooks:这是一个基于谷歌云平台的新的托管 JupyterLab 服务。数据科学家们可以快速创建支持运行 JupyterLab 的虚拟机,其中还预安装好了最新的 PyTorch。它也和 BigQuery、Cloud Dataproc、Could Dataflow、AI Factory 等 GCP 服务紧密整合,开发者几乎不需要离开 JupyterLab 就可以运行完成的机器学习全流程。

更多 PyTorch 学习资源

随着 PyTorch 渐入佳境,越来越多的教育平台也开始提供基于 PyTorch 的学习资源;况且 PyTorch 灵活动态的编程环境以及大家熟悉的 Python 界面都让它适合快速实验上手。谷歌 Colab 如今已经提供了交互式的 Jupyter Notebook 环境,为 PyTorch 提供了原生支持,开发者们可以在免费的 CPU 和 GPU 资源上运行任何 PyTorch 教程。斯坦福自然语言处理小组(Stanford NLP)、加州大学伯克利分校计算机视觉小组、加州理工大学机器人课程中都开始把 PyTorch 作为机器学习编程教学平台,MOOC 课程中更是让成千上万的 PyTorch 开发者得以快速学习。

和新版本、新工具一起,Facebook 宣布他们和优达学城(Udacity)建立合作,将在其中的深度学习入门课程中加入 PyTorch 教学,Facebook 还会提供为继续学习完整机器学习学位的参加者提供奖学金。Fast.ai 也将于今年 6 月提供新的使用 PyTorch 的深度学习课程。作为课程内容的一部分,fast.ai 还会更新包括 fastai.audio 库在内的新库作为 PyTorch 模块。

via https://ai.facebook.com/blog/pytorch-adds-new-dev-tools-as-it-hits-production-scale/ ,雷锋网 AI 科技评论编译

雷锋网版权文章,未经授权禁止转载。详情见 转载须知


以上就是本文的全部内容,希望本文的内容对大家的学习或者工作能带来一定的帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

离散数学及其应用(原书第5版)

离散数学及其应用(原书第5版)

[美] Kenneth H. Rosen / 袁崇义 / 机械工业出版社 / 2007-6 / 79.00元

《离散数学及其应用》(原书第5版)全面而系统地介绍了离散数学的理论和方法,内容涉及数学推广、组合分析、离散结构和算法设计。全书取材广泛,除包括定义、定理的严密陈述外,还配备大量的实例和图表的说明,各种联系和题目。以及丰富的历史资料和网站资源。第5版在前四版的基础上作了大量的改进,使其成为更有效的教学工具。。一起来看看 《离散数学及其应用(原书第5版)》 这本书的介绍吧!

HTML 压缩/解压工具
HTML 压缩/解压工具

在线压缩/解压 HTML 代码

XML 在线格式化
XML 在线格式化

在线 XML 格式化压缩工具

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具