PyTorch 1.7 发布：支持 CUDA 11、FFT 新 API、及 Windows 分布式训练

内容简介：PyTorch 1.7 现已发布，此版本增加了许多新的 API、包括对与 NumPy 兼容的 FFT 操作的支持、用于性能分析的工具、以及对基于分布式数据并行（Distributed Data Parallel，DDP）和基于远程过程调用（Remote Proced...

PyTorch 1.7 现已发布，此版本增加了许多新的 API、包括对与 NumPy 兼容的 FFT 操作的支持、用于性能分析的 工具 、以及对基于分布式数据并行（Distributed Data Parallel，DDP）和基于远程过程调用（Remote Procedure Call, RPC）的分布式训练的重大更新。

此外，一些功能已经稳定下来，包括自定义 C++ 类、内存分析器、通过类似自定义张量对象的扩展、RPC 中的用户异步函数、以及 torch 中的许多其他功能，例如 Per-RPC timeout、DDP dynamic bucketing 和 RRef helper。

一些更新亮点如下：

• 正式支持 CUDA 11 ，二进制文件可通过 PyTorch.org下载。
• 在 autograd 分析器中更新和添加 RPC、 TorchScript 和 Stack traces 的分析和性能
• （Beta）通过 torch.fft 支持兼容 NumPy 的快速傅里叶变换（FFT）
• （原型）支持 Nvidia 新一代 A100 GPU 和原生 TF32 格式
• （原型）现在支持 Windows 上的分布式训练
• torchvision
  • （稳定） 变换现在支持 Tensor 输入、批量计算、GPU 和TorchScript
  • （稳定）用于 JPEG 和 PNG 格式的原生图像 I/O
  • （Beta）新的视频读取器 API
• torchaudio
  • （稳定）增加了对语音记录（wav2letter）、文本到语音（WaveRNN）和源分离（ConvTasNet）的支持

值得注意的是，从 PyTorch 1.6 开始，功能的状态将分为三种，分别是稳定、Beta 和原型。

可在此处找到完整的发行说明。

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

• Tensorflow上手4: 初探分布式训练
• MXNet 结合 kubeflow 进行分布式训练
• 分布式入门，怎样用PyTorch实现多GPU分布式训练
• PyTorch如何加速数据并行训练？分布式秘籍大揭秘
• 基于UAI-Train平台的分布式训练
• 字节跳动开源分布式训练框架BytePS，登上GitHub热榜

本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。