GANs 千万条，安全第一条

By 超神经

生成对抗神经网络（ GANs ）是深度学习（ ML ）下一步发展的关键，它在很多领域都有很大的应用前景。

但 GANs 的繁荣还需要跨过硬件和框架这两座高山。

什么？ GAN

对于 GANs 的发展，或许可行的一个策略是，先占据图像和视频领域的市场，然后再转移其他区域。比如，模拟的数据集能用于 HPC（高性能计算机群）应用程序。

但基础设施和软件的协同发展，什么时候才能适配更多的应用还不得而知。即便如此， GANs 的作用和影响力也是十分瞩目，它足以完成有针对性的工作，为 AI 的下一个阶段做好准备。

一些不熟悉的人会存在疑问，为什么已经有了很多成熟的 ML 方法，还要去费力研究 GANs ？

事实上， GANs 取得的成果，胜过了简单的识别和分类方法，它是基于参考或样本生成输出，而结果却不同凡响。

从功能上讲，GAN 与其他卷积神经网络很相近。GAN 中的判别器的核心计算类似于基本图像分类器，而生成器类似于产生内容的卷积神经网络。

GAN 是由两个的深度学习网络组成：生成网络和判别网络，其实是 ML 中已有的概念，但它们却以新的方式协同工作，这也是 GANs 的独特之处。

在进行图形类工作时，生成器获取数据集并尝试将其转换为图像，例如，它会通过数据合成图像，然后传递给判别器，由判别器给出一个判定，以区分出图片是「真实的」或「伪造的」。

生成器从判别器的反馈中学习它的弱点，二者在相互博弈中取得更好的效果。但这样的方式使训练所需的计算也更复杂，也会面临一些新的困难。

GANs 面临的困难

GANs 的性能优良，但充分利用起来也不容易。比如会遭遇模式崩溃，这将导致训练和反馈过程的不稳定。

另一个常见问题是，对抗中的一个网络压倒了另一个。例如，生成器产生了让判别器无法分辨的图像，这种情况下，生成器就无法得到好的反馈，进而无法得到有效的学习。

所幸的是对抗失衡的问题能够及时调整，但对硬件的高要求，就没那么容易处理。

训练一个简单的神经网络需要一定的算力，所以 GAN 会给系统带来了压力，尤其是内存需求。

在只有 CPU 的机器上很难胜任此类工作，而要用到 GPU，这就要面对现实中资源有限的问题。

Nvidia 的应用 ML 副总裁 Bryan Catanzaro 说到，「 GANs 需要更高的计算能力，而基础设施方面也正在向其看齐。使用 GANs 时，你需要有更多的数据流量，因为这些模型会非常庞大并且有很多参数，所以训练需要大量的算力和内存。」

「我们训练时，许多 GAN 都受到内存限制，即使只训练一到两个批量大小的模型，也会填满整个 GPU 内存，因为模型通常都很庞大。」

好 GANs 配好鞍

Catanzaro 补充到，「在训练时建立一个更大的系统会很有帮助，此外将批次分在多个 GPU 也很有价值。但这就需要强大 GPU 中心互连，比如在 DGX-1 上用来做视频 GANs 的 NVlink 」。

在这个方面，他们所做的用于游戏交互式视频生成的工作，展示了 GANs 的优秀性能， GAN 几乎能够近乎实时动态生成环境。

他也提到了 DGX-2，「一旦准备就绪，将会加速我们的工作。」

对于 Nvidia 在视频合成方面，应用 GAN 的工作中, GPU 上运行大模型的问题尤为突出。

「我们关心图形问题，有兴趣使用它们来生成视频游戏，作为创建内容的更好方式，通过训练现实世界的视频，能轻松地创建虚拟世界。」

「但这个过程也很复杂，尤其是视频 GANs ，因为这不仅要生成当下的图像，还要生成一系列与之相关的图像。这就要求更好的存储器和计算性能。」

比如我们最近谈论 GANs 在药物发现方面的潜力。就发现，除了对抗网络之外，还需要强化学习组件以及判别器的反馈，这就增加了对基础设施的要求。

药物初创公司 Insilico Medicine 使用高性能 GPU 集群来适应他们在系统中的模型，虽然取得了一些成功，但要更进一步，仍然需要更大的算力，更多的内存和更好的内存带宽。

GANs 的未来

「任何规模的 GANs 都可以用在图像和视频生成以外的学术，技术或企业领域中，但在广泛用例之前，硬件和软件限制都需要得到解决，这对当下来说还为时尚早。」 Catanzaro 说到。

「对于 GANs 用在其他地方有人做过尝试，比如用在文本和音频应用程序，但结果并不像图像和视频那样优异。」

这也恰恰说明了，在尝试之前很难证明什么是有效的。

「就目前而言，GANs 在视觉领域取得了巨大成功，这也是它在医学成像中占据上风的原因。」 Catanzaro 补充道。

虽然希望更多公司可以在游戏或内容生成中探索超越图像和视频的广泛应用空间，但这个平台的双方都需要更加成熟的条件。

对于 GANs 的研究，似乎每天都会有新的一些观点和进展，但能够在硬件上高效运行的应用程序的缺失，会造成出力不讨好的局面。

不过，从 AI 的发展可以看出，不断的进行优化和调整，可能会在短期内将遥远的技术带进我们的视野。

是时候去 GAN 了

由于 GPU 是主要的训练平台，Nvidia 正在引领 GANs 的一些开创性工作，即使他们拥有最好的 DGX 系统，这依然是一项具有挑战性的训练任务。

不难预测，在未来的图形和游戏方面，拥有雄厚实力的 Nvidia ，可能会改变游戏规则。

但看到 GPU 从消费者的游戏设备，一跃成为超级计算机的动力加速器，也许我们能学到的是，不能因为一项技术只带来好的游戏体验，就在研究上对它产生轻视。

总而言之，在新的一年，除了视频和图像创作上，希望在更多领域都能看到关于GANs 的应用 。

但在使用 GANs 时，你也许要先配备好足够的硬件环境。那么，就不说了，去 GAN 吧！祝你好运~