英伟达重大突破:用 AI 自动建模渲染图像,加快 3D 游戏开发

栏目: 后端 · 发布时间: 6年前

内容简介:AI 前线导读:这个简单的驾驶模拟器将变革视频游戏图像处理领域。最近,人工智能领域的繁荣已取得让人惊叹的成果,尤其是在图像和视频生成领域。最新的成果来自于芯片设计商英伟达,今天,该公司演示了如何结合传统视频游戏引擎和 AI 生成视频。这个混合型的图像系统将来可能会被用于视频游戏、电影和虚拟现实应用中去。

AI 前线导读:这个简单的驾驶模拟器将变革视频游戏图像处理领域。

更多干货内容请关注微信公众号“AI 前线”(ID:ai-front)

英伟达重大突破:用 AI 自动建模渲染图像,加快 3D 游戏开发

(真实视频录像和英伟达 AI 生成视频对比)

最近,人工智能领域的繁荣已取得让人惊叹的成果,尤其是在图像和视频生成领域。最新的成果来自于芯片设计商英伟达,今天,该公司演示了如何结合传统视频游戏引擎和 AI 生成视频。这个混合型的图像系统将来可能会被用于视频游戏、电影和虚拟现实应用中去。

英伟达应用深度学习副总裁 Bryan Catanzaro 表示,“这是一种使用深度学习生成视频的新方法,很明显英伟达很重视生成图像,并在思考 AI 将如何变革这个领域。”

英伟达的这一工作成果其实不是真实的,和大部分 AI 生成的图像一样,英伟达生成的视频中商标也是模糊的。这也并非一项全新的技术。在一篇研究论文中,该公司的工程师解释了他们如何基于一些现有方法,包括一个名为 pix2pix 的有影响力的开源系统,部署了生成对抗网络(GAN)。这种神经网络被广泛用于 AI 图像生成,包括最近由佳士得出售的 AI 肖像

但英伟达此次有所创新,发布了第一个由 AI 生成图像的视频游戏演示。利用这个简单的驾驶模拟器,玩家可以在 AI 生成的几个城市街区空间中导航,但不能离开车内或以其他方式与世界互动。该演示仅使用一个 GPU 即可实现,这一点非常领先。(虽然不可否认,他们使用的 GPU 是该公司价值 3000 美元的顶级产品 Titan V,据称是“有史以来最强大的 PC GPU”,而且通常用于高级模拟处理而不是游戏。)

英伟达系统可以在几个步骤内生成图像。

  1. 收集训练数据,数据来自用于自动驾驶研究的开源数据集。
  2. 将该镜头分段,每个帧被分成不同的类别:天空、车、树木、道路、建筑物等。
  3. 使用分段数据训练生成对抗网络,生成这些对象的新版本。
  4. 工程师使用传统流行的游戏引擎 Unreal Engine 4 创建虚拟环境的基本拓扑。使用此环境作为框架,深度学习算法实时生成每个不同类别项目的图像,将它们粘贴到游戏引擎的模型上。

“结构还是用传统的方法创建,”Catanzaro 解释说,“人工智能生成的唯一东西就是图像。”他补充道,演示本身是基本的操作,由一名工程师完成。 “这是概念验证,而不是一个有趣的游戏。”

英伟达重大突破:用 AI 自动建模渲染图像,加快 3D 游戏开发

(AI 生成图像比较:左上角是分割图;右上角是 pix2pixHD;左下角 COVST;右下角,英伟达系统 vid2vid。图片来源:英伟达)

为了创建这个系统,英伟达的工程师必须解决许多问题,其中最大的挑战是对象持久性。即如果深度学习算法以每秒 25 帧的速率生成现实世界的图像,他们如何保持对象看起来相同?Catanzaro 说这个问题意味着系统初期的生成结果将会“看起来像个灾难”,因为颜色和纹理“每帧都会改变”。

解决方案是给系统一个短期记忆,以便将每个新帧与之前的帧进行比较。它尝试预测这些图像中的运动等因素,并创建与屏幕上的内容一致的新帧。所有这些计算都很昂贵,因此游戏只能以每秒 25 帧的速度运行。

Catanzaro 强调,这项技术处于早期阶段,而且人工智能生成的图像可能需要几十年时间才能成为消费级产品。他将这种情况与光线跟踪的发展进行了比较,光线跟踪是当前图像渲染的热门技术,它能实时生成单独的光线,在虚拟环境中创建逼真的反射、阴影和不透明度。“第一次交互式光线追踪演示发生在很久很久以前,但直到几周前,我们还没有在游戏中得实现它,”他说。

这项工作确实在其他研究领域有应用潜力,包括机器人和自动驾驶汽车,它可以用来生成训练环境。不久之后,它可能会出现在消费产品中,尽管范围有限。

例如,该技术可用于混合图像系统,其中大多数游戏使用传统方法渲染,但使用 AI 创建人或物体的相似性。消费者可以使用智能手机自己获取素材,然后将这些数据上传到云端,算法将学习复制并将其插入到游戏中。例如,它可以更容易地创建看起来和玩家相似的头像。

然而,这种技术引起了一些明显的问题。近年来,专家越来越担心别有用心之人使用 AI 生成的伪造品进行虚假宣传。研究人员已经证明,生成一些政治家和名人从未说过的话合或做过的事非常简单,AI 将变成一把双刃剑。

同时,英伟达还提出,该技术可能会用于生成一些具有误导性的内容。Catanzaro 表示,英伟达正在和合作伙伴合作探索检测虚假 AI 的方法,但这种假消息最终是“信任问题”。和之前很多信任问题相似,此问题需要一些列的方法来解决,而不仅是技术手段。

Catanzaro 表示,英伟达需要负一部分责任,“难道 AI 生成假视频,发明电力的公司也需要负责任吗?”

对于英伟达来说,推动 AI 生成图像技术总的来说将会对其有益:它将帮助英伟达售卖更多的硬件,英伟达的股价也随着 2010 年深度学习的火爆而上升(虽然最近有下降的趋势),因为该公司的芯片与机器学习发展的需求非常契合。

原文链接:

https://www.theverge.com/2018/12/3/18121198/ai-generated-video-game-graphics-nvidia-driving-demo-neurips

英伟达重大突破:用 AI 自动建模渲染图像,加快 3D 游戏开发

链接: http://t.cn/E28YBT9


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

HTTP/2基础教程

HTTP/2基础教程

Stephen Ludin、Javier Garza / 罗正龙、郑维智 / 人民邮电出版社 / 2018-1 / 49.00元

让网站和应用更快速、更简洁、更稳健,从而有效提升用户体验,这无疑是众多开发者梦寐以求的。然而互联网发展日新月异,HTTP/1.1协议已经难以满足现今的需求。在众多Web性能提升方案中,HTTP/2值得尝试。 本书是HTTP/2实用指南,介绍了HTTP/2的设计初衷和新特性,以及如何才能充分利用这些特性来打造高性能网站及应用。作者用定量分析方法,对比了不同网络环境下及不同浏览器上HTTP/1.......一起来看看 《HTTP/2基础教程》 这本书的介绍吧!

在线进制转换器
在线进制转换器

各进制数互转换器

随机密码生成器
随机密码生成器

多种字符组合密码

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具