TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

栏目: 数据库 · 发布时间: 5年前

内容简介:谷歌给TensorFlow加入了计算机图形处理功能计算机图形(Computer Graphics)和

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

谷歌给TensorFlow加入了计算机图形处理功能 TensorFlow Graphics ,让神经网络可以更好地理解计算机世界里的图形操作。

计算机图形(Computer Graphics)和 计算机视觉 (Computer Vision)是一对孪生兄弟,二者互为逆过程。

计算机图形是预先知道3D物体的形状、位置、材料构成,以及场景的灯光和相机,然后渲染出场景。

计算机视觉是已知拍到的图像,从中推断出有哪些物体,它们由什么材料制成,以及它们的3D位置和方向。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

图像识别自然不必多说。在TensorFlow Graphics,图像渲染包括对图形进行旋转、缩放、光影、3D网格等操作。

旋转

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

旋转在与一些机器人任务中非常重要,比如,用机械臂抓住物体需要精确估计这些物体相对于臂的位置。

缩放

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

缩放计算机视觉中起着重要作用,因为它会极大地影响投影到平面上的三维物体的外观。

光影材质

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

材质模型定义光与对象的交互方式,展现这种材料独特的外观。在某些虚拟环境中,可以预测某些物体的真实外观。

几何形状

从手机深度传感器到自动驾驶汽车激光雷达,近年来3D传感器越来越多。它们以网格或者点云的方式输出3D数据。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

由于它们的不规则结构,与提供规则网格结构的图像相比,这些表示上的卷积很难实现。TensorFlow Graphics有两个3D卷积层和一个3D池化层,允许网络在网格上执行语义部分分类的训练。

为何要推出TensorFlow Graphics

近几年,在神经网络架构中插入可微图形层的情况越来越多。尤其是 空间变换网络 ,这是2015年DeepMind在NIPS上发表的论文《Spatial Transformer Networks》。

这篇文章提出神经网络应当具有所谓“空间不变性”,即无论平移、旋转、缩放,都能够正确地识别和处理图像,但CNN在这方面的能力是欠缺的。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

在神经网络中插入这些可微图形层,可以来构建新的、更高效的网络架构。将几何和约束建模到神经网络中,可以通过自我监督的方式进行稳健、高效的训练。

另外,训练3D视觉任务的机器学习系统通常需要大量数据,需要设计机器学习模型,在没有太多监督的情况下进行训练,给网络加入计算机图形渲染的能力,能帮AI更好地理解3D世界。

安装使用

TensorFlow Graphics要求使用 TensorFlow 1.13.1 或更高版本。谷歌提供了CPU和GPU两个版本:

pip install --upgrade tensorflow-graphics
# CPU版本
pip install --upgrade tensorflow-graphics-gpu
# GPU版本

为了让用户能够进行可视化调试,TensorFlow Graphics还附带了一个TensorBoard插件,交互式地显示3D网格和点云。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

更多的实际效果可以去项目页提供的几个 Colab 笔记本中体验。比如前面提到的光影材质渲染:

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

传送门

官方介绍:

https://medium.com/tensorflow/introducing-tensorflow-graphics-computer-graphics-meets-deep-learning-c8e3877b7668

项目页:

https://github.com/tensorflow/graphics

— 完 —

小程序|get更多AI学习干货

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;

欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

Search User Interfaces

Search User Interfaces

Marti A. Hearst / Cambridge University Press / 2009-9-21 / USD 59.00

搜索引擎的本质是帮助用户更快、更方便、更有效地查找与获取所需信息。在不断改进搜索算法和提升性能(以技术为中心)的同时,关注用户的信息需求、搜寻行为、界面设计与交互模式是以用户为中心的一条并行发展思路。创新的搜索界面及其配套的交互机制对一项搜索服务的成功来说是至关重要的。Marti Hearst教授带来的这本新作《Search User Interfaces》即是后一条思路的研究成果,将信息检索与人......一起来看看 《Search User Interfaces》 这本书的介绍吧!

图片转BASE64编码
图片转BASE64编码

在线图片转Base64编码工具

RGB CMYK 转换工具
RGB CMYK 转换工具

RGB CMYK 互转工具