TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

栏目: 数据库 · 发布时间: 5年前

内容简介:谷歌给TensorFlow加入了计算机图形处理功能计算机图形(Computer Graphics)和

晓查 发自 凹非寺

量子位 报道 | 公众号 QbitAI

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

谷歌给TensorFlow加入了计算机图形处理功能 TensorFlow Graphics ,让神经网络可以更好地理解计算机世界里的图形操作。

计算机图形(Computer Graphics)和 计算机视觉 (Computer Vision)是一对孪生兄弟,二者互为逆过程。

计算机图形是预先知道3D物体的形状、位置、材料构成,以及场景的灯光和相机,然后渲染出场景。

计算机视觉是已知拍到的图像,从中推断出有哪些物体,它们由什么材料制成,以及它们的3D位置和方向。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

图像识别自然不必多说。在TensorFlow Graphics,图像渲染包括对图形进行旋转、缩放、光影、3D网格等操作。

旋转

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

旋转在与一些机器人任务中非常重要,比如,用机械臂抓住物体需要精确估计这些物体相对于臂的位置。

缩放

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

缩放计算机视觉中起着重要作用,因为它会极大地影响投影到平面上的三维物体的外观。

光影材质

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

材质模型定义光与对象的交互方式,展现这种材料独特的外观。在某些虚拟环境中,可以预测某些物体的真实外观。

几何形状

从手机深度传感器到自动驾驶汽车激光雷达,近年来3D传感器越来越多。它们以网格或者点云的方式输出3D数据。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

由于它们的不规则结构,与提供规则网格结构的图像相比,这些表示上的卷积很难实现。TensorFlow Graphics有两个3D卷积层和一个3D池化层,允许网络在网格上执行语义部分分类的训练。

为何要推出TensorFlow Graphics

近几年,在神经网络架构中插入可微图形层的情况越来越多。尤其是 空间变换网络 ,这是2015年DeepMind在NIPS上发表的论文《Spatial Transformer Networks》。

这篇文章提出神经网络应当具有所谓“空间不变性”,即无论平移、旋转、缩放,都能够正确地识别和处理图像,但CNN在这方面的能力是欠缺的。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

在神经网络中插入这些可微图形层,可以来构建新的、更高效的网络架构。将几何和约束建模到神经网络中,可以通过自我监督的方式进行稳健、高效的训练。

另外,训练3D视觉任务的机器学习系统通常需要大量数据,需要设计机器学习模型,在没有太多监督的情况下进行训练,给网络加入计算机图形渲染的能力,能帮AI更好地理解3D世界。

安装使用

TensorFlow Graphics要求使用 TensorFlow 1.13.1 或更高版本。谷歌提供了CPU和GPU两个版本:

pip install --upgrade tensorflow-graphics
# CPU版本
pip install --upgrade tensorflow-graphics-gpu
# GPU版本

为了让用户能够进行可视化调试,TensorFlow Graphics还附带了一个TensorBoard插件,交互式地显示3D网格和点云。

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

更多的实际效果可以去项目页提供的几个 Colab 笔记本中体验。比如前面提到的光影材质渲染:

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

传送门

官方介绍:

https://medium.com/tensorflow/introducing-tensorflow-graphics-computer-graphics-meets-deep-learning-c8e3877b7668

项目页:

https://github.com/tensorflow/graphics

— 完 —

小程序|get更多AI学习干货

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;

欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

TensorFlow也可以做图形渲染了:当神经网络遇上计算机图形学

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

500 Lines or Less

500 Lines or Less

Amy Brown、Michael DiBernardo / 2016-6-28 / USD 35.00

This book provides you with the chance to study how 26 experienced programmers think when they are building something new. The programs you will read about in this book were all written from scratch t......一起来看看 《500 Lines or Less》 这本书的介绍吧!

XML、JSON 在线转换
XML、JSON 在线转换

在线XML、JSON转换工具

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

HSV CMYK 转换工具
HSV CMYK 转换工具

HSV CMYK互换工具