项目网址： http://hiroharu-kato.com/projects_en/neural_renderer.html
代码网址：https://github.com/hiroharu-kato/neural_renderer
论文名称：Neural 3D Mesh Renderer(CVPR2018)
概述
对于二维图像背后的三维世界建模，哪一种三维表示最合适?现在常见的表示方法有点云、体素和网格，其中多边形网格具有良好的紧致性和几何性质。但是使用神经网络直接由多边形网格生成图像比较困难，因为光栅化的过程阻止了反向传播。因此，作者提出了一个近似的梯度栅格化，使渲染集成到神经网络。使用这个渲染器，可以执行带有轮廓图像监督的单图像三维网格重建，并且该系统比现有的基于体素的方法更好。此外，作者还首次在2D监督下执行基于梯度的3D网格编辑操作，如2D到3D风格迁移和3D DeepDream。
简介
从二维图像理解三维世界是计算机视觉的基本问题之一。人类在大脑中使用视网膜上的图像来模拟3D世界，机器也可以通过在2D图像背后显式地建模3D世界来更智能地工作。从3D世界生成图像的过程叫做渲染，这在计算机视觉里面非常重要。哪种3D表示方法是最适合建模3D世界？通常有体素、点云和多边形网格。体素难以生成高质量的体素，因为他们是在三维空间有规律地进行采样，并且记忆效率比较低。点云存在纹理和照明难以应用的问题，因为点云没有表面。多边形网格由一系列顶点和表面组成，因此它们是可伸缩的，并且有面，进而作者采用了这种方式。
使用网格这种表示方式有两个好处，第一个是表示三维模型时，需要的参数少，模型和数据集也相应比较小。第二个就是它适合几何变换。对象的旋转、平移和缩放由顶点上的简单操作表示。这篇文章提出了两个应用，如下图所示。第一个是单图像三维网格重建，第二个是基于梯度的3D网格编辑，包括风格迁移和DeepDream。
这篇论文主要有三个方面的贡献：
1.提出了一个近似的梯度网格渲染，使渲染集成到神经网络；
2.实现了从单图像实现三维网格重建，并且没有3D监督；
3.实现了基于梯度的三维网格编辑操作，例如风格迁移和3D DeepDream。
相关工作
1.神经网络中的三维表示：三维表示有很多方法，比如前面提到的体素、点云等，但是它们都有一定的不足，或者不适合三维重建。其中，多边形网格具有存储效率高、适用于几何变换且具有曲面等特点，因此它实际上是计算机图形学（CG）和计算机辅助设计（CAD）中的标准形式。然而，由于多边形网格的数据结构是一个复杂的图形，很难集成到神经网络中。
2.单图片三维重建：从图像中估计三维结构是计算机视觉中的一个传统问题，大多数方法使用真实的三维模型来学习2D到3D的映射函数，有些作品通过深度预测重建三维结构，有些则直接预测三维形状。实际上，无需3D监督即可实现三维预测，只需要待重建物体的轮廓即可。
3.通过梯度下降编辑图像：利用可微特征提取器和损失函数，通过反向传播和梯度下降，可以生成损失最小的图像，DeepDream就是这样一个例子。初始图像被反复更新，使得其图像特征的大小变得更大，通过这个过程，像狗和汽车这样的物体逐渐出现在图像中，图像风格转换可能是最熟悉和最实际的例子了，给定内容图像和样式图像，将生成具有指定内容和样式的图像。
该渲染器提供图像相对于网格顶点和纹理的渐变。因此，利用二维图像的损失函数就可以实现网格的DeepDream和风格转换。
渲染的近似梯度
1.渲染通道及其派生：一个3D网格由一组顶点和面组成，每个顶点No是一个三维向量，表示这个顶点在3D物体空间中的坐标，每个面F是由三个顶点所围成的三角形。为了生成这个对象，物体空间中的顶点No被转化为屏幕空间中的顶点Ns，这个顶点Ns是一个二维向量。
通过采样从屏幕空间的顶点Ns和面F生成图像，这个过程叫做光栅化。下图说明了单个图像的光栅化：
Vi是面的一个顶点，Ij是像素Pj的颜色值。Xi现在的位置是x0。当Xi向右移动，面的边与Pj的中心碰撞时，X1是Xi的位置。当Xi=X1时，Ij变成Iij
2.单面光栅化：这一部分主要讲解了当像素点在里面或者外面时，如何定义偏导函数。涉及到的公式比较多，后面将以视频的方式呈现，如果想要提前了解的可以联系我。
3.多面光栅化：如果有多个面，光栅化器只在每个像素处绘制最前面的面，这与标准方法相同。在向后传递的过程中，首先检查是否绘制了交叉点Iij、Iaij和Ibij，如果它们被不包括Vi的表面遮挡，则不流动梯度。
4.纹理：纹理可以映射到面上。在这个项目中，每个面都有自己的大小为St×St×St的纹理图像。使用质心坐标系确定纹理空间中对应于三角形{V1，V2，V3}上位置P的坐标。换句话说，如果P表示为P=W1V1+W2V2+W3V3，则让（w1，w2，w3）成为纹理空间中的相应坐标。
5.照明：照明系统可以直接应用于网格上，在这项工作中，使用了简单的环境光和无阴影的平行光。设la和ld分别为环境光和平行光的强度，nd为指示平行光方向的单位矢量，nj为面的法向矢量。然后，将表面像素Ilj的修改颜色定义为:
神经渲染器的应用
1.单图像三维重建：基于体素的方法能够直接生成一个3D模型，但是对于网格来说比较困难。因此，在这项工作中，作者不是从头生成网格，而是将预定义网格变形以生成新网格。具体地说，使用一个有642个顶点的各向同性球体，并使用局部偏置向量Bi和全局偏置向量C将每个顶点Vi变成Vi+Bi+C的形式。分别定义轮廓损失Lsl和平滑度损失Lsm如下所示：
轮廓损失中的S表示的是二进制mask，平滑度损失中的θ表示相邻两个面的夹角度数，两个损失函数分别保证了渲染后的效果和模型的光滑。
2.基于梯度的三维网格编辑：在这项工作中，基于其渲染图像R来优化由顶点Vi、面Fi和纹理Ti组成的3D网格m，而不是生成图像进行编辑。
2D到3D的风格迁移：在本节中，作者提出了一种将图像Xs的样式传输到网格Mc上的方法。对于二维图像，风格迁移是通过同时最小化内容损失和风格损失来实现的。在这里，作者把内容指定为三维网格Mc。为了使生成的网格形状与Mc相似，假设两个网格的顶点到面的关系相同，我们重新定义了如下内容损失函数：
作者使用了与2D应用中相同的风格损失，如下所示：
同时使用正则化器来降低噪声，设P表示图像R中所有相邻像素对的一组颜色：
3D DeepDream：设f(x)为输出图像x特征图的函数。对于2D图像来说，通过从x=x0开始的梯度下降最小化-|f(x)|2F来实现图像x0的DeepDream。在类似的过程中，将-|f(R(m，φ))|2F相对于Vi和Ti最小化来实现DeepDream。
结果展示
从单个图像重建三维网格。第一列：输入图像；第二至第四列：网格重建；第五至第七列：体素重建。
通过体素IoU测量重建精度，越高越好。可以看到基于网格的方法在13个类别中有10个类别的性能优于基于体素的方法。
网格在风格转换和DeepDream中的初始状态
2D到3D风格迁移。风格图片有汤姆森5号（黄色日落）、巴别塔、尖叫和毕加索肖像
3D网格的DeepDream
以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，也希望大家多多支持 码农网
猜你喜欢:
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
High Performance Python
Micha Gorelick、Ian Ozsvald / O'Reilly Media / 2014-9-10 / USD 39.99
If you're an experienced Python programmer, High Performance Python will guide you through the various routes of code optimization. You'll learn how to use smarter algorithms and leverage peripheral t......一起来看看 《High Performance Python》 这本书的介绍吧!
