机器之心 翻译
Mihir Garimella、Prathik Naidu 作者 Geek ai、晓坤 参与
超越像素平面：聚焦3D深度学习的现在和未来
在过去的 5 年中，3D 深度学习方法已经从使用三维数据的派生表示（二维投影）转变为直接使用原始数据（点云）。而在方法上也从将二维卷积神经网络应用到三维数据上转变为专门为三维场景设计的方法，这大大提高了物体分类和语义分割等任务的性能。这些结果非常有前景，它们证明了通过三维技术观察和表示这个世界是有价值的。然而，这个领域才刚刚步入发展的快车道。
想象一下，如果你正在建造一辆自动驾驶汽车，它需要了解周围的环境。为了安全行驶，你的汽车该如何感知行人、骑车的人以及周围其它的车辆呢？你可能会想到用一个摄像头来满足这些需求，但实际上，这种做法似乎效果并不好：你面对的是一个三维的环境，相机拍摄会使你把它「压缩」成二维的图像，但最后你需要将二维图像恢复成真正关心的三维图像（比如你前方的行人或车辆与你的距离）。在相机将周围的三维场景压缩成二维图像的过程中，你会丢掉很多最重要的信息。试图恢复这些信息是很困难的，即使我们使用最先进的算法也很容易出错。
相反，用三维数据来增强对世界的二维视图是非常好的做法。与其试着从一张二维图像中估计你和行人或其它车辆的距离，你不如通过传感器直接对这些物体进行定位。但是，这样做又会使感知的工作变得十分困难。如何在三维数据中识别人、骑车者和汽车这样的目标呢？传统的像 卷积神经网络 （CNN）这样的深度学习技术，能够使在二维图像中识别这些目标变得简单而直接，但是它们也需要进行一些调整从而适应在三维环境下的工作。幸运的是，三维感知问题在过去的几年中已经被人们广泛研究，我们在本文中的任务就是对这项工作进行一个简要的概述。
具体来说，我们将关注最近的三维目标分类和语义分割的深度学习技术。我们将首先回顾一些获取和表示三维数据的常用方法的背景。接着，我们将介绍三种不同的表示三维数据的基本深度学习方法，最后，我们将介绍未来有前景的新研究方向，并且从我们的视角总结该领域未来的走向。
我们如何获取并表示三维数据？
显然，我们需要能够直接在三维空间进行操作的计算机视觉方法，但是这向我们提出了三个明确的挑战：感知、表示和理解三维数据。
感知
获取三维数据的过程是复杂的。虽然二维摄像头既便宜又随处可见，但是三维感知通常需要专用的硬件设备。
Stereo vision 需要使用多个摄像头，测量感知目标的位置变化，从而计算深度信息。（来源：爱丁堡大学）
1：立体视觉系统 Stero 需要在相对于待测物体特定的一些位置固定两个或多个摄像头，并且利用这样设定的结构获取不同场景下的图像，匹配相应的像素点，计算每个像素点对应的位置在不同的图像间的差异，从而计算出该像素点在三维空间中的位置。人类大致上就是像这样感知这个世界的。我们的眼睛会捕捉到两个独立的对于关于我们眼前世界的「图像」，接着大脑会从左眼和右眼的视角来看某个物体的位置有何不同，从而确定其三维位置。Stero 涉及到的硬件系统十分简单，这正是它吸引人的地方，它仅仅需要两个或多个普通的摄像头。然而，这种方法在对准确率和运行速度有要求的应用程序中表现并不好，这是因为使用视觉细节来匹配不同的摄像头得到的图像之间对应的像素点不仅具有很高的计算复杂度，而且在缺乏纹理特征或视觉重复的环境中也很容易出错。
RGB-D 摄像头输出一个四通道图像，该图像包含颜色信息和每个像素的深度（来源：九州大学）
2：RGB-D 涉及到对一种特殊摄像头的使用，这种摄像头除了颜色信息（「RGB」），还可以获取深度信息（「D」）。具体而言，它能够获取通过普通的二维摄像头得到的彩色图像，而且还能告诉你这些图像中像素点的某些子集代表的物体离摄像头有多远。在系统内部，RGB-D 传感器要么通过「结构光」技术工作，要么通过「飞行时间法」（TOF）工作。「结构光」技术能够将红外线图案投射到一个场景上，并且感知这种图案是如何在几何表面上变形的；「飞行时间法」会观察其发出的红外线返回摄像头所需要的时间。举例来说，微软的 Kinect 以及 Iphone X 的 FaceID 传感器都是 RGB-D 摄像头。由于这些传感器在尺寸相对较小、成本较低的同时，也能在对视觉匹配错误具有免疫性的同时很快地运行，所以 RGB-D 是一种很好的感知手段。然而，RGB-D 摄像头的深度输出常常有许多的「孔洞」，这是由于遮挡（前景中的物体遮挡住了其后方物体的投影），模式感知失败以及感知范围的问题（在离摄像头更远的地方，投影和感知会变得很困难）。
激光雷达（LiDAR）使用多个激光束（同心圆模式）直接感知环境的集合结构（Giphy）。
3：激光雷达会向物体发出快速激光脉冲，测量它们返回传感器所需要的时间，这类似于我们在上面描述的「飞行时间法」，但是激光雷达的感知范围更远，能够捕获更多像点，并且抗其它光源干扰的能力更强。目前，大多数的三维激光雷达传感器都会发出一些（多达 64 个）垂直排列的光束，会在传感器周围的各个方向上快速旋转。出于对准确性、感知范围以及鲁棒性的要求，目前大多数的自动驾驶汽车都会采用这种系统。但是激光雷达传感器存在的问题是，它们通常都很大很重并且极其昂贵（大多数自动驾驶汽车使用的 64 束传感器需要花费 7.5 万美元）！因此，许多公司目前正在尝试开发更加廉价的「固态激光雷达」系统，它无需旋转就可以在三维场景下进行感知。
三维表示
一旦你获取了三维数据，你就需要以一种形式来表示它，这种形式将作为你正在构建的处理流程的输入。以下是四种你应该已经知道的表示方式：
三维数据的不同表示方式。（a）点云（来源：加州理工学院）；（b）体素网格（来源：印度理工学院）；（c）三角网格（来源：华盛顿大学）；（d）多视角表示（来源：斯坦福大学）。
a. 点云即三维空间中点的集合；每一点都是由某个（xyz）位置决定的，我们同时可以为其指定其它的属性（如 RGB 颜色）。它们是激光雷达数据被获取时的原始形式，立体视觉系统和 RGB-D 数据（包含标有每个像素点深度值的图像）通常在进行进一步处理之前会被转换成点云。
b. 体素网格是从点云发展而来的。「体素（Voxel）」就好比三维空间中的像素点，我们可以把体素网格看作量化的、大小固定的点云。然而，点云在空间中的任何地方能够以浮点像素坐标的形式涵盖无数个点；体素网格则是一种三维网格，其中的每个单元（或称「体素」）都有固定的大小和离散的坐标。
c. 多边形网格由一组带公共顶点的凸多边形表面组成，可近似一个几何表面。我们可以将点云看作是从基础的连续集合表面采样得到的三维点集；多边形网格则希望通过一种易于渲染的方式来表示这些基础表面。尽管多边形网格最初是为计算机图形学设计的，但它对于三维视觉也十分有用。我们可以通过几种不同的方法从点云中得到多边形网格，其中包括 Kazhdan 等人于 2006 年提出的「泊松表面重建法」。
d. 多视图表示是从不同的模拟视角（「虚拟摄像头」）获取到的渲染后的多边形网格二维图像集合，从而通过一种简单的方式表现三维几何结构。简单地从多个摄像头（如立体视觉系统 stereo）捕捉图像和构建多视图表示之间的区别在于，多视图实际上需要构建一个完整的 3D 模型，并从多个任意视点渲染它，以充分表达底层几何结构。与上面的其他三种表示不同，多视图表示通常只用于将 3D 数据转换为易于处理或可视化的格式。
理解
现在，你已经将你的三维数据转化成了易于理解的形式，你需要做的是真正构建一个计算机视觉处理流程来理解它。这里的问题在于，传统的在二维图像上性能良好的深度学习技术（如 CNN）在处理三维数据时可能会很困难，具体情况取决于数据的表示。这使得传统的如目标检测或图像分割等任务变得具有挑战性。
通过多视图输入学习
使用三维数据的多视图表示是将二维深度学习技术应用到三维场景下的最简单的方式。这是一种将三维感知问题转化为二维感知问题的明智做法，但它仍然在某种程度上允许你对物体的三维几何结构进行推理。早期的利用这种思想的基于深度学习的工作是 Su 等人在 2015 年提出的 multi-view CNN。
这是一种简单却十分有效的网络架构，它可以从三维物体的多个二维视图中学到特征描述符。实现这种方法与对目标分类任务使用单个二维图像相比，提高了模型的性能。这种方法通过将一张张图像输入在ImageNet上预训练好的 VGG 网络，从而提取出显著的特征、将这些结果向量组合在一起，并且将这些信息传递给其余的卷积层进行进一步的特征学习得以实现。
multi-view CNN 架构（来源：multi-view CNN）
然而，multi-view 图像表示仍然有很多的局限性。主要的问题是你并没有真正在三维环境下学习，固定数量的二维视图仍然只是一个对于底层的三维结构的不完美的近似。因此，像语义分割这样的任务，特别是在跨越更复杂的物体和场景时，就会因为从二维图像中获得的特征信息有限而变得具有挑战性。此外，这种可视化三维数据对于像自动驾驶和虚拟现实这样计算开销非常大的任务来说是不可扩展的。请记住，生成多视图表示需要渲染一个完整的三维模型并且模拟一些任意的视点。多视图学习仍然有许多缺陷，这些缺陷促使人们研究直接利用三维数据进行学习的方法。
通过体积式表示学习
通过体素网格进行学习可以解决多视图表示的主要缺点。体素网格缩小了二维和三维之间的差距，它们是最接近图像的三维表示形式，这使得二维深度学习的概念（比如卷积操作）能够容易地应用于三维情景。
Maturana 和 Scherer 在 2015 年提出的 VoxNet（2015）是最早在给定体素网格输入的情况下在物体分类任务上取得优异表现的深度学习方法。VoxNet 使用的是概率占用网格，其中的每个体素都包含了该体素在空间中被占用的概率。这样做的一个好处就是，它允许网络区分已知是自由的体素（例如，激光雷达光束经过的体素）和占用情况未知的体素（例如，激光雷达击中位置后方的体素）。
VoxNet 架构（来源：VoxNet）
VoxNet 的架构本身非常简单，它由两个卷积层、一个最大池化层和两个用于计算输出的类别得分向量的全连接层组成。这个网络比最先进的图像分类网络要浅得多，参数也少得多，但是它是从上百种可能的 卷积神经网络 架构中挑选出来的。由于体素网格与图像十分相似，它们实际上使用的带步长的卷积和池化运算都是从二维像素的工作方式进行调整迁移到三维体素上来的。卷积算子使用的是 d×d×d×c 的卷积核而不是二维 卷积神经网络 中使用的 d×d×c，池化运算考虑的是不重叠的三维体素块而不是二维像素块。
VoxNet 存在的一个问题是，该架构本质上并没有旋转不变性，尽管作者合理地假设传感器保持直立，使体素网格的 z 轴和重力方向保持一致，但是并没有假设物体会绕着 z 轴旋转：一个物体从背后看仍然对应相同的物体，即使在体素网格中的几何形状与我们所学的卷积核有很大的不同。为了解决这个问题，他们使用了一个简单的数据增强策略。在训练中，他们多次对每个体素网格进行旋转，并且在所得到的副本上进行训练；接着在测试时，他们将最后的全连接层在输入的不同方向上得到的输出进行池化。他们指出，这种方法比 Su 等人使用的多视图 CNN 在「视图池化」步骤中所做的对中间卷积层输出进行池化的方法能更快收敛。通过这种方式，VoxNet 通过在输入的体素网格的不同旋转方向上共享相同的学到的卷积核权值来学习这种旋转不变性。
VoxNet 代表着我们向真正的三维学习迈进了一大步，但是体素网格仍然具有一些缺点。首先，与点云相比，它们丢失了分辨率。因为如果代表复杂结构的不同点距离很近，它们会被被绑定在同一个体素中。与此同时，与稀疏环境中的点云相比，体素网格可能导致不必要的高内存使用率。这是因为它们主动消耗内存来表示自由和未知的空间，而点云只包含已知点。
通过点云学习
PointNet
考虑到这些使用基于体素的方法存在的问题，近期的工作将重点放在了直接在原始点云数据上进行操作的架构上。最值得人们注意的是 Qi 等人于 2016 年提出的 PointNet 是最早的处理这种不规则三维数据的方法。然而，正如作者所指出的，点云仅仅是一组通过 xyz 坐标表示位置的点。更具体地说，当我们给定点云中的 N 个点，网络需要学到相对于这 N 个输入点的全排列不变的唯一特征，因为这些输入给神经网络的点的顺序并不会影响底层的几何形状。此外，网络应该对点云的旋转、平移等转换有很强的鲁棒性，而放缩操作也不应该影响预测结果。
为了保证对于不同的输入顺序的不变性，PointNet 背后的解决方案的关键思路是使用一个简单的对称函数，该函数为任意顺序排列的输入生成一致的输出（加法和乘法就属于这类函数）。在这种直觉的引导下，PointNet 背后的基本架构（称 PointNet Vanilla）可以定义为：
其中 f 是将输入点转换为 k 维向量的转换函数（用于物体分类）。该函数 f 可以近似表示为另一个存在的对称函数 g。在方程中，h 是一个多层感知机（MLP），它将单个输入点（以及它们相应的特征，如 xyz 位置、颜色、表面法线等）映射到更高维度的潜在空间。最大池化操作则会作为对称函数 g 起作用，它将学到的特征聚合为点云的全局描述符。这个单一特征向量会被传递给 另一个输出物体预测结果的多层感知机 γ。
为了应对学习对于点云的几何变换具有不变性的表示方式的挑战，PointNet 使用了一个称为 T-Net 的小型网络，它将仿射变换应用于输入点云。这个概念类似于 Jaderberg 等人于 2016 年提出的空间变换网络（https://arxiv.org/pdf/1506.02025.pdf），但是比它要简单得多，因为在这里不需要定义新的类型的层。T-Net 由可学习的参数组成，这些参数使 PointNet 能够将输入点云变换为一个固定的、规范的空间，从而确保整个网络对于即使是最细微的变化都具有很强的鲁棒性。
PointNet 的架构（来源：PointNet）
整体的 PointNet 架构继承了最基本的方法和 T-Net 以及多层感知机层，它们为点云创建特征表示。然而，除了物体分类之外，PointNet 还支持对物体和场景进行语义分割。为了实现这一点，该架构将来自最大池化对称函数的全局特征和将输入数据传递给一些多层感知机后学到的点特征相结合。通过将这两个向量连接起来，每个点都知道它的全局语义和局部特征，这使网络能够学习额外的、有助于分割的更有意义的特征。
使用 PointNet 得到的室内场景的语义分割结果（来源：PointNet）
PointNet++
尽管 PointNet 取得了令人满意的结果，其最主要的缺点是该架构不能获取点附近的底层局部结构，这一思想类似于使用 CNN 从图像中不断增大的感受野中提取特征，为了解决这个问题，Qi 等人于 2017 年开发了 PointNet ++。
它是一个从 PointNet 派生出来的架构，但是也能从点云的局部区域中学习到特征。这种方法的基本结构是一个有层次的特征学习层，它包含三个关键步骤：（1）为局部区域采样一些点作为质心，（2）根据到质心的距离对这些局部区域中的相邻点进行分组，（3）使用一个 mini-PointNet 对这些区域进行特征编码。
这些步骤将被不断重复，从而在点云中不同大小的点组中学习特征。这样做可以使网络更好地理解整个点云的局部点集中的底层关系，最终有助于提升泛化性能。这项工作的结果表明，PointNet++ 相对于包括 PointNet 在内的现有方法的性能有显著提升，并且在三维点云分析基准测试（ModelNet40 和 ShapeNet）中取得了目前最好的模型性能。
有前景的新研究领域
Graph CNNs
目前关于处理三维数据的深度学习架构的研究主要关注点云表示，而最近许多的工作扩展了从 PointNet/PointNet++ 发展而来的思想，从其它领域获得灵感，进一步提高了模型性能。举例而言，Wang 等人于 2018 年提出的动态图 卷积神经网络 （https://arxiv.org/pdf/1801.07829.pdf），使用了基于图形的深度学习方法来改进点云中的特征提取工作。其思想是，PointNet 和 PointNet++ 不能捕获各个点之间的几何关系，因为这些方法需要对不同的输入顺序的排列组合保持不变性。然而，通过将一个点和它周围最近的邻居作为一个有向图来考虑，Wang 等人构建了 EdgeConv 算子，它能够生成数据中各点独特的特征。如果你有兴趣学习更多关于图结构上的机器学习的知识，可以参阅这篇概述：https://thegradient.pub/structure-learning/
SPLATNet
SPLATNet 架构（来源：SPLATNet）
另一方面，一些研究不同于 PointNet/PointNet++ 中提出的经典特征提取方法，选择设计一种新的点云处理方法。Su 等人于 2018 年提出的 SPLATNet 架构是点云研究领域这个新的研究热点的很好例子。SPLATNet 的作者设计了一个新的架构和卷积算子，它可以对点云直接进行操作。这篇论文背后的关键思想是将「感受野」的概念转换为了不规则点云，这使得空间信息即使在稀疏区域（PointNet/PointNet++ 的一个主要缺陷）中也可以保持。特别吸引人的一点是，SPLATNet 可以将从多视图图像中提取的特征投影到三维空间中，将二维数据与原始点云以一种端到端的可学习的架构进行融合。SPLATNet 通过使用这种二维-三维联合学习取得了目前最好的语义分割模型性能。
基于截椎体的 PointNet
利用二维边界框估计生成的三维截椎体可视化结果（来源：Frustum PointNets）
基于同时使用二维数据和三维数据的思路，Qi 等人的 Frustrum PointNet 于 2017 年提出了一种将 RGB 图像和点云融合从而提高在大型三维场景中定位物体的新方法。传统的解决该任务的方法是通过直接在整个点云上的滑动窗口上执行分类来确定物体可能的三维边界框，这样做的计算开销非常大，并且很难进行实时预测。Qi 等人的工作有两个主要的贡献。首先，他们建议首先使用标准的 卷积神经网络 在二维图像上进行物体检测，提取出一个与待检测的物体可能从属点云区域相对应的三维边界框，然后在点云的这个「切片」上进行搜索。这大大缩小了边界框估计的搜索空间，减少了检测错误的可能性，在很大程度上简化了处理流程，这对自动驾驶应用十分关键。其次，Qi 等人设计了一种新颖的基于 PointNet 的架构，它可以直接对实例进行分割（将点云分割为一个个独立的物体），并一次性地在整个三维边界框中进行边界框估计，而不是在边界框搜索过程中执行经典的滑动窗口分类工作。这使得他们的方法对遮挡和稀疏等情况即迅速又鲁棒。最终，由于这些改进，这项工作发布时，它在 KITTI 以及 SUN RGB-D 检测等对比基准上比之前所有的方法都取得了更好的性能。
结语
在过去的 5 年中，3D深度学习方法已经从使用三维数据的派生表示（多视图表示）转变为使用原始数据（点云）。在这个过程中，我们采用的方法已经从简单地将二维 卷积神经网络 应用到三维数据上（多视图 卷积神经网络 、体素网络 VoxNet）转变为专门为三维场景设计的方法（PointNet 以及其它基于点云的方法），这大大提高了物体分类和语义分割等任务的性能。这些结果非常有前景，因为它们证明了通过三维技术观察和表示这个世界是有价值的。然而，这个领域才刚刚步入发展的快车道。当前的工作不仅要着眼于提高这些算法的准确率和性能，还要确保鲁棒性和可扩展性。尽管目前大多数研究是由无人驾驶应用驱动的，但直接在点云上运行的新方法在三维医学影像、虚拟现实和室内地图中也将发挥重要的作用。
原文链接：https://thegradient.pub/beyond-the-pixel-plane-sensing-and-learning-in-3d/
理论 3D 深度学习 计算机视觉
相关数据
Autonomous cars
自动驾驶汽车，又称为无人驾驶汽车、电脑驾驶汽车或轮式移动机器人，是自动化载具的一种，具有传统汽车的运输能力。作为自动化载具，自动驾驶汽车不需要人为操作即能感测其环境及导航。
来源： 维基百科
Neural Network
（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。
来源：机器之心
Convergence
在数学，计算机科学和逻辑学中，收敛指的是不同的变换序列在有限的时间内达到一个结论（变换终止），并且得出的结论是独立于达到它的路径（他们是融合的）。 通俗来说，收敛通常是指在训练期间达到的一种状态，即经过一定次数的迭代之后，训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说，如果采用当前数据进行额外的训练将无法改进模型，模型即达到收敛状态。在深度学习中，损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变，暂时形成收敛的假象。
Computer Vision
计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。
来源：机器之心
ImageNet
Convolutional neural network
卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。
来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press. 维基百科
Machine Learning
机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。
来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.
Mapping
映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。
来源： Wikipedia
Pooling
池化（Pooling）是卷积神经网络中的一个重要的概念，它实际上是一种形式的降采样。有多种不同形式的非线性池化函数，而其中“最大池化（Max pooling）”是最为常见的。它是将输入的图像划分为若干个矩形区域，对每个子区域输出最大值。直觉上，这种机制能够有效的原因在于，在发现一个特征之后，它的精确位置远不及它和其他特征的相对位置的关系重要。池化层会不断地减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合。通常来说，CNN的卷积层之间都会周期性地插入池化层。
来源： cs231n
self-driving
从 20 世纪 80 年代首次成功演示以来（Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)），自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展，但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个：首先，在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境，从而进行实时推论。第二，信息性决策需要准确的感知，目前大部分已有的计算机视觉系统有一定的错误率，这是自动驾驶导航所无法接受的。
来源： 机器之心
perception
知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。
来源： 维基百科
Virtual reality
虚拟现实，简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。
来源： 维基百科
Deep learning
深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。
来源： LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.
Accuracy
分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。 在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数
机器之心编辑
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持 码农网
猜你喜欢:
- 掌握web开发基础系列--物理像素、逻辑像素、css像素
- 【译】只用 CSS 就能做到的像素画/像素动画
- 透明度叠加算法：如何计算半透明像素叠加到另一个像素上的实际可见像素值（附 WPF 和 HLSL 的实现）
- 开源人工智能算法一种新颖的超像素采样，网络深层特征估计超像素
- WPF 像素着色器入门：使用 Shazzam Shader Editor 编写 HLSL 像素着色器代码
- canvas像素画板
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
