内容简介:本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.引 言由于传感器本身的分辨率限制或物体的遮挡,现实场景中采集的点云往往不完整,而完整的点云对于点云理解有很大帮助。因此, 点云补全 在现实应用中有着非常重要的意义。
本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.
作者:哈尔滨⼯业⼤学在读博⼠ 谢浩哲
Paper: https://arxiv.org/pdf/2006.03761
Project Page:
https://haozhexie.com/project/grnet
GitHub: https://github.com/hzxie/GRNet
引 言
由于传感器本身的分辨率限制或物体的遮挡,现实场景中采集的点云往往不完整,而完整的点云对于点云理解有很大帮助。因此, 点云补全 在现实应用中有着非常重要的意义。
早期的工作(如3D-EPN [1])将该问题转换为体素的补全问题,然而转换为体素时会引入量化误差,从而丢失物体的细节。近几年的方法(如PCN [2] 、TopNet [3] 和Cascade Point Completion [4] 等)直接使用多层感知机回归点云的坐标值。但由于点云的无序性,多层感知机无法很好地获得点云的几何结构和相邻点的上下文信息。
反观近几年点云分割的方法(如SPLATNet [5] 和InterpConv [6] ),它们在Permutohedral Lattice和3D Grid中进行卷积操作,从而考虑点云的空间结构和上下文信息。然而 这两个方法假定点云中点的坐标和数量在输入输出时保持不变,因此无法直接用于点云补全 。
为了解决上述问题,本文提出了 Gridding Residual Network(GRNet) 将无序的点云规则化至3D Grid ,从而在点云补全中考虑了点云的空间结构和上下文信息,最终在点云补全任务中取得了更好的效果。
一、工作亮点
点云补全 在计算机视觉和机器人领域都有着重要的应⽤前景。现有的工作(如PCN、TopNet和Cascade Point Completion等)直接将多层感知机(Multi-layer Perceptrons,MLP)应用于点云,然而 多层感知机无法很好地获得点云的几何结构和上下文信息 。
为了解决这个问题,本文提出了 Gridding Residual Network(GRNet) 将无序的点云规则化至3D Grid,并提出了Gridding, Gridding Reverse和Cubic Feature Sampling更好地感知点云的几何结构和上下文信息。
此外,相比于Chamfer Distance,基于Gridding的Gridding Loss可以帮助网络更好地恢复点云的细节。 本文所提出的GRNet在ShapeNet、Completion3D和KITTI上的实验结果超越了state-ofthe-art方法
二、解决方案
本文所提出的GRNet包含了 5 个元素: Gridding , 3D CNN , Gridding Reverse , Cubic Feature Sampling 和 MLP ,如图1(a)所示。
图1. GRNet的概览
图2. GRNet的网络结构
2.1 Gridding
2D和3D卷积已经被广泛用于规则的数据中(如像素和体素),但它们在处理点云这类不规则且无序的数据时依然充满挑战。 相比多层感知机(可看作卷积核大小为1的1D卷积),卷积层往往具有大于1的卷积核,因此可以更好地获得数据中的上下文。
GRNet使用了 3D Grid规则化无序的点云 ,并提出了 Gridding层 将无序的点云 转换至3D Grid 的同时保留点云的空间结构,其中 的顶点集 和值集 可分别表示为:
其中,,表示点云中点的个数,表示3D Grid的分辨率。如图1(b)所示,3D Grid中包含了若干个Cell,每个Cell包含8个顶点。对于Cell中的每一个顶点,若点云中的点的坐标满足:
则落在顶点的邻域中,即。
如图1(b)所示,给定顶点和,该顶点对应的权值可定义为:
其中:
特别地,对于,。
2.2 3D CNN
在Gridding将无序且不规则的点云数据转换为规则的3D Grid之后,可以对3D Grid的值集应用3D卷积神经网络,从而填补缺失值达到补全的目的。 3D CNN的设计主要延用了U-Net的思想 ,网络结构如图2所示。
给定3D Grid的值集,3D CNN 的过程被形式化地描述为
其中,。
2.3 Gridding Reverse
Gridding Reverse为Gridding的逆操作:将3D Grid转换回点云。给定3D CNN 生成的3D Grid
,Gridding Reverse将其作为输入生成一个粗糙的点云 。如图1(c)所示,对于 中的每个Cell,Gridding Reverse将为这个Cell生成一个点 ,其坐标可由这个Cell的8个顶点的坐标和权值加权得到:
其中表示这个Cell顶点的下标索引的集合。
和分别表示这个Cell的顶点集和值集。
特别地,如果,那幺Gridding Reverse不再为这个Cell生成点。
2.4 Cubic Feature Sampling
早期基于多层感知机的方法(如PCN [2])可视为使用了多个Kernel Size = 1的1D的卷积层。又因为点云的无序性,无法直接使用Kernel Size > 1的卷积核。因此这些方法无法获得点云的上下文信息。
为了解决这个问题,本文提出了 Cubic Feature Sampling ,它可以 从3D的特征图中抽取点云中点的特征并保留上下文信息 。如图1(d)所示,给定3D CNN某个特征图的特征集合和粗糙点云中的某个点,所对应的特征可表示为:
其中,表示连接(Concatenation)操作,表示所在的Cell的8个顶点的特征集合。
为了减少特征冗余,GRNet从粗糙点云中随机采样(Random Sampling)2048个点,Cubic Feature Sampling从3D CNN的前3个转置卷积层的特征图中抽取特征并生成这2048个点的特征。
2.5 MLP
MLP被用于从粗糙点云中恢复细节。对于采样后的粗糙点云中的点,它为每一个点估计出个偏移量,从而生成最终的点云。具体来说,给定粗糙点云和其对应的特征,MLP将生成最终的点云。
其中Tile将重复次生成一个新的大小为的张量。在GRNet中,,即最终的点云中将包含16384个点。
2.6 Gridding Loss
现有的点云重建/补全的方法主要使用倒角距离(Chamfer Distance)作为损失函数训练网络。倒角距离的优化目标是最小化两个点集的最小距离之和:
其中和为两个点集。相比于应用于像素的L1/L2 Loss和应用于体素的Binary Cross Entropy Loss,倒角距离无法完成点对点的监督;另一方面,由于点云的无序性,导致无法像体素和像素一样找到点到点的对应关系。这些问题最终容易导致预测结果中细节的丢失。
但现在 有了Gridding,无序的点云就可以被规则化到一个规则的结构上,从而可以非常容易地找到点对点的对应关系并实现点对点的监督 。令和分别表示预测输出和Ground Truth在Gridding之后生成的值集,则Gridding Loss可以定义为和的L1距离:
其中表示3D Grid的分辨率。
三、实验结果
3.1 ShapeNet
对于ShapeNet,本文使用了PCN [2]所生成的数据集,并使用了Chamfer Distance和F-Score@1%度量GRNet的结果,如表1-2和图3所示。
表1. ShapeNet测试集上的点云补全定量结果,使用L2范式的Chamfer Distance作为度量指标。
图3. ShapeNet测试集上的点云补全定性结果。GT表示Ground Truth。
3.2 Completion 3D
除了ShapeNet,本文还在Completion 3D Benchmark上提交了结果,如表3所示。 截止撰稿时,GRNet在Benchmark位居第一 。
3.3 KITTI
图4展示了GRNet和其他对比方法在KITTI数据集上的结果。输入点云来自于雷达扫描的数据,并使用3D Detection的Bounding Box对其进行裁剪和标准化,使其具有相同的位姿和尺度。
图4. KITTI测试集上的点云补全结果
希望进一步了解该工作的朋友点击下方视频,查看作者详解~
//
作者介 绍
谢浩哲 | 哈尔滨工业大学 计算机科学与技术学院在读博士
谢浩哲,目前在哈尔滨工业大学计算机科学与技术学院攻读博士学位。 他的研究方向主要包含3D重建和计算机视觉。 目前在CVPR/ICCV/ECCV/IJCV等计算机视觉顶级会议和期刊上发表多篇论文。
个人主页: https://haozhexie.com/about
最后,别忘了
#本期互动话题#
你觉得点云补全的实际应用有哪些?
目前的工作距离应用还有多远?
我们将从中选出 3 位送出大红包一个~
更有机会与论文一作深入交流切磋哦!
参考文献
[1] Dai et al. Shape Completion using 3D-Encoder-Predictor CNNs and Shape Synthesis. CVPR 2017.
[2] Yuan et al. PCN: Point Completion Network. 3DV 2018.
[3] Tchapmi et al. TopNet: Structural Point Cloud Decoder. CVPR 2019.
[4] Wang et al. Cascaded Refinement Network for Point Cloud Completion. CVPR 2020.
[5] Su et al. SPLATNet: Sparse Lattice Networks for Point Cloud Processing. CVPR 2018.
[6] Mao et al. Interpolated Convolutional Networks for 3D Point Cloud Understanding. ICCV 2019.
以上所述就是小编给大家介绍的《ECCV 2020 | GRNet: 用于稠密点云补全的网格化残差网络》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!
猜你喜欢:- 【AI不惑境】残差网络的前世今生与原理
- ResNet架构可逆!多大等提出性能优越的可逆残差网络
- RoR(ResNet of ResNet) - 用于图像分类的多级残差网络
- 使用 IBM SPSS 产品结合残差法实现发电机运行状态评估
- 告别规范化!MIT 谷歌等提出全新残差学习方法,效果惊艳
- 大幅减少GPU显存占用:可逆残差网络(The Reversible Residual Network)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
QBasic语言程序设计教程(第2版习题解答)
刘瑞新、丁爱萍 / 电子工业出版社 / 1999-6-1 / 13.00
本书是《QBasic语言程序设计教程》(第二版)一书的配套教材、本书第一部分以概要的形式,对全书进行了总结,以便学生复习。在第二部分中,对《QBasic语言程序设计教程》(第二版)中的习题做了详尽的分析与解答。 本书也可作为QBasic语言的习题研单独使用。一起来看看 《QBasic语言程序设计教程(第2版习题解答)》 这本书的介绍吧!