CVPR 2020 | 更高质量的点云补全：上海交通大学团队提出点云分形网络

• 论文地址：https://arxiv.org/pdf/2003.00410.pdf

• 代码地址：https://github.com/zztianzz/PF-Net-Point-Fractal-Network.git

点云补全（Point Cloud Completion）用于修补有所缺失的点云（Point Cloud），从缺失点云出发估计完整点云，从而获得更高质量的点云。点云有助于用较小的数据量描述三维物体，在三维物体的检测识别领域应用广泛。在 PointNet[1] 和 PointNet++[2] 使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难，也凸显出点云补全作为点云预处理方法的重要性。

传统的点云补完方法基于一定的物体基础结构的先验信息，如对称性信息或语义类信息等，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。近年来，一些工作也尝试使用深度学习来实现点云补全，如 LGAN-AE[3]，PCN[4], 和 3D-Capsule[5] 等，这些工作以不完整点云作为输入，输出完整点云，造成网络过于关注到物体的整体特征而忽略了缺失区域的几何信息。另一方面，这些网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。

我们提出点云分形网络（PF-Net：Point Fractal Network），采用了类似分形几何的思想，同样以不完整点云作为输入，但是仅输出缺失部分点云，并且较好地保留了某个物体的个体特征。下图 1 中给出了不同点云修补网络的修复效果对比。

图 1：点云补全效果对比，从上往下（输入; LGAN-AE 输出 [3] , PCN 输出 [4]; 3D-Capsule 输出 [5] ; 我们的 PF-Net 输出; 真实输出）

可以看到，PF-Net 的修补对比其他网络具有以下优势： （1）保留了输入点云独特的几何特性；（2）细节特征更加丰富且柔和；（3）生成点云整体的质量更高 。

PF-Net 网络之所以可以大幅改善生成点云的效果，与 PF-Net 网络的特征密不可分。该网络的主要特征包括：（1）以不完整点云作为输入，仅输出缺失部分点云，可以更多保留物体点云的空间结构， 对物体的局部特性感知更好 ；（2）提出了更优的点云特征提取器：多分辨率编码器（Multi-Resolution Encoder），多尺度的方法提升了高低层次点云语义信息提取的效率；（3）提出了金字塔解码器（Point Pyramid Decoder）用于生成点云，利用多阶段补全损失 (Multi-stage completion loss) 监督其中关键点云的生成，从而减少了几何结构瑕疵。（4）利用 GAN 结构的鉴别器（Descriminator）优化网络，改善了同一类别不同物体间的特征会相互影响的现象（Genus-wise Distortions Problem）。

图 2：PF-Net 整体网络结构。

网络的整体网络结果如图 2 所示。PF-Net 网络以多分辨率编码器（MRE）作为特征提取网络，使用联合 MLP（CMLP）替代 MLP 成为单个点云的特征提取器，从而能最大程度保留原始点云的局部特征；利用特征向量通过点云金字塔解码器（PPD）输出点云，PPD 的主要思想是 监督每一阶段的点云，提升关键点的生成质量，在关键点的基础上不断生成新的点云。

下图 3 展示了多层次拟合关键点在不同深度的效果。对比未使用 PPD 结构和损失函数的网络，下表 1 的结果显示了 PPD 结构在 PF-Net 中的重要作用。

表 1：PF-Net（vanilla）为未使用鉴别器优化的 PF-Net，MR-CMLP 为未使用 PPD 结构的 PF-Net（vanilla）。

图 3：基于金字塔解码器的多层次提取可视化效果。

我们主要在 ShapeNet 数据集展开实验，以生成点云和原始点云的相对 Chamfer Distance 指标量为量化指标，下标中「/」左侧为生成点云指向原始点云，「/」右侧为原始点云指向生成点云，可以看到 PF-Net 在 ShapeNet 数据集中的 13 类物体上，在大部分对比中 PF-Net 都是占优的，达到了 SOTA。

表 2：利用 Chamer distance 为指标的量化指标对比。

PF-Net 网络在不同缺失比例和缺失多个位置的情况下补全效果也十分不错。如下图 4 和图 5 所示。

图 4：25%，50%，和 75% 的损失比例下的补全结果。

图 5：在飞机机头、机尾、机翼等不同位置、多个位置的补全结果。

总体来说，PF-Net 实现了缺失点云数据下的精细补全，在不同缺失率和多个缺失位置的情况下的补全效果均较好，可以作为点云预处理方法，提高点云分割、点云识别的准确率。然而，目前点云领域并没有类似于 Imagenet 这样庞大的高质量真实数据集，在一定程度上制约了更复杂的点云处理算法的发展。点云数据可以简洁有效地描述三维物体，我们呼吁更多的人关注点云深度学习，共同建设点云深度学习的美好生态。

注：论文前三作者均为上海交通大学机动学院硕士研究生，四作倪枫供职于科技企业，本文通讯作者为上海交通大学讲师乐心怡。

参考文献：

[1] Charles R Qi, Hao Su, Kaichun Mo, and Leonidas J Guibas. Pointnet: Deep learning on point sets for 3D classification and segmentation. CVPR, 2017.

[2] Charles R Qi, Li Yi, Hao Su, and Leonidas J Guibas. Pointnet++: Deep hierarchical feature learning on point sets in a metric space. NeurIPS, 2017. 

[3] Panos Achlioptas, Olga Diamanti, Ioannis Mitliagkas, and Leonidas J Guibas. Learning representations and generative models for 3D point clouds. ICML, 2018.

[4] Wentao Yuan, Tejas Khot, David Held, Christoph Mertz, and Martial Hebert. PCN: Point completion network. 3DV, 2018.

[5] Yongheng Zhao, Tolga Birdal, Haowen Deng, and Federico Tombari. 3D point capsule networks. CVPR, 2018.