基于规则化和平滑修复的点云补全方法

1.本技术属于计算机视觉中的点云补全领域，尤其涉及基于深度学习的点云补全方法。


背景技术：

2.随着3d采集技术的快速发展，激光雷达等3d传感器越来越容易获得，同时人们也逐渐负担得起其价格。作为一种常用的格式，点云是描述对象三维形状的首选表示形式。在许多应用中都需要完整的3d形状，包括语义分割。然而，由于传感器分辨率和遮挡的限制，有时会获得非常稀疏和残缺的点云，这会造成几何和语义信息的丢失。因此，从部分观测数据恢复完整的点云数据，即点云补全，在实际应用中具有十分重要的意义。
3.pointnet是第一个直接利用神经网络处理点云的工作，解决了点云的置换不变性和旋转不变性问题。接着，pointnet++为了增强对局部信息的学习，在pointnet基础上又提出了分组算法。以pointnet和pointnet++为基石，基于神经网络的3d点云形状补全应运而生。pcn是基于点云表示的形状补全领域的开篇之作，通过编码器-解码器结构预测一个由粗糙到精细的完整点云。虽然pcn在当时取得了不错的实验效果，但其忽略了点云局部信息的重要性。pf-net提出了一种新颖的网络结构，设计了一个多分辨率编码器和金字塔式的解码器只预测缺失部分的点云，避免了破坏输入点云的空间结构，但其直接将预测的缺失点云与部分点云拼接形成完整点云会导致在拼接处存在间隙。最近几年，卷积神经网络(cnn)被应用于2d图像和3d体素。由于点云的不规则性和无序性，卷积不能直接应用于点云，现有的大多数方法将点云体素化为二元体素，从而可以使用三维卷积神经网络。然而，体素化操作会导致几何信息的不可逆转的丢失。也有些方法尝试结合图形卷积网络(gcn)，以在点云中每个点的邻域中构建局部图。然而，构建图形依赖于knn算法，该算法对点云密度很敏感。


技术实现要素：

4.本发明的主要目的在于提供一种基于规则化和平滑修复的方法，使得神经网络在点云补全时关注局部几何信息，同时会保护原始输入点云的几何结构，可以有效解决背景技术中提到的问题。
5.为实现上述目的，本发明采取的技术方案为：
6.一种基于规则化和平滑修复的方法，该方法主要包括以下步骤：
7.s1、将原始残缺点云经过规则化来规范化无序点云数据；
8.s2、对规则化后的值集应用3d卷积神经网络，从而填补缺失值达到补全的目的；
9.s3、补全后的值集转换为3d点云数据，输入生成一个粗糙的点云；
10.s4、以粗糙完整点云作为输入，通过卷积层得到嵌入特征；
11.s5、将嵌入特征通过多层卷积层，并将输出的特征向量连接，得到一个多级特征，再使用池化运算，得到全局特征，
12.s6、将全局特征通过多层一维卷积层得到粗糙的点云的点位移，通过点位移量来调整分布，得到均匀分布的完整点云模型；
13.s7、将得到的点云与对应真实完整点云计算损失，并依据损失值训练网络；
14.与现有技术相比，本发明具有如下有益效果：
15.1.鲁棒性好，本模型采取3d网格作为中间表示来规则化无序点云，从而显式地保持了点云的结构和上下文。
16.2.精度高，在shapenet和kitti基准测试上进行了广泛的实验，表明该方法具有良好的性能，取得了优秀的表现。
17.3.发展前景好，本技术是基于深度学习的点云补全算法，能够满足更高标准的点云补全需求，成为行之有效的预处理方式。
附图说明
18.后文将参照附图以示例性而非限制性的方式详细描述本技术的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
19.图1是根据本技术一个实施例的一种基于规则化和平滑修复的点云补全方法的总结构图；
20.图2是根据本技术一个实施例的粗糙点云生成部分的示意性流程图；
21.图3是根据本技术一个实施例的粗糙点云点云精细化的示意性流程图。
具体实施方式
22.为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。如图1所示：一种基于规则化和平滑修复的点云补全方法，包括以下步骤：
23.步骤一：给定输入点云，首席使用网格规则化点云数据，将无序的点云转换为3d网格g＝《v，w》同时保留点云的空间结构，其中v，w分别为g的顶点集和值集。
24.步骤二：对3d网格的值集应用3d卷积神经网络，从而填补缺失值达到补全的目的。3dcnn的设计主要延用了u-net的思想。
25.步骤三：逆规则化是规则化的逆操作，将3d网格转换为3d点云数据。给定3dcnn生成的3d网格g
′
＝《v，w
′
》，逆规则化将其作为输入生成一个粗糙的点云。其中对于g
′
中的每个方格，逆规则化将为这个方格生成一个点p，其坐标可由这个cell的8个顶点的坐标和权值加权得到。
26.步骤四：平滑网络以粗糙完整点云作为输入，首先通过一层一维卷积层得到一个嵌入特征，其计算见公式：
27.其中bn表示批量标准化(batchnorm，bn)，convld表示一维卷积。
28.步骤五：然后将嵌入特征fe再通过四层串联的一维卷积层，并将这四层的输出特征向量fi连接，即可得到一个多级特征fm。其计算见公式。
29.f1＝bn(convld(fe))
30.fi＝bn(convld(f
i-1
))，i＝2，3，4
31.fm＝concat(f1，f2，f3，f4)
32.为了有效提取点云的全局特征，选择连接最大池化和平均池化两个池化运算的输出，其计算见公式：fg＝repeat(mp(f
out
))∪repeat(ap(f
out
))
33.步骤六：将全局特征通过四层一维卷积层得到粗糙完整点云模型中每个点的点位移δpc。通过预测的点位移量来调整粗糙完整点云中点的分布，最终得到一个(δpc+μpc)均匀分布的完整点云模型，其中是控制位移量的超参数，
34.步骤七：设置损失函数，优化网络，得到最终优化输出结果。使用地移距离作为网络模型的生成损失函数和倒角距离作为实验数据分析的评价指标，二者分别用来描述网络预测的点云与真实点云之间的距离损失。emd损失函数定义如公式所示：
[0035][0036]
点集1s与点集2s之间的平均最近点距离即为cd距离，定义见公式：
[0037][0038]
本文提出的网络模型中，我们主要通过最优化点生成器预测的缺失点云和平滑网络生成的完整点云来训练整个端到端的模型。第一个损失函数计算了预测的缺失点云pm和真实缺失点云pmg之间的emd距离，用emd1表示。第二个损失函数计算了预测的完整点云pe和真实完整点云之间的emd距离，用emd2表示。因此本文训练网络时所使用的最终损失函数可以表示为公式ζ＝ζ
emd1
+ζ
emd2
。
[0039]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0040]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0041]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0042]
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

技术特征：
1.一种基于规则化和平滑修复的点云补全技术方法，其特征在于：该方法主要包括以下步骤：s1、将原始残缺点云经过规则化来规范化无序点云数据；s2、对规则化后的值集应用3d卷积神经网络，从而填补缺失值达到补全的目的；s3、补全后的值集逆规则化转换为3d点云数据，输入生成一个粗糙的点云；s4、以粗糙完整点云作为输入，通过卷积层得到嵌入特征；s5、将嵌入特征通过多层卷积层，并将输出的特征向量连接，得到一个多级特征，再使用池化运算，得到全局特征；s6、将全局特征通过多层一维卷积层得到粗糙的点云的点位移，通过点位移量来调整分布，得到均匀分布的完整点云模型；s7、将得到的点云与对应真实完整点云计算损失，并依据损失值训练网络。2.根据权利要求1所述的一种基于规则化和平滑修复的点云补全技术方法，其特征在于：所述s1中引入增加点云规则化和相邻点信息的三维规则化网格。3.根据权利要求1所述的一种基于规则化和平滑修复的点云补全技术方法，其特征在于：所述s2的卷积神经网络由多个卷积层、池化层、全连接层构成。4.根据权利要求1所述的一种基于规则化和平滑修复的点云补全技术方法，其特征在于：所述s3中引入增加点云逆规则化的方法，将规则化的点云结构转化回无序无无规则的形势。5.根据权利要求1所述的一种基于规则化和平滑修复的点云补全技术方法，其特征在于：所述是s7中使用倒角损失计算和地球移动距离生成点云与真实完整点云之间的距离。

技术总结
本申请公开了一种基于规则化和平滑修复的点云补全方法。本技术所要解决的问题在于，目前现有的点云补全方法主要是直接对输入的点云数据进行处理，并没有充分考虑点云的结构和相邻点之间的信息。为了解决上述问题，提出了一个网格平滑点云补全网络。网络模型主要包含两部分：粗糙完整点云的生成和完整点云精细化的平滑。首先通过对点云进行规则化，进而使用卷积神经网络进行补全，之后再逆规则化生成一个粗糙的点云模型。其次，通过将粗糙完整点云经过第二个编码器-解码器网络生成一个分布均匀的完整点云模型。该方法不仅没有忽略局部几何信息，同时会保护了原始输入点云的几何结构，避免造成位移损失。避免造成位移损失。避免造成位移损失。


技术研发人员：刘宏志 潘迪 刘瑞军 王晓川
受保护的技术使用者：北京工商大学
技术研发日：2023.04.06
技术公布日：2023/8/14