一种基于多域多维特征图的三维配准重建方法

1.本发明属于计算机视觉技术领域，具体涉及一种基于多域多维特征图的三维配准重建方法。


背景技术：

2.三维配准重建是将多个二维图像或点云数据对齐，并通过算法将它们融合成一个完整的三维模型或图像的过程。在三维配准重建领域中，存在着一些挑战。其中一个挑战是在对点云场景中的物体进行编码时需要进行物体的分割。然而，当物体被遮挡时，分割过程将导致严重的信息损失。目前的特征提取方法主要包括基于局部特征和基于全局特征的方法。在这种情况下，使用全局描述子会导致大量信息丢失，而局部描述子只对点云的局部特征进行分析和处理，因此更适用于模型被其他物体遮挡的情况。
3.点云法向量是局部描述子计算的基础。在计算点云法向量时，选择合适的半径大小对结果影响重大。如果半径过大，计算出的法线将包含远处点云的信息，导致法线的稳定性较差。而当半径过小时，计算的法线仅包含极近点的信息，容易受到噪声和异常点的影响，导致法线的准确性下降。因此，能够在各种复杂环境中获得稳定和准确的法线表示将显著提高后续任务的性能，增强最终配准重建的稳定性和准确性。
4.另一个挑战是在进行位姿估计时初始的对应集可能存在许多异常值。这些异常值会导致配准过程中出现错误的假设或错误的对应关系。异常值的存在会破坏准确的匹配和几何约束，使得估计的位姿不准确或不稳定。为了解决这个问题，需要采用鲁棒的估计方法来排除异常值的干扰，确保对应关系的准确性和一致性。这将提高配准的精度和稳定性，使得估计的位姿更加可靠，从而进一步提高配准重建的准确率和鲁棒性。


技术实现要素：

5.为了克服现有技术的不足，本发明提供了一种基于多域多维特征图的三维配准重建方法，首先从场景点云和模型点云随机选择指定数量的关键点；然后遍历每一个关键点，并计算相应的多域多维特征图作为局部特征描述符；根据多域多维特征图，获取关键点之间的对应关系，并根据匹配度对关键点对进行排序；在每次迭代中，按顺序选择一个兼容三元组生成一个假设，并检验该假设是否能够将模型正确配准到场景中。本发明具有较短的计算时间和较低的时间成本。
6.本发明解决其技术问题所采用的技术方案包括如下步骤：
7.步骤1：从场景点云和模型点云随机选择指定数量的关键点；
8.步骤2：遍历每一个关键点，并计算相应的多域多维特征图作为局部特征描述符；
9.步骤3：根据多域多维特征图，获取关键点之间的对应关系，并根据匹配度对关键点对进行排序；从排序后的列表中从高到低依次选择匹配度最高的k个关键点对；使用这k个关键点对构建一个大小为k
×
k的二阶兼容性矩阵；选择互相兼容的3个点对，构成兼容三元组，计算兼容三元组度的总和，并按照度的总和将兼容三元组排序，选择度的总和最高的
t个兼容三元组；所述度是一个点对与其他点对兼容的数量；
10.步骤4：在每次迭代中，按顺序选择一个兼容三元组生成一个假设，并检验该假设是否能够将模型正确配准到场景中；如果在所有迭代中都未成功将模型正确配准到场景中，则使用icp算法对保留的具有最大重叠率的假设进行优化，优化完成后，再次判断模型是否能够在场景中被正确识别。
11.进一步地，所述步骤2中，每一个关键点计算多域多维特征图的过程包括以下步骤：
12.步骤2-1：根据关键点的坐标和支撑半径大小获取关键点所在区域的局部点云块p
l
；
13.步骤2-2：使用不同的搜索半径计算不同尺度的法向量；
14.步骤2-3：针对不同尺度的法向量，计算邻域点q和关键点p之间的多域多维特征，将这些特征组合起来形成多域多维特征图：
[0015][0016]
其中ni(vj)为第i个多维特征图第j个体素值的大小，|p
l
|表示p
l
内点的数量。
[0017]
进一步地，所述步骤3中，选择度最大的t个兼容三元组的步骤如下：
[0018]
步骤3-1：使用最近邻相似比nnsr方法生成特征匹配，每个匹配的得分记为score：
[0019][0020]
其中，f表示关键点的特征图，f
′1表示与关键点特征图相似度最高的特征图，f
′2表示与关键点特征图相似度次高的特征图；
[0021]
步骤3-2：根据得分进行排序，选择得分最高的k个匹配作为最终的特征匹配集合；
[0022]
步骤3-3：初始化含有k个匹配的集合c＝{c1,c2,...,ck}，构造一阶空间兼容性矩阵s，s(i,j)为1代表匹配ci和匹配cj之间兼容，s(i,j)为0代表不兼容；
[0023]
步骤3-4：通过一阶空间兼容性矩阵计算二阶空间兼容性矩阵s2∈rk×k：
[0024][0025]
步骤3-5：计算三个匹配之间的互相兼容的空间兼容三元组，其中三元组的度定义为三个匹配之间的度之和，并选择具有最大度的t个空间兼容三元组。
[0026]
本发明的有益效果如下：
[0027]
1、提高特征表征能力：通过在不同法向量尺度的空间域下计算特征，获得了更全面、更丰富的特征信息。相比传统方法，本方法在特征描述方面表现出色。
[0028]
2、强鲁棒性：本方法通过有效融合不同尺度的特征信息，减少了各种干扰对点云特征提取的影响。即使在目标点云存在各种干扰的情况下，该方法仍能具有较高的配准准确性。
[0029]
3、时间效率高：通过二阶空间兼容性矩阵，本方法显著降低了生成假设时异常值存在的概率，减少了迭代次数，从而快速计算出高质量的粗匹配结果。因此，本方法具有较
短的计算时间和较低的时间成本。
附图说明
[0030]
图1为本发明实施例流程图。
[0031]
图2为本发明实施例多域多维特征图计算过程。
[0032]
图3为本发明实施例基于二阶图的引导采样一致性流程图。
[0033]
图4为本发明实施例mdmf与其他最新方法在prc性能上的比较示意图。
[0034]
图5为本发明实施例多目点云配准重建效果图，(a)兔子，(b)龙。
具体实施方式
[0035]
下面结合附图和实施例对本发明进一步说明。
[0036]
为了应对现有技术的问题，本发明提出了一种基于多域多维特征图(multi-domain multi-dimensional feature maps，mdmf)的三维配准重建方法。该方法通过结合不同法向量尺度的空间域和点对的多维几何属性，获取关键点的三维空间信息，并生成多域多维特征图。这种方法可以从多个角度综合考虑点云的局部形状和几何结构，从而获得更全面、更丰富的特征信息，更好地描述点云的局部特征。同时，通过有效地组合不同的特征，可以减少特征之间的冗余性，进一步提高特征的表征能力。在粗匹配阶段，引入了基于二阶图的引导采样一致性(guided sample consensus in second-order graphs，gsac-sog)，这是一种ransac的变体。通过计算二阶空间兼容性矩阵并考虑匹配之间的互相兼容关系，构建二阶空间兼容三元组，并对其进行排序和采样，从而大幅度减少了异常值的影响。通过以上方法的应用，能够有效解决点云配准重建中的异常值、信息损失和准确性等问题，提高配准结果的准确性和稳定性。
[0037]
为了达到上述目的，本发明提供了一种方案以解决相关技术问题：一种基于多域多维特征图的三维配准重建方法，其步骤如下：
[0038]
s1：从场景点云和模型点云随机选择一定数量的关键点。
[0039]
s2：遍历每一个关键点，并计算相应的多域多维特征图作为局部特征描述符。
[0040]
s3：根据特征匹配，获取关键点之间的对应关系，并根据匹配度对关键点对进行排序。从排序后的列表中选择匹配度最高的k个关键点对。使用这k个关键点对构建一个大小为k
×
k的二阶兼容性矩阵，按照度进行排序并选择度最大的t个兼容三元组。
[0041]
s4：在每次迭代中，按顺序选择一个兼容三元组生成一个假设，并检验该假设是否能够将模型正确配准到场景中。如果在所有迭代中都未成功将模型正确配准到场景中，则使用icp算法对保留的具有最大重叠率假设进行优化。优化完成后，再次判断模型是否能够在场景中被正确识别。
[0042]
此外，在s2中，每个关键点计算多域多维特征图的过程包括以下步骤：
[0043]
s21：根据关键点的坐标和支撑半径大小获取关键点所在区域的局部点云块p
l
。
[0044]
s22：使用不同的搜索半径计算不同尺度的法向量。
[0045]
s23：针对不同尺度的法向量，计算邻域点q和关键点p之间的多域多维特征。
[0046]
将这些特征组合起来形成多域多维特征图。
[0047][0048]
其中ni(vj)为第i个多维特征图第j个体素值的大小，|p
l
|表示p
l
内点的数量。
[0049]
在s3中，选择t个度最大的兼容性三元组的步骤如下：
[0050]
s31：使用最近邻相似比(nnsr)方法生成特征匹配。每个匹配的得分记为score：
[0051][0052]
s32：根据得分进行排序，选择得分最高的k个匹配作为最终的特征匹配集合。
[0053]
s33：初始化含有k个匹配的集合c＝{c1,c2,...,ck}。构造一阶空间兼容性矩阵s，s(i,j)为1代表匹配ci和匹配cj之间兼容，0代表不兼容。
[0054]
s34：通过一阶空间兼容性矩阵计算二阶空间兼容性矩阵s2∈rk×k。
[0055][0056]
s35：计算三个匹配之间的互相兼容的空间兼容三元组，其中三元组的度定义为三个匹配之间的度之和，并选择具有最大度的t个空间兼容三元组。
[0057]
具体实施例：
[0058]
本发明技术方案的实施提供了一种基于多域多维特征图的三维配准重建算法，其流程图如图1所示，包括读取模型点云数据和场景点云数据，随机选取关键点；基于多域多维特征图构建描述符；基于二阶图生成兼容性三元组的引导采样一致性；假设生成和假设验证。下面结合具体的实例来说明本发明提供的一种基于多域多维特征图的三维配准重建算法。
[0059]
(1)读取模型点云数据和场景点云数据，从中随机选取一定比例的点云数据作为关键点。
[0060]
(2)针对每个关键点生成基于多域多维特征图的描述符，具体步骤如下(参见图2)：
[0061]
(2.1)根据关键点支撑半径，提取关键点所在区域的局部点云块p。
[0062]
(2.3)使用三个不同大小的搜索半径，在关键点周围计算不同尺度的法向量。
[0063]
(2.4)在不同尺度的法向量表示中，计算关键点p和邻域点q之间的多域多维特征；
[0064]
(2.5)每个尺度的法向量计算得到的多域多维特征构成一个多维特征图。
[0065]
(2.6)将多个多维特征图按照相应位置进行累加融合，并进行归一化，得到一个多域多维特征图。
[0066][0067]
其中，ni(vj)为第i个多维特征图第j个体素值的大小，|p
l
|表示p
l
内点的数量。
[0068]
将三个特征图进行融合，可以有效组合不同的特征，减少各种噪声的影响，从而提高算法的鲁棒性。
[0069]
(3)根据特征匹配生成关键点对集合，并生成二阶空间兼容性三元组，并进行排
序，具体步骤如下(参见图3)：
[0070]
(3.1)使用最近邻相似比(nnsr)方法对模型点云中的关键点和场景点云中的关键点进行特征匹配，并计算每个匹配的得分score：
[0071][0072]
(3.2)根据每个匹配的得分score，对匹配进行排序，选择得分最高的k个匹配作为最终的特征匹配集合。其中k为实验参数，本发明中k的值为100。
[0073]
(3.3)初始化包含有k个匹配的集合c＝{c1,c2,...,ck}。
[0074]
(3.4)构建包含匹配之间兼容性得分信息的矩阵d∈rk×k：
[0075][0076]
其中，分别为ci中的源点和目标点；分别为cj中的源点和目标点；t是距离参数，用于控制距离约束之间的紧密程度。
[0077]
在三维视觉中，点对之间的兼容性指的是两个点在空间中的几何关系和一致性程度。当两个点对之间存在一定的几何约束并且它们的属性相互匹配时，可以认为它们是兼容的。这些几何约束可以包括点之间的距离、法向量的一致性、平面拟合的一致性等，在本技术中，几何约束选择的是点对之间的距离。
[0078]
(3.5)构造一阶空间级兼容性矩阵s∈rk×k，s(i,j)代表匹配ci和匹配cj之间是否兼容：
[0079][0080]
其中，判断两个匹配是否兼容的阈值，实验选择th＝0.9。
[0081]
(3.6)基于一阶空间兼容性矩阵s∈rk×k，计算二阶空间兼容性矩阵s2∈rk×k。
[0082][0083]
(3.7)计算每个匹配的度，即每个匹配与多少个匹配兼容。
[0084]
(3.8)计算空间兼容三元组及其相应的度。如果三个匹配之间互相兼容，即构成空间兼容三元组，且三元组的度为三个匹配之间的度之和，
[0085]
(3.9)选择度最大的t个空间兼容三元组作为最终的空间兼容三元组集合。其中t为实验参数，本发明t的值为30。
[0086]
(4)迭代二阶空间兼容性三元组的假设生成与评估过程如下：
[0087]
(4.1)每次迭代时，按照顺序选择一个兼容三元组。利用该兼容三元组，通过以下公式计算出模型点云和场景点云之间的刚性变换：
[0088][0089]
(4.2)判断生成的假设是否能够成功配准模型点云到场景点云。
[0090]
(4.3)如果配准成功，则停止迭代。否则，继续下一次迭代。直到迭代结束。
[0091]
(4.4)在每次迭代过程中，对生成的假设进行重叠率的判断。保留重叠率最大的假设作为最佳假设。
[0092]
(4.5)如果迭代结束后仍未成功配准，将使用icp算法对保存的最佳假设进行精细化。然后根据判定条件再次判断模型是否正确配准到场景中。如果经过icp精细化后仍未成功配准，那么该模型将被判定为配准失败。
[0093]
本发明的算法应用到实际的点云配准重建中。在图4中，将mdmf与其他最新技术在prc性能上进行了比较。结果显示，即使在存在噪声和网格分辨率降低的情况下，mdmf仍具有良好的性能和鲁棒性。在图5中展示了多视角下点云配准重建的效果图。在表1中，比较了gsac-sog和ransac在不同迭代次数下的配准准确率。可以看出，在低迭代次数时，gsac-sog算法的准确率仍高于ransac算法在高迭代次数下的准确率。
[0094]
表1gsac-sog与ransac在不同迭代次数下的配准准确率对比
[0095][0096]
其中prc代表precision-recall curve，即精确率-召回率曲线。召回率recall是指在所有真实正例中，模型正确识别出的正例的比例；精确率precision是指在所有被模型识别为正例的样本中，实际为正例的比例。通过调整分类模型的阈值，可以获得不同recall和precision值的点，进而绘制prc曲线，以评估模型在不同召回率和误报率下的性能。

技术特征：
1.一种基于多域多维特征图的三维配准重建方法，其特征在于，包括如下步骤：步骤1：从场景点云和模型点云随机选择指定数量的关键点；步骤2：遍历每一个关键点，并计算相应的多域多维特征图作为局部特征描述符；步骤3：根据多域多维特征图，获取关键点之间的对应关系，并根据匹配度对关键点对进行排序；从排序后的列表中从高到低依次选择匹配度最高的k个关键点对；使用这k个关键点对构建一个大小为k
×
k的二阶兼容性矩阵；选择互相兼容的3个点对，构成兼容三元组，计算兼容三元组度的总和，并按照度的总和将兼容三元组排序，选择度的总和最高的t个兼容三元组；所述度是一个点对与其他点对兼容的数量；步骤4：在每次迭代中，按顺序选择一个兼容三元组生成一个假设，并检验该假设是否能够将模型正确配准到场景中；如果在所有迭代中都未成功将模型正确配准到场景中，则使用icp算法对保留的具有最大重叠率的假设进行优化，优化完成后，再次判断模型是否能够在场景中被正确识别。2.根据权利要求1所述的一种基于多域多维特征图的三维配准重建方法，其特征在于，所述步骤2中，每一个关键点计算多域多维特征图的过程包括以下步骤：步骤2-1：根据关键点的坐标和支撑半径大小获取关键点所在区域的局部点云块p
l
；步骤2-2：使用不同的搜索半径计算不同尺度的法向量；步骤2-3：针对不同尺度的法向量，计算邻域点q和关键点p之间的多域多维特征，将这些特征组合起来形成多域多维特征图：其中n
i
(v
j
)为第i个多维特征图第j个体素值的大小，|p
l
|表示p
l
内点的数量。3.根据权利要求2所述的一种基于多域多维特征图的三维配准重建方法，其特征在于，所述步骤3中，选择度最大的t个兼容三元组的步骤如下：步骤3-1：使用最近邻相似比nnsr方法生成特征匹配，每个匹配的得分记为score：其中，f表示关键点的特征图，f
′1表示与关键点特征图相似度最高的特征图，f
′2表示与关键点特征图相似度次高的特征图；步骤3-2：根据得分进行排序，选择得分最高的k个匹配作为最终的特征匹配集合；步骤3-3：初始化含有k个匹配的集合c＝{c1,c2,...,c
k
}，构造一阶空间兼容性矩阵s，s(i,j)为1代表匹配c
i
和匹配c
j
之间兼容，s(i,j)为0代表不兼容；步骤3-4：通过一阶空间兼容性矩阵计算二阶空间兼容性矩阵s2∈r
k
×
k
：步骤3-5：计算三个匹配之间的互相兼容的空间兼容三元组，其中三元组的度定义为三个匹配之间的度之和，并选择具有最大度的t个空间兼容三元组。

技术总结
本发明公开了一种基于多域多维特征图的三维配准重建方法，首先从场景点云和模型点云随机选择指定数量的关键点；然后遍历每一个关键点，并计算相应的多域多维特征图作为局部特征描述符；根据多域多维特征图，获取关键点之间的对应关系，并根据匹配度对关键点对进行排序；在每次迭代中，按顺序选择一个兼容三元组生成一个假设，并检验该假设是否能够将模型正确配准到场景中。本发明具有较短的计算时间和较低的时间成本。较低的时间成本。较低的时间成本。


技术研发人员：张艳宁 王雅婷 杨佳琪 齐召帅 张楚艾 张世坤
受保护的技术使用者：西北工业大学
技术研发日：2023.07.03
技术公布日：2023/10/15