基于高阶马尔可夫的点云配准方法、装置和计算机设备

1.本技术涉及点云配准技术领域，特别是涉及一种基于高阶马尔可夫的点云配准方法、装置和计算机设备。


背景技术：

2.点云配准是计算机视觉中的一项基本任务，重点是寻找两个点云之间的刚性对齐。随着3d采集设备的不断推广，点云配准已经在自动驾驶、增强现实(ar，augmented reality)和3d重建等多个领域得到了应用。
3.基于学习的方法已经在点云配准领域显示出了主导的进展。与传统方法相比，基于学习的方法，在准确性、鲁棒性和泛化方面都取得了更好的性能。具体来说，大多数基于学习的方法都是通过局部特征提取和匹配获得点级对应，并利用它们来恢复刚变换。然而，以这种方式估计变换可能会引入不可靠的几何信息，因为它严重依赖于特征对应的正确性，尽管已经使用了大量的修剪技术，但仍然存在大量的异常值。
4.因此，另一项研究通过非对应管道探索点云配准。一般来说，这类工作首先通过权重共享网络提取全局特征，从而抽象出点云结构信息。然后，将嵌入的全局特征串联起来，对隐式几何运动进行编码。最后，采用网络将高级特征解码为相对6d变换。作为对比，非对应方法更关注全局相对变换信息而不是局部几何信息，全局特征更抽象，适合网络自适应学习。
5.为了进一步提高性能，一些非对应方法引入了一种迭代方法。点云对齐过程通常被认为是一阶马尔可夫决策过程，其中旋转和平移变换完全由两个点云的当前状态决策，而不考虑过去，这样的数学建模忽略了迭代调整中变换更新的时序性。此外，传统的非对应方法只是简单地提取和拼接两个点云的全局特征来嵌入当前状态，导致表征能力过弱，缺乏相对位置信息。


技术实现要素：

6.基于此，有必要针对上述技术问题，提供一种基于高阶马尔可夫的点云配准方法、装置和计算机设备。
7.一种基于高阶马尔可夫的点云配准方法，所述方法包括：
8.获取经预处理的初始源点云和目标点云作为训练样本；
9.构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；
10.通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；
11.通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前
源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果；
12.根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；
13.将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
14.在其中一个实施例中，还包括：所述第一分支循环迭代层，包括依次连接的第一特征编码层、第一循环神经网络层和旋转增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量；所述旋转增量用于更新旋转向量；所述第二分支循环迭代层，包括第二特征编码层、第二循环神经网络层和平移增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量；所述平移增量用于更新平移向量。
15.在其中一个实施例中，还包括：通过所述第一特征编码模块对上一次迭代的旋转向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第一输入特征，所述第一输入特征经第一循环神经网络层和旋转增量估计层后，输出旋转增量。
16.在其中一个实施例中，还包括：通过所述第二特征编码模块对上一次迭代的平移向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第二输入特征，所述第二输入特征经第二循环神经网络层和平移增量估计层后，输出平移增量。
17.在其中一个实施例中，还包括：所述变换更新层用于分别根据所述旋转增量和所述平移增量更新旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换。
18.在其中一个实施例中，还包括：所述交叉特征嵌入模块包括特征提取层、交叉拼接层和滑动窗口：通过特征提取层从初始源点云与目标点云中提取几何特征，得到一对在同一维数下具有相同网络映射关系的全局特征向量；通过交叉拼接层对所述全局特征向量进行交叉拼接，得到交叉拼接后特征向量；通过滑动窗口，提取所述交叉拼接后的特征向量的空间相对变换信息，得到交叉拼接特征向量。
19.在其中一个实施例中，还包括：获取观测场景中的初始源点云集和目标点云集；根据所述初始源点云集和目标点云集中的重叠点云得到待配准的初始源点云和目标点云。
20.一种基于高阶马尔可夫的点云配准装置，所述装置包括：
21.点云获取模块，用于获取经预处理的初始源点云和目标点云作为训练样本；
22.模型构建模块，用于构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；
23.交叉拼接模块，用于通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；
24.迭代优化模块，用于通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果；
25.模型训练模块，用于根据训练样本和将训练样本输入到所述循环点云配准模型得
到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；
26.结果输出模块，用于将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
27.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
28.获取经预处理的初始源点云和目标点云作为训练样本；
29.构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；
30.通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；
31.通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果。
32.根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；
33.将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
34.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
35.获取经预处理的初始源点云和目标点云作为训练样本；
36.构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；
37.通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；
38.通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果。
39.根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；
40.将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
41.上述基于高阶马尔可夫的点云配准方法、装置和计算机设备，通过循环点云配准模型，利用变换的顺序性，隐式学习循环配准中两点云之间的相对空间位置，其中，通过循环点云配准模型中的交叉特征嵌入模块，探索源和目标点云之间的相对转换，增强了嵌入的全局特征向量的表示，在迭代优化过程中使用循环神经网络来诱导高阶marcov(马尔可
window)，特征提取层通过权重共享网络分别从初始源点云(source)与目标点云(target)中提取特征，选择pointnet的架构来进行几何特征提取。在本发明实施例中，使用大小为[64，128，1024]的1d卷积层，将原始点云空间位置转换为高维特征空间，为了保证点云的无序性，使用最大池化(maxpool)得到全局特征向量，rn×3→
r1×m，其中，n为点云样本，m为输出通道特征向量，得到一对在同一维数下具有相同网络映射关系的全局特征向量，在特征提取过程中，不融合点云特征对，保持各点云的独立性，交叉拼接的特征向量仍然缺乏两个点云之间有效的相对位置分析。因此，交叉拼接后，应用一个卷积层作为滑动窗口，对这些特征进行融合和细化，挖掘特征维度上的空间相对变换信息，在具体实施例中，使用具有大感受野的16大小卷积核，能够更加关注几何形状和空间位置特征，实验表明，在局部特征提取过程中，大浅卷积层的表现优于小深卷积层。
[0061]
迭代优化过程被表示为一系列迭代更新步骤，在每一次迭代时，输出当前源点云和目标点云之间的刚性变换，更新源点云位置，经过设定轮迭代后，输出初始源点云与当前源点云之间的刚性变换作为配准结果，迭代优化模块(iterative refinement module)包括变换估计网络，变换估计网络学习特征到变换的映射，包含两条分支，分别预测两个向量，一个是旋转向量，另一个是平移向量，变换估计网络包括第一分支循环迭代层、第二分支循环迭代层和变换更新层(rt update)，每一分支循环迭代层包括特征编码层(encoder)、循环神经网络层和向量增量估计层，循环神经网络层包括循环gru单元(gate recurrent unit，门控循环单元)，高阶马尔科夫过程考虑过去状态，在迭代优化时，使用循环神经网络添加变换的序列信息，gru训练稳定、高效，是循环神经网络的最优选择，向量增量估计层在每一分支上分别为旋转增量估计层(rotation estimation)和平移增量估计层(translation estimation)。
[0062]
步骤106，通过交叉特征嵌入模块分别对初始源点云与目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量。
[0063]
交叉特征嵌入模块指的是利用权重共享的特征提取网络分别提取初始源点云和目标点云之间的全局特征后，基于权重共享网络特性，两组输出的全局特征向量有大量的由相同编码函数提取的点云几何特征信息。因此在特征融合时，对两组特征向量进行交叉拼接操作，具体做法是特征向量相同索引位置特征排列在一起，公式如下：
[0064][0065][0066][0067]
其中，ψ
(st)
是初始源点云全局特征向量，ψ
(s)
是当前源点云全局特征向量ψ
(t)
是目标点云全局特征向量，考虑到这些m维全局特征的直接拼接带来了太多弱的全局特征表示能力，没有利用两个全局特征的特征对应关系，交叉拼接层将全局特征向量融合为一个2
×
m的特征，这将学习到更多的源与目标之间的特征表示能力，将源和目标的全局特征按照相同的网络映射关系拼接成一个特征向量，经过交叉拼接得到ψ
(st)
后，使用一层卷积核为16大小的卷积层进一步融合两组点云的几何信息，提高特征语义表征能力。
[0068]
步骤108，通过迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出初始源点云与当前源点云之间的刚性变换作为点云配准结果。
[0069]
根据当前交叉拼接特征向量、上一次迭代的旋转向量和平移向量，得到迭代优化模块的输入特征向量，输入特征向量通过以下步骤得到：在迭代优化模块最后的更新操作和当前的更新操作之间构造一个跳跃式连接，给定估计的变换[r
i-1
，t
i-1
]，首先将旋转矩阵转换为欧拉角形式，表示为1
×
3向量[α，β，γ]，接着，对旋转向量[α，β，γ]和平移向量[a，b，c]进行编码，分别生成高维旋转特征和平移特征，得到变换特征，根据当前的交叉拼接特征向量和变换特征，得到输入特征向量，输入特征向量包括第一输入特征向量和第二输入特征向量，分别用于更新旋转向量和平移向量。在第i次迭代过程中，源点云和相机位姿的更新过程如下：
[0070]
估计一个在源点云xi到目标点云y之间的刚性变换δti，然后更新当前位姿ti和源xi：
[0071]
ti＝δti×
t
i-1
[0072]
xi＝δti×
x
i-1
[0073]
用n步来计算初始源x0到目标y之间的转换，n步后的最终估计为：
[0074]
xn＝δtn×
...δt1×
x0[0075]
对估计位姿ti解耦，ti＝[ri，ti]更新为：
[0076]ri
＝δr
iri-1
[0077]
ti＝δtit
i-1
[0078]
当前的xi更新为：
[0079]
xi＝ri(x-μx)+μx+ti[0080]
其中，μx为初始源点云的质心，这样，旋转不会诱发平动，两者是独立的。
[0081]
步骤110，根据训练样本和将训练样本输入到循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型。
[0082]
步骤112，将预处理后的待配准初始源点云和目标点云输入训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
[0083]
上述基于高阶马尔可夫的点云配准方法中，上述基于高阶马尔可夫的点云配准方法、装置和计算机设备，通过循环点云配准模型，利用变换的顺序性，隐式学习循环配准中两点云之间的相对空间位置，其中，通过循环点云配准模型中的交叉特征嵌入模块，探索源和目标点云之间的相对转换，增强了嵌入的全局特征向量的表示，在迭代优化过程中使用循环神经网络来诱导高阶marcov(马尔可夫)决策，本发明实施例，在对点云对进行状态表示时，表征能力更强、能够获取相对位置信息，配准准确性高、配准性能更强。
[0084]
在一个实施例中，所述获取经预处理的源点云和目标点云作为训练样本的步骤包括：获取观测场景中的初始源点云集和目标点云集；根据所述初始源点云集和目标点云集中的重叠点云得到待配准的初始源点云和目标点云。
[0085]
在一个实施例中，所述交叉特征嵌入模块包括特征提取层、交叉拼接层和滑动窗
口：通过特征提取层从初始源点云与目标点云中提取几何特征，得到一对在同一维数下具有相同网络映射关系的全局特征向量；通过交叉拼接层对所述全局特征向量进行交叉拼接，得到交叉拼接后特征向量；通过滑动窗口，提取所述交叉拼接后的特征向量的空间相对变换信息，得到交叉拼接特征向量。
[0086]
在一个实施例中，所述迭代优化模块包括变换估计网络；所述变换估计网络包括第一分支循环迭代层和第二分支循环迭代层；所述第一分支循环迭代层，包括依次连接的第一特征编码层、第一循环神经网络层和旋转增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量；所述旋转增量用于更新旋转向量；所述第二分支循环迭代层，包括第二特征编码层、第二循环神经网络层和平移增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量；所述平移增量用于更新平移向量。
[0087]
在本实施例中，变换估计网络采用两个独立的循环神经网络进行r和t估计，初始值分别为r0＝i3×3，t0＝0，gru具有卷积层：
[0088]
zi＝σ(convld([h
i-1
，xi]，wz))
[0089]ri
＝σ(convld([h
i-1
，xi]，wr))
[0090][0091][0092]
其中，xi包含变换(旋转/平移)的输入特征向量，h
i-1
为上一时刻的隐藏状态，zi为更新门，σ(
·
)为sigmoid函数，convld(
·
)为卷积操作，wz、wr和wh为权重矩阵，ri为重置门，为候选隐藏状态，tanh(
·
)为tanh函数，
⊙
为矩阵对应元素的相乘，hi为传递到下一时刻的隐藏状态。隐藏状态用来表示网络在每个时间步上的状态，本质上是过去输入序列中与任务相关方面的有损总结。
[0093]
在一个实施例中，所述根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量的步骤包括：通过所述第一特征编码模块对上一次迭代的旋转向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第一输入特征，所述第一输入特征经第一循环神经网络层和旋转增量估计层后，输出旋转增量。
[0094]
在一个实施例中，所述根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量的步骤包括：通过所述第二特征编码模块对上一次迭代的平移向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第二输入特征，所述第二输入特征经第二循环神经网络层和平移增量估计层后，输出平移增量。
[0095]
在一个实施例中，所述变换估计网络还包括变换更新层；所述变换更新层用于分别根据所述旋转增量和所述平移增量更新旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换。
[0096]
在本实施例中，采用欧拉角和偏移向量共六个维度表示位姿信息，一种方法是将变换网络的输出设计为六个自由度，用于直接预测两组点云间的欧拉角和偏移向量，然而，在迭代过程中，采用这种单一输出一旦出现了异常估计值，就会容易导致最终位姿估计结果的发散，本发明采用更鲁棒的损失函数来监督网络以得到准确且稳定的变换网络，将欧
拉角和偏移向量的每个自由度的步长空间设置上下限，并在范围内以指数形式插值选取11个离散步长，变换网络的输出层设定为3*11自由度，使用两个变换网络分别预测欧拉角和偏移向量的离散步长概率，以最大概率的步长作为估计结果，使用交叉熵损失作为l学习变换的监督class＝ce(l,l*)，其中l是多类别分布对数的预测，l*是真实值。为所有6个输出自由度划分了11个离散区间，变换估计网络的两条分支各包含两个维度为[512,256]的全连接层，随后是一个额外的大小为33的全连接层，分别用于预测旋转和平移变换的步长概率。通过在每次迭代中使用离散的、有限的步长来更新转换步骤，这将减少由于错误的估计导致的结果发散的可能性。
[0097]
在一个具体实施例中，如图3所示，提供了一种循环点云配准模型在modelnet40和scanobjectnn数据集上的配准结果对比示意图，其中，(a)为初始状态，(b)为使用reagent方法的配准结果，(c)为使用本发明方法的配准结果，图3中的第一行显示了modelnet40上的点云配准结果示例。本发明设置了12个推理迭代。变换估计网络输出离散的估计步长，并在每次迭代中更新源的当前位置。迭代过程中，步长会随着源和目标之间的位置动态调整。如图4所示为以modelnet40为训练样本时迭代状态的定性实例，在迭代1、2时，源在大步中自我调整，在最后几次迭代中以小步收敛。图3中的第二行显示了在scanobjectnn上点云配准结果的示例，图5为以scanobjectnn为训练样本时迭代状态的定性实例，源和目标逐渐对齐。
[0098]
在一个具体实施例中，本发明在modelnet40、scanobjectnn上对点云配准的方法进行了评估。本发明使用单个3090ti gpu训练r-pcr，并在pytorch中实现模型。r-pcr为本发明方法，在训练过程中，使用adamw优化器，将重量衰减设置为1
×
10-5
并将梯度范围设置为[-1,1]。本发明为所有的实验设置了12次迭代的更新运算符。在迭代过程中，本发明通过δt反向传播梯度分支，并通过t将梯度归零分支，对于modelnet40和scanobjectnn数据集，本发明分两步在modelnet40训练上训练单个模型，并在modelnet40测试集和objectscannn上进行评估，本发明首先在modelnet40上测试本发明的方法，它包含40个类别，由12,311个cad模型构建而成。之后，本发明使用了四个评估指标，平均绝对误差(mae，mean absolute error)，各向同性误差(iso)，倒角距离(cd)。在这四个指标中，前两个是显式指标，后两个是隐式指标。将本发明的方法与reagent和几个基线进行了比较。本发明的方法在两个测试分割中都获得了最佳的adi auc以及最低的mae、iso和倒角距离。本发明在40个类别的hold-out点云上测试了泛化性能，该模型在两个数据集上的表现都优于所有基线方法。
[0099]
在一个具体实施例中，本发明进行了一组消融实验，以显示每个组件的相对重要性。所有消融实验都在modelnet40上训练。消融结果如图6所示，选定滑动窗口数量和更新的数值结果见图7，其中，cross concatenation operation为交叉串联操作，update refinement module为更新优化模块，inference updates为推理更新，消融实验在点云配准任务中移除以下组件分析组件的相对重要性：首先，本发明通过替换gru单元进行实验，使本发明的模型成为马尔可夫模型，没有了gru单元，所有的度量都变差了，收敛速度大大降低，这可能是因为门控激活使得变换序列更容易收敛；本发明用单一的连接操作替换交叉拼接模块，实验表明，使用交叉拼接模块的模型性能更好，因为它在源和目标之间挖掘了更多对应的特征信息；本发明用跳跃式连接的最后一步变换对gru单元的输入特征向量进行编码，在这个实验中，本发明发现包含跳过连接会带来更好的性能；滑动窗口大小指定了
局部特征提取操作的接受域，本发明尝试了1、8、16、32个滑动窗口大小的范围，虽然r-pcr在滑动窗口大小高于16时表现良好，但在平衡计算量和性能后，本发明最终选择了16作为滑动窗口大小，结果表明，大的接受域可以从权重共享网络中捕获更多的源和目标特征向量之间的对应关系；此外，本发明将卷积层转换为mlp(multilayer perceptron，多层感知机)，结果比内核尺寸大的卷积层稍差，因为参数冗余导致过拟合；本发明对迭代更新次数进行实验，给出4个候选，迭代次数分别为4、8、12以及16，结果显示，r-pcr在迭代12次更新时表现良好。
[0100]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0101]
在一个实施例中，如图8所示，提供了一种基于高阶马尔可夫的点云配准装置，包括：样本获取模块802、模型构建模块804、交叉拼接模块806、迭代优化模块808、模型训练模块810和结果输出模块812，其中：
[0102]
样本获取模块802，用于获取经预处理的初始源点云和目标点云作为训练样本；
[0103]
模型构建模块804，用于构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；
[0104]
交叉拼接模块806，用于通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；
[0105]
迭代优化模块808，用于通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果；
[0106]
模型训练模块810，用于根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；
[0107]
结果输出模块812，用于将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。
[0108]
在其中一个实施例中，迭代优化模块808还用于所述第一分支循环迭代层，包括依次连接的第一特征编码层、第一循环神经网络层和旋转增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量；所述旋转增量用于更新旋转向量；所述第二分支循环迭代层，包括第二特征编码层、第二循环神经网络层和平移增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量；所述平移增量用于更新平移向量。
[0109]
在其中一个实施例中，迭代优化模块808还用于通过所述第一特征编码模块对上一次迭代的旋转向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第一输入特征，所述第一输入特征经第一循环神经网络层和旋转增量估计层后，输出旋转增量。
[0110]
在其中一个实施例中，迭代优化模块808还用于通过所述第二特征编码模块对上一次迭代的平移向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第二输入特征，所述第二输入特征经第二循环神经网络层和平移增量估计层后，输出平移增量。
[0111]
在其中一个实施例中，迭代优化模块808还用于所述变换更新层用于分别根据所述旋转增量和所述平移增量更新旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换。
[0112]
在其中一个实施例中，交叉拼接模块806还用于所述交叉特征嵌入模块包括特征提取层、交叉拼接层和滑动窗口：通过特征提取层从初始源点云与目标点云中提取几何特征，得到一对在同一维数下具有相同网络映射关系的全局特征向量；通过交叉拼接层对所述全局特征向量进行交叉拼接，得到交叉拼接后特征向量；通过滑动窗口，提取所述交叉拼接后的特征向量的空间相对变换信息，得到交叉拼接特征向量。
[0113]
在其中一个实施例中，样本获取模块802还用于获取观测场景中的初始源点云集和目标点云集；根据所述初始源点云集和目标点云集中的重叠点云得到待配准的初始源点云和目标点云。
[0114]
关于基于高阶马尔可夫的点云配准装置的具体限定可以参见上文中对于基于高阶马尔可夫的点云配准方法的限定，在此不再赘述。上述基于高阶马尔可夫的点云配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0115]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机程序被处理器执行时以实现一种基于高阶马尔可夫的点云配准方法。该计算机设备的显示屏可以是液晶显示屏，该计算机设备的输入装置外接的键盘、鼠标等。
[0116]
本领域技术人员可以理解，图9中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0117]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
[0118]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
[0119]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0120]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0121]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于高阶马尔可夫的点云配准方法，其特征在于，所述方法包括：获取经预处理的初始源点云和目标点云作为训练样本；构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果；根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。2.根据权利要求1所述的方法，其特征在于，所述迭代优化模块包括变换估计网络；所述变换估计网络包括第一分支循环迭代层和第二分支循环迭代层；所述第一分支循环迭代层，包括依次连接的第一特征编码层、第一循环神经网络层和旋转增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量；所述旋转增量用于更新旋转向量；所述第二分支循环迭代层，包括第二特征编码层、第二循环神经网络层和平移增量估计层，用于根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量；所述平移增量用于更新平移向量。3.根据权利要求2所述的方法，其特征在于，所述根据当前交叉拼接特征向量和上一次迭代的旋转向量，输出旋转增量的步骤包括：通过所述第一特征编码模块对上一次迭代的旋转向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第一输入特征，所述第一输入特征经第一循环神经网络层和旋转增量估计层后，输出旋转增量。4.根据权利要求2所述的方法，其特征在于，所述根据当前交叉拼接特征向量和上一次迭代的平移向量，输出平移增量的步骤包括：通过所述第二特征编码模块对上一次迭代的平移向量进行编码，编码后与当前交叉拼接特征向量进行拼接，得到第二输入特征，所述第二输入特征经第二循环神经网络层和平移增量估计层后，输出平移增量。5.根据权利要求1-4任一项所述的方法，其特征在于，所述变换估计网络还包括变换更新层；所述变换更新层用于分别根据所述旋转增量和所述平移增量更新旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换。6.根据权利要求1所述的方法，其特征在于，所述交叉特征嵌入模块包括特征提取层、交叉拼接层和滑动窗口：
通过特征提取层从初始源点云与目标点云中提取几何特征，得到一对在同一维数下具有相同网络映射关系的全局特征向量；通过交叉拼接层对所述全局特征向量进行交叉拼接，得到交叉拼接后特征向量；通过滑动窗口，提取所述交叉拼接后的特征向量的空间相对变换信息，得到交叉拼接特征向量。7.根据权利要求1所述的方法，其特征在于，所述获取经预处理的源点云和目标点云作为训练样本的步骤包括：获取观测场景中的初始源点云集和目标点云集；根据所述初始源点云集和目标点云集中的重叠点云得到待配准的初始源点云和目标点云。8.一种基于高阶马尔可夫的点云配准装置，其特征在于，所述装置包括：样本获取模块，用于获取经预处理的初始源点云和目标点云作为训练样本；模型构建模块，用于构建用于点云配准的循环点云配准模型；所述循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；交叉拼接模块，用于通过所述交叉特征嵌入模块分别对所述初始源点云与所述目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；迭代优化模块，用于通过所述迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据所述刚性变换迭代更新当前源点云，当满足预设的迭代停止条件时，输出所述初始源点云与当前源点云之间的刚性变换作为点云配准结果；模型训练模块，用于根据训练样本和将训练样本输入到所述循环点云配准模型得到的预测结果对循环点云配准模型进行训练，得到训练好的循环点云配准模型；结果输出模块，用于将预处理后的待配准初始源点云和目标点云输入所述训练好的循环点云配准模型，得到待配准初始源点云的点云配准结果。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请涉及一种基于高阶马尔可夫的点云配准方法、装置和计算机设备。方法包括：获取训练样本；构建循环点云配准模型；循环点云配准模型包括交叉特征嵌入模块和迭代优化模块；通过交叉特征嵌入模块分别对训练样本中的初始源点云与目标点云进行特征嵌入后交叉拼接，得到交叉拼接特征向量；通过迭代优化模块根据当前交叉拼接特征向量、上一次通过高阶马尔可夫决策迭代输出的旋转向量和平移向量更新当前的旋转向量和平移向量，根据当前的旋转向量和平移向量输出当前源点云和目标点云之间的刚性变换，根据刚性变换迭代更新当前源点云，迭代停止时，输出初始源点云与当前源点云之间的刚性变换作为点云配准结果。采用本方法配准准确性高、性能更强。性能更强。性能更强。


技术研发人员：陈琛 刘煜 张茂军 程潇雅 颜深
受保护的技术使用者：中国人民解放军国防科技大学
技术研发日：2023.03.31
技术公布日：2023/7/7