一种弱纹理场景下三维重建的方法与流程

1.本发明涉及数字孪生、三维重建、计算机视觉等技术领域，尤其涉及一种弱纹理场景下三维重建的方法。


背景技术：

2.在现实世界中，很多场景中存在着弱纹理区域，这些区域可能缺乏明显的纹理特征，例如光照变化较大、表面光滑、纹理模糊等。在传统的三维重建方法中，这些弱纹理区域往往会导致难以提取有效的特征点，从而影响三维重建的准确性、精度和稳定性。
3.针对弱纹理场景下的三维重建问题，业界也有着一些技术沉淀。传统的特征点提取方法，如sift、surf等，在弱纹理区域的性能较差。有研究提出利用颜色信息、梯度信息、多尺度信息等特定的特征点提取与匹配优化算法，以提高在弱纹理区域的特征点提取和匹配的准确性。弱纹理场景下的相机姿态估计也是一个具有挑战性的问题。传统的相机姿态估计方法，如基于特征点的方法，可能在弱纹理区域的匹配精度较低。因此，研究者们提出了基于直接法的相机姿态估计，通过直接比较图像的灰度值或光度值来进行相机姿态估计，从而避免了特征点提取和匹配的问题。为了提高弱纹理场景下三维重建的准确性和稳定性，可以考虑将多源数据进行融合，例如多传感器融合、多视角融合等。通过融合不同来源的数据，可以提高对弱纹理区域的覆盖和信息获取能力，从而改善三维重建的效果。基于深度学习的方法也被用于弱纹理场景下的三维重建，使用卷积神经网络(convolutional neural networks,cnns)来进行图像语义分割，将图像中的不同物体和区域进行分割，然后根据分割结果进行三维重建。此外，也可以使用生成对抗网络(generative adversarial networks,gans)来生成缺失纹理的三维结构，从而填补弱纹理区域的信息空白。但弱纹理场景下的三维重建仍然是一个具有挑战性的问题，没有一种通用的方法适用于所有情况。


技术实现要素：

4.为了解决以上技术问题，本发明提供了一种弱纹理场景下三维重建的方法，实现在弱纹理场景下的三维重建，提高了重建结果的质量和精度。
5.本发明的技术方案是：
6.一种弱纹理场景下三维重建的方法，通过图像预处理、特征点提取与匹配、自适应几何模型生成、稠密点云生成和结果优化等步骤，能够在弱纹理场景下实现精确的三维重建，并具有较强的适应性和鲁棒性。
7.进一步的，具体步骤如下：
8.步骤1，图像预处理。对输入图像进行预处理，包括去噪、光照均衡化、直方图均衡化等处理，以增强图像的质量和对比度，从而提高在弱纹理场景下的特征点提取和匹配的效果；
9.步骤2，特征点提取与匹配。采用基于边缘、角点或者兴趣点的提取方法，以及基于多尺度、多方向或通道的自适应特征点匹配策略，从而提高特征点在弱纹理场景下的鲁棒
性；
10.步骤3，自适应几何模型生成。根据特征点的空间分布和相机位姿估计结果，采用自适应的ransac(随机抽样一致性)算法，以生成适应弱纹理场景的平面、直线、圆等几何模型；
11.步骤4，稠密点云生成。在获得稀疏的三维点云后，采用基稠密匹配方法，生成密集的三维点云。通过稠密点云生成，填充和补充稀疏点云中的缺失信息，从而得到更完整和精细的三维重建结果；
12.步骤5，结果优化。采用基于优化理论的方法，如非线性优化、光束法平差(ba)等，对生成的三维点云进行结果优化，以进一步提高重建结果的精度和准确性；
13.步骤6，三维模型生成。基于优化后的三维点云生成三角网格表示形式的三维模型，用于虚拟现实、增强现实、计算机辅助设计等应用。
14.再进一步的，
15.所述步骤2具体包括以下内容：
16.步骤2.1，基于角点检测的算法进行特征点提取，通过对图像进行角点检测，提取出具有显著视觉特征的点作为特征点，从而在弱纹理场景下能够有效地获取特征信息；
17.步骤2.2，基于特征描述子的匹配算法，通过对提取的特征点进行描述子计算，并进行特征匹配，找到在多视角图像中对应的特征点，从而能够在弱纹理场景下进行准确的特征点匹配。
18.所述步骤3具体包括以下内容：
19.步骤3.1，基于光束法平差的相机姿态估计算法，通过对特征点的空间位置进行优化，估计相机的位姿参数，从而能够在弱纹理场景下获得精确的相机姿态估计结果；
20.步骤3.2，采用ransac算法实现自适应几何模型生成。
21.所述步骤4具体包括：基于三角测量的方法，通过对特征点在多视角图像中的投影位置进行三角测量，计算得到三维点云的空间位置，从而能够在弱纹理场景下生成精确的三维点云。
22.所述步骤5具体包括：采用非线性优化，对生成的三维点云进行优化，通过对点云的空间位置进行调整，以进一步提高三维重建结果的精度和准确性。
23.所述步骤6具体包括：三维模型生成包括生成三角网格或其他表示形式的三维模型，以满足不同应用的需求。
24.本发明的有益效果是
25.本发明能够在弱纹理场景下获得高质量和精度的三维重建结果。同时，本发明的方法具有较强的适应性和鲁棒性，适用于多种应用场景，如无人驾驶、增强现实、虚拟现实、三维建模等。在无人驾驶领域，本发明可以帮助车辆生成高质量的环境地图，提供精确的三维感知信息，提高自动驾驶系统的定位和导航能力；在增强现实和虚拟现实领域，本发明可以用于生成真实感和精细度高的虚拟场景，提升用户体验；在三维建模领域，本发明可以用于生成高质量的三维模型，广泛应用于数字娱乐、文化遗产保护、工业设计等领域。
附图说明
26.图1是本发明的工作流程示意图。
具体实施方式
27.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.本发明针对光滑表面、低对比度区域、均匀颜色区域等弱纹理场景的三维重建模型精度低、呈现效果不佳，无法得到目标或场景的准确模型的问题，提出一种弱纹理场景下三维重建的方法，具体包括以下步骤：
29.步骤1，图像预处理。对输入图像进行预处理，包括去噪、光照均衡化、直方图均衡化等处理，以增强图像的质量和对比度，从而提高在弱纹理场景下的特征点提取和匹配的效果；
30.步骤2，特征点提取与匹配。采用基于边缘、角点或者兴趣点的提取方法，以及基于多尺度、多方向或多通道的自适应特征点匹配策略，从而提高特征点在弱纹理场景下的鲁棒性；
31.步骤3，自适应几何模型生成。根据特征点的空间分布和相机位姿估计结果，采用自适应的ransac(随机抽样一致性)算法，以生成适应弱纹理场景的平面、直线、圆等几何模型；
32.步骤4，稠密点云生成。在获得稀疏的三维点云后，采用基稠密匹配方法，生成密集的三维点云。通过稠密点云生成，填充和补充稀疏点云中的缺失信息，从而得到更完整和精细的三维重建结果；
33.步骤5，结果优化。采用基于优化理论的方法，如非线性优化、光束法平差(ba)等，对生成的三维点云进行结果优化，以进一步提高重建结果的精度和准确性；
34.步骤6，三维模型生成。基于优化后的三维点云生成三角网格表示形式的三维模型，用于虚拟现实、增强现实、计算机辅助设计等应用。
35.所述步骤2具体包括：
36.步骤2.1，基于角点检测的算法进行特征点提取，通过对图像进行角点检测，提取出具有显著视觉特征的点作为特征点，从而在弱纹理场景下能够有效地获取特征信息；
37.步骤2.2，基于特征描述子的匹配算法，通过对提取的特征点进行描述子计算，并进行特征匹配，找到在多视角图像中对应的特征点，从而能够在弱纹理场景下进行准确的特征点匹配。
38.所述步骤3具体包括：
39.步骤3.1，基于光束法平差的相机姿态估计算法，通过对特征点的空间位置进行优化，估计相机的位姿参数，从而能够在弱纹理场景下获得精确的相机姿态估计结果；
40.步骤3.2，采用ransac算法实现自适应几何模型生成。
41.所述步骤4具体包括：
42.基于三角测量的方法，通过对特征点在多视角图像中的投影位置进行三角测量，计算得到三维点云的空间位置，从而能够在弱纹理场景下生成精确的三维点云。
43.所述步骤5具体包括：
44.采用非线性优化，对生成的三维点云进行优化，通过对点云的空间位置进行调整，
以进一步提高三维重建结果的精度和准确性。
45.以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：
1.一种弱纹理场景下三维重建的方法，其特征在于，通过图像预处理、特征点提取与匹配、自适应几何模型生成、稠密点云生成和结果优化的步骤的组合应用，进行三维重建，在弱纹理场景下获得三维重建结果。2.根据权利要求1所述的方法，其特征在于，具体步骤如下：步骤1)，图像预处理；对输入图像进行预处理，以增强图像的质量和对比度；步骤2)，特征点提取与匹配；采用基于边缘、角点或者兴趣点的提取方法，以及基于多尺度、多方向或通道的自适应特征点匹配策略，提高特征点在弱纹理场景下的鲁棒性；步骤3)，自适应几何模型生成；根据特征点的空间分布和相机位姿估计结果，采用自适应的ransac即随机抽样一致性算法，以生成适应弱纹理场景的几何模型；步骤4)，稠密点云生成；在获得三维点云后，采用基于稠密匹配方法，生成密集的三维点云；通过稠密点云生成，填充和补充稀疏点云中的缺失信息，从而得到三维重建结果；步骤5)，结果优化；采用基于优化理论的方法，对生成的三维点云进行结果优化；步骤6)，三维模型生成；基于优化后的三维点云生成三角网格表示形式的三维模型，用于虚拟现实、增强现实、计算机辅助设计的应用。3.根据权利要求2所述的方法，其特征在于，图像预处理包括去噪、光照均衡化、直方图均衡化处理。4.根据权利要求2所述的方法，其特征在于，所述步骤2)具体包括以下内容：步骤2.1)，基于角点检测的算法进行特征点提取，通过对图像进行角点检测，提取出具有显著视觉特征的点作为特征点，从而在弱纹理场景下能够有效地获取特征信息；步骤2.2)，基于特征描述子的匹配算法，通过对提取的特征点进行描述子计算，并进行特征匹配，找到在多视角图像中对应的特征点，从而能够在弱纹理场景下进行特征点匹配。5.如权利要求2所述的方法，其特征在于，所述步骤3)具体包括以下内容：步骤3.1)，基于光束法平差的相机姿态估计算法，通过对特征点的空间位置进行优化，估计相机的位姿参数，在弱纹理场景下获得相机姿态估计结果；步骤3.2)，采用ransac算法实现自适应几何模型生成。6.如权利要求2所述的方法，其特征在于，所述步骤4)具体包括：基于三角测量的方法，通过对特征点在多视角图像中的投影位置进行三角测量，计算得到三维点云的空间位置，从而在弱纹理场景下生成三维点云。7.如权利要求2所述的方法，其特征在于，所述步骤5)具体包括：采用非线性优化，对生成的三维点云进行优化，通过对点云的空间位置进行调整，以进一步提高三维重建结果的精度和准确性。8.如权利要求2所述的方法，其特征在于，所述步骤6)具体包括：三维模型生成包括生成三角网格或其他表示形式的三维模型，以满足不同应用的需求。

技术总结
本发明提供一种弱纹理场景下三维重建的方法，属于三维重建技术领域，本发明通过图像预处理、特征点提取与匹配、自适应几何模型生成、稠密点云生成和结果优化等步骤，实现在弱纹理场景下的三维重建，提高了重建结果的质量和精度。和精度。和精度。


技术研发人员：郭运艳 王建华
受保护的技术使用者：山东浪潮科学研究院有限公司
技术研发日：2023.05.31
技术公布日：2023/9/9