实景三维模型缺陷检测方法、装置、电子设备及存储介质

1.本发明涉及三维模型检测技术领域，具体涉及一种实景三维模型缺陷检测方法、装置、电子设备及存储介质。


背景技术：

2.伴随着我国城市智慧化建设和虚拟仿真技术的推动，实景三维模型成果需求和应用也不断上升，实景三维模型的质量问题也越来越值得关注。在近些年三维重建技术结合计算机视觉深度技术后又得到快速的发展，其所带来的便利有，获取三维模型越来越便利，数据源也越来越多，限制越来越少，三维模型的质量也越来越高。但在获取数据时，会因为光线、天气、角度等原因导致生成三维模型仍然存在一定的缺陷，如面扭曲，破洞，色差，漂浮等问题。为保证三维模型的质量满足要求，现在生产单位大多是对项目实行多级检核制度，即生产人员自检、互检，质检部门内部检查，最终验收由甲方负责指定单位进行检查，分层控制，级级把关。而在这个检查过程中，由于缺少对实景三维模型缺陷检测的技术，大部分质检人员均仍是通过软件人机交互的方式完成质检过程。由于实景三维模型格式复杂、数据量大等原因，由人工完成质检任务有以下不足： 1）工作量巨大，对视觉造成极大的负担 ；2）不同的工作人员对缺陷检测的标准不同； 3）易产生漏检的现象。目前多是针对模型白模贴图过程中的纹理质量评定和缺陷检测，对建模软件自动生成的模型进行缺陷检测研究较少。因此，目前的实景三维模型缺陷检测方法，存在检测工作量巨大、效率低以及容易漏检的问题。


技术实现要素：

3.有鉴于此，有必要提供一种实景三维模型缺陷检测方法、装置、电子设备及存储介质，用以解决检测工作量巨大、效率低以及容易漏检的技术问题。
4.为了实现上述目的，本发明提供了一种实景三维模型缺陷检测方法，包括：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
5.进一步地，实景三维模型缺陷检测方法，还包括：确定所述缺陷面片的面积和所述实景三维模型的表面积；
基于所述缺陷面片的面积和所述实景三维模型的表面积，确定缺陷的集中位置；基于所述缺陷集的集中位置，对所述实景三维模型进行质量评估，得到所述实景三维模型的质量评估结果。
6.进一步地，所述获取相机外参，包括：对所述实际三维模型进行泊松盘采样，得到对应的采样点；基于所述采样点的位置、渲染距离以及所述采样点的法向单位向量，确定相机外参；所述相机外参包括渲染相机的位置和渲染方向。
7.进一步地，所述对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：基于所述实景三维模型的表面积和渲染距离，确定采样点数；基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点。
8.进一步地，所述基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：提取所述实景三维模型在预设三维坐标系下目标方向的最小坐标值，对于所述最小坐标值的目标范围内法向方向朝上的模型点筛选掉，得到所述实际三维模型的目标模型点；基于所述采样点数对所述实际三维模型的目标模型点进行泊松盘采样，得到对应的采样点。
9.进一步地，所述基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图，包括：基于预设的图形渲染引擎创建离屏渲染上下文；设置离屏渲染的目标缓冲区；基于所述相机外参将所述目标缓冲区绑定到所述离屏渲染上下文中，以在所述离屏上下文中进行渲染，得到对应的二维影像和深度图。
10.进一步地，所述基于所述训练集训练预设的深度学习模型，得到缺陷检测模型，包括：将所述训练集训练输入至预设的深度学习模型，并结合adam优化方法对所述深度学习模型进行训练，得到缺陷检测模型；其中，训练过程中学习率衰减策略采用的是余弦退火策略。
11.本发明还提供一种实景三维模型缺陷检测装置，包括：获取模块，用于获取实景三维模型；渲染模块，用于获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；训练模块，用于获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；检测模块，用于将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
12.本发明还提供一种电子设备，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如上述任意一项所述的实景三维模型缺陷检测方法中的步骤。
13.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述的实景三维模型缺陷检测方法。
14.采用上述实现方式的有益效果是：本发明提供的实景三维模型缺陷检测方法，通过相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图，即将三维模型进行二维化处理，再基于训练好的深度学习网络模型进行识别检测，提取缺陷点云对应的像平面二维坐标，再将缺陷点云对应的像平面二维坐标还原为对应的三维坐标，进而生成对应的缺陷面片，实现对实景三维模型的缺陷检测。本发明先对实景三维模型进行二维化处理，再采用深度学习网络模型进行缺陷点云检测，最后将缺陷点云检测结果还原至三维模型对应的坐标，可以检测并提取三维模型几何孔洞、纹理模糊、色差、几何畸变等问题的区域，解决检测工作量巨大、效率低以及容易漏检的技术问题，为后续模型结构的修复和纹理重建提供一定的参考。
附图说明
15.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
16.图1为本发明提供的实景三维模型缺陷检测方法的一实施例的流程示意图；图2为本发明提供的实景三维模型缺陷检测方法的另一实施例的流程示意图；图3为本发明提供的实景三维模型缺陷检测装置的一实施例的流程示意图；图4为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.在本技术实施例的描述中，除非另有说明，
ꢀ“
多个”的含义是两个或两个以上。
19.本发明实施例中术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
20.在本发明实施例中出现的对步骤进行的命名或者编号，并不意味着必须按照命名或者编号所指示的时间/逻辑先后顺序执行方法流程中的步骤，已经命名或者编号的流程步骤可以根据要实现的技术目的变更执行次序，只要能达到相同或者相似的技术效果即
可。
21.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其他实施例相结合。
22.本发明提供了一种实景三维模型缺陷检测方法、装置、电子设备及存储介质，以下分别进行说明。
23.如图1所示，本发明提供的一种实景三维模型缺陷检测方法，包括：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder（编码）部分和decoder（解码）部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
24.可以理解的是，实景三维模型包括模型数据及纹理图片；其中，获取实景三维模型，可以是使用open3d库，读取obj或gltf等三维模型格式的实景三维模型数据及纹理图片，模型数据为半边数据结构。读取倾斜实景三维模型的纹理图片，以及实景三维模型中三角面片的信息，其包括顶点的几何坐标和纹理坐标。
25.缺陷的三维定位，即从二维缺陷检测影像还原到实景三维模型，也是将缺陷点云对应的像平面二维坐标转换到实景三维模型中，具体为：读入渲染的相机的内外参，检测图和深度图；计算缺陷点云在实景三维模型中的三维坐标。计算公式如下：计算缺陷点云在实景三维模型中的三维坐标。计算公式如下：计算缺陷点云在实景三维模型中的三维坐标。计算公式如下：其中，m为外参矩阵，r为旋转矩阵，t为平移矩阵，表示3个坐标轴的旋
转向量，表示世界坐标系原点到相机坐标系原点的平移向量，xyz表示缺陷点云在实景三维模型中的三维坐标，x，y表示缺陷点云像素在像平面坐标系的二维坐标，，表示相机的内参，depth表示像素的渲染深度，表示像素渲染的方向的单位向量。
26.对于不同的缺陷点云赋予不同的颜色，以进行标记，得到缺陷面片。
27.在一些实施例中，本发明提供的方法，还包括：实景三维模型综合质量评价并将结果可视化，具体步骤为：导入实景三维模型和缺陷面片；通过距离判断，并设置阈值将实景三维模型中所有三角面片进行重新赋色，用多种颜色表示不同的缺陷。
28.统计各种类型缺陷于实景三维模型的表面积的占比，分析模型的主导缺陷，并计算出模型缺陷的集中位置。
29.将模型缺陷的总缺陷面积占比作为缺陷指数。缺陷指数的计算公式为：其中，为缺陷的总类数，是类缺陷的表面积，是实景三维模型的表面积。
30.设置缺陷指数的分段阈值，将实景三维模型分为模型质量优、模型质量良好、模型质量中等和模型质量差。
31.本发明对于使用建模软件生成的实景三维模型能够实现多种缺陷的检测与质量评价，相较传统的人工交互质量检查和缺陷检测方法，本发明提供的方法成本低，精度高，速度快，检查结果可以为模型的修复和纹理修复提供参考。
32.在一些实施例中，实景三维模型缺陷检测方法，还包括：确定所述缺陷面片的面积和所述实景三维模型的表面积；基于所述缺陷面片的面积和所述实景三维模型的表面积，确定缺陷的集中位置；基于所述缺陷集的集中位置，对所述实景三维模型进行质量评估，得到所述实景三维模型的质量评估结果。
33.可以理解的是，实景三维模型综合质量评估，具体包括以下子步骤：用meshlab或者cloudcompare等软件导入实景三维模型和缺陷面片；通过距离判断，设置阈值将实景三维模型中所有三角面片及逆行重新赋色；统计各类缺陷的面积和实景三维模型的表面积。计算主导缺陷和进行位置相关性分析，计算缺陷的集中位置；计算缺陷指数，对模型进行定量评估；根据设定的缺陷指数的分段阈值（0.1、0.2、0.4）对模型进行定性评估。
34.在一些实施例中，所述获取相机外参，包括：对所述实际三维模型进行泊松盘采样，得到对应的采样点；基于所述采样点的位置、渲染距离以及所述采样点的法向单位向量，确定相机外
参；所述相机外参包括渲染相机的位置和渲染方向。
35.可以理解的是，获取采样点的点位和法向，设置渲染距离h，则渲染机位和渲染方向计算方式为：向计算方式为：其中，是相机的位置，即渲染机位，为采样点的位置，h为渲染距离，为采样点的法向单位向量，为相机中心朝向的单位向量。
36.在一些实施例中，所述对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：基于所述实景三维模型的表面积和渲染距离，确定采样点数；基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点。
37.可以理解的是，对读取的实景三维模型进行泊松盘采样（poisson-disk-sample），采样点作为渲染影像目标的中心。泊松盘采样是一个均匀的采样方式，可以对实景三维模型进行均匀的表面采样，为了将模型渲染全覆盖，采样次数的计算方式为：其中，n为采用次数，是实景三维模型的表面积，h为离实景三维模型的渲染距离，这里默认渲染的视场角为90。
38.在一些实施例中，所述基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：提取所述实景三维模型在预设三维坐标系下目标方向的最小坐标值，对于所述最小坐标值的目标范围内法向方向朝上的模型点筛选掉，得到所述实际三维模型的目标模型点；基于所述采样点数对所述实际三维模型的目标模型点进行泊松盘采样，得到对应的采样点。
39.可以理解的是，模型点的筛选方式如下：提取实景三维模型在世界坐标系下的最小的z值，对于z值在一定范围内的点进行法线方向上的判断，如果法线方向是朝上，便可以将这些点筛选掉。
40.在一些实施例中，所述基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图，包括：基于预设的图形渲染引擎创建离屏渲染上下文；设置离屏渲染的目标缓冲区；基于所述相机外参将所述目标缓冲区绑定到所述离屏渲染上下文中，以在所述离屏上下文中进行渲染，得到对应的二维影像和深度图。
41.可以理解的是，根据上述计算的点位和法线进行离屏渲染，并将渲染的影像输出到指定的路径中。具体步骤如下，创建一个离屏渲染的上下文环境。这里使用opengl图形渲染引擎创建一个离屏渲染上下文，然后设置离屏渲染的目标缓冲区。这个缓冲区是一个纹
理对象，它可以被当作渲染目标。根据计算的点位和法线绑定渲染目标缓冲区到离屏渲染上下文中，在离屏渲染上下文中进行渲染，并输出的结果被保存在缓冲区中，然后将渲染结果从缓冲区中读取出来，输出到指定路径上。
42.在一些实施例中，所述基于所述训练集训练预设的深度学习模型，得到缺陷检测模型，包括：将所述训练集训练输入至预设的深度学习模型，并结合adam优化方法对所述深度学习模型进行训练，得到缺陷检测模型；其中，训练过程中学习率衰减策略采用的是余弦退火策略。
43.可以理解的是，准备深度学习模型包括较多的准备工作，如深度学习训练集的制作：针对实景三维模型的几何孔洞、纹理模糊、色差、几何畸变等模型问题制作数据集；设计网络结构：针对缺陷检测中缺陷的特点，采用的深度学习模型是基于深度卷积神经网络cnn和视觉transformer的图像分割的缺陷检测模型，其具有自注意力和多视野等特点，适用于缺陷检测任务；设计精度指标和损失函数：由于实景三维模型中，缺陷只占模型的小部分，故数据集中大部分样本是没有缺陷的，为了训练效果符合预期，本发明设计了一种有效的损失函数和精度评价指标，损失函数和精度评价计算公式：损失函数和精度评价指标，损失函数和精度评价计算公式：其中，loss为损失函数值，metric为精度评价值，表示真实样本的类别的one-hot编码向量，为模型预测结果，是预设的系数，默认取值为0.8，0.7，0.5。fn是缺陷并且被预测为缺陷的样本数量，fp为缺陷但没有预测成缺陷的样本数量，tn是正常但被预测为缺陷的样本数量；训练深度学习模型：将数据输入到模型中，调整训练的各项参数使得精度与损失均收敛，得到训练完成的模型；设计合适学习率衰减策略，为保持避免过拟合和停留在局部极值点，本发明采用的是余弦退火策略。其学习率公式如下：其中，是在t次训练epoch的学习率，和分别表示最大的学习率和最小的学习率，表示当前训练epoch的索引，表示总共的训练epoch数。
44.将渲染获取的二维影像输入到深度学习模型的网络中，得到缺陷点云的预测结果。预测结果不同数值代表不同的缺陷类型。
45.进一步，初始深度学习数据集的制作，可以采用的三种方案。
46.方案1：在三维模型上直接进行标记，可采用以下步骤：使用geomagic打开原始的三维模型；用绘图工具手动修改存在的缺陷区域，并将其指定为一种特别鲜明、与模型原始颜色区分明显的颜色。若存在区域颜色冲突，可以将该区域颜色更改成不同颜色；
导出具有标签的三维模型；对模型进行点位采样，为渲染提供相机位姿；通过保留的采样相机位姿，同时渲染原始模型和标签模型，生成两部分影像数据；通过颜色分割算法，将标签模型渲染的影像数据转换成影像标签。
47.方案2：直接将三维模型渲染为图像，然后对图像进行标注。具体步骤包括：对原始模型进行点位采样，为渲染提供相机位姿；根据点位，离屏渲染生成一系列图像；使用labelme软件对这些图像进行缺陷标注，从而得到标签信息。
48.方案3：方案1和方案2结合使用。例如，对于一些无法直接在三维模型上标注的缺陷，如孔洞缺陷，可以使用方案2进行标注，而对于其他缺陷，可以使用方案1进行标注。具体步骤如下：先进行方案1，生成两部分数据；对标签影像数据用labelme进行孔洞缺陷的标记；用颜色分割先将标签影像中的部分缺陷转换成标签；将labelme生成的json标签文件的缺陷附加在颜色分割转换后的标签。
49.在基于上述步骤得到初始深度学习数据集之后，再进行如下步骤进行处理，得到所需的深度学习数据集：数据预处理，包括数据增强和缺陷视角的剔除等操作。本发明对进行随机旋转，随机转置，随机裁剪，随机平移，随机缩放，噪声添加等数据增强操作。并对渲染时不利于缺陷检测的视角进行了数据剔除工作。
50.数据集划分。将每个数据集的影像按一定的比例分成训练集和测试集。训练集用于模型训练，用得到的模型预测测试和验证集进行精度评定。训练深度学习模型，包括以下步骤：用训练集数据输入到unetformer网络中进行训练学习。对于深度学习模型的设计，本发明采用的类似于图像分割领域unet的encoder-decoder模型，encoder部分采用的是resnet-18，decoder部分采用的是基于transformer的注意力机制。本发明采用的是轻量级的网络的设计，其使用的显存比unet少一个数量级。对于三维模型缺陷检测，本发明设计的注意力机制是进行条带状的注意力机制，利于缺陷的检测。
51.对于模型预测结果进行损失计算。本发明设计了一种损失函数，客观反映了数据在模型上的损失。
52.梯度反向回传。本发明采用的是adam优化方法，学习率衰减策略采用的是余弦退火策略。
53.用测试集数据来验证训练完成的模型精度。首先用模型对测试集数据进行预测，利用预测结果与真实标签来计算模型的miou指数和recall召回率，根据模型的miou指数及各类地物的iou指数来评定模型的精度。iou计算的公式如下：其中tp表示被测模型为正的正样本（true positive），fp表示被测模型为正的负样本（false positive），fn表示被测模型为负的正样本（false negative）。miou计算公式
如下：其中，k为缺陷类别数，k+1表示加上了正常类，表示将i类识别为i的像素数量，即正确像素的数量，和为识别错误像素数量。
54.在训练得到缺陷检测模型后，将渲染的二维影像输入到训练好的模型中，进行预测，将不同缺陷进行分类和标记。
55.通过预测，对模型进行缺陷质量评估。统计模型不同缺陷的面积占模型总面积的比例。
56.在另一些实施例中，本发明提供的实景三维模型缺陷检测方法的流程如图2所示，在读取了实景三维数据之后，依次进行离屏渲染、深度学习缺陷网络的识别、缺陷三维定位之后，再进行模型质量评估。
57.本发明提供的实景三维模型缺陷检测方法，包括：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
58.本发明提供的实景三维模型缺陷检测方法，通过相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图，即将三维模型进行二维化处理，再基于训练好的深度学习网络模型进行识别检测，提取缺陷点云对应的像平面二维坐标，再将缺陷点云对应的像平面二维坐标还原为对应的三维坐标，进而生成对应的缺陷面片，实现对实景三维模型的缺陷检测。本发明先对实景三维模型进行二维化处理，再采用深度学习网络模型进行缺陷点云检测，最后将缺陷点云检测结果还原至三维模型对应的坐标，可以检测并提取三维模型几何孔洞、纹理模糊、色差、几何畸变等问题的区域，解决检测工作量巨大、效率低以及容易漏检的技术问题，为后续模型结构的修复和纹理重建提供一定的参考。
59.如图3所示，本发明还提供一种实景三维模型缺陷检测装置300，包括：获取模块310，用于获取实景三维模型；渲染模块320，用于获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；训练模块330，用于获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机
制；检测模块340，用于将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
60.上述实施例提供的实景三维模型缺陷检测装置可实现上述实景三维模型缺陷检测方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述实景三维模型缺陷检测方法实施例中的相应内容，此处不再赘述。
61.如图4所示，本发明还相应提供了一种电子设备400。该电子设备400包括处理器401、存储器402及显示器403。图4仅示出了电子设备400的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
62.存储器402在一些实施例中可以是电子设备400的内部存储单元，例如电子设备400的硬盘或内存。存储器402在另一些实施例中也可以是电子设备400的外部存储设备，例如电子设备400上配备的插接式硬盘，智能存储卡（smart media card，smc），安全数字（secure digital，sd）卡，闪存卡（flash card）等。
63.进一步地，存储器402还可既包括电子设备400的内部储存单元也包括外部存储设备。存储器402用于存储安装电子设备400的应用软件及各类数据。
64.处理器401在一些实施例中可以是一个中央处理器（central processing unit，cpu），微处理器或其他数据处理芯片，用于运行存储器402中存储的程序代码或处理数据，例如本发明中的实景三维模型缺陷检测方法。
65.显示器403在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organic light-emitting diode，有机发光二极管）触摸器等。显示器403用于显示在电子设备400的信息以及用于显示可视化的用户界面。电子设备400的部件401-403通过系统总线相互通信。
66.在本发明的一些实施例中，当处理器401执行存储器402中的实景三维模型缺陷检测程序时，可实现以下步骤：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
67.应当理解的是：处理器401在执行存储器402中的实景三维模型缺陷检测程序时，除了上面的功能之外，还可实现其他功能，具体可参见前面相应方法实施例的描述。
68.进一步地，本发明实施例对提及的电子设备400的类型不作具体限定，电子设备400可以为手机、平板电脑、个人数字助理（personaldigitalassistant，pda)、可穿戴设备、
膝上型计算机（laptop）等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载ios、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面（例如触控面板）的膝上型计算机（laptop）等。还应当理解的是，在本发明其他一些实施例中，电子设备400也可以不是便携式电子设备，而是具有触敏表面（例如触控面板）的台式计算机。
69.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的实景三维模型缺陷检测方法，该方法包括：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。
70.本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读存储介质中。其中，计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
71.以上对本发明所提供的实景三维模型缺陷检测方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种实景三维模型缺陷检测方法，其特征在于，包括：获取实景三维模型；获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。2.根据权利要求1所述的实景三维模型缺陷检测方法，其特征在于，还包括：确定所述缺陷面片的面积和所述实景三维模型的表面积；基于所述缺陷面片的面积和所述实景三维模型的表面积，确定缺陷的集中位置；基于所述缺陷集的集中位置，对所述实景三维模型进行质量评估，得到所述实景三维模型的质量评估结果。3.根据权利要求1所述的实景三维模型缺陷检测方法，其特征在于，所述获取相机外参，包括：对所述实际三维模型进行泊松盘采样，得到对应的采样点；基于所述采样点的位置、渲染距离以及所述采样点的法向单位向量，确定相机外参；所述相机外参包括渲染相机的位置和渲染方向。4.根据权利要求3所述的实景三维模型缺陷检测方法，其特征在于，所述对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：基于所述实景三维模型的表面积和渲染距离，确定采样点数；基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点。5.根据权利要求4所述的实景三维模型缺陷检测方法，其特征在于，所述基于所述采样点数对所述实际三维模型进行泊松盘采样，得到对应的采样点，包括：提取所述实景三维模型在预设三维坐标系下目标方向的最小坐标值，对于所述最小坐标值的目标范围内法向方向朝上的模型点筛选掉，得到所述实际三维模型的目标模型点；基于所述采样点数对所述实际三维模型的目标模型点进行泊松盘采样，得到对应的采样点。6.根据权利要求1所述的实景三维模型缺陷检测方法，其特征在于，所述基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图，包括：基于预设的图形渲染引擎创建离屏渲染上下文；设置离屏渲染的目标缓冲区；基于所述相机外参将所述目标缓冲区绑定到所述离屏渲染上下文中，以在所述离屏上下文中进行渲染，得到对应的二维影像和深度图。7.根据权利要求1-6任一项所述的实景三维模型缺陷检测方法，其特征在于，所述基于所述训练集训练预设的深度学习模型，得到缺陷检测模型，包括：
将所述训练集训练输入至预设的深度学习模型，并结合adam优化方法对所述深度学习模型进行训练，得到缺陷检测模型；其中，训练过程中学习率衰减策略采用的是余弦退火策略。8.一种实景三维模型缺陷检测装置，其特征在于，包括：获取模块，用于获取实景三维模型；渲染模块，用于获取相机外参，基于所述相机外参对所述实景三维模型进行离屏渲染，得到对应的二维影像和深度图；训练模块，用于获取深度学习数据集，对所述深度学习数据集进行预处理，得到训练集，基于所述训练集训练预设的深度学习模型，得到缺陷检测模型；所述深度学习模块为unetformer网络模型，所述unetformer网络包括encoder部分和decoder部分，所述encoder部分为resnet-18网络，所述decoder部分采用的是基于transformer的注意力机制；检测模块，用于将所述二维影像和所述深度图输入至所述缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将所述缺陷点云对应的像平面二维坐标转换为所述实景三维模型中的三维坐标并对所述缺陷点云进行赋色，得到缺陷面片。9.一种电子设备，其特征在于，包括存储器和处理器，其中，所述存储器，用于存储程序；所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现如权利要求1至7中任意一项所述的实景三维模型缺陷检测方法中的步骤。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的实景三维模型缺陷检测方法。

技术总结
本发明提供一种实景三维模型缺陷检测方法、装置、电子设备及存储介质，该方法包括：获取相机外参，基于相机外参对实景三维模型进行离屏渲染，得到对应的二维影像和深度图；获取深度学习数据集，对深度学习数据集进行预处理，得到训练集，基于训练集训练预设的深度学习模型，得到缺陷检测模型；深度学习模块为Unetformer网络模型，Unetformer网络包括Encoder部分和Decoder部分，Encoder部分为Resnet-18网络，Decoder部分采用的是基于Transformer的注意力机制；将二维影像和深度图输入至缺陷检测模型，得到缺陷点云对应的像平面二维坐标，将像平面二维坐标转换为实景三维模型中的三维坐标并对缺陷点云进行赋色，得到缺陷面片。本发明可以解决检测工作量巨大、效率低以及容易漏检的技术问题。效率低以及容易漏检的技术问题。效率低以及容易漏检的技术问题。


技术研发人员：胡庆武 刘校安 张栩婕 艾明耀 赵鹏程 李加元 毛庆洲
受保护的技术使用者：武汉大学
技术研发日：2023.08.10
技术公布日：2023/9/9