类镜面缺陷检测方法、装置、电子设备及存储介质与流程

1.本技术涉及类镜面缺陷检测的技术领域，具体而言，涉及一种类镜面缺陷检测方法、装置、电子设备及存储介质。


背景技术：

2.随着科技的不断发展和大众审美的提升，消费者对于类镜面物体的表面精度和外观瑕疵度要求愈发严格。例如电子产品类别中的手机平板外壳、液晶显示器，汽车产业中车辆的涂装表面、玻璃部件，建材领域中陶瓷类地砖、墙砖等。传统的人工外观检测时间长、效率低且个别工序依赖人工的触摸检测，十分考验工人的检测技术及经验，易形成误检。机器视觉检测技术具有非接触、高效率、高精度及自动化等优点。在对其进行数据采集时，常采用相位测量偏折术（phase measuring deflectometry,pmd）对类镜面物体进行缺陷分析。
3.现常见的缺陷分析图像是通过lcd屏幕将生成的n步相移正弦条纹图投影在被测物体表面，同时由相机采集回n步变形条纹，解调n步变形条纹得到相位图或调制度图，相位图表征物体表面的三维高度信息，可检测物体表面有凹凸变化类的缺陷；调制度图表征物体表面的对比度变化，可检测物体表面的污渍等缺陷。在检测过程中不同的缺陷特征需在不同的输入源图像中进行分析，导致待检测图像数量较多，检测效率较低，很难实现实时高效检测，满足产业化要求。
4.因此，为了解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的技术问题，亟需一种类镜面缺陷检测方法、装置、电子设备及存储介质。


技术实现要素：

5.本技术的目的在于提供一种类镜面缺陷检测方法、装置、电子设备及存储介质，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
6.第一方面，本技术提供了一种类镜面缺陷检测方法，用于对类镜面缺陷进行检测，包括步骤：获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；所述表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；复合所述调制图、所述相位图和所述曲率图，生成所述待测物体类镜面的彩色三通道图；根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；
将所述待测物体类镜面的彩色三通道图输入到所述类镜面缺陷检测模型，计算得到所述待测物体类镜面的缺陷检测结果数据。
7.本技术提供的类镜面缺陷检测方法可以实现对类镜面缺陷进行检测，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
8.可选地，获取待测物体类镜面的调制图、相位图和曲率图，包括：获取检测系统生成的n步相移图片；将所述n步相移图片在所述待测物体类镜面进行投影并相移，得到对应的变形条纹图；基于所述变形条纹图，生成所述待测物体类镜面的调制图、相位图和曲率图。
9.可选地，基于所述变形条纹图，生成所述待测物体类镜面的调制图、相位图和曲率图，包括：对所述变形条纹图进行解调和计算，得到所述待测物体类镜面的调制图和相位图；求导所述相位图，得到所述待测物体类镜面的曲率图。
10.可选地，根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：复合所述表面调制图、所述表面相位图和所述表面曲率图，得到表面彩色三通道图；根据所述表面彩色三通道图及所述对应的表面缺陷数据，构建类镜面缺陷检测模型。
11.本技术提供的类镜面缺陷检测方法可以实现对类镜面缺陷进行检测，通过将调制图、相位图和曲率图复合得到彩色三通道图，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
12.可选地，根据所述表面彩色三通道图及所述对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：构建与所述表面彩色三通道图对应的初步类镜面缺陷检测模型；根据所述表面彩色三通道图及所述对应的表面缺陷数据，训练所述初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型；基于所述表面彩色三通道图及对应的表面缺陷数据，验证所述训练后的初步类镜面缺陷检测模型，得到所述类镜面缺陷检测模型。
13.本技术提供的类镜面缺陷检测方法可以实现对类镜面缺陷进行检测，通过训练yolov5模型得到的类镜面缺陷检测模型，实现仅输入一种图片便可进行对表面缺陷的检测，提高了类镜面缺陷的检测效率。
14.可选地，根据所述表面彩色三通道图及所述对应的表面缺陷数据，训练所述初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型，包括：将所述表面彩色三通道图输入到所述初步类镜面缺陷检测模型，得到对应的输出
图像；根据所述表面彩色三通道图及所述对应的表面缺陷数据和所述对应的输出图像，确定训练误差；基于所述训练误差，调整所述初步类镜面缺陷检测模型的参数，得到最优参数，并利用所述最优参数，优化所述初步类镜面缺陷检测模型，得到所述训练后的初步类镜面缺陷检测模型。
15.可选地，将所述表面彩色三通道图输入到所述初步类镜面缺陷检测模型，得到对应的输出图像之前，包括：初始化所述初步类镜面缺陷检测模型的参数。
16.第二方面，本技术提供了一种类镜面缺陷检测装置，用于对类镜面缺陷进行检测，包括：获取模块，用于获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；所述表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；复合模块，用于复合所述调制图、所述相位图和所述曲率图，生成所述待测物体类镜面的彩色三通道图；构建模块，用于根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；计算模块，用于将所述待测物体类镜面的彩色三通道图输入到所述类镜面缺陷检测模型，计算得到所述待测物体类镜面的缺陷检测结果数据。
17.该类镜面缺陷检测装置，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
18.第三方面，本技术提供了一种电子设备，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如前文所述类镜面缺陷检测方法中的步骤。
19.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如前文所述类镜面缺陷检测方法中的步骤。
20.有益效果：本技术提供的类镜面缺陷检测方法、装置、电子设备及存储介质，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
附图说明
21.图1为本技术实施例提供的类镜面缺陷检测方法的流程图。
22.图2为本技术实施例提供的类镜面缺陷检测装置的结构示意图。
23.图3为本技术实施例提供的电子设备的结构示意图。
24.图4为五步相移图的示意图。
25.图5为彩色三通道图的示意图。
26.图6为类镜面缺陷检测模型的结构示意图。
27.标号说明：1、获取模块；2、复合模块；3、构建模块；4、计算模块；301、处理器；302、存储器；303、通信总线。
具体实施方式
28.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
29.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
30.请参照图1，图1是本技术一些实施例中的一种类镜面缺陷检测方法，用于对类镜面缺陷进行检测，包括步骤：步骤s101，获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；步骤s102，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图；步骤s103，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；步骤s104，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，计算得到待测物体类镜面的缺陷检测结果数据。
31.该类镜面缺陷检测方法，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
32.具体地，在步骤s101中，获取待测物体类镜面的调制图、相位图和曲率图，包括：获取检测系统生成的n步相移图片；将n步相移图片在待测物体类镜面进行投影并相移，得到对应的变形条纹图；基于变形条纹图，生成待测物体类镜面的调制图、相位图和曲率图。
33.在步骤s101中，搭建检测系统如pmd（相位测量偏折术，phase measuring deflectometry）系统，获取由计算机等设备的检测系统生成的n步相移图片（如正弦条纹图
或余弦条纹图），使用光源设备如显示器等作为光源，将n步相移图片（即投影条纹图）投影在待测物体类镜面并进行相移，相移的同时使用相机等采集设备采集对应的变形条纹图，如图4所示，图4为五步相移图片，n步相移图片可以但不限于是五步相移图片。上述设备可根据实际需要进行修改，但不限于此。
34.其中，投影条纹图的光强表示为：；其中，为投影条纹图的光强，a(x,y)表示投影条纹图的背景光场，b(x,y)是投影条纹图的对比度（调制度分布），是初始相位分布，f表示条纹的空间频率，表示相移量，n为n步相移图片的步数（n步），且n为正整数，n为第n幅n步相移图片（1≤n≤n，且n为整数），x为图中像素点的横坐标，y为图中像素点的纵坐标。
35.获取类镜面数据库（即数据库）的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，表面缺陷训练样本可用于模型训练，可作为训练集数据和验证集数据。
36.具体地，在步骤s101中，基于变形条纹图，生成待测物体类镜面的调制图、相位图和曲率图，包括：对变形条纹图进行解调和计算，得到待测物体类镜面的调制图和相位图；求导相位图，得到待测物体类镜面的曲率图。
37.在步骤s101中，对获取的变形条纹图进行解调，得到待测物体类镜面的调制图（即计算调制度），由于受到类镜面物体表面（待测物体类镜面）调制，采集到的变形条纹图光强会发生变化，将其表示为，调制度计算公式具体为：；其中，为调制度，为变形条纹图光强。
38.通过上述公式计算变形条纹图中每个像素点位置的调制度，得到调制度图像（调制图）。由于类镜面物体表面有污渍的地方会导致反射至采集设备的变形条纹图对比度发生变化，而调制度值与变形条纹图对比度成正比，因此在调制度图像中，污渍类的缺陷会表现出较为明显的特征。
39.对变形条纹图进行计算，得到待测物体类镜面的相位图，即使用相位计算方法（如相移法），求解待测物体类镜面的相位，相位的计算公式具体为：
；其中，为待测物体类镜面的相位。
40.通过上述公式计算变形条纹图中每个像素点位置的相位，如相位的计算公式所示，提取的相位被包裹在arctan函数里面，得到的是包裹相位，也称为截断相位。若想重建待测物体类镜面表面的高度，需使用相位展开算法对包裹相位进行相位展开，得到连续相位。包裹相位进行相位展开后的图便是待测物体类镜面的相位图，由于相位图可以表征待测物体类镜面每个位置的梯度信息，通过梯度积分可重建高度分布，因此待测物体类镜面表面具有高度变化的缺陷，如凹坑、流挂等在相位图中有较为明显的特征。
41.对相位图进行求导（x,y方向一阶导数）得到待测物体类镜面的曲率图，计算曲率是检测面型缺陷的重要手段，pmd中展开后的相位是梯度信息，对获得的梯度求一阶导数便可以获得曲率，相当于对高度信息求二阶导。求导公式具体为：；其中，为对x方向求偏导（即曲率），为展开后的相位值。
42.求导公式表示对x方向求偏导。通过上述公式计算相位图中每个像素点位置的曲率，得到曲率图。求二阶导对图像中的精细细节，如细线、孤立点和噪声均有较强的响应，因此在曲率图中，长条形的划痕等细小的缺陷会有较明显的特征表现。
43.具体地，在步骤s102中，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，即在图像软件中新建一个空的矩阵变换函数（cvmat）对象，设置为三通道格式，将生成的调制图、相位图和曲率图进行复合，最终生成可显示的rgb图像，得到待测物体类镜面的彩色三通道图。
44.由于步骤s101中得到的图像（即调制图、相位图和曲率图）对应不同的缺陷特征，在进行缺陷检测过程中，往往需要同时检测不同类型的缺陷。将待测物体类镜面的调制图、相位图和曲率图进行复合，最终生成可显示的三通道格式的rgb图像（即彩色三通道图），只需要彩色三通道图这一种图源，就能检测所有类型的缺陷。如图5所示，图5为彩色三通道图，图中的黑白点和黑白块即为缺陷部分（在彩色图中缺陷部分更为明显）。通过复合彩色三通道图后，多种缺陷特征以不同于背景颜色的形式清晰展现，且复合后的缺陷特征有所增强，更加有利于缺陷的识别和分类。彩色三通道图可清晰分辨出污渍、凹坑、流挂等缺陷，多种缺陷类型特征都较为明显，为后续缺陷检测算法提供了信息丰富、精确可靠的输入源图像。
45.需要说明的是，彩色三通道图，为每个像素点都有3个值表示的图像。例如rgb图像即为彩色三通道图，rgb色彩模式是工业界的一种颜色标准，是通过对红( r)、绿(g)、蓝（b）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
46.具体地，在步骤s103中，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：复合表面调制图、表面相位图和表面曲率图，得到表面彩色三通道图；根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型。
47.在步骤s103中，将数据库中的表面调制图、表面相位图和表面曲率图复合，得到表面彩色三通道图（具体复合步骤参考步骤s102中生成彩色三通道图的步骤），表面彩色三通道图用于类镜面缺陷检测模型的训练和验证，根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型。
48.其中，对表面彩色三通道图可使用数据增强的方式进行数据扩充，使图片的特征更容易被类镜面缺陷检测模型提取，数据扩充具体步骤如下：在收集一百张以上表面彩色三通道图后，可使用数据标注软件对表面彩色三通道图内的缺陷特征进行标注，经过标注后的图片可使用数据增强方法（如旋转、左右翻转、上下翻转、调整对比度、调整亮度）进行数据扩充，最终得到带有标注的图片数据集接近八百张。图片数量、标注原则和数据扩充方法可不做具体要求，也可根据实际需要进行修改，但不限于此。
49.在步骤s103中，根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：构建与表面彩色三通道图对应的初步类镜面缺陷检测模型；根据表面彩色三通道图及对应的表面缺陷数据，训练初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型；基于表面彩色三通道图及对应的表面缺陷数据，验证训练后的初步类镜面缺陷检测模型，得到类镜面缺陷检测模型。
50.在步骤s103中，根据表面彩色三通道图，构建初步类镜面缺陷检测模型。
51.类镜面缺陷检测模型为yolov5模型，yolov5是一种单阶段目标检测算法，具有检测速度快、模型小等优点，适合部署于移动端，常用于工业检测领域。类镜面缺陷检测模型的结构示意图如图6所示，其中，backbone为骨干网络，neck为颈部结构，head为头部结构。在yolov5模型中，backbone用于特征提取，neck用于特征融合，head用于对特征图像进行输出。
52.yolov5模型的具体计算过程如下：将rgb图像（表面彩色三通道图）输入到backbone进行特征提取。backbone骨干网络主要作用是提取图片的特征，并不断缩小特征图，在骨干网络的浅层，网络提取的是一些像颜色、轮廓、纹理和形状等简单的特征，如表面彩色三通道图的缺陷特征，属于图形特征。在backbone经过多个卷积层的计算生成特征图，供后面的网络使用。
53.生成的特征图输入neck进行特征融合。neck颈部结构主要实现浅层图形特征和深层语义特征的融合。特征图经过一系列混合和组合图像特征的卷积层，进行特征融合，得到
特征融合图像。
54.特征融合图像输入到head进行预测并输出，yolov5网络模型的输出为(x，y，w，h，c)，分别表示预测框在图像坐标系上的x、y坐标，矩形宽高width、height，以及置信度confidence，生成边界框并预测缺陷类别（如根据特征融合图像中缺陷特征部分的颜色和轮廓等图形特征，确定对应的缺陷类别），并定义此边界框为预测的边框，最终得到模型的输出结果，即表面缺陷图片（表面缺陷数据）。
55.具体地，在步骤s103中，根据表面彩色三通道图及对应的表面缺陷数据，训练初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型，包括：将表面彩色三通道图输入到初步类镜面缺陷检测模型，得到对应的输出图像；根据表面彩色三通道图及对应的表面缺陷数据和对应的输出图像，确定训练误差；基于训练误差，调整初步类镜面缺陷检测模型的参数，得到最优参数，并利用最优参数，优化初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型。
56.在步骤s103中，通过将数据库中表面彩色三通道图对应的表面缺陷数据与表面彩色三通道图输入初步类镜面缺陷检测模型得到的结果（表面彩色三通道图输入初步类镜面缺陷检测模型得到对应的输出图像）进行比较，得到训练误差，如输出图像比表面缺陷数据模糊的模糊程度，或输出图像的缺陷位置与表面缺陷数据的缺陷位置的位置偏差等训练误差，利用训练误差，对初步类镜面缺陷检测模型的参数进行调整，如训练误差为输出图像比表面缺陷数据模糊的模糊程度，则修改对应的模型参数，令输出图像愈发清晰，得到最优参数，通过最优参数，优化初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型。
57.在步骤s103中，将数据库中未用于训练的表面彩色三通道图输入训练后的初步类镜面缺陷检测模型，得到初步类镜面缺陷检测模型输出的缺陷输出图像，作为表面缺陷数据验证数据，对比表面缺陷数据验证数据与数据库中未用于训练的表面彩色三通道图对应的表面缺陷数据，确定误差在可接受范围内（误差可接受范围一般为3%到4%，可根据实际需要进行修改），验证训练后的初步类镜面缺陷检测模型的准确度，得到类镜面缺陷检测模型。
58.具体地，在步骤s103中，将表面彩色三通道图输入到初步类镜面缺陷检测模型，得到对应的缺陷输出之前，包括：初始化初步类镜面缺陷检测模型的参数。
59.在步骤s103中，在输入数据对模型进行训练之前，要初始化初步类镜面缺陷检测模型的参数，保证模型处于正常使用状态。
60.具体地，在步骤s104中，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，通过类镜面缺陷检测模型的计算，得到待测物体类镜面的缺陷检测结果数据。
61.由上可知，该类镜面缺陷检测方法，通过获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测
模型，计算得到待测物体类镜面的缺陷检测结果数据；从而，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
62.参考图2，本技术提供了一种类镜面缺陷检测装置，用于对类镜面缺陷进行检测，包括：获取模块1，用于获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；复合模块2，用于复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图；构建模块3，用于根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；计算模块4，用于将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，计算得到待测物体类镜面的缺陷检测结果数据。
63.该类镜面缺陷检测装置，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
64.具体地，获取模块1在获取待测物体类镜面的调制图、相位图和曲率图的时候，执行：获取检测系统生成的n步相移图片；将n步相移图片在待测物体类镜面进行投影并相移，得到对应的变形条纹图；基于变形条纹图，生成待测物体类镜面的调制图、相位图和曲率图。
65.获取模块1在执行时，搭建检测系统如pmd（相位测量偏折术，phase measuring deflectometry）系统，获取由计算机等设备的检测系统生成的n步相移图片（如正弦条纹图或余弦条纹图），使用光源设备如显示器等作为光源，将n步相移图片（即投影条纹图）投影在待测物体类镜面并进行相移，相移的同时使用相机等设备采集对应的变形条纹图，如图4所示，图4为五步相移图片，n步相移图片可以但不限于是五步相移图片。上述设备可根据实际需要进行修改，但不限于此。
66.其中，投影条纹图的光强表示为：；其中，为投影条纹图的光强，a(x,y)表示投影条纹图的背景光场，b(x,y)是投影条纹图的对比度（调制度分布），是初始相位分布，f表示条纹
的空间频率，表示相移量，n为n步相移图片的步数（n步），且n为正整数，n为第n幅n步相移图片（1≤n≤n，且n为整数），x为图中像素点的横坐标，y为图中像素点的纵坐标。
67.获取类镜面数据库（即数据库）的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，表面缺陷训练样本可用于模型训练，可作为训练集数据和验证集数据。
68.具体地，获取模块1在基于变形条纹图，生成待测物体类镜面的调制图、相位图和曲率图的时候，执行：对变形条纹图进行解调和计算，得到待测物体类镜面的调制图和相位图；求导相位图，得到待测物体类镜面的曲率图。
69.获取模块1在执行时，对获取的变形条纹图进行解调，得到待测物体类镜面的调制图（即计算调制度），由于受到类镜面物体表面（待测物体类镜面）调制，采集到的变形条纹图光强会发生变化，将其表示为，调制度计算公式具体为：；其中，为调制度，为变形条纹图光强。
70.通过上述公式计算变形条纹图中每个像素点位置的调制度，得到调制度图像（调制图）。由于类镜面物体表面有污渍的地方会导致反射至采集设备的变形条纹图对比度发生变化，而调制度值与变形条纹图对比度成正比，因此在调制度图像中，污渍类的缺陷会表现出较为明显的特征。
71.对变形条纹图进行计算，得到待测物体类镜面的相位图，即使用相位计算方法（如相移法），求解待测物体类镜面的相位，相位的计算公式具体为：；其中，为待测物体类镜面的相位。
72.通过上述公式计算变形条纹图中每个像素点位置的相位。如相位的计算公式所示，提取的相位被包裹在arctan函数里面，得到的是包裹相位，也称为截断相位。若想重建待测物体类镜面表面的高度，需使用相位展开算法对包裹相位进行相位展开，得到连续相位。包裹相位进行相位展开后的图便是待测物体类镜面的相位图，由于相位图可以表征待测物体类镜面每个位置的梯度信息，通过梯度积分可重建高度分布，因此待测物体类镜面表面具有高度变化的缺陷，如凹坑、流挂等在相位图中有较为明显的特征。
73.对相位图进行求导（x,y方向一阶导数）得到待测物体类镜面的曲率图，计算曲率是检测面型缺陷的重要手段，pmd中展开后的相位是梯度信息，对获得的梯度求一阶导数便可以获得曲率，相当于对高度信息求二阶导。求导公式具体为：；其中，为对x方向求偏导（即曲率），为展开后的相位值。
74.求导公式表示对x方向求偏导。通过上述公式计算相位图中每个像素点位置的曲率，得到曲率图。求二阶导对图像中的精细细节，如细线、孤立点和噪声均有较强的响应，因此在曲率图中，长条形的划痕等细小的缺陷会有较明显的特征表现。
75.具体地，复合模块2在执行时，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，即在图像软件中新建一个空的矩阵变换函数（cvmat）对象，设置为三通道格式，将生成的调制图、相位图和曲率图进行复合，最终生成可显示的rgb图像，得到待测物体类镜面的彩色三通道图。
76.由于获取模块1中得到的图像（即调制图、相位图和曲率图）对应不同的缺陷特征，在进行缺陷检测过程中，往往需要同时检测不同类型的缺陷。将待测物体类镜面的调制图、相位图和曲率图进行复合，最终生成可显示的三通道格式的rgb图像（即彩色三通道图），只需要彩色三通道图这一种图源，就能检测所有类型的缺陷。如图5所示，图5为彩色三通道图，图中的黑白点和黑白块即为缺陷部分（在彩色图中缺陷部分更为明显）。通过复合彩色三通道图后，多种缺陷特征以不同于背景颜色的形式清晰展现，且复合后的缺陷特征有所增强，更加有利于缺陷的识别和分类。彩色三通道图可清晰分辨出污渍、凹坑、流挂等缺陷，多种缺陷类型特征都较为明显，为后续缺陷检测算法提供了信息丰富、精确可靠的输入源图像。
77.需要说明的是，彩色三通道图，为每个像素点都有3个值表示的图像。例如rgb图像即为彩色三通道图，rgb色彩模式是工业界的一种颜色标准，是通过对红( r)、绿(g)、蓝（b）三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，rgb即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。
78.具体地，构建模块3在根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型的时候，执行：复合表面调制图、表面相位图和表面曲率图，得到表面彩色三通道图；根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型。
79.构建模块3在执行时，将数据库中的表面调制图、表面相位图和表面曲率图复合，得到表面彩色三通道图（具体复合步骤如复合模块2在生成彩色三通道图时执行的步骤），表面彩色三通道图用于类镜面缺陷检测模型的训练和验证，根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型。
80.其中，对表面彩色三通道图可使用数据增强的方式进行数据扩充，使图片的特征
更容易被类镜面缺陷检测模型提取，数据扩充具体步骤如下：在收集一百张以上表面彩色三通道图后，可使用数据标注软件对表面彩色三通道图内的缺陷特征进行标注，经过标注后的图片可使用数据增强方法（如旋转、左右翻转、上下翻转、调整对比度、调整亮度）进行数据扩充，最终得到带有标注的图片数据集接近八百张。图片数量、标注原则和数据扩充方法可不做具体要求，也可根据实际需要进行修改，但不限于此。
81.构建模块3在根据表面彩色三通道图及对应的表面缺陷数据，构建类镜面缺陷检测模型的时候，执行：构建与表面彩色三通道图对应的初步类镜面缺陷检测模型；根据表面彩色三通道图及对应的表面缺陷数据，训练初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型；基于表面彩色三通道图及对应的表面缺陷数据，验证训练后的初步类镜面缺陷检测模型，得到类镜面缺陷检测模型。
82.构建模块3在执行时，根据表面彩色三通道图，构建初步类镜面缺陷检测模型。
83.类镜面缺陷检测模型为yolov5模型，yolov5是一种单阶段目标检测算法，具有检测速度快、模型小等优点，适合部署于移动端，常用于工业检测领域。类镜面缺陷检测模型的结构示意图如图6所示，其中，backbone为骨干网络，neck为颈部结构，head为头部结构。在yolov5模型中，backbone用于特征提取，neck用于特征融合，head用于对特征图像进行输出。
84.yolov5模型的具体计算过程如下：将rgb图像（表面彩色三通道图）输入到backbone进行特征提取。backbone骨干网络主要作用是提取图片的特征，并不断缩小特征图，在骨干网络的浅层，网络提取的是一些像颜色、轮廓、纹理和形状等简单的特征，如表面彩色三通道图的缺陷特征，属于图形特征。在backbone经过多个卷积层的计算生成特征图，供后面的网络使用。
85.生成的特征图输入neck进行特征融合。neck颈部结构主要实现浅层图形特征和深层语义特征的融合。特征图经过一系列混合和组合图像特征的卷积层，进行特征融合，得到特征融合图像。
86.特征融合图像输入到head进行预测并输出，yolov5网络模型的输出为(x，y，w，h，c)，分别表示预测框在图像坐标系上的x、y坐标，矩形宽高width、height，以及置信度confidence，生成边界框并预测缺陷类别（如根据特征融合图像中缺陷特征部分的颜色和轮廓等图形特征，确定对应的缺陷类别），并定义此边界框为预测的边框，最终得到模型的输出结果，即表面缺陷图片（表面缺陷数据）。
87.具体地，构建模块3在根据表面彩色三通道图及对应的表面缺陷数据，训练初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型的时候，执行：将表面彩色三通道图输入到初步类镜面缺陷检测模型，得到对应的输出图像；根据表面彩色三通道图及对应的表面缺陷数据和对应的输出图像，确定训练误差；基于训练误差，调整初步类镜面缺陷检测模型的参数，得到最优参数，并利用最优参数，优化初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型。
88.构建模块3在执行时，通过将数据库中表面彩色三通道图对应的表面缺陷数据与
表面彩色三通道图输入初步类镜面缺陷检测模型得到的结果（表面彩色三通道图输入初步类镜面缺陷检测模型得到对应的输出图像）进行比较，得到训练误差，如输出图像比表面缺陷数据模糊的模糊程度，或输出图像的缺陷位置与表面缺陷数据的缺陷位置的位置偏差等训练误差，利用训练误差，对初步类镜面缺陷检测模型的参数进行调整，如训练误差为输出图像比表面缺陷数据模糊的模糊程度，则修改对应的模型参数，令输出图像愈发清晰，得到最优参数，通过最优参数，优化初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型。
89.构建模块3在执行时，将数据库中未用于训练的表面彩色三通道图输入训练后的初步类镜面缺陷检测模型，得到初步类镜面缺陷检测模型输出的缺陷输出图像，作为表面缺陷数据验证数据，对比表面缺陷数据验证数据与数据库中未用于训练的表面彩色三通道图对应的表面缺陷数据，确定误差在可接受范围内（误差可接受范围一般为3%到4%，可根据实际需要进行修改），验证训练后的初步类镜面缺陷检测模型的准确度，得到类镜面缺陷检测模型。
90.具体地，构建模块3在将表面彩色三通道图输入到初步类镜面缺陷检测模型，得到对应的缺陷输出之前，执行：初始化初步类镜面缺陷检测模型的参数。
91.构建模块3在执行时，在输入数据对模型进行训练之前，要初始化初步类镜面缺陷检测模型的参数，保证模型处于正常使用状态。
92.具体地，计算模块4在执行时，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，通过类镜面缺陷检测模型的计算，得到待测物体类镜面的缺陷检测结果数据。
93.由上可知，该类镜面缺陷检测装置，通过获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，计算得到待测物体类镜面的缺陷检测结果数据；从而，通过将复合调制图、相位图和曲率图得到的彩色三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，解决现有的缺陷检测方法在检测过程中需输入多个源图像以分析不同的缺陷特征导致检测效率较低的问题，极大程度上减少输入源图像的数量，仅一种图像便可涵盖多种缺陷种类特征，提高了类镜面缺陷的检测效率。
94.请参照图3，图3为本技术实施例提供的一种电子设备的结构示意图，本技术提供一种电子设备，包括：处理器301和存储器302，处理器301和存储器302通过通信总线303和/或其他形式的连接机构（未标出）互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当电子设备运行时，处理器301执行该计算机程序，以执行上述实施例的任一可选的实现方式中的类镜面缺陷检测方法，以实现以下功能：获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，将待测物体类镜面的彩色三通道图输入到类镜
面缺陷检测模型，计算得到待测物体类镜面的缺陷检测结果数据。
95.本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的类镜面缺陷检测方法，以实现以下功能：获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，复合调制图、相位图和曲率图，生成待测物体类镜面的彩色三通道图，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，将待测物体类镜面的彩色三通道图输入到类镜面缺陷检测模型，计算得到待测物体类镜面的缺陷检测结果数据。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器（static random access memory, 简称sram），电可擦除可编程只读存储器（electrically erasable programmable read-only memory, 简称eeprom），可擦除可编程只读存储器（erasable programmable read only memory, 简称eprom），可编程只读存储器（programmable red-only memory, 简称prom），只读存储器（read-only memory, 简称rom），磁存储器，快闪存储器，磁盘或光盘。
96.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
97.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
98.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
99.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
100.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种类镜面缺陷检测方法，用于对类镜面缺陷进行检测，其特征在于，包括步骤：获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；所述表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；复合所述调制图、所述相位图和所述曲率图，生成所述待测物体类镜面的彩色三通道图；根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；将所述待测物体类镜面的彩色三通道图输入到所述类镜面缺陷检测模型，计算得到所述待测物体类镜面的缺陷检测结果数据。2.根据权利要求1所述的类镜面缺陷检测方法，其特征在于，获取待测物体类镜面的调制图、相位图和曲率图，包括：获取检测系统生成的n步相移图片；将所述n步相移图片在所述待测物体类镜面进行投影并相移，得到对应的变形条纹图；基于所述变形条纹图，生成所述待测物体类镜面的调制图、相位图和曲率图。3.根据权利要求2所述的类镜面缺陷检测方法，其特征在于，基于所述变形条纹图，生成所述待测物体类镜面的调制图、相位图和曲率图，包括：对所述变形条纹图进行解调和计算，得到所述待测物体类镜面的调制图和相位图；求导所述相位图，得到所述待测物体类镜面的曲率图。4.根据权利要求1所述的类镜面缺陷检测方法，其特征在于，根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：复合所述表面调制图、所述表面相位图和所述表面曲率图，得到表面彩色三通道图；根据所述表面彩色三通道图及所述对应的表面缺陷数据，构建类镜面缺陷检测模型。5.根据权利要求4所述的类镜面缺陷检测方法，其特征在于，根据所述表面彩色三通道图及所述对应的表面缺陷数据，构建类镜面缺陷检测模型，包括：构建与所述表面彩色三通道图对应的初步类镜面缺陷检测模型；根据所述表面彩色三通道图及所述对应的表面缺陷数据，训练所述初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型；基于所述表面彩色三通道图及对应的表面缺陷数据，验证所述训练后的初步类镜面缺陷检测模型，得到所述类镜面缺陷检测模型。6.根据权利要求5所述的类镜面缺陷检测方法，其特征在于，根据所述表面彩色三通道图及所述对应的表面缺陷数据，训练所述初步类镜面缺陷检测模型，得到训练后的初步类镜面缺陷检测模型，包括：将所述表面彩色三通道图输入到所述初步类镜面缺陷检测模型，得到对应的输出图像；根据所述表面彩色三通道图及所述对应的表面缺陷数据和所述对应的输出图像，确定训练误差；基于所述训练误差，调整所述初步类镜面缺陷检测模型的参数，得到最优参数，并利用所述最优参数，优化所述初步类镜面缺陷检测模型，得到所述训练后的初步类镜面缺陷检
测模型。7.根据权利要求6所述的类镜面缺陷检测方法，其特征在于，将所述表面彩色三通道图输入到所述初步类镜面缺陷检测模型，得到对应的输出图像之前，包括：初始化所述初步类镜面缺陷检测模型的参数。8.一种类镜面缺陷检测装置，用于对类镜面缺陷进行检测，其特征在于，包括：获取模块，用于获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本；所述表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据；复合模块，用于复合所述调制图、所述相位图和所述曲率图，生成所述待测物体类镜面的彩色三通道图；构建模块，用于根据所述表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型；计算模块，用于将所述待测物体类镜面的彩色三通道图输入到所述类镜面缺陷检测模型，计算得到所述待测物体类镜面的缺陷检测结果数据。9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时，运行如权利要求1-7任一项所述类镜面缺陷检测方法中的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述类镜面缺陷检测方法中的步骤。

技术总结
本申请属于类镜面缺陷检测的技术领域，公开了一种类镜面缺陷检测方法、装置、电子设备及存储介质，该方法包括：获取待测物体类镜面的调制图、相位图和曲率图，以及类镜面数据库的表面缺陷训练样本，表面缺陷训练样本包括表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，复合调制图、相位图和曲率图，生成彩色三通道图，根据表面调制图、表面相位图和表面曲率图及对应的表面缺陷数据，构建类镜面缺陷检测模型，将彩色三通道图输入类镜面缺陷检测模型，得到待测物体类镜面的缺陷检测结果数据，通过将三通道图输入类镜面缺陷检测模型，对类镜面的缺陷进行检测，提高了缺陷检测的效率。的效率。的效率。


技术研发人员：宋梦洒 易京亚 魏晟 温志庆
受保护的技术使用者：季华实验室
技术研发日：2023.06.08
技术公布日：2023/7/18