一种图片缺陷类别的检测方法及装置与流程

1.本技术涉及图像检测技术领域，具体涉及一种图片缺陷类别的检测方法及装置。


背景技术：

2.计算机领域的飞速发展给社会带来了很大的变化，其中，目标检测领域计算机视觉应用广泛的方向之一，并且取得了很多成果，但是随着神经网络结构的复杂化，导致参数和计算量的增加，日常的服务器处理数据会占用很大的计算机内存。而图片的缺陷会影响到图片后期的应用，所以确定图片的缺陷类别有助于后期对图片后期的应用过程。
3.而现有的检测方法并不能准确清晰的识别出图片的缺陷类别，不利于图片的后期利用。


技术实现要素：

4.有鉴于此，本技术提供了一种图片缺陷类别的检测方法及装置，用于解决现有的检测方法并不能准确清晰的识别出图片的缺陷类别，不利于图片的后期利用的问题。
5.为实现以上目的，现提出的方案如下：
6.第一方面，一种图片缺陷类别的检测方法，包括：
7.获取多个初始图片的缺陷部分，得到多张第一图片；
8.对多张所述第一图片进行预处理，得到训练样本集；
9.利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；
10.获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
11.优选地，所述对多张所述第一图片进行预处理，得到训练样本集，包括：
12.获取各张第一图片的分辨率；
13.将分辨率低于预设阈值的第一图片剔除，得到各张第二图片；
14.对各张所述第二图片进行缺陷标注，得到各张第三图片；
15.对各张所述第三图片依次进行自适应增益处理和偏移处理，得到各张第四图片；
16.将各张第四图片进行组合，得到训练样本集。
17.优选地，所述目标检测模型包括依次连接的输入层、第一下采样层、第二下采样层、第三下采样层、第一组合操作层和第一目标卷积层，依次连接的第一目标上采样层、第一拼接层、第二组合操作层和第二目标卷积层，依次连接的第三目标卷积层、第二拼接层、第三组合操作层、第四目标卷积层；
18.其中，所述第二下采样层的输出分别与第三下采样层的输入、第一拼接层的输入连接，所述第二目标卷积层的输出与第三目标卷积层的输入连接，所述第三卷积层的输出和第一下采样层的输出分别与所述第二拼接层的输入连接。
19.优选地，所述第一下采样层包括两个第一目标操作组件和一个第二目标操作组
件，所述第二下采样层包括五个第一目标操作组件和两个第二目标操作组件，所述第三下采样层包括四个第一目标操作组件和一个第二目标操作组件。
20.优选地，所述第一目标操作组件包括依次连接的第一卷积层、第一激活函数层、第一深度可分离卷积层、第二激活函数层和第二卷积层，依次连接的第二深度可分离卷积层、批量归一化层和第三卷积层，还包括目标拼接层；
21.其中，所述第二卷积层的输出与所述第三卷基层的输出分别与所述目标拼接层的输入连接。
22.优选地，所述利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别，包括：
23.利用所述目标检测模型中的第一下采样层对所述目标缺陷图片进行第一下采样操作，得到第一下采样图片；
24.利用所述目标检测模型中的第二下采样层对所述第一下采样图片进行第二下采样操作，得到第二下采样图片；
25.利用所述目标检测模型中的第三下采样层对所述第二下采样图片进行第三下采样操作，得到第三下采样图片；
26.利用所述目标检测模型中的第一组合操作层对所述第三下采样图片进行第一目标卷积操作，得到第一输出特征图片；
27.利用所述目标检测模型中的第一类型判断层判断所述目标缺陷图片的图片类型是否为第一预设类型；
28.若是，则利用所述目标检测模型中的第一缺陷类别检测层对所述第一输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。
29.优选地，还包括：
30.若所述目标缺陷图片的图片类型不为第一预设类型，则利用所述目标检测模型中的第一目标上采样层对所述第一输出特征图片进行第一目标上采样处理，得到第一目标上采样图片；
31.利用所述目标检测模型中的第一拼接层对所述第一目标上采样图片以及第二下采样图片进行拼接，得到第一拼接图片；
32.利用所述目标检测模型中的第二组合操作层对所述第一拼接图片进行第二组合操作，得到第二组合图片；
33.利用所述目标检测模型中的第二目标卷积层对所述第二组合图片进行第二目标卷积操作，得到第二输出特征图片；
34.利用所述目标检测模型中的第二类型判断层判断所述目标缺陷图片的图片类型是否为第二预设类型；
35.若是，则利用所述目标检测模型中的第二缺陷类别检测层对所述第二输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。
36.优选地，还包括：
37.所述目标缺陷图片的图片类型不为第二预设类型，则利用所述目标检测模型中的第三目标卷积层对所述第二输出特征图片进行第三目标卷积操作，得到第三目标卷积图片；
38.利用所述目标检测模型中的第二拼接层对所述第三目标卷积图片以及第一下采样图片进行第二拼接操作，得到第二拼接图片；
39.利用所述目标检测模型中的第三组合操作层对所述第二拼接图片进行第三组合操作，得到第三组合图片；
40.利用所述目标检测模型中的第四目标卷积层对所述第三组合图片进行第四目标卷积操作，得到第三输出特征图片；
41.利用所述标检测模型中的第三缺陷类别检测层对所述第三输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。
42.优选地，所述第一组合操作层、第二组合操作层以及第三组合操作层均包括依次连接的组合卷积层、组合归一化操作层和组合激活函数层。
43.第二方面，一种图片缺陷类别的检测装置，包括：
44.拍摄模块，用于利用显微镜对多个初始图片的缺陷部分进行拍摄，得到多张第一图片；
45.预处理模块，用于对多张所述第一图片进行预处理，得到训练样本集；
46.训练模块，用于利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；
47.缺陷类别检测模块，用于获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
48.从上述技术方案可以看出，本技术通过获取多个初始图片的缺陷部分，得到多张第一图片；对多张所述第一图片进行预处理，得到训练样本集；利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。本方案利用多张初始图片的缺陷部分组成训练集，对预先构建的模型进行训练，以得到训练好的目标检测模型，然后将目标缺陷图片输入至目标检测模型中，即可得到目标缺陷图片的缺陷类别，可以准确、清晰、快速的检测出图片的缺陷类别，方便后期对目标缺陷图片的应用。
附图说明
49.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
50.图1为本技术实施例提供的一种图片缺陷类别的检测方法的可选流程图；
51.图2为本技术实施例提供的一种目标检测模型的结构示意图；
52.图3为本技术实施例提供的一种第一目标组件的结构示意图；
53.图4为本技术实施例提供的一种第二目标组件的结构示意图；
54.图5为本技术实施例提供的一种图片缺陷类别的检测装置的结构示意图；
55.图6为本技术实施例提供的一种图片缺陷类别的检测设备的结构示意图。
具体实施方式
56.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
57.计算机领域的飞速发展给社会带来了很大的变化，其中，目标检测领域计算机视觉应用广泛的方向之一，并且取得了很多成果，但是随着神经网络结构的复杂化，导致参数和计算量的增加，日常的服务器处理数据会占用很大的计算机内存。而图片的缺陷会影响到图片后期的应用，所以确定图片的缺陷类别有助于后期对图片后期的应用过程。
58.而现有的检测方法并不能准确清晰的识别出图片的缺陷类别，不利于图片的后期利用。
59.尤其是在工艺领域中，其有关深度学习的芯片缺陷检测方法利用的模型较为复杂，无法解决在计算机中占用内存大的问题。
60.基于上述缺陷，本发明实施例提供一种图片缺陷类别的检测方法，该方法可以应用在各种计算机终端或是智能终端中，其执行主体可以为计算机终端或是智能终端的处理器或服务器，所述方法的方法流程图如图1所示，具体包括：
61.s1：获取多个初始图片的缺陷部分，得到多张第一图片。
62.在工艺领域中，可以将芯片看作是初始图片，本方法可以看作是对芯片的缺陷类别进行识别，那么本步骤可以通过显微镜对多张芯片的缺陷部分进行拍摄，从而得到多张第一图片。
63.s2：对多张所述第一图片进行预处理，得到训练样本集。
64.对多张第一图片进行预处理可以看作是对第一图片进行训练增强的过程，比如将第一图片进行旋转、水平翻转、垂直翻转等，得到各个角度的训练图片，也可以选择第一图片中的224*224图片中的任意一部分片段作为训练样本集中的训练图片；还可以引入噪声构成新的图片，以此加大训练规模，得到各式各样的训练图片，组成训练样本集，以对初始检测模型进行充分的训练。
65.s3：利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型。
66.上述步骤中除了构建训练样本集，还可以另外构建测试集，当初始检测模型训练完成后，利用测试集对目标检测模型进行测试，查看训练效果，若训练效果达不到预期，则继续进行训练。
67.所述目标检测模型，是以步骤s2中构建的训练样本集中的图片为样本，以图片的真实缺陷类别为样本标签训练得到。
68.可选的，预先构建的初始检测模型采用的是mobilenet v3-yolo v5检测模型，其中将mobilenet v3-yolo v5检测模型的特征提取网络用轻量级mobilenet v3特征提取网络替换，特征提取层的卷积用mobilenet v3的卷积单元替换，以此可以提高检测的速度和
准确度。
69.s4：获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
70.对于芯片而言，目标缺陷图的缺陷类别可以包括光刻胶残留、划痕等。
71.从上述技术方案可以看出，本技术通过获取多个初始图片的缺陷部分，得到多张第一图片；对多张所述第一图片进行预处理，得到训练样本集；利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。本方案利用多张初始图片的缺陷部分组成训练集，对预先构建的模型进行训练，以得到训练好的目标检测模型，然后将目标缺陷图片输入至目标检测模型中，即可得到目标缺陷图片的缺陷类别，可以准确、清晰、快速的检测出图片的缺陷类别，方便后期对目标缺陷图片的应用。
72.本发明实施例提供的方法中，对多张所述第一图片进行预处理，得到训练样本集的过程，具体说明如下所述：
73.获取各张第一图片的分辨率；
74.将分辨率低于预设阈值的第一图片剔除，得到各张第二图片；
75.对各张所述第二图片进行缺陷标注，得到各张第三图片；
76.对各张所述第三图片依次进行自适应增益处理和偏移处理，得到各张第四图片；
77.将各张第四图片进行组合，得到训练样本集。
78.具体地，为了避免由于训练样本的自身问题影响训练过程，需要获取各张第一图片的分辨率，将分辨率较低、障碍物较多或者无效图片删除掉，得到多张第二图片，再利用预设的真实缺陷类别对各张第二图片进行标注后进行自适应增强处理，其中包括自适应增益和偏移处理，再进行组合后，以得到训练样本集。本方案中可以将全部图片作为训练样本集，也可以按照一定比例将大部分图片组成训练样本集，将剩余的一小部分图片组成测试集，本实施对此不作限制。
79.可选的，本技术实施例中提供的目标检测模型可以如图2所示，包括依次连接的输入层input、第一下采样层、第二下采样层、第三下采样层、第一组合操作层和第一目标卷积层，依次连接的第一目标上采样层、第一拼接层、第二组合操作层和第二目标卷积层，依次连接的第三目标卷积层、第二拼接层、第三组合操作层、第四目标卷积层；
80.其中，所述第二下采样层的输出分别与第三下采样层的输入、第一拼接层的输入连接，所述第二目标卷积层的输出与第三目标卷积层的输入连接，所述第三卷积层的输出和第一下采样层的输出分别与所述第二拼接层的输入连接。
81.具体地，所述第一下采样层包括两个第一目标操作组件block1和一个第二目标操作组件block2，所述第二下采样层包括五个第一目标操作组件block1和两个第二目标操作组件block2，所述第三下采样层包括四个第一目标操作组件block1和一个第二目标操作组件block2。
82.其中，第一组合操作层、第二组合操作层和第三组合操作层中均进行五次cbr操作(cbr*5)，其中包括依次连接的组合卷积层、组合归一化操作层和组合激活函数层；第一目
标卷积层、第二目标卷积层、第三目标卷积层和第四目标卷积层中均进行一次cbr操作和一次卷积操作；第一目标上采样层中进行一次cbr操作和一次上采样操作。
83.在本技术提供的一个实施例中，第一目标组件的结构图可以如图3所示，其包括依次连接的第一卷积层1*1conv、第一激活函数层relu、第一深度可分离卷积层3*3dw(depth width conv)、第二激活函数层relu和第二卷积层1*1conv，依次连接的第二深度可分离卷积层3*3dw、批量归一化层bn(batch normalization)和第三卷积层1*1conv，还包括目标拼接层concat；其中，所述第二卷积层的输出与所述第三卷基层的输出分别与所述目标拼接层的输入连接。其中，第一目标组件可以看作是进行双通道操作的组件，其中一部分输入进行1*1卷积，然后通过第一激活函数层relu进行非线性操作，再经过3*3深度可分离卷积后再次进行非线性操作，最后进行1*1卷积得到第一个输出，另一通道部分只是进行3*3深度可分离卷积，一次非线性操作和1*1卷积后得到第二个输出，将这两个输出进行拼接，从而得到第一目标组件的总输出图片。
84.另外，第二目标组件的结构图可以如图4所示，其包括第四卷积层1*1conv、第三激活函数层relu、第三深度可分离卷积层3*3dw、第四激活函数层relu和第五卷积层1*1conv。
85.下面对本技术中的利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别的过程进行详细说明。
86.利用所述目标检测模型中的第一下采样层对所述目标缺陷图片进行第一下采样操作，得到第一下采样图片；利用所述目标检测模型中的第二下采样层对所述第一下采样图片进行第二下采样操作，得到第二下采样图片；利用所述目标检测模型中的第三下采样层对所述第二下采样图片进行第三下采样操作，得到第三下采样图片；
87.利用所述目标检测模型中的第一组合操作层对所述第三下采样图片进行第一目标卷积操作，得到第一输出特征图片；利用所述目标检测模型中的第一类型判断层判断所述目标缺陷图片的图片类型是否为第一预设类型；
88.若是，则利用所述目标检测模型中的第一缺陷类别检测层对所述第一输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别；
89.若否，则利用所述目标检测模型中的第一目标上采样层对所述第一输出特征图片进行第一目标上采样处理，得到第一目标上采样图片；利用所述目标检测模型中的第一拼接层对所述第一目标上采样图片以及第二下采样图片进行拼接，得到第一拼接图片；利用所述目标检测模型中的第二组合操作层对所述第一拼接图片进行第二组合操作，得到第二组合图片；利用所述目标检测模型中的第二目标卷积层对所述第二组合图片进行第二目标卷积操作，得到第二输出特征图片；
90.利用所述目标检测模型中的第二类型判断层判断所述目标缺陷图片的图片类型是否为第二预设类型；
91.若是，则利用所述目标检测模型中的第二缺陷类别检测层对所述第二输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。
92.若否，则利用所述目标检测模型中的第三目标卷积层对所述第二输出特征图片进行第三目标卷积操作，得到第三目标卷积图片；利用所述目标检测模型中的第二拼接层对所述第三目标卷积图片以及第一下采样图片进行第二拼接操作，得到第二拼接图片；利用所述目标检测模型中的第三组合操作层对所述第二拼接图片进行第三组合操作，得到第三
组合图片；利用所述目标检测模型中的第四目标卷积层对所述第三组合图片进行第四目标卷积操作，得到第三输出特征图片；利用所述标检测模型中的第三缺陷类别检测层对所述第三输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。
93.具体地，第一预设类型可以设置为7*7特征类型，第二预设类型为14*14特征类型，若目标检测图片不属于7*7特征类型，也不属于14*14特征类型，可以认为其属于28*28特征类型，可以理解的是，本方案只是列举了三种尺度的特征类型，还可以有其他类型，本实施例对此不作限制。
94.与图1所述的方法相对应，本发明实施例还提供了图片缺陷类别的检测装置，用于对图1中方法的具体实现，本发明实施例提供的图片缺陷类别的检测装置可以在计算机终端或各种移动设备中，结合图5，对图片缺陷类别的检测装置进行介绍，如图5所示，该装置可以包括：
95.第一图片获取模块10，用于获取多个初始图片的缺陷部分，得到多张第一图片；
96.预处理模块20，用于对多张所述第一图片进行预处理，得到训练样本集；
97.训练模块30，用于利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；
98.缺陷类别检测模块40，用于获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
99.从上述技术方案可以看出，本技术通过获取多个初始图片的缺陷部分，得到多张第一图片；对多张所述第一图片进行预处理，得到训练样本集；利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。本方案利用多张初始图片的缺陷部分组成训练集，对预先构建的模型进行训练，以得到训练好的目标检测模型，然后将目标缺陷图片输入至目标检测模型中，即可得到目标缺陷图片的缺陷类别，可以准确、清晰、快速的检测出图片的缺陷类别，方便后期对目标缺陷图片的应用。
100.更进一步地，本技术实施例提供了一种图片缺陷类别的检测设备。可选的，图6示出了图片缺陷类别的检测设备的硬件结构框图，参照图6，图片缺陷类别的检测设备的硬件结构可以包括：至少一个处理器01，至少一个通信接口02，至少一个存储器03和至少一个通信总线04。
101.在本技术实施例中，处理器01、通信接口02、存储器03、通信总线04的数量为至少一个，且处理器01、通信接口02、存储器03通过通信总线04完成相互间的通信。
102.处理器01可以是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等。
103.存储器03可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器。
104.其中，存储器存储有程序，处理器可调用存储器存储的程序，程序用于执行下述图
片缺陷类别的检测方法，包括：
105.获取多个初始图片的缺陷部分，得到多张第一图片；
106.对多张所述第一图片进行预处理，得到训练样本集；
107.利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；
108.获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
109.可选的，程序的细化功能和扩展功能可参照方法实施例中的图片缺陷类别的检测方法的描述。
110.本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，在所述程序运行时控制所述存储介质所在的设备执行下述图片缺陷类别的检测方法，包括：
111.获取多个初始图片的缺陷部分，得到多张第一图片；
112.对多张所述第一图片进行预处理，得到训练样本集；
113.利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；
114.获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。
115.具体地，该存储介质可以是一种计算机可读存储介质，计算机可读存储介质可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。
116.可选的，程序的细化功能和扩展功能可参照方法实施例中的图片缺陷类别的检测方法的描述。
117.另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。
118.最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
119.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
120.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种图片缺陷类别的检测方法，其特征在于，包括：获取多个初始图片的缺陷部分，得到多张第一图片；对多张所述第一图片进行预处理，得到训练样本集；利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。2.根据权利要求1所述的方法，其特征在于，所述对多张所述第一图片进行预处理，得到训练样本集，包括：获取各张第一图片的分辨率；将分辨率低于预设阈值的第一图片剔除，得到各张第二图片；对各张所述第二图片进行缺陷标注，得到各张第三图片；对各张所述第三图片依次进行自适应增益处理和偏移处理，得到各张第四图片；将各张第四图片进行组合，得到训练样本集。3.根据权利要求1所述的方法，其特征在于，所述目标检测模型包括依次连接的输入层、第一下采样层、第二下采样层、第三下采样层、第一组合操作层和第一目标卷积层，依次连接的第一目标上采样层、第一拼接层、第二组合操作层和第二目标卷积层，依次连接的第三目标卷积层、第二拼接层、第三组合操作层、第四目标卷积层；其中，所述第二下采样层的输出分别与第三下采样层的输入、第一拼接层的输入连接，所述第二目标卷积层的输出与第三目标卷积层的输入连接，所述第三卷积层的输出和第一下采样层的输出分别与所述第二拼接层的输入连接。4.根据权利要求3所述的方法，其特征在于，所述第一下采样层包括两个第一目标操作组件和一个第二目标操作组件，所述第二下采样层包括五个第一目标操作组件和两个第二目标操作组件，所述第三下采样层包括四个第一目标操作组件和一个第二目标操作组件。5.根据权利要求4所述的方法，其特征在于，所述第一目标操作组件包括依次连接的第一卷积层、第一激活函数层、第一深度可分离卷积层、第二激活函数层和第二卷积层，依次连接的第二深度可分离卷积层、批量归一化层和第三卷积层，还包括目标拼接层；其中，所述第二卷积层的输出与所述第三卷基层的输出分别与所述目标拼接层的输入连接。6.根据权利要求1所述的方法，其特征在于，所述利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别，包括：利用所述目标检测模型中的第一下采样层对所述目标缺陷图片进行第一下采样操作，得到第一下采样图片；利用所述目标检测模型中的第二下采样层对所述第一下采样图片进行第二下采样操作，得到第二下采样图片；利用所述目标检测模型中的第三下采样层对所述第二下采样图片进行第三下采样操作，得到第三下采样图片；利用所述目标检测模型中的第一组合操作层对所述第三下采样图片进行第一目标卷积操作，得到第一输出特征图片；
利用所述目标检测模型中的第一类型判断层判断所述目标缺陷图片的图片类型是否为第一预设类型；若是，则利用所述目标检测模型中的第一缺陷类别检测层对所述第一输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。7.根据权利要求6所述的方法，其特征在于，还包括：若所述目标缺陷图片的图片类型不为第一预设类型，则利用所述目标检测模型中的第一目标上采样层对所述第一输出特征图片进行第一目标上采样处理，得到第一目标上采样图片；利用所述目标检测模型中的第一拼接层对所述第一目标上采样图片以及第二下采样图片进行拼接，得到第一拼接图片；利用所述目标检测模型中的第二组合操作层对所述第一拼接图片进行第二组合操作，得到第二组合图片；利用所述目标检测模型中的第二目标卷积层对所述第二组合图片进行第二目标卷积操作，得到第二输出特征图片；利用所述目标检测模型中的第二类型判断层判断所述目标缺陷图片的图片类型是否为第二预设类型；若是，则利用所述目标检测模型中的第二缺陷类别检测层对所述第二输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。8.根据权利要求7所述的方法，其特征在于，还包括：所述目标缺陷图片的图片类型不为第二预设类型，则利用所述目标检测模型中的第三目标卷积层对所述第二输出特征图片进行第三目标卷积操作，得到第三目标卷积图片；利用所述目标检测模型中的第二拼接层对所述第三目标卷积图片以及第一下采样图片进行第二拼接操作，得到第二拼接图片；利用所述目标检测模型中的第三组合操作层对所述第二拼接图片进行第三组合操作，得到第三组合图片；利用所述目标检测模型中的第四目标卷积层对所述第三组合图片进行第四目标卷积操作，得到第三输出特征图片；利用所述标检测模型中的第三缺陷类别检测层对所述第三输出特征图片进行检测处理，得到所述目标检测图片的缺陷类别。9.根据权利要求3所述的方法，其特征在于，所述第一组合操作层、第二组合操作层以及第三组合操作层均包括依次连接的组合卷积层、组合归一化操作层和组合激活函数层。10.一种图片缺陷类别的检测装置，其特征在于，包括：第一图片获取模块，用于获取多个初始图片的缺陷部分，得到多张第一图片；预处理模块，用于对多张所述第一图片进行预处理，得到训练样本集；训练模块，用于利用所述训练样本集对预先构建的初始检测模型进行训练，调整所述初始检测模型的网络参数，以得到训练好的初始检测模型，将所述初始检测模型作为目标检测模型；缺陷类别检测模块，用于获取待检测的目标缺陷图片，利用所述目标检测模型对所述目标缺陷图片进行缺陷检测，以得到所述目标缺陷图片的缺陷类别。

技术总结
本申请公开一种图片缺陷类别的检测方法及装置，通过获取多个初始图片的缺陷部分，得到多张第一图片；对多张第一图片进行预处理，得到训练样本集；利用训练样本集对预先构建的初始检测模型进行训练，调整初始检测模型的网络参数，以得到训练好的初始检测模型，将初始检测模型作为目标检测模型；获取待检测的目标缺陷图片，利用目标检测模型对目标缺陷图片进行缺陷检测，以得到目标缺陷图片的缺陷类别。本方案利用多张初始图片的缺陷部分组成训练集对模型进行训练，得到目标检测模型，然后将目标缺陷图片输入至目标检测模型中，即可得到目标缺陷图片的缺陷类别，可以准确、清晰、快速的检测出图片的缺陷类别。的检测出图片的缺陷类别。的检测出图片的缺陷类别。


技术研发人员：张奔 安连 方正君
受保护的技术使用者：安徽光智科技有限公司
技术研发日：2023.06.26
技术公布日：2023/9/13