一种滤棒端面的缺陷检测方法、检测装置、设备及介质与流程

1.本发明实施例涉及深度学习的目标检测技术领域，尤其涉及一种滤棒端面的缺陷检测方法、检测装置、设备及介质。


背景技术：

2.目前，滤棒生产过程中容易产生胶孔、缩头、撞击、黑点、翘边等缺陷问题，需要人工对滤棒整盒端面进行复看确认，在复看的过程中，由于整盒滤棒数量大、部分缺陷问题不易被发现以及长时间复看容易造成视觉疲劳等问题，导致人工关于滤棒端面的缺陷检测的效率较低。


技术实现要素：

3.本发明实施例提供一种滤棒端面的缺陷检测方法、检测装置、设备及介质，以提高滤棒端面的缺陷检测效率和精度，减少人工复看强度。
4.第一方面，本发明实施例提供了一种滤棒端面的缺陷检测方法，包括：
5.构建卷积神经网络检测模型；
6.获取滤棒端面的图像；
7.将所述滤棒端面的图像输入至所述卷积神经网络检测模型中，输出所述滤棒端面的图像中的缺陷数据。
8.第二方面，本发明实施例还提供了一种滤棒端面的缺陷检测装置，包括：
9.模型建立模块，用于构建卷积神经网络检测模型；
10.图像获取模块，用于获取滤棒端面的图像；
11.缺陷数据输出模块，用于将所述滤棒端面的图像输入至所述卷积神经网络检测模型中，输出所述滤棒端面的图像中的缺陷数据。
12.第三方面，本发明实施例还提供了一种计算机设备，包括：
13.一个或多个处理器；
14.存储装置，用于存储一个或多个程序；
15.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的滤棒端面的缺陷检测方法。
16.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的滤棒端面的缺陷检测方法。
17.本发明实施例提供了一种滤棒端面的缺陷检测方法、检测装置、设备及介质，该滤棒端面的缺陷检测方法包括：构建卷积神经网络检测模型；获取滤棒端面的图像；将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。利用上述方法，采用卷积神经网络检测模型提取及整合滤棒端面的图像的不同尺度下的缺陷特征，以确定滤棒端面的图像中的缺陷数据，替代人工复看滤棒端面，有效提高了滤棒端面的缺陷检测效率和精度，减少了人工复看强度，减少了滤棒端面的缺陷检测时间，有利于改善滤
棒的生产良率。
附图说明
18.图1是本发明实施例提供的一种滤棒端面的缺陷检测方法的流程示意图；
19.图2和图3是本发明实施例提供的两种卷积神经网络检测模型输出的滤棒端面的图像中的缺陷数据的示意图；
20.图4是本发明实施例提供的另一种滤棒端面的缺陷检测方法的流程示意图；
21.图5是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图；
22.图6是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图；
23.图7是本发明实施例提供的一种卷积神经网络检测模型的结构示意图；
24.图8是本发明实施例提供的一种全连接层的损失函数的表达示意图；
25.图9是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图；
26.图10是本发明实施例提供的一种滤棒端面的缺陷检测装置的结构示意图；
27.图11是本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
28.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
29.图1是本发明实施例提供的一种滤棒端面的缺陷检测方法的流程示意图，本实施例可适用于滤棒生产线上对滤棒端面的缺陷检测的情况，该缺陷检测方法可以由缺陷检测装置来执行，该缺陷检测装置可以采用硬件和/或软件的形式实现，该缺陷检测装置可配置于控制板中。如图1所示，该缺陷检测方法包括：
30.s110、构建卷积神经网络检测模型。
31.具体地，采用卷积神经网络构建滤棒端面的缺陷检测模型，其中，该卷积神经网络检测模型包括输入层、卷积层、全连接层和输出层。输入层可以存储卷积神经网络检测模型的输入数据，卷积层可以提取滤棒端面的图像的不同尺度下的缺陷特征，并经激活函数的计算得到神经元，全连接层可以整合滤棒端面的图像的不同尺度下的缺陷特征，且全连接层中的神经元的数量与卷积层计算得到的神经元的数量相同，输出层可以存储卷积神经网络检测模型的输出数据。
32.s120、获取滤棒端面的图像。
33.具体地，可以在滤棒生产线或者滤棒检测处安装相机等拍摄设备，采用相机等拍摄设备获取滤棒端面的图像。示例性地，设计一个自主y型导轨，将需要进行缺陷检测的滤棒放置于y型导轨的入口侧，并在y型导轨的中央位置的上方安装一个相机，确保该相机可以拍摄获得进行缺陷检测的滤棒的端面的图像，以及通过y型导轨周围的传感器控制每盒滤棒进入该相机的拍摄视场内进行缺陷检测的过程。
34.s130、将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
35.具体地，将滤棒端面的图像输入至卷积神经网络检测模型中，并存储在输入层，在
卷积层中可以对滤棒端面的图像进行不同尺度下的缺陷特征的提取，在全连接层中可以对滤棒端面的图像的不同尺度下的缺陷特征进行整合，最终在输出层中得到滤棒端面的图像中的缺陷数据。示例性地，在终端设备处，可以通过调用opencv的improcess及caffemodel库文件，将构建好的卷积神经网络检测模型移植至工控机系统中，并利用动态链接库，将程序运行所用到的库文件进行打包，执行编写好的脚本文件，实现对滤棒端面的图像中的缺陷数据的识别功能。示例性地，设计一个自主y型导轨，除进行拍摄功能的相机和滤棒位置控制的传感器外，还可以在y型导轨旁边安装一个显示屏，该显示屏可以显示卷积神经网络检测模型所输出的滤棒端面的图像中的缺陷数据，示例性地，该滤棒端面的图像中的缺陷数据可以以方框和/或文字的形式标注出来。此外，若进行缺陷检测的滤棒端面的图像经卷积神经网络检测模型检测到缺陷数据，可以通过机械针等工具将存在缺陷的滤棒挑出；若进行缺陷检测的滤棒端面的图像经卷积神经网络检测模型未检测到缺陷数据，则将滤棒直接送入打包环节。该自主y型导轨方便进行离线的滤棒端面的缺陷检测，机械针等工具也使得缺陷滤棒与非缺陷滤棒的分离过程更加快捷简便，有利于减轻人工工作量和节省工具成本。
36.示例性地，图2和图3是本发明实施例提供的两种卷积神经网络检测模型输出的滤棒端面的图像中的缺陷数据的示意图，如图2和图3所示，滤棒端面的图像中的缺陷数据包括缺陷类型和缺陷位置，其中，缺陷类型可以为胶孔、缩头、撞击、黑点和翘边等，缺陷类型可以以文字或者拼音等形式在训练图像上进行标注，缺陷位置可以以方框或者坐标等形式在训练图像上进行标注。图2中所示缺陷类型为胶孔，缺陷位置以方框示出；图3中所示缺陷类型分别为胶孔和黑点，缺陷位置以方框示出。
37.本发明实施例中的技术方案，首先构建卷积神经网络检测模型；然后获取滤棒端面的图像；最后将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。利用上述方法，采用卷积神经网络检测模型提取及整合滤棒端面的图像的不同尺度下的缺陷特征，以确定滤棒端面的图像中的缺陷数据，替代人工复看滤棒端面，有效提高了滤棒端面的缺陷检测效率和精度，减少了人工复看强度，减少了滤棒端面的缺陷检测时间，有利于改善滤棒的生产良率。
38.图4是本发明实施例提供的另一种滤棒端面的缺陷检测方法的流程示意图，本实施例在上述实施例的基础上进行优化。可选地，构建卷积神经网络检测模型，包括：
39.获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据；
40.将训练图像分为训练集和测试集；
41.利用训练集调试卷积神经网络检测模型的参数；
42.利用测试集评价卷积神经网络检测模型的训练结果；
43.在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
44.本实施例尚未详尽的内容请参考上述实施例，如图4所示，该缺陷检测方法包括：
45.s210、获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据。
46.具体地，用于进行卷积神经网络检测模型训练的滤棒应为已知的带有缺陷的滤棒，可以通过相机等拍摄设备获取用于进行卷积神经网络检测模型训练的滤棒端面的训练
图像，示例性地，可以通过人工复看以确定滤棒端面的训练图像对应的缺陷数据，也可以通过程序设计标注以确定滤棒端面的训练图像对应的缺陷数据。
47.s220、将训练图像分为训练集和测试集。
48.具体地，可以按照预设比例将训练图像分为训练集和测试集，示例性地，预设比例可以根据卷积神经网络检测模型训练过程而定，预设比例可以为7:3。
49.s230、利用训练集调试卷积神经网络检测模型的参数。
50.具体地，将训练集输入至卷积神经网络检测模型中，可以输出关于训练集的模型检测的缺陷数据，通过将卷积神经网络检测模型输出的关于训练集的模型检测的缺陷数据与训练集的实际的缺陷数据进行对比，若一幅训练图像经卷积神经网络检测模型输出的关于训练集的模型检测的缺陷数据与训练集的实际的缺陷数据不相同，则需要重新调试卷积神经网络检测模型的参数，直至一幅训练图像经卷积神经网络检测模型输出的关于训练集的模型检测的缺陷数据与训练集的实际的缺陷数据相同或者相近。
51.s240、利用测试集评价卷积神经网络检测模型的训练结果。
52.具体地，将测试集输入至卷积神经网络检测模型中，可以输出关于测试集的模型检测的缺陷数据，通过将卷积神经网络检测模型输出的关于测试集的模型检测的缺陷数据与测试集的实际的缺陷数据进行对比，若测试集中的较多幅训练图像经卷积神经网络检测模型输出的关于测试集的模型检测的缺陷数据与测试集的实际的缺陷数据相同，则卷积神经网络检测模型的训练结果较好，若测试集中的较多幅训练图像经卷积神经网络检测模型输出的关于测试集的模型检测的缺陷数据与测试集的实际的缺陷数据不相同，则卷积神经网络检测模型的训练结果较差，需要利用训练集重新调试卷积神经网络检测模型的参数。
53.s250、在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
54.其中，预设条件根据卷积神经网络检测模型的训练过程及应用而定，示例性地，预设条件可以为一个比例阈值，预设条件也可以为一个比例范围。具体地，在训练结果满足预设条件时，即卷积神经网络检测模型对于较多幅训练图像经卷积神经网络检测模型输出的关于测试集的模型检测的缺陷数据与测试集的实际的缺陷数据相同，可以确定出该卷积神经网络检测模型训练完成，可以应用于检测未知的滤棒端面的图像中的缺陷数据。
55.s260、获取滤棒端面的图像。
56.s270、将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
57.图5是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图，本实施例在上述实施例的基础上进行优化。可选地，构建卷积神经网络检测模型，包括：
58.获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据；
59.将训练图像分为训练集和测试集；
60.利用训练集调试卷积神经网络检测模型的参数；
61.利用测试集评价卷积神经网络检测模型的训练结果；
62.在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
63.进一步地，缺陷数据包括缺陷类型和缺陷位置；
64.获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像
对应的缺陷数据，包括：
65.对多个用于进行卷积神经网络检测模型训练的滤棒端面分别进行拍照，获得多幅滤棒端面的实物图像；
66.对实物图像进行预处理，获得多幅训练图像；
67.在训练图像上标注缺陷类型和缺陷位置，以形成训练图像对应的缺陷数据。
68.本实施例尚未详尽的内容请参考上述实施例，如图5所示，该缺陷检测方法包括：
69.s310、对多个用于进行卷积神经网络检测模型训练的滤棒端面分别进行拍照，获得多幅滤棒端面的实物图像。
70.具体地，可以采用手持或者工具加持的方式固定用于进行卷积神经网络检测模型训练的滤棒，并采用相机等拍摄设备对多个用于进行卷积神经网络检测模型训练的滤棒端面分别进行拍照，获得多幅滤棒端面的实物图像，且该滤棒端面的实物图像均为带有缺陷的滤棒的图像。
71.s320、对实物图像进行预处理，获得多幅训练图像。
72.在一具体实施例中，可选地，对实物图像进行预处理，包括：将一幅实物图像进行数据增强处理，获得至少两幅实物图像；其中，数据增强处理包括图像翻转、图像缩放、图像旋转和图像色域变化中的至少一项。
73.具体地，在拍照获得的滤棒端面的实物图像的数量较少时，可以通过数据增强处理增加滤棒端面的实物图像的数量，其中，数据增强处理包括图像翻转(示例性地，可以对滤棒端面的实物图像进行左右翻转、上下翻转或对称翻转等)、图像缩放(示例性地，可以对滤棒端面的实物图像进行尺寸上的放大或缩小)、图像旋转(示例性地，可以对滤棒端面的实物图像进行任意角度的旋转)和图像色域变化(示例性地，可以对滤棒端面的实物图像进行明亮度、饱和度或色调等的变化)中的至少一项。示例性地，将一幅滤棒端面的实物图像分别进行60
°
的图像旋转和右翻转处理，可以相应获得包括该幅滤棒端面的实物图像在内的共三幅滤棒端面的实物图像，有效增加了滤棒端面的实物图像的数量。
74.在另一具体实施例中，可选地，对实物图像进行预处理，获得多幅训练图像，包括：从实物图像中截取滤棒端面的图像，并将滤棒端面的图像放大至实物图像的尺寸，获得多幅原始训练图像；将至少两幅原始训练图像进行拼接，形成一幅训练图像。
75.具体地，为了排除滤棒端面的实物图像中的非滤棒端面区域的干扰，可以从滤棒端面的实物图像截取滤棒端面的图像，并将滤棒端面的图像放大至实物图像的尺寸，获得多幅原始训练图像，在原始训练图像中可以更清晰地观察滤棒端面的图像。为了提高终端设备的计算机处理速度，可以将至少两幅原始训练图像进行拼接，形成一幅训练图像，示例性地，可以将四张原始训练图像拼接成一幅滤棒端面的训练图像，该滤棒端面的训练图像可以用于进行卷积神经网络检测模型训练过程中，该滤棒端面的训练图像可以输入至卷积神经网络检测模型中。
76.s330、在训练图像上标注缺陷类型和缺陷位置，以形成训练图像对应的缺陷数据。
77.具体地，缺陷数据包括缺陷类型和缺陷位置，其中，缺陷类型可以为胶孔、缩头、撞击、黑点和翘边等，缺陷类型可以以文字或者拼音等形式在训练图像上进行标注，缺陷位置可以以方框或者坐标等形式在训练图像上进行标注，或者，将训练图像对应的缺陷类型和缺陷位置添加入文件内，该文件可随训练图像查看。通过在训练图像上标注缺陷类型和缺
陷位置，可以使得每一幅训练图像对应正确的缺陷数据，该正确的缺陷数据可以为人工复看后确定的，也可以为程序设计标准后确定的。示例性地，在标注缺陷类型和缺陷位置的过程中，可以将滤棒端面的训练图像设置为pascal voc数据集格式，并将pascal voc数据集格式的滤棒端面的训练图像统一重命名并放入到目标文件夹，以及利用labelimg标注软件对目标文件夹内的滤棒端面的训练图像的缺陷类型和缺陷位置进行标注，得到滤棒端面的训练图像对应的xml文件以及滤棒端面的训练图像的编号信息。
78.s340、将训练图像分为训练集和测试集。
79.s350、利用训练集调试卷积神经网络检测模型的参数。
80.s360、利用测试集评价卷积神经网络检测模型的训练结果。
81.s370、在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
82.s380、获取滤棒端面的图像。
83.s390、将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
84.图6是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图，本实施例在上述实施例的基础上进行优化。可选地，构建卷积神经网络检测模型，包括：
85.获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据；
86.将训练图像分为训练集和测试集；
87.利用训练集调试卷积神经网络检测模型的参数；
88.利用测试集评价卷积神经网络检测模型的训练结果；
89.在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
90.进一步地，卷积神经网络检测模型包括卷积层和全连接层；
91.利用训练集调试卷积神经网络检测模型的参数，包括：
92.将训练集输入至卷积神经网络检测模型中，利用卷积层提取训练图像中关于缺陷数据的特征图像；
93.利用全连接层对特征图像进行分类，并计算缺陷检测的损失值；
94.根据缺陷检测的损失值，反馈调节卷积层中的参数；其中，卷积层中的参数包括步长、填充数量和卷积核的尺寸中的至少一项。
95.本实施例尚未详尽的内容请参考上述实施例，如图6所示，该缺陷检测方法包括：
96.s410、获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据。
97.s420、将训练图像分为训练集和测试集。
98.s430、将训练集输入至卷积神经网络检测模型中，利用卷积层提取训练图像中关于缺陷数据的特征图像。
99.具体地，图7是本发明实施例提供的一种卷积神经网络检测模型的结构示意图，如图7所示，卷积神经网络检测模型包括输入层、卷积层、全连接层和输出层，其中，卷积层可以提取滤棒端面的图像的不同尺度下的缺陷特征，并经激活函数的计算得到神经元，全连接层可以整合滤棒端面的图像的不同尺度下的缺陷特征，且全连接层中的神经元的数量与卷积层计算得到的神经元的数量相同。将训练集输入至卷积神经网络检测模型中，可以利
用卷积层提取训练图像中关于缺陷数据的特征图像。
100.进一步地，该卷积层可以包括特征提取模块110、特征合并模块120和容量扩大模块130。其中，特征提取模块110可以提取滤棒端面的图像的不同尺度下的缺陷特征，特征提取模块110可以包括至少两条分支，各分支可以包括依次排列的第一特征提取单元111、第二特征提取单元112和特征集中化单元113，第一特征提取单元111、第二特征提取单元112和特征集中化单元113均包括第一子卷积层，且第一特征提取单元111、第二特征提取单元112和特征集中化单元113的输出数据的长度的计算公式均为其中，w1为第一子卷积层的输入数据的长度，p1为第一子卷积层的填充数量，f1为第一子卷积层的卷积核的长度，s1为第一子卷积层的步长。特征合并模块120可以将不同尺度下的缺陷特征进行拼接合并，特征合并模块120可以将各特征集中化单元113的输出两两相加，特征合并模块120包括第二子卷积层，特征合并模块120的输出数据的长度的计算公式为z2＝w
21
+w
22
其中，w
21
为第一子卷积层的输出数据的长度，w
22
为相异于w
21
对应的特征集中化单元113的其中一个的输出数据的长度。容量扩大模块130可以扩大不同尺度下的缺陷特征的容量，减少缺陷特征的杂糅和遗漏，容量扩大模块130包括第三子卷积层，容量扩大模块130的输出数据的长度的计算公式为z3＝(w
3-1)
×
p
3-2
×
f3+s3，其中，w3为第三子卷积层的输入数据的长度，p3为第三子卷积层的填充数量，f3为第三子卷积层的卷积核的长度，s3为第三子卷积层的步长。
101.示例性地，将一幅尺寸为400*400的滤棒端面的训练图像输入至卷积神经网络检测模型中，第一特征提取单元111包括四个第一子卷积层，其中，该四个第一子卷积层分别选用8个3*3的卷积核、16个3*3的卷积核、32个3*3的卷积核和64个3*3的卷积核，步长均为1，填充数量均为1，且均使用leaky relu函数作为激活函数进行计算，则训练图像经第一特征提取单元111后的输出数据的长度分别为400*400*8、400*400*16、400*400*32和400*400*64，即该四个第一子卷积层分别提取训练图像的不同尺度/深度下的缺陷特征。其中，leaky relu函数可以引入非线性特性，leaky relu函数可以为relu函数可以为其中，x表示一维坐标，a表示非线性系数，示例性地，a的取值可以为0.01。
102.第二特征提取单元112也包括四个第一子卷积层，其中，该四个第一子卷积层分别选用16个3*3卷积核、32个3*3卷积核、64个3*3卷积核和128个3*3卷积核，步长均为1，填充数量均为1，且均使用leaky relu函数作为激活函数进行计算，则训练图像经第一特征提取单元111后的输出数据的长度分别为400*400*16、400*400*32、400*400*64和400*400*128，即该四个第一子卷积层对训练图像的不同尺度/深度下的缺陷特征进行了再次提取。特征集中化单元113也包括四个第一子卷积层，其中，该四个第一子卷积层分别选用32个4*4卷积核、64个4*4卷积核、128个4*4卷积核和256个4*4卷积核，步长均为2，填充数量均为1，且均使用leaky relu函数作为激活函数进行计算，则训练图像经第一特征提取单元111后的输出数据的长度分别为200*200*32、200*200*64、200*200*128和200*200*256，即该四个第一子卷积层将提取到的不同尺度/深度下的缺陷特征进行了集中化。
103.特征合并模块120包括三个第二子卷积层，可以将特征集中化单元113输出的长度
为200*200*32与200*200*64的两个数据进行迭加，以获得一个第二子卷积层，将特征集中化单元113输出的长度为200*200*64与200*200*128的两个数据进行迭加，以获得一个第二子卷积层，将特征集中化单元113输出的长度为200*200*128与200*200*256的两个数据进行迭加，以获得一个第二子卷积层，即特征合并模块120将不同尺度/深度下的缺陷特征进行了拼接合并。
104.容量扩大模块130包括三个第三子卷积层，其中，该三个第三子卷积层分别选用64个3*3卷积核、步长为8、填充数量为2，64个2*2卷积核、步长为12、填充数量为8，64个2*2卷积核、步长为12、填充数量为8，且均使用leaky relu函数作为激活函数进行计算，则训练图像经第一特征提取单元111后的输出数据的长度分别为400*400*64、800*800*64和1600*1600*64，即容量扩大模块130将拼接合并的不同尺度/深度下的缺陷特征进行了容量扩大。
105.s440、利用全连接层对特征图像进行分类，并计算缺陷检测的损失值。
106.具体地，图8是本发明实施例提供的一种全连接层的损失函数的表达示意图，如图8所示，将训练集输入至卷积神经网络检测模型中，利用卷积层提取训练图像中关于缺陷数据的特征图像后，还需要利用全连接层对特征图像进行分类，并计算缺陷检测的损失值。
107.进一步地，全连接层包括损失函数，损失函数的计算公式为进一步地，全连接层包括损失函数，损失函数的计算公式为其中，α为控制系数，检测的目标位置框为a，真正的目标位置框为b，ρ表示两个点的距离，b为检测的目标位置框a的中心点，h为检测的目标位置框a在第一方向x上的长度，w为检测的目标位置框a在第二方向y上的长度，b1表示真正的目标位置框b的中心点，h2为真正的目标位置框b在第一方向x上的长度，w2为真正的目标位置框b在第二方向y上的长度，h1为将a与b同时包围的最小框c在第一方向x上的长度，w1为将a与b同时包围的最小框c在第二方向y上的长度，其中，第一方向x和第二方向y相交。本实施例采用的损失函数包括iou损失(检测的目标位置框a与真正的目标位置框b的交集与并集)、距离损失和位置损失，充分考虑到检测的目标位置框a与真正的目标位置框b的本身的位置差异，同时还考虑到与a与b同时包围的最小框c的位置差异，有效提高了收敛速度，便于更快进行缺陷数据的定位。
108.s450、根据缺陷检测的损失值，反馈调节卷积层中的参数；其中，卷积层中的参数包括步长、填充数量和卷积核的尺寸中的至少一项。
109.具体地，可以将缺陷检测的损失值与标准损失值范围进行对比，其中，标准损失值范围为卷积神经网络检测模型训练完成时所对应的标准损失值范围，若缺陷检测的损失值不满足标准损失值范围，则需要重新调节卷积层中的参数，其中，卷积层中的参数包括步长、填充数量和卷积核的尺寸中的至少一项。
110.s460、利用测试集评价卷积神经网络检测模型的训练结果。
111.s470、在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
112.s480、获取滤棒端面的图像。
113.s490、将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
114.图9是本发明实施例提供的又一种滤棒端面的缺陷检测方法的流程示意图，本实
施例在上述实施例的基础上进行优化。可选地，构建卷积神经网络检测模型，包括：
115.获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据；
116.将训练图像分为训练集和测试集；
117.利用训练集调试卷积神经网络检测模型的参数；
118.利用测试集评价卷积神经网络检测模型的训练结果；
119.在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
120.进一步地，利用测试集评价卷积神经网络检测模型的训练结果，包括：
121.将测试集输入至卷积神经网络检测模型中，输出测试集的模型检测的缺陷数据；
122.根据测试集的实际的缺陷数据，判断测试集的模型检测的缺陷数据是否正确；
123.在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成，包括：
124.在测试集的模型检测的缺陷数据为正确的比例超过预设比例阈值时，确定卷积神经网络检测模型训练完成。
125.本实施例尚未详尽的内容请参考上述实施例，如图9所示，该缺陷检测方法包括：
126.s510、获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据。
127.s520、将训练图像分为训练集和测试集。
128.s530、利用训练集调试卷积神经网络检测模型的参数。
129.s540、将测试集输入至卷积神经网络检测模型中，输出测试集的模型检测的缺陷数据。
130.具体地，利用训练集调试卷积神经网络检测模型的参数，即卷积神经网络检测模型经过一定的训练过程后，可以将测试集输入至卷积神经网络检测模型中，利用测试集评价卷积神经网络检测模型的训练结果，卷积神经网络检测模型可以输出测试集的模型检测的缺陷数据。
131.s550、根据测试集的实际的缺陷数据，判断测试集的模型检测的缺陷数据是否正确。
132.具体地，测试集是由带有缺陷的滤棒端面的图像组成，测试集的实际的缺陷数据是已知的，可以将卷积神经网络检测模型输出的测试集的模型检测的缺陷数据与测试集的实际的缺陷数据进行对比，以此判断测试集的模型检测的缺陷数据是否正确，若关于一幅训练图像的经卷积神经网络检测模型输出的模型检测的缺陷数据与其对应的实际的缺陷数据相同，则表示卷积神经网络检测模型的缺陷检测结果正确，否则卷积神经网络检测模型的缺陷检测结果错误。
133.s560、在测试集的模型检测的缺陷数据为正确的比例超过预设比例阈值时，确定卷积神经网络检测模型训练完成。
134.其中，预设比例阈值根据卷积神经网络检测模型的训练过程及应用而定，示例性地，预设比例阈值可以为95％。具体地，将所有的测试集分别经卷积神经网络检测模型进行缺陷检测，且分别判断测试集的模型检测的缺陷数据是否正确，在测试集的模型检测的缺陷数据为正确的比例超过预设比例阈值时，可以确定卷积神经网络检测模型训练完成，卷积神经网络检测模型可以应用于滤棒端面的缺陷检测的过程中。
135.s570、获取滤棒端面的图像。
136.s580、将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
137.图10是本发明实施例提供的一种滤棒端面的缺陷检测装置的结构示意图，该缺陷检测装置可适用于滤棒生产线上对滤棒端面的缺陷检测的情况，其中，该缺陷检测装置可以采用硬件和/或软件的形式实现，并一般配置于控制板中。如图10所示，该缺陷检测装置包括：
138.模型建立模块61，用于构建卷积神经网络检测模型；图像获取模块62，用于获取滤棒端面的图像；缺陷数据输出模块63，用于将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
139.本发明实施例中的技术方案，首先构建卷积神经网络检测模型；然后获取滤棒端面的图像；最后将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。利用上述方法，采用卷积神经网络检测模型提取及整合滤棒端面的图像的不同尺度下的缺陷特征，以确定滤棒端面的图像中的缺陷数据，替代人工复看滤棒端面，有效提高了滤棒端面的缺陷检测效率和精度，减少了人工复看强度，减少了滤棒端面的缺陷检测时间，有利于改善滤棒的生产良率。
140.可选地，模型建立模块61具体可包括训练图像获取单元、训练图像划分单元、参数调试单元、训练结果评价单元和训练完成确定单元，训练图像获取单元用于获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及训练图像对应的缺陷数据；训练图像划分单元用于将训练图像分为训练集和测试集；参数调试单元用于利用训练集调试卷积神经网络检测模型的参数；训练结果评价单元用于利用测试集评价卷积神经网络检测模型的训练结果；训练完成确定单元用于在训练结果满足预设条件时，确定卷积神经网络检测模型训练完成。
141.可选地，缺陷数据包括缺陷类型和缺陷位置；训练图像获取单元具体可包括实物图像获取子单元、训练图像获取子单元和缺陷数据确定子单元，实物图像获取子单元用于对多个用于进行卷积神经网络检测模型训练的滤棒端面分别进行拍照，获得多幅滤棒端面的实物图像；训练图像获取子单元用于对实物图像进行预处理，获得多幅训练图像；缺陷数据确定子单元用于在训练图像上标注缺陷类型和缺陷位置，以形成训练图像对应的缺陷数据。
142.可选地，训练图像获取子单元具体可用于将一幅实物图像进行数据增强处理，获得至少两幅实物图像；其中，数据增强处理包括图像翻转、图像缩放、图像旋转和图像色域变化中的至少一项。
143.可选地，训练图像获取子单元具体可用于从实物图像中截取滤棒端面的图像，并将滤棒端面的图像放大至实物图像的尺寸，获得多幅原始训练图像；将至少两幅原始训练图像进行拼接，形成一幅训练图像。
144.可选地，卷积神经网络检测模型包括卷积层和全连接层；参数调试单元具体可包括特征图像提取子单元、分类计算子单元和反馈调节子单元，特征图像提取子单元用于将训练集输入至卷积神经网络检测模型中，利用卷积层提取训练图像中关于缺陷数据的特征图像；分类计算子单元用于利用全连接层对特征图像进行分类，并计算缺陷检测的损失值；
反馈调节子单元用于根据缺陷检测的损失值，反馈调节卷积层中的参数；其中，卷积层中的参数包括步长、填充数量和卷积核的尺寸中的至少一项。
145.可选地，训练结果评价单元具体可包括缺陷数据输出子单元和缺陷数据判断子单元，缺陷数据输出子单元用于将测试集输入至卷积神经网络检测模型中，输出测试集的模型检测的缺陷数据；缺陷数据判断子单元用于根据测试集的实际的缺陷数据，判断测试集的模型检测的缺陷数据是否正确；训练完成确定单元具体可包括训练完成确定子单元，训练完成确定子单元用于在测试集的模型检测的缺陷数据为正确的比例超过预设比例阈值时，确定卷积神经网络检测模型训练完成。
146.本发明实施例所提供的滤棒端面的缺陷检测装置可执行本发明任意实施例所提供的滤棒端面的缺陷检测方法，具备执行方法相应的功能模块和有益效果。
147.图11是本发明实施例提供的一种计算机设备的结构示意图，如图11所示，本发明实施例提供的计算机设备包括：一个或多个处理器71和存储装置72；该设备中的处理器71可以是一个或多个，图11中以一个处理器71为例；存储装置72用于存储一个或多个程序；一个或多个程序被一个或多个处理器71执行，使得一个或多个处理器71实现如本发明实施例中任一项的滤棒端面的缺陷检测方法。计算机设备还可以包括：输入装置73和输出装置74。
148.计算机设备中的处理器71、存储装置72、输入装置73和输出装置74可以通过总线或其他方式连接，图11中以通过总线连接为例。
149.该设备中的存储装置72作为一种可读存储介质，可用于存储一个或多个程序，程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供滤棒端面的缺陷检测方法对应的程序指令/模块。处理器71通过运行存储在存储装置72中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中的滤棒端面的缺陷检测方法。
150.存储装置72可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据设备的使用所创建的数据等。此外，存储装置72可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置72可进一步包括相对于处理器71远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
151.输入装置73可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置74可包括显示屏等显示设备。
152.并且，当上述设备所包括一个或者多个程序被一个或者多个处理器71执行时，程序进行如下操作：
153.构建卷积神经网络检测模型；
154.获取滤棒端面的图像；
155.将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。
156.本发明实施例还提供了一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种滤棒端面的缺陷检测方法，该方法包括：构建卷积神经网络检测模型；获取滤棒端面的图像；将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒
端面的图像中的缺陷数据。
157.可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的滤棒端面的缺陷检测方法。
158.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者可读存储介质。可读存储介质可以采用多种形式，包括但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
159.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
160.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radiofrequency，rf)等等，或者上述的任意合适的组合。
161.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括但不限于，局域网(lan)或广域网(wan)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
162.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整、相互结合和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种滤棒端面的缺陷检测方法，其特征在于，包括：构建卷积神经网络检测模型；获取滤棒端面的图像；将所述滤棒端面的图像输入至所述卷积神经网络检测模型中，输出所述滤棒端面的图像中的缺陷数据。2.根据权利要求1所述的缺陷检测方法，其特征在于，构建卷积神经网络检测模型，包括：获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及所述训练图像对应的所述缺陷数据；将所述训练图像分为训练集和测试集；利用所述训练集调试所述卷积神经网络检测模型的参数；利用所述测试集评价所述卷积神经网络检测模型的训练结果；在所述训练结果满足预设条件时，确定所述卷积神经网络检测模型训练完成。3.根据权利要求2所述的缺陷检测方法，其特征在于，所述缺陷数据包括缺陷类型和缺陷位置；获取用于进行卷积神经网络检测模型训练的滤棒端面的训练图像以及所述训练图像对应的所述缺陷数据，包括：对多个用于进行卷积神经网络检测模型训练的滤棒端面分别进行拍照，获得多幅所述滤棒端面的实物图像；对所述实物图像进行预处理，获得多幅所述训练图像；在所述训练图像上标注缺陷类型和缺陷位置，以形成所述训练图像对应的所述缺陷数据。4.根据权利要求3所述的缺陷检测方法，其特征在于，对所述实物图像进行预处理，包括：将一幅所述实物图像进行数据增强处理，获得至少两幅所述实物图像；其中，所述数据增强处理包括图像翻转、图像缩放、图像旋转和图像色域变化中的至少一项。5.根据权利要求3所述的缺陷检测方法，其特征在于，对所述实物图像进行预处理，获得多幅所述训练图像，包括：从所述实物图像中截取所述滤棒端面的图像，并将所述滤棒端面的图像放大至所述实物图像的尺寸，获得多幅所述原始训练图像；将至少两幅所述原始训练图像进行拼接，形成一幅所述训练图像。6.根据权利要求2所述的缺陷检测方法，其特征在于，所述卷积神经网络检测模型包括卷积层和全连接层；利用所述训练集调试所述卷积神经网络检测模型的参数，包括：将所述训练集输入至所述卷积神经网络检测模型中，利用所述卷积层提取所述训练图像中关于所述缺陷数据的特征图像；利用所述全连接层对所述特征图像进行分类，并计算缺陷检测的损失值；根据所述缺陷检测的损失值，反馈调节所述卷积层中的参数；其中，所述卷积层中的参数包括步长、填充数量和卷积核的尺寸中的至少一项。
7.根据权利要求2所述的缺陷检测方法，其特征在于，利用所述测试集评价所述卷积神经网络检测模型的训练结果，包括：将所述测试集输入至所述卷积神经网络检测模型中，输出所述测试集的模型检测的所述缺陷数据；根据所述测试集的实际的所述缺陷数据，判断所述测试集的模型检测的所述缺陷数据是否正确；在所述训练结果满足预设条件时，确定所述卷积神经网络检测模型训练完成，包括：在所述测试集的模型检测的所述缺陷数据为正确的比例超过预设比例阈值时，确定所述卷积神经网络检测模型训练完成。8.一种滤棒端面的缺陷检测装置，其特征在于，包括：模型建立模块，用于构建卷积神经网络检测模型；图像获取模块，用于获取滤棒端面的图像；缺陷数据输出模块，用于将所述滤棒端面的图像输入至所述卷积神经网络检测模型中，输出所述滤棒端面的图像中的缺陷数据。9.一种计算机设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的滤棒端面的缺陷检测方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的滤棒端面的缺陷检测方法。

技术总结
本发明实施例公开了一种滤棒端面的缺陷检测方法、检测装置、设备及介质，该滤棒端面的缺陷检测方法包括：构建卷积神经网络检测模型；获取滤棒端面的图像；将滤棒端面的图像输入至卷积神经网络检测模型中，输出滤棒端面的图像中的缺陷数据。利用上述方法，采用卷积神经网络检测模型提取及整合滤棒端面的图像的不同尺度下的缺陷特征，以确定滤棒端面的图像中的缺陷数据，替代人工复看滤棒端面，有效提高了滤棒端面的缺陷检测效率和精度，减少了人工复看强度，减少了滤棒端面的缺陷检测时间，有利于改善滤棒的生产良率。有利于改善滤棒的生产良率。有利于改善滤棒的生产良率。


技术研发人员：陆飞 秦昌峰 金强 娄中玉
受保护的技术使用者：南通烟滤嘴有限责任公司
技术研发日：2023.05.19
技术公布日：2023/9/14