氮化物球体表面缺陷检测方法、系统、电子设备及介质与流程

1.本发明涉及缺陷检测技术领域，特别是涉及一种氮化物球体表面缺陷检测方法、系统、电子设备及介质。


背景技术：

2.陶瓷球轴承是工程陶瓷在工业领域广泛应用的典型范例，受到高度重视.以氮化物陶瓷球为滚动体的陶瓷球轴承可显著提高轴承寿命，极大拓展了滚动轴承的应用领域。由于陶瓷球表面缺陷的形成与扩展同球坯的成型工艺、机械加工工艺和使用条件等多种因素有关，因此应该在现有研究的基础上进一步开展陶瓷球表面缺陷的形成与扩展机理的研究，分析影响陶瓷球表面质量的因素，提高加工质量，对陶瓷球表面缺陷进行合理的分类，研究陶瓷球表面缺陷的自动检测技术。
3.现阶段陶瓷球表面质量评估主要通过人工目检完成，不仅检测工作的效率较低、工作强度高，而且人工检测具有评价标准不统一，高度依赖检测人员经验的问题，导致评价结果不准确。


技术实现要素：

4.本发明的目的是提供一种氮化物球体表面缺陷检测方法、系统、电子设备及介质，可提高缺陷识别的准确率。
5.为实现上述目的，本发明提供了如下方案：
6.一种氮化物球体表面缺陷检测方法，包括：
7.获取待检测陶瓷球表面的图像；
8.将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域；
9.对所述待检测陶瓷球表面的缺陷区域添加多个锚框；
10.根据损失函数计算每个锚框的损失值；
11.根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。
12.可选的，所述缺陷检测模型的确定过程包括：
13.获取多个样本陶瓷球表面的图像；
14.采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像；
15.对各所述处理后的图像进行阈值分割得到陶瓷图像样本集；
16.对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集；
17.以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检
测模型。
18.可选的，所述采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像，具体包括：
19.采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。
20.一种氮化物球体表面缺陷检测系统，包括：
21.第一获取模块，用于获取待检测陶瓷球表面的图像；
22.缺陷区域确定模块，用于将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域；
23.锚框添加模块，用于对所述待检测陶瓷球表面的缺陷区域添加多个锚框；
24.锚框损失值计算模块，用于根据损失函数计算每个锚框的损失值；
25.缺陷检测模块，用于根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。
26.可选的，所述氮化物球体表面缺陷检测系统，还包括：
27.第二获取模块，用于获取多个样本陶瓷球表面的图像；
28.降噪模块，用于采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像；
29.分割模块，用于对各所述处理后的图像进行阈值分割得到陶瓷图像样本集；
30.标注模块，用于对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集；
31.训练模块，用于以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检测模型。
32.可选的，所述降噪模块，具体包括：
33.降噪单元，用于采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。
34.一种电子设备，包括：
35.存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行上述所述的氮化物球体表面缺陷检测方法。
36.一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的氮化物球体表面缺陷检测方法。
37.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明使用缺陷检测模型对陶瓷球表面是否存在缺陷进行检测，不需要人为进行检测，可以提高缺陷识别的准确率。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的氮化物球体表面缺陷检测方法流程图；
40.图2为本发明实施例提供的机器视觉硬件平台的结构示意图；
41.图3为陶瓷球表面的图像；
42.图4为将陶瓷球表面图像输入yolov3网络得到的特征图。
43.符号说明：
44.面阵相机—1，镜头—2，光学照明系统—3，固定支架—4，被测物—5。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
47.针对传统人工目视与以往自动检测设备对陶瓷材质球体不适宜，本发明实施例提供了一种基于yolov3网络的氮化物球体的表面缺陷检测方法。本发明采用机器视觉检测方法，基于深度学习目标检测网络技术，建立氮化硅陶瓷球表面缺陷检测模型，设计陶瓷球表面缺陷自动化实时检测技术，具有实时检测表面缺陷，识别准确度高、并实现表面缺陷快速检测和精准定位的特点，能够代替传统人工检测出方法，满足陶瓷球缺陷检测自动化的需求。
48.如图1所示，本发明提供一种氮化物球体表面缺陷检测方法，包括：
49.获取待检测陶瓷球表面的图像。
50.将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域。
51.对所述待检测陶瓷球表面的缺陷区域添加多个锚框。
52.根据损失函数计算每个锚框的损失值。
53.根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。
54.在实际应用中，所述缺陷检测模型的确定过程包括：
55.获取多个样本陶瓷球表面的图像。
56.采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。
57.对各所述处理后的图像进行阈值分割得到陶瓷图像样本集。
58.对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集。
59.以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检
测模型。
60.在实际应用中，获取图像的具体操作为基于机器视觉硬件平台采集图像，如图2所示，机器视觉硬件平台包括：面阵相机1、镜头2、光学照明系统3、固定支架4，其中，面阵相机1与镜头2连接，安装于被测物5垂直上方，光学照明系统3放置于被测物5与镜头2之间，面阵相机1、镜头2和光学照明系统3的中轴线与被测物5的中轴线基本重合，通过面阵相机1采集陶瓷球表面图像，得到球面图像。
61.在实际应用中，所述采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像，具体包括：
62.采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。
63.本发明实施例提供了一种更加具体的氮化物球体的表面缺陷检测方法：
64.1、基于图2中所示的机器视觉硬件平台采集陶瓷球缺陷样本图像，得到的结果如图3所示，主要关注于样本陶瓷球表面带有缺陷区域部位的图像。
65.2、进行陶瓷球图像预处理。采用基于频域滤波的降噪滤波算法对缺陷样本图像进行处理，降低噪点对缺陷检测的干扰。然后将图像样本灰度化，采用阈值分割算法，选择合适的灰度阈值，从图像背景中分割提取待检测区域。将分割出的待检测区域图像缩放，保存为图像样本，建立陶瓷球图像样本集。
66.3、采用labelimg软件对陶瓷球图像样本集中的陶瓷球图像中的缺陷区域进行人工标注，标明缺陷的位置区域和缺陷标签，标注采用矩形框方式，利用矩形框四个角的坐标值代表缺陷区域的位置，建立缺陷特征数据集，坐标值表示为a
ij
，b
ij
，c
ij
，d
ij
，i＝1,2,3
…
n表示图像样本的序号，j＝1,2,3
…
n表示同一个图像样本中的标注框序号。
67.4、基于缺陷特征数据集，将带有缺陷标注信息的样本图像送入卷积神经网络中进行特征提取，这里采用的是yolov3的darknet53网络，进而提取得到陶瓷球缺陷特征图，部分特征图如图4所示，图像经过不同层数的卷积网络处理后会获取不同尺寸的特征图，如图4(a)、图4(b)、图4(c)和图4(d)所示，输入图像经过yolov3的主干网络darknet53网络的卷积处理后，能够获得多个尺寸的特征图，然后根据检测需求输出特定尺寸的特征图。图像中单个像素代表尺寸为16μm，主要缺陷的尺寸约为200～1000μm，而且特征图尺寸一般为2n个像素，因此根据输入图像的尺寸和主要缺陷种类的尺寸特征，本发明最终选择了3种尺寸的特征图形状，分别为16*16、32*32和64*64。将图像分别划分为16*16、8*8和4*4个网格，这样每幅图像样本就包含共计336个预测锚框，得到每个预测锚框的中心坐标值、宽度、高度和置信度。
68.5、基于上述选取的预测锚框，计算yolov3网络的损失函数，损失函数计算采用梯度下降法，如公式(1)所示，按照设定的学习率进行迭代优化，当损失函数的最优解达到设定范围内，代表网络已经收敛，停止训练过程，获取陶瓷球表面缺陷检测模型权重，完成基于yolov3网络的缺陷检测模型构建过程；
[0069][0070]
式(1)为yolov3网络的损失函数，其中λ
coord
为偏差系数，其中s为网格尺寸，b表示每个网格内包含的预测候选框，i表示图像上的第i个网格，j表示网格上的第j个候选框，表示候选框是否负责预测目标，负责若不负责则代表每个预测候选框的中心坐标值，个预测候选框的中心坐标值，表示候选框的真实中心坐标值，和代表预测候选框的宽度和高度，和代表候选框的真实宽度和真实高度，代表预测候选框的置信度，代表候选框的真实置信度。
[0071]
6、基于机器视觉硬件平台采集待检测陶瓷球表面图像，采用步骤2中对训练图像所采用相同的预处理算法，对待检测样本图像进行降噪、缩放和检测区域划定等预处理操作。
[0072]
7、16*16、32*32和64*64三种锚框尺寸，将检测区域图像划分为336个预测锚框，每个锚框内选取一定数量的候选框，基于训练获取的缺陷检测模型权重值，利用公式(1)损失函数，分别计算每个锚框中所有选取候选框的损失值，每个候选框都能够获得在损失值最小时的x，y，w，h，c五个数值，其中x，y，w，h为候选框的中心坐标、宽度和高度，可以换算出候选框的四个角坐标，c为预测置信度，即候选框区域为缺陷的概率值，概率值越大代表网络预测找到的目标为缺陷的可能性越大。
[0073]
8、统计所有锚框的预测结果，计算每个锚框缺陷概率值与设定概率阈值参数的大小关系，若存在高于阈值的锚框，则代表待检测陶瓷球含有表面缺陷，输出数值“1”，代表为缺陷球；反之，则没有表面缺陷，输出数值“0”，代表为无损的正常球，输出并存储球体的检测结果。
[0074]
针对上述实施例本发明提供了一种氮化物球体表面缺陷检测系统，包括：
[0075]
第一获取模块，用于获取待检测陶瓷球表面的图像。
[0076]
缺陷区域确定模块，用于将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域。
[0077]
锚框添加模块，用于对所述待检测陶瓷球表面的缺陷区域添加多个锚框。
[0078]
锚框损失值计算模块，用于根据损失函数计算每个锚框的损失值。
[0079]
缺陷检测模块，用于根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像
为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。
[0080]
作为一种可选的实施方式，氮化物球体表面缺陷检测系统，还包括：
[0081]
第二获取模块，用于获取多个样本陶瓷球表面的图像；
[0082]
降噪模块，用于采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像；
[0083]
分割模块，用于对各所述处理后的图像进行阈值分割得到陶瓷图像样本集；
[0084]
标注模块，用于对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集；
[0085]
训练模块，用于以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检测模型。
[0086]
作为一种可选的实施方式，所述降噪模块，具体包括：
[0087]
降噪单元，用于采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。
[0088]
本发明实施例还提供了一种电子设备，包括：
[0089]
存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述实施例所述的氮化物球体表面缺陷检测方法。
[0090]
本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例所述的氮化物球体表面缺陷检测方法。
[0091]
本发明取代传统人工方式对氮化物陶瓷球表面进行缺陷检测，检测效率高，稳定性强，有效去除因工作环境、检测人员经验偏差和疲劳状态等因素产生缺陷漏检和误检状况，提高检测结果的准确度。并且由于陶瓷球表面缺陷种类多，特征复杂，本发明采用基于深度学习技术设计的缺陷检测方法，相比传统图像处理技术具有更好的缺陷检测效果，鲁棒性更高。
[0092]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0093]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种氮化物球体表面缺陷检测方法，其特征在于，包括：获取待检测陶瓷球表面的图像；将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域；对所述待检测陶瓷球表面的缺陷区域添加多个锚框；根据损失函数计算每个锚框的损失值；根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。2.根据权利要求1所述的氮化物球体表面缺陷检测方法，其特征在于，所述缺陷检测模型的确定过程包括：获取多个样本陶瓷球表面的图像；采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像；对各所述处理后的图像进行阈值分割得到陶瓷图像样本集；对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集；以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检测模型。3.根据权利要求2所述的氮化物球体表面缺陷检测方法，其特征在于，所述采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像，具体包括：采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。4.一种氮化物球体表面缺陷检测系统，其特征在于，包括：第一获取模块，用于获取待检测陶瓷球表面的图像；缺陷区域确定模块，用于将所述待检测陶瓷球表面的图像输入缺陷检测模型得到所述待检测陶瓷球表面的缺陷区域；锚框添加模块，用于对所述待检测陶瓷球表面的缺陷区域添加多个锚框；锚框损失值计算模块，用于根据损失函数计算每个锚框的损失值；缺陷检测模块，用于根据每个锚框的损失值确定所述待检测陶瓷球表面的缺陷结果；所述缺陷结果为有缺陷或者没有缺陷；所述缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对yolov3网络进行训练得到的，所述样本陶瓷球表面具有缺陷。5.根据权利要求4所述的氮化物球体表面缺陷检测系统，其特征在于，还包括：第二获取模块，用于获取多个样本陶瓷球表面的图像；降噪模块，用于采用降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像；分割模块，用于对各所述处理后的图像进行阈值分割得到陶瓷图像样本集；标注模块，用于对所述陶瓷图像样本集中各图像的缺陷区域对应的候选框的真实中心
坐标值、真实高度、真实宽度和真实置信度进行标注得到缺陷特征数据集；训练模块，用于以损失函数最小为目标采用缺陷特征数据集对yolov3网络进行训练得到缺陷检测模型。6.根据权利要求5所述的氮化物球体表面缺陷检测系统，其特征在于，所述降噪模块，具体包括：降噪单元，用于采用基于频域滤波的降噪滤波算法对各所述样本陶瓷球表面的图像进行处理得到处理后的图像。7.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至3中任一项所述的氮化物球体表面缺陷检测方法。8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的氮化物球体表面缺陷检测方法。

技术总结
本发明公开一种氮化物球体表面缺陷检测方法、系统、电子设备及介质，涉及缺陷检测技术领域。所述方法包括得到待检测陶瓷球表面的缺陷区域；对所述待检测陶瓷球表面的缺陷区域添加多个锚框；根据损失函数计算每个锚框的损失值；根据每个锚框的损失值得到待检测陶瓷球表面的缺陷结果；缺陷检测模型为以样本陶瓷球表面的图像为输入，以样本陶瓷球表面的缺陷区域对应的候选框的真实中心坐标值、真实高度、真实宽度和真实置信度为输出对YOLOv3网络进行训练得到的。本发明可提高缺陷识别的准确率。本发明可提高缺陷识别的准确率。本发明可提高缺陷识别的准确率。


技术研发人员：孙峰 张辉 王晟 董廷霞 陈友聚 李泽坤 张宝存 卜令良 肖珊珊
受保护的技术使用者：中国建材集团有限公司
技术研发日：2023.05.16
技术公布日：2023/9/12