基于深度学习的磁痕缺陷识别方法及系统

1.本技术涉及无损检测技术领域，具体是基于深度学习的磁痕缺陷识别方法及系统。


背景技术：

2.磁粉检测作为一项常规、成熟的检测方法，在对装置进行无损检测时的应用十分广泛，而在磁粉检测过程中，缺陷磁痕的判定以及缺陷磁痕的测量是很重要的部分。
3.传统的磁痕检测过程中，工作人员通过肉眼对磁化的待检件上的磁痕进行发现，然后在对磁痕进行测量，这种方式，费时费力，并且，肉眼判断中，容易对微小的或磁化变浅的磁痕忽略，从而导致检测准确度低下的问题出现，同时，对于结构复杂的待检件而言，想要对位于犄角旮旯处存在的磁痕进行测量，是一件很难完成的事情，并且，测量结果的准确性也是有待考量的，因此，亟需一种可靠性高、操作便捷、结果准确度高的磁痕缺陷识别技术。


技术实现要素：

4.本技术的目的在于提供一种基于深度学习的磁痕缺陷识别方法及系统，以解决上述背景技术中提出技术问题。
5.为实现上述目的，本技术公开了以下技术方案：
6.在第一方面，提供了一种基于深度学习的磁痕缺陷识别方法，该方法包括以下步骤：
7.步骤1：在光照条件下采集磁化后的待检件的图像；
8.步骤2：对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，获取图像信息对应的二值化处理结果和rgb数值；
9.步骤3：将获取到的二值化处理结果和rgb数值分别与磁痕缺陷模型数据库中的模型数据进行比对；
10.步骤4：基于数据比对结果生成待检件的磁痕缺陷识别结果；
11.步骤5：将具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，并将深度学习结果输入所述磁痕缺陷模型数据库。
12.作为优选，在所述步骤2中，所述像素处理具体包括：
13.步骤201：对采集到的待检件图像进行rgb像素分析；
14.步骤202：提取rgb数据。
15.作为优选，在所述步骤2中，所述二值化处理具体包括：
16.步骤211：采用二值化阈值th1对采集到的待检件的图像进行二值化处理，得到二值化图像；
17.步骤212：对所述二值化图像进行缺陷提取，得到缺陷尺寸l1和缺陷位置。
18.作为优选，在所述步骤2中，所述缺陷尺寸包括缺陷面积和缺陷长度中的至少一种。
19.作为优选，所述像素处理具体包括：
20.步骤221：基于所述缺陷尺寸l1和所述缺陷位置，确定缺陷区域和该缺陷区域的的边界轮廓p1；
21.步骤222：按照预设的放大比例ρ，所述放大比例ρ大于1，以所述边界轮廓p1的中心点为中心对所述边界轮廓p1进行等比例放大，得到覆盖所述边界轮廓p1的边界轮廓p2；
22.步骤223：将所述边界轮廓p2围构成的区域作为像素处理区域，对该像素处理区域进行rgb像素分析；
23.步骤224：提取该像素处理区域的rgb数据。
24.作为优选，在所述步骤3中，当获取到的rgb数值与磁痕缺陷模型数据库中的模型数据的比对结果超出容差阈值时，调取二值化阈值th2，所述二值化阈值th2小于所述二值化阈值th1，并基于该二值化阈值th2依次重复所述步骤211、所述步骤212、所述步骤221、所述步骤222、所述步骤223以及所述步骤224。
25.作为优选，当所述缺陷尺寸为缺陷长度时，所述边界轮廓p1的尺寸通过公式a1＝l1+k1和b1＝k2得到，其中，a1为边界轮廓p1的长度，b1为边界轮廓p1的宽度，k1和k2均为大于零的常数；所述放大比例ρ包括长度放大比例ρ1和宽度放大比例ρ2。
26.作为优选，所述磁痕缺陷识别结果包括磁痕位置、磁痕尺寸。
27.作为优选，所述磁痕缺陷识别结果还包括磁痕深度。
28.第二方面，公开了一种基于深度学习的磁痕缺陷识别系统，适用于上述的基于深度学习的磁痕缺陷识别方法，该系统包括光照模块、图像采集模块、图像处理模块、磁痕缺陷识别模块、神经网络模块、磁痕缺陷模型数据库以及处理器；
29.所述光照模块配置为对磁化后的待检件进行光照，为图像采集提供光照环境，所述光照环境包括紫外光照射环境；
30.所述图像采集模块配置为在所述光照环境下对磁化后的待检件进行图像采集；
31.所述图像处理模块配置为对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，还配置为获取图像信息对应的二值化处理结果和rgb数值；
32.所述磁痕缺陷识别模块配置为将获取到的二值化处理结果和rgb数值分别与所述磁痕缺陷模型数据库中的模型数据进行比对，并基于数据比对结果生成待检件的磁痕缺陷识别结果；
33.所述神经网络模块配置为以具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，还配置为将深度学习结果输送至所述磁痕缺陷模型数据库中进行模型保存和模型更新。
34.有益效果：本技术的基于深度学习的磁痕缺陷识别方法及系统，根据图像采集和进一步地图像处理，结合深度学习，对待检件上的磁痕缺陷进行识别，检测流程自动化程度较高，无需人工介入，检测结果的准确度高、可靠性高。进一步地，通过二值化处理和像素处理的进行，实现对磁痕缺陷的缺陷尺寸进行获取，从而明确待检件上的磁痕缺陷的具体情况，为后续的修复等进一步工序提供可靠的情报数据。在像素处理过程中，基于可靠的二值化处理流程和算法，明确磁痕缺陷的所在区域，并逐步精确缺陷尺寸，进而精确像素处理区
域，使最终的缺陷检测识别结果的准确度提高。
附图说明
35.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本技术实施例中基于深度学习的磁痕缺陷识别方法的流程框图；
37.图2为本技术实施例中例举的一种缺陷示意图一；
38.图3为本技术实施例中力矩的一种缺陷示意图二；
39.图4为本技术实施例中基于深度学习的磁痕缺陷识别系统的结构框图。
具体实施方式
40.下面将对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
41.在本文中，术语“包括”意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
42.本实施例在第一方面公开了一种基于深度学习的磁痕缺陷识别方法，如图1所示，该方法包括以下步骤：
43.步骤1：在光照条件下采集磁化后的待检件的图像；
44.步骤2：对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，获取图像信息对应的二值化处理结果和rgb数值；
45.步骤3：将获取到的二值化处理结果和rgb数值分别与磁痕缺陷模型数据库中的模型数据进行比对；
46.步骤4：基于数据比对结果生成待检件的磁痕缺陷识别结果；
47.步骤5：将具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，并将深度学习结果输入所述磁痕缺陷模型数据库。
48.其中，在所述步骤2中，所述像素处理具体包括：
49.步骤201：对采集到的待检件图像进行rgb像素分析；
50.步骤202：提取rgb数据。
51.其中，在所述步骤2中，所述二值化处理具体包括：
52.步骤211：采用二值化阈值th1对采集到的待检件的图像进行二值化处理，得到二值化图像；
53.步骤212：对所述二值化图像进行缺陷提取，得到缺陷尺寸l1和缺陷位置，所述缺陷尺寸包括缺陷面积和缺陷长度中的至少一种。
54.基于上述二值化处理的具体步骤，作为本实施例的一种优选地实施方式，所述像素处理具体包括：
55.步骤221：基于所述缺陷尺寸l1和所述缺陷位置，确定缺陷区域和该缺陷区域的的边界轮廓p1；
56.步骤222：按照预设的放大比例ρ，所述放大比例ρ大于1，以所述边界轮廓p1的中心点为中心对所述边界轮廓p1进行等比例放大，得到覆盖所述边界轮廓p1的边界轮廓p2；
57.步骤223：将所述边界轮廓p2围构成的区域作为像素处理区域，对该像素处理区域进行rgb像素分析；
58.步骤224：提取该像素处理区域的rgb数据。
59.进一步地，在所述步骤3中，当获取到的rgb数值与磁痕缺陷模型数据库中的模型数据的比对结果超出容差阈值时，调取二值化阈值th2，所述二值化阈值th2小于所述二值化阈值th1，并基于该二值化阈值th2依次重复所述步骤211、所述步骤212、所述步骤221、所述步骤222、所述步骤223以及所述步骤224。
60.进一步地，当所述缺陷尺寸为缺陷长度时，所述边界轮廓p1的尺寸通过公式a1＝l1+k1和b1＝k2得到，其中，a1为边界轮廓p1的长度，b1为边界轮廓p1的宽度，k1和k2均为大于零的常数，如k1和k2的取值均为3，单位为mm。所述放大比例ρ包括长度放大比例ρ1和宽度放大比例ρ2，获取的所述边界轮廓p2的尺寸通过a2＝ρ1
×
a1和b2＝ρ2
×
b1得到，其中，a2为边界轮廓p2的长度，b2为边界轮廓p2的宽度。如图2示出的具有形状的缺陷m对应的边界轮廓p1和边界轮廓p2(需要说明的是，为了简单示出和便于理解，在图2中将缺陷模拟为呈矩形形状)，或者如图3示出的线型的缺陷n对应的边界轮廓p1和边界轮廓p2(需要说明的是，这里的线型的缺陷指的是缺陷在宽度方向上的尺寸处于允许存在的数值范围内的可以看做整体呈线条状的缺陷)。
61.在本实施例中，所述磁痕缺陷识别结果包括磁痕位置、磁痕尺寸。进一步可行的是，所述磁痕缺陷识别结果还包括磁痕深度，需要说明的是，磁痕深度的检测，可以通过对待检件的图像进行二值化处理及计算相关尺寸后获取，具体的，可以参考申请号为cn201480080388.9的授权专利《缺陷检查装置以及生产系统》，具体参考内容可以参考记载于该专利权利要求书中权利要求1及说明书中相应部分的内容介绍，在此不做赘述。
62.本实施例在第二方面公开了一种基于深度学习的磁痕缺陷识别系统，如图4所示，该系统包括光照模块、图像采集模块、图像处理模块、磁痕缺陷识别模块、神经网络模块、磁痕缺陷模型数据库以及处理器，所述光照模块、所述图像处理模块、所述磁痕缺陷识别模块、所述神经网络模块、所述磁痕缺陷模型数据库分别与所述处理器相连，所述图像处理模块输出结果至所述磁痕缺陷识别模块，所述磁痕缺陷识别模块的结果通过相应的显示部分(图中未示出)进行显示，以及所述磁痕缺陷识别模块输出结果至所述神经网络模块作为输入层训练样本，所述神经网络模块输出输出层训练样本至所述磁痕缺陷模型数据库进行模型保存和模型更新。
63.具体的，所述光照模块配置为对磁化后的待检件进行光照，为图像采集提供光照环境，所述光照环境包括紫外光照射环境。所述图像采集模块配置为在所述光照环境下对
磁化后的待检件进行图像采集。所述图像处理模块配置为对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，还配置为获取图像信息对应的二值化处理结果和rgb数值。所述磁痕缺陷识别模块配置为将获取到的二值化处理结果和rgb数值分别与所述磁痕缺陷模型数据库中的模型数据进行比对，并基于数据比对结果生成待检件的磁痕缺陷识别结果。所述神经网络模块配置为以具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，还配置为将深度学习结果输送至所述磁痕缺陷模型数据库中进行模型保存和模型更新。
64.需要说明的是，在本实施例中，光照模块执行后为步骤1提供所述光照条件；图像采集模块执行后对应于步骤1中所述的采集磁化后的待检件的图像；图像处理模块执行后对应于步骤2中的内容；磁痕缺陷识别模块执行后对应于步骤3和步骤4的内容；神经网络模块执行后对应于步骤5中的内容。以及，对应于步骤1-5的进一步优化的技术内容，在此不做赘述。
65.借由上述的基于深度学习的磁痕缺陷识别方法及系统，根据图像采集和进一步地图像处理，结合深度学习，对待检件上的磁痕缺陷进行识别，检测流程自动化程度较高，无需人工介入，检测结果的准确度高、可靠性高。进一步地，通过二值化处理和像素处理的进行，实现对磁痕缺陷的缺陷尺寸进行获取，从而明确待检件上的磁痕缺陷的具体情况，为后续的修复等进一步工序提供可靠的情报数据。在像素处理过程中，基于可靠的二值化处理流程和算法，明确磁痕缺陷的所在区域，并逐步精确缺陷尺寸，进而精确像素处理区域，使最终的缺陷检测识别结果的准确度提高。
66.在本技术所提供的实施例中，应该理解到，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
67.最后应说明的是：以上所述仅为本技术的优选实施例而已，并不用于限制本技术，尽管参照前述实施例对本技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于深度学习的磁痕缺陷识别方法，其特征在于，该方法包括以下步骤：步骤1：在光照条件下采集磁化后的待检件的图像；步骤2：对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，获取图像信息对应的二值化处理结果和rgb数值；步骤3：将获取到的二值化处理结果和rgb数值分别与磁痕缺陷模型数据库中的模型数据进行比对；步骤4：基于数据比对结果生成待检件的磁痕缺陷识别结果；步骤5：将具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，并将深度学习结果输入所述磁痕缺陷模型数据库。2.根据权利要求1所述的基于深度学习的磁痕缺陷识别方法，其特征在于，在所述步骤2中，所述像素处理具体包括：步骤201：对采集到的待检件图像进行rgb像素分析；步骤202：提取rgb数据。3.根据权利要求1所述的基于深度学习的磁痕缺陷识别方法，其特征在于，在所述步骤2中，所述二值化处理具体包括：步骤211：采用二值化阈值th1对采集到的待检件的图像进行二值化处理，得到二值化图像；步骤212：对所述二值化图像进行缺陷提取，得到缺陷尺寸l1和缺陷位置。4.根据权利要求3所述的基于深度学习的磁痕缺陷识别方法，其特征在于，在所述步骤2中，所述缺陷尺寸包括缺陷面积和缺陷长度中的至少一种。5.根据权利要求4所述的基于深度学习的磁痕缺陷识别方法，其特征在于，所述像素处理具体包括：步骤221：基于所述缺陷尺寸l1和所述缺陷位置，确定缺陷区域和该缺陷区域的的边界轮廓p1；步骤222：按照预设的放大比例ρ，所述放大比例ρ大于1，以所述边界轮廓p1的中心点为中心对所述边界轮廓p1进行等比例放大，得到覆盖所述边界轮廓p1的边界轮廓p2；步骤223：将所述边界轮廓p2围构成的区域作为像素处理区域，对该像素处理区域进行rgb像素分析；步骤224：提取该像素处理区域的rgb数据。6.根据权利要求5所述的基于深度学习的磁痕缺陷识别方法，其特征在于，在所述步骤3中，当获取到的rgb数值与磁痕缺陷模型数据库中的模型数据的比对结果超出容差阈值时，调取二值化阈值th2，所述二值化阈值th2小于所述二值化阈值th1，并基于该二值化阈值th2依次重复所述步骤211、所述步骤212、所述步骤221、所述步骤222、所述步骤223以及所述步骤224。7.根据权利要求5或6所述的基于深度学习的磁痕缺陷识别方法，其特征在于，当所述缺陷尺寸为缺陷长度时，所述边界轮廓p1的尺寸通过公式a1＝l1+k1和b1＝k2得到，其中，a1为边界轮廓p1的长度，b1为边界轮廓p1的宽度，k1和k2均为大于零的常数；所述放大比例ρ包括长度放大比例ρ1和宽度放大比例ρ2。
8.根据权利要求1所述的基于深度学习的磁痕缺陷识别方法，其特征在于，所述磁痕缺陷识别结果包括磁痕位置、磁痕尺寸。9.根据权利要求8所述的基于深度学习的磁痕缺陷识别方法，其特征在于，所述磁痕缺陷识别结果还包括磁痕深度。10.一种基于深度学习的磁痕缺陷识别系统，其特征在于，包括光照模块、图像采集模块、图像处理模块、磁痕缺陷识别模块、神经网络模块、磁痕缺陷模型数据库以及处理器；所述光照模块配置为对磁化后的待检件进行光照，为图像采集提供光照环境，所述光照环境包括紫外光照射环境；所述图像采集模块配置为在所述光照环境下对磁化后的待检件进行图像采集；所述图像处理模块配置为对采集到的待检件的图像进行图像处理，所述图像处理包括二值化处理和像素处理，还配置为获取图像信息对应的二值化处理结果和rgb数值；所述磁痕缺陷识别模块配置为将获取到的二值化处理结果和rgb数值分别与所述磁痕缺陷模型数据库中的模型数据进行比对，并基于数据比对结果生成待检件的磁痕缺陷识别结果；所述神经网络模块配置为以具有磁痕缺陷的待检件的图像和对应的所述磁痕缺陷识别结果作为深度神经网络模型的输入层训练样本进行深度学习，还配置为将深度学习结果输送至所述磁痕缺陷模型数据库中进行模型保存和模型更新。

技术总结
本申请涉及无损检测技术领域，公开了基于深度学习的磁痕缺陷识别方法及系统，该方法包括：步骤1：在光照条件下采集磁化后的待检件的图像；步骤2：对采集图像进行图像处理，获取二值化处理结果和RGB数值；步骤3：将二值化处理结果和RGB数值分别与磁痕缺陷模型数据库中的数据进行比对；步骤4：基于比对结果生成待检件的磁痕缺陷识别结果；步骤5：将具有磁痕缺陷的待检件的图像和磁痕缺陷识别结果作为训练样本进行深度学习，并将深度学习结果输入磁痕缺陷模型数据库。该系统适用该基于深度学习的磁痕缺陷识别方法。本申请的基于深度学习的磁痕缺陷识别方法及系统，检测流程自动化程度较高，检测结果的准确度高、可靠性高。可靠性高。可靠性高。


技术研发人员：薛帅 刘俊志 许伟 孙康 张静 沈洋 谢小荣
受保护的技术使用者：北京理工大学珠海学院
技术研发日：2023.05.06
技术公布日：2023/7/21