一种基于图像深度学习的轴承缺陷检测方法

1.本技术涉及深度学习与工程检测技术领域，具体为一种基于图像深度学习的轴承缺陷检测方法。
技术背景
2.滚动轴承是机械设备中广泛应用的一种基础零部件，它在各种旋转部件的运转中起着至关重要作用。然而，由于生产、使用等方面的原因，滚动轴承在使用过程中会出现一定的缺陷，如裂纹、疲劳、磨损等，这些缺陷会导致轴承性能下降，噪声增加，甚至引发故障或事故。因此，对滚动轴承进行缺陷检测非常重要，可以及早发现轴承的缺陷并进行维修或更换，从而保证设备的正常运转和安全性。传统的滚动轴承缺陷检测方法主要是通过目视检查、手感检测、声音诊断等方法实现的，这些方法依靠人工经验和感觉来判断轴承是否存在缺陷，准确性和可靠性具有一定局限性。同时，滚动轴承形状复杂、工件尺寸大小不一等特点，也给缺陷检测带来了难度。
3.近年来，基于计算机视觉、机器学习等技术的滚动轴承缺陷检测技术不断发展，主要包括图像处理、信号处理、机器学习等多个方面，大大提高了检测的准确性和效率。这些新技术的应用，不仅可以在生产过程中实现自动化、智能化检测，而且可以降低成本和提高产品质量，具有广阔的应用前景。


技术实现要素：

4.有鉴于此，本说明书实施例提供一种基于图像深度学习的轴承缺陷检测方法，能够在提高检测准确度的同时提高检测速度。
5.本说明书实施例提供以下技术方案：
6.本说明书实施例提供一种基于图像深度学习的轴承缺陷检测方法，包括以下步骤：
7.采集样本振动信号；
8.对所述样本振动信号进行变分模态分解vmd；
9.根据重构准则对分解后的模态分量进行筛选重构；
10.基于马尔可夫变迁场mtf的信号-图像重构，将所述样本振动信号转为图像形式；
11.将图像输入卷积神经网络faster r-cnn进行训练，获得训练后网络；
12.将测试信号输入所述训练后网络进行模式识别并输出诊断结果。
13.优选地，将设定好故障状态的轴承分别于不同负载条件下运行，振动数据采样频率包括12khz和48khz，采集样本振动信号，其中，滚动轴承故障为内圈、外圈和滚动体三个位置的各种缺陷，包括表皮脱落、组件磨损、塑性变形、内外圈腐蚀、保持架断裂、胶合和保持架损坏。
14.优选地，对所述样本振动信号进行变分模态分解vmd，包括：
15.假设多成分信号由k个有限带宽的模态分量vk()组成，每个imf的中心频率为
ω
()
，约束条件是模态和等于输入信号，imf分量的个数k取4，惩罚因子α取1000，具体构造步骤包括：
16.通过希尔伯特变换得到vk()的分析信号，并计算其单边谱，通过与算子相乘，将vk()的中心带调制到相应的基带；
17.计算解调梯度的平方范数l2，并估计每个模分量的带宽，过程如下式：
[0018][0019]
其中，{k}＝{v1，v2，...，vk}代表着分解后的imf组件，{k}＝{ω1，ω2，...，ωk}代表着各组成部分的中心频率；
[0020]
引入拉格朗日乘子τ(t)和二阶惩罚因子α
[]
，将约束变分问题转化为无约束变分问题；
[0021]
利用交替方向乘子法连续更新各分量及其中心频率，最终得到无约束模型的鞍点；
[0022]
具体包括：
[0023]
步骤(1)：初始化参数和n：
[0024]
步骤(2)：令n＝n+1，开始循环；
[0025]
步骤(3)：根据vk、ωk的更新公式进行更新；
[0026]
步骤(4)：根据τ的更新公式更新参数；
[0027]
步骤(5)：给定精度ε，当满足下面的条件
[0028][0029]
则停止循环；否则进入所述步骤(2)继续循环。
[0030]
优选地，根据重构准则对分解后的模态分量进行筛选重构，包括：
[0031]
通过使用sift方法，假定原始信号为x(t)，具体操作如下：
[0032][0033]
其中，ω(t-τ)为中心为τ的窗函数，采用hann窗；
[0034]
假定原始信号通过vmd被分解为k
*
个模态分量，依次记为imfj(j＝1,2,...k
*
)，由此得到imfj的频带熵分布如下：
[0035][0036]
其中，j表示原始信号经过vmd分解后的第j个本征模态分量，fbe-f表示对应模态分量的第f个频率分量，代表对应频率分量的频带熵。在此基础对应模态分量的最
小频带熵如下：：
[0037][0038]
其中，代表第j个模态分量对应的最小频带熵，将其记为以为中心频率构建频带滤波器，对应的带宽为中心频率构建频带滤波器，对应的带宽为通过对应模态分量的窗函数长度寻优得到；由此得到第j个模态分量对应的频带滤波器为同样得到原始信号对应的频带滤波器为筛选条件如下：
[0039][0040][0041]
优选地，基于马尔可夫变迁场mtf的信号-图像重构，将所述样本振动信号转为图像形式，包括：
[0042]
假定给定的时间序列为x＝(x1,x2,...,xn)，将时间步长t的数据点分配给对应的状态sj或分位数qj，其中1≤t≤n，1≤j≤m，m是对应的状态或分位数，通过计算状态si转移到状态sj的数据点数量a
ij
推导出与原始时间序列相关的m*m阶马尔可夫转移矩阵p-mm，其中，p
ij
的值可通过得到，最终结果如下：
[0043][0044]
其中，f
kl
＝
ij
(1≤k,l≤n且1≤i,j≤m)代表处于时间点k的数据xk从状态si转移到sj的概率，马尔可夫变迁场除了转变概率之外还包含时间序列信息。
[0045]
优选地，将图像输入卷积神经网络faster r-cnn进行训练，获得训练后网络，包括：
[0046]
获取一张图像输入到特征提取网络backbone得到特征图，首先将特征图输入rpn中得到多个目标建议框proposal，将建议框根据原图和特征图的投影关系得到相应特征矩阵；
[0047]
将每一个特征图对应的proposal输入到roipooling层得到一个相同大小的特征图；
[0048]
接下来进行展平处理，通过两个全连接层，再分别通过类别预测层和边界框回归预测层，返回目标得分和边界框参数，
[0049]
其中，采用faster r-cnn模型，主干网络选择resnet50提取图片特征。
[0050]
优选地，将测试信号输入所述训练后网络进行模式识别并输出诊断结果，包括：
[0051]
将测试信号转换的图片输入提前训练好的网络中进行预测，网络采集图像特征输出缺陷类别和概率。
[0052]
与现有技术相比，本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括：
[0053]
通过采集样本振动信号，对样本振动信号进行变分模态分解vmd，根据重构准则对分解后的模态分量进行筛选重构；基于马尔可夫变迁场mtf的信号-图像重构，将振动信号转为图像形式，并将图像输入卷积神经网络faster r-cnn进行训练，最终将测试信号输入网络进行模式识别并输出诊断结果，能够在提高检测准确度的同时提高检测速度。
附图说明
[0054]
为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0055]
图1是本技术实施例提供的基于图像深度学习的轴承缺陷检测方法流程示意图；
[0056]
图2为进行缺陷检测的滚动轴承结构示意图；
[0057]
图3为faster r-cnn算法流程示意图。
具体实施方式
[0058]
下面结合附图对本技术实施例进行详细描述。
[0059]
以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本技术的其他优点与功效。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。本技术还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0060]
要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0061]
还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
[0062]
另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践。
[0063]
步骤1：采集样本振动信号；
[0064]
步骤2：对样本振动信号进行变分模态分解(vmd)；
[0065]
步骤3：根据重构准则对分解后的模态分量进行筛选重构；
[0066]
步骤4：基于马尔可夫变迁场(mtf)的信号-图像重构，将振动信号转为图像形式；
[0067]
步骤5：将图像输入卷积神经网络(faster r-cnn)进行训练，获得训练后网络；
[0068]
步骤6：将测试信号输入网络进行模式识别并输出诊断结果。
[0069]
进一步的，步骤1具体包括以下步骤：
[0070]
实验装置主要包括三相感应电动机、功率测试计和扭矩传感器。其中电动机的额定功率为1.5kw，驱动端轴承型号为skf6205。将设定好故障状态的轴承分别于不同负载条件下运行，振动数据采样频率包括12khz和48khz两种频率，进而采集振动信号。
[0071]
进一步的，步骤2具体包括以下步骤：
[0072]
假设多成分信号由k个有限带宽的模态分量vk()组成，每个imf的中心频率为ω
()
，约束条件是模态和等于输入信号。imf分量的个数k取4，惩罚因子α取1000，具体构造步骤为：
[0073]
步骤21：通过希尔伯特变换得到vk()的分析信号，并计算其单边谱，通过与算子e-jεkt
相乘，将vk()的中心带调制到相应的基带。
[0074]
步骤22：计算解调梯度的平方范数l2，并估计每个模分量的带宽，过程如下式：
[0075][0076]
上式中，{k}＝{v1，v2，...，vk}代表着分解后的imf组件，{k}＝{ω1，ω2，...，ωk}代表着各组成部分的中心频率。
[0077]
步骤23：为了找到约束变分问题的最优解，首先引入拉格朗日乘子τ(t)和二阶惩罚因子α
[]
，将约束变分问题转化为无约束变分问题。
[0078]
步骤24：利用交替方向乘子法连续更新各分量及其中心频率，最终得到无约束模型的鞍点，即原问题的最佳解。
[0079]
具体过程如下：
[0080]
步骤(1)初始化参数和n：
[0081]
步骤(2)令n＝n+1，开始循环；
[0082]
步骤(3)根据vk、ωk的更新公式进行更新；
[0083]
步骤(4)根据τ的更新公式更新参数；
[0084]
步骤(5)给定精度ε，当满足下面的条件
[0085][0086]
则停止循环；否则进入步骤(2)继续循环。
[0087]
进一步的，步骤3具体包括以下步骤：
[0088]
这里使用一种基于频带熵构建频带滤波器的信号重构准则。
[0089]
通过使用sift方法，假定原始信号为x(t)，具体操作如下：
[0090][0091]
式中，ω(-τ)为中心为τ的窗函数，其宽度越小表明时间分辨率越好，一般采用hann窗；通过采用e
jωt
(δ函数)可以较好的保持频率分辨率。
[0092]
假定原始信号通过vmd被分解为k
*
个模态分量，依次记为imfj(j＝1,2,...k
*
)，由此可以得到imfj的频带熵分布如下：
[0093][0094]
式中，j表示原始信号经过vmd分解后的第j个本征模态分量，fbe-f表示对应模态分量的第f个频率分量，代表对应频率分量的频带熵。
[0095]
在此基础对应模态分量的最小频带熵如下：
[0096][0097]
式中，代表第j个模态分量对应的最小频带熵，将其记为以为中心频率构建频带滤波器，对应的带宽为其中可以通过对应模态分量的窗函数长度寻优得到。由此可以得到第j个模态分量对应的频带滤波器为同样可以得到原始信号对应的频带滤波器为
[0098]
传统的重构分量选择标准如下：
[0099][0100]
由该式可以看出这种根据共振频率的概念所构建的筛选标准固然能够找到几乎不包含任何除故障频率分量之外的分量，但同时也损失了一部分包含故障信息的有效分量。根据筛选条件：
[0101][0102]
满足上述两式任意其一便视为该模态分量符合重构准则，其实质为对应imf分量的最优频带滤波器中心频率处于原始信号的通频带中，同时对应通频带的半要从属于原始信号的通频带，这表明该模态分量包含一部分故障信息同时其内部干扰分量成分较少，该准则平衡了故障信息提取和噪声等干扰分量去除两部分，更好的提取出包含故障信息的模态分量进行后续分析。
[0103]
进一步的，步骤4具体包括以下步骤：
[0104]
马尔可夫变迁场是从时间序列获得图像，表示离散时间序列的转变概率场，该转变概率场时基于马尔科夫链，结合振动信号时间域相邻状态的关联性构建而成。
[0105]
假定给定的时间序列为x＝(x1,x2,...,xn)，将时间步长t(1≤t≤n)的数据点分配给对应的状态sj(或分位数qj)，其中1≤j≤m，m是对应的状态(或分位数)数。
[0106]
因此，可通过计算状态si转移到状态sj的数据点数量a
ij
推导出与原始时间序列相关的m*m阶马尔可夫转移矩阵p-mm，其中，p
ij
的值可通过得到，最终结果如下：
[0107][0108]
式中，f
kl
＝
ij
(1≤k,l≤n且1≤i,j≤m)代表处于时间点k的数据xk从状态si转移到sj的概率。
[0109]
马尔可夫变迁场除了转变概率之外还包含时间序列更多额外的信息。
[0110]
进一步的，步骤5具体包括以下步骤：
[0111]
这里主要采用faster r-cnn模型，主干网络选择resnet50提取图片特征。
[0112]
步骤51：获取一张图像输入到特征提取网络(backbone)得到特征图，首先将特征图输入rpn(region proposal network)中得到一系列的目标建议框(proposal)大约两千个左右，将建议框根据原图和特征图的投影关系就能得到一个个特征矩阵。
[0113]
步骤52：将每一个特征图对应的proposal输入到roipooling层得到一个相同大小的特征图。
[0114]
步骤53：接下来进行展平处理，通过两个全连接层，再分别通过类别预测层和边界框回归预测层，返回目标得分和边界框参数。
[0115]
进一步的，步骤6具体包括以下步骤：
[0116]
将测试信号转换的图片输入提前训练好的网络中进行预测，网络采集图像特征输出缺陷类别和概率。
[0117]
综上所述，通过采集样本振动信号，对样本振动信号进行变分模态分解vmd，根据重构准则对分解后的模态分量进行筛选重构；基于马尔可夫变迁场mtf的信号-图像重构，将振动信号转为图像形式，并将图像输入卷积神经网络faster r-cnn进行训练，最终将测试信号输入网络进行模式识别并输出诊断结果，能够在提高检测准确度的同时提高检测速度。
[0118]
本说明书中，各个实施例之间相同相似的部分互相参见即可，每个实施例侧重说明的都是与其他实施例的不同之处。尤其，对于后面说明的产品实施例而言，由于其与方法是对应的，描述比较简单，相关之处参见系统实施例的部分说明即可。
[0119]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个
实施例中的某些特征、结构或特点可以进行适当的组合。
[0120]
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
[0121]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

技术特征：
1.一种基于图像深度学习的轴承缺陷检测方法，其特征在于，包括以下步骤：采集样本振动信号；对样本振动信号进行变分模态分解vmd；根据重构准则对分解后的模态分量进行筛选重构；基于马尔可夫变迁场mtf的信号-图像重构，将样本振动信号转为图像形式；将图像输入卷积神经网络faster r-cnn进行训练，获得训练后网络；将测试信号输入训练后网络进行模式识别并输出诊断结果。2.根据权利要求1所述的轴承缺陷检测方法，其特征在于，将设定好故障状态的轴承分别于不同负载条件下运行，振动数据采样频率包括12khz和48khz，采集样本振动信号，其中，滚动轴承故障为内圈、外圈和滚动体三个位置的各种缺陷，包括表皮脱落、组件磨损、塑性变形、内外圈腐蚀、保持架断裂、胶合和保持架损坏。3.根据权利要求1所述的轴承缺陷检测方法，其特征在于，对样本振动信号进行变分模态分解vmd，包括：假设多成分信号由k个有限带宽的模态分量v
k
()组成，每个imf的中心频率为ω
()
，约束条件是模态和等于输入信号，imf分量的个数k取4，惩罚因子α取1000，具体构造步骤包括：通过希尔伯特变换得到v
k
()的分析信号，并计算其单边谱，通过与算子相乘，将v
k
()的中心带调制到相应的基带；计算解调梯度的平方范数l2，并估计每个模分量的带宽，过程如下式：其中，{
k
}＝{v1，v2，...，v
k
}代表着分解后的imf组件，{
k
}＝{ω1，ω2，...，ω
k
}代表着各组成部分的中心频率；引入拉格朗日乘子τ(t)和二阶惩罚因子α
[]
，将约束变分问题转化为无约束变分问题；利用交替方向乘子法连续更新各分量及其中心频率，最终得到无约束模型的鞍点；具体包括：步骤(1)：初始化参数和n：步骤(2)：令n＝n+1，开始循环；步骤(3)：根据v
k
、ω
k
的更新公式进行更新；步骤(4)：根据τ的更新公式更新参数；步骤(5)：给定精度ε，当满足下面的条件则停止循环；否则进入所述步骤(2)继续循环。4.根据权利要求1所述的轴承缺陷检测方法，其特征在于，根据重构准则对分解后的模
态分量进行筛选重构，包括：通过使用sift方法，假定原始信号为x(t)，具体操作如下：其中，ω(t-τ)为中心为τ的窗函数，采用hann窗；假定原始信号通过vmd被分解为k
*
个模态分量，依次记为imf
j
(j＝1,2,...k
*
)，由此得到imf
j
的频带熵分布如下：其中，j表示原始信号经过vmd分解后的第j个本征模态分量，fbe-f表示对应模态分量的第f个频率分量，代表对应频率分量的频带熵。在此基础对应模态分量的最小频带熵如下：：其中，代表第j个模态分量对应的最小频带熵，将其记为以为中心频率构建频带滤波器，对应的带宽为率构建频带滤波器，对应的带宽为通过对应模态分量的窗函数长度寻优得到；由此得到第j个模态分量对应的频带滤波器为同样得到原始信号对应的频带滤波器为筛选条件如下：筛选条件如下：。5.根据权利要求1所述的轴承缺陷检测方法，其特征在于，基于马尔可夫变迁场mtf的信号-图像重构，将所述样本振动信号转为图像形式，包括：假定给定的时间序列为x＝(x1,x2,...,x
n
)，将时间步长t的数据点分配给对应的状态s
j
或分位数q
j
，其中1≤t≤n，1≤j≤m，m是对应的状态或分位数，通过计算状态s
i
转移到状态s
j
的数据点数量a
ij
推导出与原始时间序列相关的m*m阶马尔可夫转移矩阵p-mm，其中，p
ij
的值可通过得到，最终结果如下：
其中，f
kl
＝
ij
(1≤k,l≤n且1≤i,j≤m)代表处于时间点k的数据x
k
从状态s
i
转移到s
j
的概率，马尔可夫变迁场除了转变概率之外还包含时间序列信息。6.根据权利要求1所述的轴承缺陷检测方法，其特征在于，将图像输入卷积神经网络faster r-cnn进行训练，获得训练后网络，包括：获取一张图像输入到特征提取网络backbone得到特征图，首先将特征图输入rpn中得到多个目标建议框proposal，将建议框根据原图和特征图的投影关系得到相应特征矩阵；将每一个特征图对应的proposal输入到roipooling层得到一个相同大小的特征图；接下来进行展平处理，通过两个全连接层，再分别通过类别预测层和边界框回归预测层，返回目标得分和边界框参数，其中，采用faster r-cnn模型，主干网络选择resnet50提取图片特征。7.根据权利要求1所述的轴承缺陷检测方法，其特征在于，将测试信号输入所述训练后网络进行模式识别并输出诊断结果，包括：将测试信号转换的图片输入提前训练好的网络中进行预测，网络采集图像特征输出缺陷类别和概率。

技术总结
本申请提供一种基于图像深度学习的轴承缺陷检测方法，涉及深度学习与工程检测技术领域。所述基于图像深度学习的轴承缺陷检测方法，包括以下步骤：采集样本振动信号；对所述样本振动信号进行变分模态分解VMD；根据重构准则对分解后的模态分量进行筛选重构；基于马尔可夫变迁场MTF的信号-图像重构，将所述样本振动信号转为图像形式；将图像输入卷积神经网络Faster R-CNN进行训练，获得训练后网络；将测试信号输入所述训练后网络进行模式识别并输出诊断结果。出诊断结果。出诊断结果。


技术研发人员：马向华 孙向宇
受保护的技术使用者：上海应用技术大学
技术研发日：2023.04.26
技术公布日：2023/7/20