一种用于设备状态监测的多模态神经网络监测方法与流程

1.本发明属于识别监测技术领域，具体涉及一种用于设备状态监测的多模态神经网络监测方法。


背景技术：

2.物料传输廊道是矿山、电厂、化工厂、重要的辅助系统，以皮带机系统为基础，配置多种辅助设备，具有设备多、传输距离长、运行方式复杂、运行环境恶劣、故障因素多，极易发生事故。由于传输物料的物理特性，容易造成传输带卡阻、跑偏、撕裂、堆料甚至输送带断裂的情况，严重影响相关系统的运行效率以及生产安全性。对物料传输廊道进行实时监控，防止传输故障是生产效率、降低生产成本的必要手段。
3.长期以来，物料传输廊道的巡检工作主要依靠人工进行定时检查或驻点值守，对设备进行听和看的判断，以确认设备运行状态。一方面，依靠人工检查容易受到个人经验、主观意识的影响，受到监测手段、数据记录、数据分析方面的制约，通常花费大量人力不能得到有效的数据结果，且得到的数据难以形成系统性，参考意义不大；特别是随着设备使用时间越长，设备故障越高，需要投入越来越多的人力进行巡检、维护，也产生了很多散无系统性的数据，很大程度上造成电力生产成本的增加。


技术实现要素：

4.本发明的目的在于：
5.本发明提出了适用于物料传输廊道设备特性的多模态神经网络结构，以解决人工监测效果低的问题。
6.本发明采用的技术方案如下：
7.一种用于设备状态监测的多模态神经网络监测方法，其特征在于，包括如下步骤：
8.a、基于卷积、池化、激活三种计算方法分别对图像及声音数据进行特征表达，生成特征图集；
9.b、对分别得到的图像特征图集和声谱特征图集添加注意力机制进行融合，生成融合特征图集；
10.c、基于融合特征图集进行计算，进行gbt计算以实现设备状态正常或异常的判断。
11.进一步地，所述步骤a中图像的模态特征图生成方法如下：
12.输入大小为448*448大小图像，设置卷积核大小为3*3，步长为1，激活函数采用relu，用于将神经网络非线性化，生成512张28*28大小的特征图；
13.其中卷积的过程为，取出一个与卷积核大小一样的矩阵与卷积核进行内积运算，得到的值为一次的卷积值，内积运算过程如下，设大小为3*3：
[0014][0015][0016][0017]
将卷积核根据步长依次移动，进行卷积计算得到卷积值，所有的卷积值合在一起组成一个新的矩阵，所得新的特征图大小为：
[0018][0019][0020]
其中w表示图像宽度，h表示图像高度，s表示卷积核步长，p表示图像边缘增加的边界像素层数；
[0021]
relu激活函数为：
[0022]
f(x)＝max(0,x)；
[0023]
进行max pooling最大化池化：初始矩阵为a，设大小为448*448，经过滤波器为2x2，步长为2的最大化池化后得到一半大小的矩阵b，大小为224*224；
[0024][0025][0026]
将滤波器放入矩阵后，选择滤波器中最大的一个值作为一次的输出，再将滤波器按步长依次移动，将输出值合并为一个新的特征图，得到的新的特征图大小计算和卷积层计算相同，具体计算步骤如下：
[0027]
1)经64个3x3的卷积核，两次卷积，relu激活，尺寸变为448x448x64；
[0028]
2)经max pooling，滤波器为2x2，步长为2，图像尺寸减半，池化后的尺寸变为224x224x64；
[0029]
3)经128个3x3的卷积核，两次卷积，relu激活，尺寸变为224x224x128；
[0030]
4)max pooling池化，尺寸变为112x112x128；
[0031]
5)经256个3x3的卷积核，三次卷积，relu激活，尺寸变为112x112x256；
[0032]
6)max pooling池化，尺寸变为56x56x256；
[0033]
7)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；
[0034]
8)max pooling池化，尺寸变为28x28x512。
[0035]
进一步地，所述步骤a中音频的模态特征图生成方法如下：
[0036]
对一段长语音信号，分帧、加窗，再对每一帧做傅里叶变换，之后把每一帧的结果沿另一维度堆叠，得到声谱图，同时保留声音信号的时域和频域特征，具体步骤如下：
[0037]
(1)将语音信号分帧为56帧语音，对每一帧进行56次加窗，完成傅里叶计算变换，从而得到一张56*56大小的声谱图；
[0038]
进行分帧将信号变短再用于处理，根据信号长度、帧移、帧长计算出该信号一共可以分的帧数，帧数的计算公式为：帧数＝(信号长度-帧长)
÷
帧移+1；其中帧移为每次分帧移动的距离，帧长为一帧语音信号的长度；
[0039]
加窗使成帧后的信号变得连续，使每一帧表现出周期函数的特性，使用汉明窗进行处理，公式如下：
[0040][0041]
傅里叶变换公式为：
[0042][0043]
其中w代表频率，t代表时间，e-iwt
为复变函数；
[0044]
(2)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；
[0045]
(3)max pooling池化，尺寸变为28x28x512。
[0046]
进一步地，所述步骤b中的基于注意力机制的特征图集融合方法如下：
[0047]
定义查询向量q＝[q1,q2,...,qm]，并行地从输入信息中选取多组信息，其中fi是指图像模态特征图集，fa是指音频模态特征图集；
[0048]
contexti为由查询向量qi计算得出的attention输出向量，将所有查询向量结果进行拼接生成新的特征图集context，其中表示向量拼接操作；特征图集融合后，生成尺寸为28x28x512的特征图集；
[0049]
融合的计算方法为：
[0050]
[0051]
其中f
ii
，f
ia
为输入的一组信息，contexti为输出的融合特征信息，表示输入特征的初始融合；m是ms-cam多尺度通道注意力模块，使用尺度不同的两个分支来提取通道注意力权重，其中一个分支使用global avg pooling提取全局特征的注意力，另一个分支使用point-wise卷积提取局部特征的通道注意力；融合权值与由0和1之间的实数组成，使网络在f
ii
和f
ia
之间进行软选择或加权平均。
[0052]
进一步地，所述步骤c中的融合特征图集gbt计算方法如下：
[0053]
对尺寸为28x28x512的特征图集进行全连接计算，生成1*1*4096尺寸特征值，再进行gbt计算；这些特征值表示为t＝{(x1,y1),(x2,y2),...(xm,ym)}，其中m为4096，yi为实例i的标注标签，xi为实例i的特征值，fi(x)为预测标签；令最大迭代次数为t，损失函数为l，其中：
[0054]
l(y,f(x))＝log(1+exp(-yf(x)))；
[0055][0056]
初始化弱学习器为：
[0057][0058]
其中y∈{-1，1}，对迭代轮数t＝1,2...t有：
[0059]
对样本i＝1,2...m，此时的负梯度误差为：
[0060][0061]
利用(xi,r
ti
)(i＝1,2,...,m)，拟合一颗cart回归树，得到第t颗回归树，其对应的叶子节点区域为r
tj
，j＝1,2,...,j，其中j为回归树t的叶子节点的个数；
[0062]
对于生成的决策树，计算最佳残差拟合值为：
[0063][0064]
此处与前面t-1棵树加上当前决策树，损失减少最多；
[0065]
采用newton-raphson公式对上式进行近似求解，结果为：
[0066][0067]
得到本轮的决策树拟合函数：
[0068][0069]
更新强学习器为：
[0070]ft
(x)＝f
t-1
(x)+h
t
(x)；
[0071]
经过t轮反向传播后得到最终的强学习器：
[0072][0073]
最终输出得到对数几率，再通过sigmoid函数得到概率，其中sigmoid函数为：
[0074][0075]
输出的值在0到1之间，设置相应的阈值，根据输出便能够判断设备正常或异常。
[0076]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0077]
本发明以多源数据为输入、通过网络特征提取迭代训练产生数据关联性，为此建立针对设备运行状态分析模型，实现对多源数据的自动调用，以服务于实现状态判定到处置策略的联动输出，将声音与图像定义为两种不同的模态信号，对图像及声音信号分别进行模态特征表达，然后对其进行多模态的特征融合、模态特征决策训练与学习，最后进行gbt的loss计算，实现了对设备异常的自动监测诊断，相比于现有技术中采用人工定检和值守监测的方法，本发明的方法跳出了检测手段、数据记录、数据分析的人工制约，可经过自动计算形成系统性数据，对于设备的长期运行监测和维护具有显著的保障效果，节省了人力和电力等生产成本。
附图说明
[0078]
图1为本发明的算法结构图。
具体实施方式
[0079]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0080]
本发明的算法其结构图如图1所示，其具体实施如下：
[0081]
本发明为一种用于设备状态监测的多模态神经网络监测方法，包括如下步骤：
[0082]
a、基于卷积、池化、激活三种计算方法分别对图像及声音数据进行特征表达，生成特征图集；
[0083]
步骤a中图像的模态特征图生成方法如下：
[0084]
输入大小为448*448大小图像，设置卷积核大小为3*3，步长为1，激活函数采用relu，用于将神经网络非线性化(即提升神经网络的拟合能力，能拟合更复杂的函数)，生成512张28*28大小的特征图；
[0085]
其中卷积的过程为，取出一个与卷积核大小一样的矩阵与卷积核进行内积运算，得到的值为一次的卷积值，内积运算过程如下，以大小3*3为例：
[0086]
[0087][0088][0089]
将卷积核根据步长依次移动，进行卷积计算得到卷积值，所有的卷积值合在一起组成一个新的矩阵，所得新的特征图大小为：
[0090][0091][0092]
其中w表示图像宽度，h表示图像高度，s表示卷积核步长，p表示图像边缘增加的边界像素层数(本发明中为0)；
[0093]
relu激活函数为：
[0094]
f(x)＝max(0,x)；
[0095]
进行max pooling(即最大化池化)：初始矩阵为a，以大小448*448为例，经过滤波器为2x2，步长为2的最大化池化后得到一半大小的矩阵b，大小为224*224；
[0096][0097][0098]
将滤波器放入矩阵后，选择滤波器中最大的一个值作为一次的输出，再将滤波器按步长依次移动，将输出值合并为一个新的特征图，得到的新的特征图大小计算和卷积层计算相同，具体计算步骤如下：
[0099]
1)经64个3x3的卷积核，两次卷积，relu激活，尺寸变为448x448x64；
[0100]
2)经max pooling，滤波器为2x2，步长为2，图像尺寸减半，池化后的尺寸变为224x224x64；
[0101]
3)经128个3x3的卷积核，两次卷积，relu激活，尺寸变为224x224x128；
[0102]
4)max pooling池化，尺寸变为112x112x128；
[0103]
5)经256个3x3的卷积核，三次卷积，relu激活，尺寸变为112x112x256；
[0104]
6)max pooling池化，尺寸变为56x56x256；
[0105]
7)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；
[0106]
8)max pooling池化，尺寸变为28x28x512。
[0107]
步骤a中音频的模态特征图生成方法如下：
[0108]
对一段长语音信号，分帧、加窗，再对每一帧做傅里叶变换，之后把每一帧的结果沿另一维度堆叠，得到声谱图，这一张图类似于二维信号，同时保留声音信号的时域和频域特征，具体步骤如下：
[0109]
(1)将语音信号分帧为56帧语音，对每一帧进行56次加窗，完成傅里叶计算变换，从而得到一张56*56大小的声谱图；
[0110]
傅里叶变换要求输入的信号是平稳的，语音信号在宏观上是不平稳的，在微观上是平稳的，具有短时平稳性，因此进行分帧将信号变短再用于处理，根据信号长度、帧移、帧长计算出该信号一共可以分的帧数，帧数的计算公式为：帧数＝(信号长度-帧长)
÷
帧移+1；其中帧移为每次分帧移动的距离，帧长为一帧语音信号的长度；
[0111]
加窗使成帧后的信号变得连续，这是由于分帧后每一帧的开始和结束都会出现间断，因此分割的帧越多，与原始信号的误差就越大，加窗可使每一帧表现出周期函数的特性，故使用汉明窗进行处理，公式如下：
[0112][0113]
傅里叶变换公式为：
[0114][0115]
其中w代表频率，t代表时间，e-iwt
为复变函数；
[0116]
(2)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；
[0117]
(3)max pooling池化，尺寸变为28x28x512。
[0118]
b、对分别得到的图像特征图集和声谱特征图集添加注意力机制进行融合，生成融合特征图集；
[0119]
步骤b中的基于注意力机制的特征图集融合方法如下：
[0120]
定义查询向量q＝[q1,q2,...,qm]，并行地从输入信息中选取多组信息，其中fi是指图像模态特征图集，fa是指音频模态特征图集；
[0121]
在查询过程中，每个查询向量将会关注输入信息的不同部分，即从不同的角度上去分析当前的输入信息，contexti为由查询向量qi计算得出的attention输出向量，将所有查询向量结果进行拼接生成新的特征图集context；
[0122][0123]
其中表示向量拼接操作；特征图集融合后，生成尺寸为28x28x512的特征图集；
[0124]
融合的计算方法为：
[0125][0126]
其中f
ii
，f
ia
为输入的一组信息，contexti为输出的融合特征信息，
⊕
表示输入特征的初始融合；m是ms-cam(多尺度通道注意力模块)，使用尺度不同的两个分支来提取通道注意力权重，其中一个分支使用global avg pooling提取全局特征的注意力，另一个分支使用point-wise卷积提取局部特征的通道注意力；融合权值与由0和1之间的实数组成，使网络在f
ii
和f
ia
之间进行软选择或加权平均。
[0127]
c、基于融合特征图集进行计算，进行gbt计算以实现设备状态正常或异常的判断；
[0128]
步骤c中的融合特征图集gbt计算方法如下：
[0129]
对尺寸为28x28x512的特征图集进行全连接计算，生成1*1*4096尺寸特征值，再进行gbt计算；这些特征值表示为t＝{(x1,y1),(x2,y2),...(xm,ym)}，在此处m为4096，yi为实例i的标注标签，xi为实例i的特征值，fi(x)为预测标签；令最大迭代次数为t，损失函数为l，其中：
[0130]
l(y,f(x))＝log(1+exp(-yf(x)))；
[0131][0132]
初始化弱学习器为：
[0133][0134]
其中y∈{-1，1}，对迭代轮数t＝1,2...t有：
[0135]
对样本i＝1,2...m，此时的负梯度误差为：
[0136][0137]
利用(xi,r
ti
)(i＝1,2,...,m)，拟合一颗cart回归树，得到第t颗回归树，其对应的叶子节点区域为r
tj
，j＝1,2,...,j，其中j为回归树t的叶子节点的个数；
[0138]
对于生成的决策树，计算最佳残差拟合值为：
[0139][0140]
此处与前面t-1棵树加上当前决策树，损失减少最多；
[0141]
采用newton-raphson公式对上式进行近似求解，结果为：
[0142][0143]
得到本轮的决策树拟合函数：
[0144][0145]
更新强学习器为：
[0146]ft
(x)＝f
t-1
(x)+h
t
(x)；
[0147]
经过t轮反向传播后得到最终的强学习器：
[0148][0149]
最终输出得到对数几率，再通过sigmoid函数得到概率，其中sigmoid函数为：
[0150][0151]
输出的值在0到1之间，设置相应的阈值，根据输出便能够判断设备正常或异常。
[0152]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种用于设备状态监测的多模态神经网络监测方法，其特征在于，包括如下步骤：a、基于卷积、池化、激活三种计算方法分别对图像及声音数据进行特征表达，生成特征图集；b、对分别得到的图像特征图集和声谱特征图集添加注意力机制进行融合，生成融合特征图集；c、基于融合特征图集进行计算，进行gbt计算以实现设备状态正常或异常的判断。2.根据权利要求1所述的一种用于设备状态监测的多模态神经网络监测方法，其特征在于，所述步骤a中图像的模态特征图生成方法如下：输入大小为448*448大小图像，设卷积核大小为3*3，步长为1，激活函数采用relu，用于将神经网络非线性化，生成512张28*28大小的特征图；其中卷积的过程为，取出一个与卷积核大小一样的矩阵与卷积核进行内积运算，得到的值为一次的卷积值，内积运算过程如下，设大小为3*3：的值为一次的卷积值，内积运算过程如下，设大小为3*3：的值为一次的卷积值，内积运算过程如下，设大小为3*3：将卷积核根据步长依次移动，进行卷积计算得到卷积值，所有的卷积值合在一起组成一个新的矩阵，所得新的特征图大小为：一个新的矩阵，所得新的特征图大小为：其中w表示图像宽度，h表示图像高度，s表示卷积核步长，p表示图像边缘增加的边界像素层数；relu激活函数为：f(x)＝max(0,x)进行max pooling最大化池化：初始矩阵为a，设大小为448*448，经过滤波器为2x2，步长为2的最大化池化后得到一半大小的矩阵b，大小为224*224；
将滤波器放入矩阵后，选择滤波器中最大的一个值作为一次的输出，再将滤波器按步长依次移动，将输出值合并为一个新的特征图，得到的新的特征图大小计算和卷积层计算相同，具体计算步骤如下：1)经64个3x3的卷积核，两次卷积，relu激活，尺寸变为448x448x64；2)经max pooling，滤波器为2x2，步长为2，图像尺寸减半，池化后的尺寸变为224x224x64；3)经128个3x3的卷积核，两次卷积，relu激活，尺寸变为224x224x128；4)max pooling池化，尺寸变为112x112x128；5)经256个3x3的卷积核，三次卷积，relu激活，尺寸变为112x112x256；6)max pooling池化，尺寸变为56x56x256；7)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；8)max pooling池化，尺寸变为28x28x512。3.根据权利要求1所述的一种用于设备状态监测的多模态神经网络监测方法，其特征在于，所述步骤a中音频的模态特征图生成方法如下：对一段长语音信号，分帧、加窗，再对每一帧做傅里叶变换，之后把每一帧的结果沿另一维度堆叠，得到声谱图，同时保留声音信号的时域和频域特征，具体步骤如下：(1)将语音信号分帧为56帧语音，对每一帧进行56次加窗，完成傅里叶计算变换，从而得到一张56*56大小的声谱图；进行分帧将信号变短再用于处理，根据信号长度、帧移、帧长计算出该信号一共可以分的帧数，帧数的计算公式为：帧数＝(信号长度-帧长)
÷
帧移+1；其中帧移为每次分帧移动的距离，帧长为一帧语音信号的长度；加窗使成帧后的信号变得连续，使每一帧表现出周期函数的特性，使用汉明窗进行处理，公式如下：傅里叶变换公式为：
其中w代表频率，t代表时间，e-iwt
为复变函数；(2)经512个3x3的卷积核，三次卷积，relu激活，尺寸变为56x56x512；(3)max pooling池化，尺寸变为28x28x512。4.根据权利要求1所述的一种用于设备状态监测的多模态神经网络监测方法，其特征在于，所述步骤b中的基于注意力机制的特征图集融合方法如下：定义查询向量q＝[q1,q2,...,q
m
]，并行地从输入信息中选取多组信息，其中f
i
是指图像模态特征图集，f
a
是指音频模态特征图集；context
i
为由查询向量q
i
计算得出的attention输出向量，将所有查询向量结果进行拼接生成新的特征图集context，其中表示向量拼接操作；特征图集融合后，生成尺寸为28x28x512的特征图集；融合的计算方法为：其中f
ii
，f
ia
为输入的一组信息，context
i
为输出的融合特征信息，
⊕
表示输入特征的初始融合；m是ms-cam多尺度通道注意力模块，使用尺度不同的两个分支来提取通道注意力权重，其中一个分支使用global avg pooling提取全局特征的注意力，另一个分支使用point-wise卷积提取局部特征的通道注意力；融合权值m(f
ii
⊕
f
ia
)与1-m(f
ii
⊕
f
ia
)由0和1之间的实数组成，使网络在f
ii
和f
ia
之间进行软选择或加权平均。5.根据权利要求1所述的一种用于设备状态监测的多模态神经网络监测方法，其特征在于，所述步骤c中的融合特征图集gbt计算方法如下：对尺寸为28x28x512的特征图集进行全连接计算，生成1*1*4096尺寸特征值，再进行gbt计算；这些特征值表示为t＝{(x1,y1),(x2,y2),...(x
m
,y
m
)}，其中m为4096，y
i
为实例i的标注标签，x
i
为实例i的特征值，f
i
(x)为预测标签；令最大迭代次数为t，损失函数为l，其中：l(y,f(x))＝log(1+exp(-yf(x)))；初始化弱学习器为：其中y∈{-1，1}，对迭代轮数t＝1,2...t有：对样本i＝1,2...m，此时的负梯度误差为：利用(x
i
,r
ti
)(i＝1,2,...,m)，拟合一颗cart回归树，得到第t颗回归树，其对应的叶子
节点区域为r
tj
，j＝1,2,...,j，其中j为回归树t的叶子节点的个数；对于生成的决策树，计算最佳残差拟合值为：此处与前面t-1棵树加上当前决策树，损失减少最多；采用newton-raphson公式对上式进行近似求解，结果为：得到本轮的决策树拟合函数：更新强学习器为：f
t
(x)＝f
t-1
(x)+h
t
(x)；经过t轮反向传播后得到最终的强学习器：最终输出得到对数几率，再通过sigmoid函数得到概率，其中sigmoid函数为：输出的值在0到1之间，设置相应的阈值，根据输出便能够判断设备正常或异常。

技术总结
本发明公开了一种用于设备状态监测的多模态神经网络监测方法，属于识别监测技术领域，解决了物料传输设备用人工进行监测效率低、成本高的问题，本发明包括如下步骤：A、基于卷积、池化、激活三种计算方法分别对图像及声音数据进行特征表达，生成特征图集；B、对分别得到的图像特征图集和声谱特征图集添加注意力机制进行融合，生成融合特征图集；C、基于融合特征图集进行计算，进行GBT计算以实现设备状态正常或异常的判断。本发明用于物料传输廊道中的各种设备的状态自动监测，具有监测更精准、效率更高的特点。效率更高的特点。效率更高的特点。


技术研发人员：高亚磊 宫诗璐 韩飞
受保护的技术使用者：华电忻州广宇煤电有限公司
技术研发日：2023.03.30
技术公布日：2023/8/5