基于BiLSTM预测偏离度的浮选过程故障早期预警方法

基于bilstm预测偏离度的浮选过程故障早期预警方法
技术领域
1.本发明涉及泡沫浮选技术领域，特别是基于bilstm预测偏离度的浮选过程故障早期预警方法。


背景技术：

2.泡沫浮选是一种重要的选矿技术，浮选过程中出现故障会造成矿产资源和试剂的浪费，而有效的故障检测技术可以帮助浮选厂降低药剂消耗和劳动强度，提高矿物回收率，促进浮选过程优化控制和节约生产成本。但是浮选过程的故障检测和诊断往往具有挑战性，一般是由有经验的操作人员通过频繁目视检查泡沫外观来完成的，但是这种手动操作总是伴随着严重的响应延迟和测量误差，并且很耗时、费力。
3.为了克服这个问题，机器视觉通过提取浮选槽表面泡沫的视觉特征来指示浮选性能，并将提取到的特征传输给操作人员或作为过程控制系统的输入，以此对浮选过程进行调整。很多基于机器视觉的浮选过程故障检测方法被相继提出，比如：利用小波变换来描述泡沫灰度图像，并计算空间灰度共生矩阵，从而得到泡沫图像的纹理特征，通过这些特征对泡沫图像进行分类，实现对浮选过程的故障状态识别，但是故障检测精度受识别精度的影响较大；通过非参数核估计器来近似分割后气泡大小的pdf，建立了气泡大小pdf的动态权重模型，且基于权重模型进行稳定性分析，得到稳定性条件确定的阈值准则进行故障检测，但是气泡形状不一且分布不均匀，使得相同的分割算法不能适用于所有情况，因此导致故障检测精度较低；对泡沫灰度图像进行小波变换和重建后，通过计算二值图像的白色区域来设计等效气泡尺寸特征，确定正常泡沫图像的范围进行浮选故障检测，但是小波变换的方向选择性有限，只能捕捉到有限的方向信息，在处理图像时会引入虚假信息和严重的外观退化，使得故障检测精度受到影响。
4.有效的故障检测技术可以帮助浮选厂减少药剂消耗，降低劳动强度，提高矿物回收率。传统上，浮选过程故障检测大多是由有经验的人员通过观察泡沫外观完成的，这种手动操作会伴随着严重的测量误差和响应延时，且耗时、费力。后续基于泡沫视觉特征的浮选过程故障检测方法被相继提出，但是这类方法是对浮选过程故障的在线实时检测，当故障发生时，留给操作人员的处理时间较为紧迫。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于bilstm预测偏离度的浮选过程故障早期预警方法，实现浮选过程故障的早期预警，有效减少矿产资源和药剂的浪费。
6.为实现上述目的，本发明采用如下技术方案：基于bilstm预测偏离度的浮选过程故障早期预警方法，包括以下步骤：
7.步骤1，获取历史浮选过程数据集，其中包括正常状态数据集和故障状态数据集；将数据集进行数据清洗等预处理，并选择模型预测量；
8.将其中的正常状态数据集利用6：2：2的比例划分为训练集，验证集和测试集，将训
练集数据作为模型的输入，提取训练集视频帧的图像颜色a通道均值、a通道标准差这2个与故障相关的测点参数，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，并通过验证集测试模型的训练效果；
9.步骤3：首先保存步骤2训练好的故障预测模型，把正常测试集作为该模型的输入数据，以此来验证模型的泛化能力和预测精度，然后利用均方根误差rmse、平均绝对误差mae和拟合系数r2作为评估预测效果的指标，最后结合由对应的泡沫视频帧提取的颜色测点参数值计算正常浮选过程状态下偏离度和预警阈值，得到故障预警模型；
10.步骤4：通过故障测试集对故障预警模型测试，将故障测试集输入故障预警模型，得到预测值并根据预测值计算偏离度，根据偏离度是否超出预警阈值进行早期预警，验证预警模型的有效性。
11.步骤5：实时采集泡沫视频图像输入到故障预警模型，得到预测值并根据预测值计算偏离度，若偏离度超出了预警阈值，则认为浮选过程有发生故障的趋势，给出预警信号。
12.在一较佳的实施例中，数据预处理具体为对采集到的浮选泡沫图像数据集进行预处理；具体包括：
13.(1)数据清洗，通过格拉布斯准则法对数据进行清洗，该准则法的具体步骤如下：
14.步骤s1：假设xi(i＝1,2,3,...,n)为浮选过程观测数据样本，建立以μ为观测对象的观测数据模型如下式所示：
15.xi＝μ+pi,p
i n(0,σ2)
16.步骤s2：分别根据下式计算xi的样本均值和方差；
[0017][0018][0019]
步骤s3：计算构造统计量g，使得统计量g服从变换；
[0020][0021]
步骤s4：根据下式计算统计量g
α
的值，当g＞g
α
时，判定样本为异常，直接剔除；
[0022][0023]
步骤s5：循环执行步骤s1至步骤s4，直到样本数据集清洗完成；
[0024]
(2)数据归一化，在对模型训练前，将数据通过下式进行归一化，将数据压缩至[0,1]范围区间内；
[0025]
x
std
＝(x-x
min
)/(x
max-x
min
)。
[0026]
在一较佳的实施例中，浮选过程故障预警模型构建具体为：
[0027]
采用resnet50网络提取输入的浮选泡沫视频帧的特征，将经过数据预处理的视频帧数据输入到resnet50网络中，提取每个时间点数据的空间特征，然后将其传递到bilstm网络进行时间序列预测；
[0028]
resnet50网络对输入数据进行特征提取后，经过一段时间的积累，形成特征值序列，其随时间波动形成的波形反映出浮选过程状态的变化；将从resnet50网络上学习到的数据特征输入到bilstm网络，由其对数据特征做时序编码，获取时序上的特征向量后，再送入全连接层，完成时间序列的预测；
[0029]
基于resnet50和bilstm构建浮选过程故障预测模型；故障预测模型包含训练模型和测试模型两个部分，两个部分模型都主要包括数据输入、深度网络和预测输出这三个部分；在数据输入部分中，首先将浮选泡沫可见光视频帧通过数据预处理后，作为预测模型的输入，其中，训练集和验证集作为训练模型的输入，正常测试集作为测试模型的输入；深度网络中包含resnet50和bilstm网络，resnet50网络用来提取每个时间点输入数据的空间特征，然后将其传递到bilstm网络学习数据间的相关性，对数据特征进行时序编码，从正、反两个方向提取时间序列特征；在预测输出部分中，将所提取的时序特征送入全连接层，通过全连接层输出预测值，其中，在训练模型中，将泡沫视频图像转换至cielab空间提取a通道的均值和方差这2个颜色方面的测点，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，以此得到故障预测模型；而在测试模型中，由全连接层输出对下一时刻颜色测点参数的预测值，完成时间序列的预测，然后再结合由对应的泡沫视频帧提取的颜色测点参数值计算正常偏离度和预警阈值，进一步得到故障预警模型。
[0030]
在一较佳的实施例中，偏离度定义和预警策略具体为：
[0031]
构建的resnet50-bilstm浮选过程故障预测模型经过正常浮选过程数据集的训练，当模型接收到新的时间序列数据后，根据学习的结果可以预测出下一刻的数据；当浮选过程出现故障的趋势时，相关监测变量较正常状态数据会出现一定的偏差，当这个偏差超过设定的安全阈值时，则判定浮选过程出现早期故障；
[0032]
通过下式计算本节resnet50-bilstm网络模型输出的预测值与实际值之间的残差r
ij
；
[0033][0034]
式中：r
ij
为在j时刻变量i的残差；y
ij
和分别为在j时刻变量i的实际值和本节模型输出的预测值；根据上述对模型预测量的选择，共有4个测点参数，所以每一时刻的残差数据形成一个4维向量，根据下式计算该时刻浮选过程偏离正常状态的偏离度；
[0035]
对每一时刻的偏离度进行计算，从而形成一个偏离度序列；
[0036][0037]
偏离度序列存在多个极值点和非平稳性，采用广义极值理论计算预警阈值，其求解的具体步骤如下：
[0038]
将偏离度序列分解成多个有相同数据点的最小区间，选择5个点作为最小区间；则每个区间内最大值m的计算方法如下式所示：
[0039]
m＝max{x1,...,xn}
[0040]
式中：xi为一个最小区间内的值；{x1,...,xn}是同分布且独立的随机序列；
[0041]
设随机序列的分布函数为f，则m的分布和{x1,...,xn}的分布函数f之间的关系为：
[0042]
pr{m≤z}＝pr{x1≤z,
……
,xn≤z}＝pr{x1≤z}
×…×
pr{xn≤z}＝{f(z)}n[0043]
由于分布函数f未知，所以假设存在μ和σ满足：
[0044]
pr{(m-μ)/σ}
→
g(z)
[0045]
式中：μ为位置参数；σ为尺度参数；g()为广义极值分布函数，根据下式计算：
[0046]
g(z)＝exp{-[1+((z-μ)/σ)]-1/ξ
}
[0047]
式中：广义极值分布函数定义于集合{z:1+ξ(z-μ)/σ＞0}，其中，参数μ和ξ分别满足：-∞＜μ＜∞,σ＞0,-∞＜ξ＜∞；
[0048]
通过最大似然估计方法求得广义极值分布的位置参数μ、尺度参数σ和形状参数ξ，通过下式计算预警阈值；
[0049]
th＝μ-σ[1-{-ln(1-α)}-ξ
]/ξ
[0050]
综上，在浮选过程中，若是偏离度序列维持在预警阈值以内，则判定浮选过程正常，若偏离度超出预警阈值，则判定浮选过程有发生故障的趋势，以此来实现故障预警。
[0051]
在一较佳的实施例中，bilstm构建正向和反向两条lstm网络来提取特征信息；将同一个输入序列分别接入前向和后向两个lstm网络中，然后改变两个lstm网络的内部结构；
[0052]
bilstm的运算过程如下：
[0053]
前向传播的更新公式如下：
[0054][0055]
后向传播的更新公式如下：
[0056][0057]
前向后向网络层叠加后输出的公式如下：
[0058][0059]
式中：t表示时间序列；表示t时刻的隐层向量，箭头代表方向；x
t
和y
t
分别表示t时刻的输入和输出；w
xh
、w
hh
和w
hy
分别表示输入-隐层、隐层-隐层和隐层-输出层的权重矩阵；bh和by分别表示隐层和输出层的偏置向量；h表示隐层激活函数。
[0060]
在一较佳的实施例中，将泡沫图像转换到cielab颜色空间上，提取能表征红色程度的a通道上的数字特征，根据下式计算该通道的2个统计量，即均值μ和标准差σ，每帧图像共得到了2维统计量：a通道均值和a通道方差，它们构成对应图像的颜色特征向量；
[0061][0062][0063]
式中：p
ij
表示图像在(i,j)处的像素值；m和n表示图像的宽和高。
[0064]
与现有技术相比，本发明具有以下有益效果：本发明提出一种基于bilstm预测偏离度的浮选过程故障早期预警方法。构建基于resnet50和bilstm的时间序列预测模型，将resnet50提取的空间特征输入到bilstm网络进行颜色的时间序列预测，根据预测值和实际值计算偏离度、确定预警阈值，当预测偏离度超限时进行生产故障早期预警。本发明方法的
时间序列颜色特征的预测偏差小、拟合度好，故障预警时间得到有效提前，能够实现浮选过程故障的早期预警，为操作人员争取更多的时间进行调整，有效减少矿产资源和药剂的浪费。
附图说明
[0065]
图1为本发明优选实施例的bilstm网络结构图；
[0066]
图2为本发明优选实施例的预测模型框架图；
[0067]
图3为本发明优选实施例的浮选过程故障检测流程图；
[0068]
图4为本发明优选实施例的早期故障预警效果图resnet50-bilstm模型对测试集的预测结果；
[0069]
图5为本发明优选实施例的早期故障预警效果图，(a)为cnn-bilstm模型预警效果，(b)为resnet50-lstm模型预警效果，(c)为本发明resnet50-bilstm模型预警效果。
具体实施方式
[0070]
下面结合附图及实施例对本发明做进一步说明。
[0071]
应该指出，以下详细说明都是例示性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0072]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式；如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0073]
本发明涉及一种基于bilstm预测偏离度的浮选过程故障早期预警方法：首先，采集泡沫视频图像并提取视频序列颜色特征，构建样本数据集；然后，构建基于resnet50和bilstm的时间序列预测模型，将resnet50提取的空间特征输入到bilstm网络进行颜色的时间序列预测；其次，采用正常工作数据集对时间序列颜色特征进行预测，根据预测值和实际值计算偏离度、确定预警阈值；最后，实时采集泡沫视频图像进行颜色特征预测，当预测偏离度超限时进行生产故障早期预警。本发明方法的时间序列颜色特征的预测偏差小、拟合度好，故障预警时间得到有效提前，能够实现浮选过程故障的早期预警，有效减少矿产资源和药剂的浪费。
[0074]
详细的技术方案如下：
[0075]
1.bilstm网络模型
[0076]
bilstm网络克服了rnn网络和lstm网络的局限性，图1为bilstm网络的结构，从图中可以看出，bilstm构建了正向和反向两条lstm网络来提取特征信息，更加充分地学习了数据的时序特征。主要思想是将同一个输入序列分别接入前向和后向两个lstm网络中，然后将两个网络的隐含层连在一起，共同接入到输出层进行预测。bilstm不会对lstm网络的内部结构进行改变，虽然只是从正向和反向用lstm进行数据建模，然后将信息拼在一起，但是该网络在保留了lstm优点的基础上，还解决了lstm由于模型结构造成前后数据信息的重要性发生变化，导致精度降低的问题。
[0077]
从图1中可知，bilstm的运算过程如下：
[0078]
前向传播的更新公式为：
[0079][0080]
后向传播的更新公式为：
[0081][0082]
前向后向网络层叠加后输出的公式为：
[0083][0084]
式中：t表示时间序列；表示t时刻的隐层向量，箭头代表方向；x
t
和y
t
分别表示t时刻的输入和输出；w
xh
、w
hh
和w
hy
分别表示输入-隐层、隐层-隐层和隐层-输出层的权重矩阵；bh和by分别表示隐层和输出层的偏置向量；h表示隐层激活函数。
[0085]
2、浮选泡沫颜色特征提取
[0086]
在构建预测模型前，先对模型预测量进行选择，由于浮选生产过程会受到许多物理因素和化学因素的影响，研究学者发现浮选泡沫表面的颜色与浮选生产工艺指标密切相关。浮选泡沫表面颜色是选矿生产指标的直接指示器，有经验的浮选厂操作员就是通过观测气泡表面颜色判断生产状况，并及时对生产过程做出调整。因此，本发明构建的故障预警模型从浮选泡沫表面颜色特征的变化对故障进行预警。
[0087]
泡沫图像中的红色程度可以更加直观的反应浮选生产工况。由于cielab颜色空间能更好的分离出图像的色彩信息，更加符合人类的视觉感知特性，所以，将泡沫图像转换到cielab颜色空间上，提取能表征红色程度的a通道上的数字特征，根据式(4)、(5)计算该通道的2个统计量，即均值μ和标准差σ。因此，每帧图像共得到了2维统计量：a通道均值和a通道方差，它们构成了对应图像的颜色特征向量。
[0088][0089][0090]
式中：pij表示图像在(i,j)处的像素值；m和n表示图像的宽和高。
[0091]
3、基于bilstm和预测偏离度的浮选过程故障早期预警
[0092]
3.1数据预处理
[0093]
在浮选过程中，由于矿物浮选现场的环境较差，浮选槽表面光线弱，且存在粉尘和雾气的干扰，导致现场摄像系统拍摄得到的泡沫图像出现阴影、模糊等现象，且有时会出现人员记录偏差，生产设备不稳定等问题，使得浮选现场可能采集到异常的样本，不能直接用于预测模型的输入，因此要对采集到的浮选泡沫图像数据集进行预处理。
[0094]
(1)数据清洗
[0095]
为了避免浮选过程中无关数据的干扰，本节根据浮选现场的工作情况，通过格拉布斯准则法对数据进行清洗，该准则法的具体步骤如下：
[0096]
步骤1：假设xi(i＝1,2,3,...,n)为浮选过程观测数据样本，建立以μ为观测对象的观测数据模型如下式所示：
[0097]
xi＝μ+pi,p
i n(0,σ2) (6)
[0098]
步骤2：分别根据式(7)和式(8)计算xi的样本均值和方差。
[0099][0100][0101]
步骤3：按照式(9)构造统计量g，使得统计量g服从式(10)所示变换。
[0102][0103][0104]
步骤4：根据式(11)计算统计量g
α
的值，当g＞g
α
时，判定样本为异常，直接剔除。
[0105][0106]
步骤5：循环执行步骤1至步骤4，直到样本数据集清洗完成。
[0107]
(2)数据归一化
[0108]
在对模型训练前，将数据通过式(12)进行归一化，将数据压缩至[0,1]范围区间内，消除不同量纲的影响。归一化不仅能加快计算速度和模型的收敛速度，又能在一定程度上提升模型精度。
[0109]
x
std
＝(x-x
min
)/(x
max-x
min
) (12)
[0110]
3.2浮选过程故障预警模型构建
[0111]
(1)resnet50提取空间特征
[0112]
深度学习通过训练模型能够准确地从输入数据中提取隐藏特征，resnet50网络在浮选泡沫图像上表现出较好的效果，因此采用resnet50网络提取输入的浮选泡沫视频帧的特征，将经过数据预处理的视频帧数据输入到resnet50网络中，提取每个时间点数据的空间特征，然后将其传递到bilstm网络进行时间序列预测。
[0113]
(2)bilstm提取时间序列特征
[0114]
resnet50网络对输入数据进行特征提取后，经过一段时间的积累，会形成特征值序列，其随时间波动形成的波形可以反映出浮选过程状态的变化。但是resnet50网络只能识别局部变化的幅度，不能检测出输入数据的顺序信息。因此，可以将从resnet50网络上学习到的数据特征输入到bilstm网络，由其对数据特征做时序编码，获取时序上的特征向量后，再送入全连接层，完成时间序列的预测。
[0115]
(3)预测模型
[0116]
为了实现早期故障预警及对未来一段时间序列的准确预测，本发明基于resnet50和bilstm构建浮选过程故障预测模型。故障预测模型的结构如图2所示，模型包含训练模型和测试模型两个部分，两个部分模型都主要包括了数据输入、深度网络和预测输出这三个
部分。在数据输入部分中，首先将浮选泡沫可见光视频帧通过数据预处理后，作为预测模型的输入，其中，训练集和验证集作为训练模型的输入，正常测试集作为测试模型的输入；深度网络中包含了resnet50和bilstm网络，resnet50网络用来提取每个时间点输入数据的空间特征，然后将其传递到bilstm网络学习数据间的相关性，对数据特征进行时序编码，从正、反两个方向提取时间序列特征；在预测输出部分中，将所提取的时序特征送入全连接层，通过全连接层输出预测值，其中，在训练模型中，将泡沫视频图像转换至cielab空间提取a通道的均值和方差这2个颜色方面的测点，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，以此得到故障预测模型；而在测试模型中，由全连接层输出对下一时刻颜色测点参数的预测值，完成时间序列的预测，然后再结合由对应的泡沫视频帧提取的颜色测点参数值计算正常偏离度和预警阈值，进一步得到故障预警模型。
[0117]
3.3偏离度定义和预警策略
[0118]
构建的resnet50-bilstm浮选过程故障预测模型经过正常浮选过程数据集的训练，可以学习到在正常浮选过程状态时各个变量间的关系，当模型接收到新的时间序列数据后，根据学习的结果可以预测出下一刻的数据。当浮选过程出现故障的趋势时，相关监测变量较正常状态数据会出现一定的偏差，当这个偏差超过设定的安全阈值时，则判定浮选过程出现早期故障。
[0119]
(1)偏离度定义
[0120]
深度学习网络预测值和实际值之间的误差称为残差，残差可以反应目标变量的变化。通过式(13)计算本节resnet50-bilstm网络模型输出的预测值与实际值之间的残差r
ij
。
[0121][0122]
式中：rij为在j时刻变量i的残差；yij和分别为在j时刻变量i的实际值和本节模型输出的预测值。根据上述对模型预测量的选择，本章节共有4个测点参数，所以每一时刻的残差数据形成一个4维向量，根据式(14)计算该时刻浮选过程偏离正常状态的偏离度。
[0123]
对每一时刻的偏离度进行计算，从而形成一个偏离度序列。
[0124][0125]
(2)预警策略
[0126]
偏离度序列存在多个极值点和非平稳性，为了进一步提升模型的表达能力，需要对模型设置预警阈值。本发明采用广义极值理论计算预警阈值，其求解的具体步骤如下：
[0127]
将偏离度序列分解成多个有相同数据点的最小区间，选择5个点作为最小区间。则每个区间内最大值m的计算方法如下式所示：
[0128]
m＝max{x1,...,xn} (15)
[0129]
式中：xi为一个最小区间内的值；{x1,...,xn}是同分布且独立的随机序列。
[0130]
设1)中随机序列的分布函数为f，则m的分布和{x1,...,xn}的分布函数f之间的关系为：
[0131]
pr{m≤z}＝pr{x1≤z,
……
,xn≤z}＝pr{x1≤z}
×…×
pr{xn≤z}＝{f(z)}
n (16)
[0132]
由于分布函数f未知，所以假设存在μ和σ满足：
[0133]
pr{(m-μ)/σ}
→
g(z) (17)
[0134]
式中：μ为位置参数；σ为尺度参数；g()为广义极值分布函数，根据下式计算：
[0135]
g(z)＝exp{-[1+((z-μ)/σ)]-1/ξ
} (18)
[0136]
式中：广义极值分布函数定义于集合{z:1+ξ(z-μ)/σ＞0}，其中，参数μ和ξ分别满足：-∞＜μ＜∞,σ＞0,-∞＜ξ＜∞。
[0137]
4)通过最大似然估计方法求得广义极值分布的位置参数μ、尺度参数σ和形状参数ξ，通过式(19)计算预警阈值。
[0138]
th＝μ-σ[1-{-ln(1-α)}-ξ
]/ξ(19)
[0139]
综上，在浮选过程中，若是偏离度序列维持在预警阈值以内，则判定浮选过程正常，若偏离度超出了预警阈值，则判定浮选过程有发生故障的趋势，以此来实现故障预警。
[0140]
3.4具体实现流程及步骤
[0141]
为实现浮选过程中故障的早期识别，首先对输入的数据集进行预处理后，输入到resnet50网络提取每个时间点数据的空间特征；然后将提取到的空间特征传递到bilstm网络提取时间序列特征，并将其传递到全连接层，通过全连接层输出对下一时刻的预测值；最后通过获得的预测值和实际值计算偏离度，确定报警阈值，实现浮选过程的早期故障预警。浮选生产过程故障预警方法流程如图3所示，具体的实现步骤为：
[0142]
步骤1，获取历史浮选过程数据集，其中包括正常状态数据集和故障状态数据集；将数据集进行数据清洗等预处理，并选择模型预测量；
[0143]
将其中的正常状态数据集利用6：2：2的比例划分为训练集，验证集和测试集，将训练集数据作为模型的输入，提取训练集视频帧的图像颜色a通道均值、a通道标准差这2个与故障相关的测点参数，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，并通过验证集测试模型的训练效果；
[0144]
步骤3：首先保存步骤2训练好的故障预测模型，把正常测试集作为该模型的输入数据，以此来验证模型的泛化能力和预测精度，然后利用均方根误差rmse、平均绝对误差mae和拟合系数r2作为评估预测效果的指标，最后结合由对应的泡沫视频帧提取的颜色测点参数值计算正常浮选过程状态下偏离度和预警阈值，得到故障预警模型；
[0145]
步骤4：通过故障测试集对故障预警模型测试，将故障测试集输入故障预警模型，得到预测值并根据预测值计算偏离度，根据偏离度是否超出预警阈值进行早期预警，验证预警模型的有效性。
[0146]
步骤5：实时采集泡沫视频图像输入到故障预警模型，得到预测值并根据预测值计算偏离度，若偏离度超出了预警阈值，则认为浮选过程有发生故障的趋势，给出预警信号。
[0147]
4具体的实施例及说明
[0148]
为验证本发明方法的有效性，在福建金东矿业股份有限公司的铅锌矿浮选厂中采集到的泡沫图像作为实验样本，实验的硬件平台为intel(r)core(tm)i7-9800x cpu@3.80ghz、nvidia geforce rtx 3080ti、128gb ram，软件运行环境为windows 10matlab 2019a、python3.7、pytorch1.7，通过实验对本发明所提方法进行验证。
[0149]
选取浮选厂某天正常浮选过程状态下的12个小时的运行数据作为实验数据，其中，数据采样间隔为3s。搭建好resnet50-bilstm模型后，通过训练集和验证集训练模型，并带入测试集对模型进行测试，则本发明所提的resnet50-bilstm故障预测模型在测试集上
的预测结果如图4所示。
[0150]
为进一步验证所提的resnet50-bilstm模型的预测性能，将该模型的预测效果与cnn-bilstm、resnet50-lstm模型的预测效果进行对比。选择rmse、mae和r2作为评价指标，取各参数的平均值作为评价结果，各评价指标的计算如式(20)-(22)所示，其中，rmse反映预测结果的准确性，rmse越低说明预测精度越高；mae反映预测结果的一致性，mae越低说明预测结果误差越小；r2反映预测曲线的拟合度，r2越接近1说明拟合效果越好。各模型的性能统计如表1所示。从中可以看出，cnn-bilstm模型与其他两种模型相比，预测的结果较实际结果偏差较大，预测的准确性较低，拟合程度较差；而resnet50-lstm模型的预测结果较cnn-bilstm模型的预测结果在各项指标上有所改善，但是还有一定的提升空间；本发明所提出的resnet50-bilstm模型与resnet50-lstm模型相比，均方根误差降低了20.6％，平均绝对误差降低了23.5％，拟合系数提升了17.1％，由于resnet50-bilstm模型结合了两个模型的优点，更好地综合了多元时间序列数据的特征，使得预测的准确性较高，且偏差小，拟合程度好。
[0151][0152][0153][0154]
式中：y
ij
、和分别为第j个时刻变量i的实际值，预测值和平均值；j＝1,2,
…
,n；n为数据集时间序列的长度。
[0155]
表1预测模型的性能统计
[0156][0157][0158]
接下来进行故障早期预警测试：由于浮选过程中2个测点变量的变化规律较为平稳，无法有效地反映浮选过程是否发生故障，因此，先利用resnet50-bilstm模型预测2个测点变量未来一段时间的序列，然后计算预测偏离度，并确定预警阈值。在某铅锌矿浮选厂中采集到的故障数据作为实验数据，分别采用cnn-bilstm、resnet50-lstm和resnet50-bilstm模型进行故障预警测试，预警效果如图5所示，已知浮选过程在2.8小时的时间点产生故障，从图中可以看出，cnn-bilstm预警模型波动较大，偏离度在故障发生前没有明显上升的趋势，且在故障前几天偏离度仍然存在低于阈值的情况，该模型的预警阈值为2.8687，
运行到154分钟的时间点偏离度高于阈值，提前了14分钟发出警报；而其余两种预警模型的偏离度在故障发生前均有明显上升的趋势，resnet50-lstm模型的预警阈值为2.3217，运行到140分钟的时间点偏离度高于阈值，提前了28分钟发出警报，而本发明的resnet50-bilstm模型的预警阈值为1.9471，运行到106分钟的时间点偏离度高于阈值，提前了62分钟发出警报，报警后偏离度都处于阈值上方，且随着故障的加深，偏离度波动上升的趋势明显。

技术特征：
1.基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，包括以下步骤：步骤1，获取历史浮选过程数据集，其中包括正常状态数据集和故障状态数据集；将数据集进行数据清洗等预处理，并选择模型预测量；将其中的正常状态数据集利用6：2：2的比例划分为训练集，验证集和测试集，将训练集数据作为模型的输入，提取训练集视频帧的图像颜色a通道均值、a通道标准差这2个与故障相关的测点参数，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，并通过验证集测试模型的训练效果；步骤3：首先保存步骤2训练好的故障预测模型，把正常测试集作为该模型的输入数据，以此来验证模型的泛化能力和预测精度，然后利用均方根误差rmse、平均绝对误差mae和拟合系数r2作为评估预测效果的指标，最后结合由对应的泡沫视频帧提取的颜色测点参数值计算正常浮选过程状态下偏离度和预警阈值，得到故障预警模型；步骤4：通过故障测试集对故障预警模型测试，将故障测试集输入故障预警模型，得到预测值并根据预测值计算偏离度，根据偏离度是否超出预警阈值进行早期预警，验证预警模型的有效性；步骤5：实时采集泡沫视频图像输入到故障预警模型，得到预测值并根据预测值计算偏离度，若偏离度超出了预警阈值，则认为浮选过程有发生故障的趋势，给出预警信号。2.根据权利要求1所述的基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，数据预处理具体为对采集到的浮选泡沫图像数据集进行预处理；具体包括：(1)数据清洗，通过格拉布斯准则法对数据进行清洗，该准则法的具体步骤如下：步骤s1：假设x
i
(i＝1,2,3,...,n)为浮选过程观测数据样本，建立以μ为观测对象的观测数据模型如下式所示：x
i
＝μ+p
i
,p
i n(0,σ2)步骤s2：分别根据下式计算x
i
的样本均值和方差；的样本均值和方差；步骤s3：计算构造统计量g，使得统计量g服从变换；步骤s4：根据下式计算统计量g
α
的值，当g＞g
α
时，判定样本为异常，直接剔除；步骤s5：循环执行步骤s1至步骤s4，直到样本数据集清洗完成；(2)数据归一化，在对模型训练前，将数据通过下式进行归一化，将数据压缩至[0,1]范围区间内；
x
std
＝(x-x
min
)/(x
max-x
min
)。3.根据权利要求1所述的基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，浮选过程故障预警模型构建具体为：采用resnet50网络提取输入的浮选泡沫视频帧的特征，将经过数据预处理的视频帧数据输入到resnet50网络中，提取每个时间点数据的空间特征，然后将其传递到bilstm网络进行时间序列预测；resnet50网络对输入数据进行特征提取后，经过一段时间的积累，形成特征值序列，其随时间波动形成的波形反映出浮选过程状态的变化；将从resnet50网络上学习到的数据特征输入到bilstm网络，由其对数据特征做时序编码，获取时序上的特征向量后，再送入全连接层，完成时间序列的预测；基于resnet50和bilstm构建浮选过程故障预测模型；故障预测模型包含训练模型和测试模型两个部分，两个部分模型都主要包括数据输入、深度网络和预测输出这三个部分；在数据输入部分中，首先将浮选泡沫可见光视频帧通过数据预处理后，作为预测模型的输入，其中，训练集和验证集作为训练模型的输入，正常测试集作为测试模型的输入；深度网络中包含resnet50和bilstm网络，resnet50网络用来提取每个时间点输入数据的空间特征，然后将其传递到bilstm网络学习数据间的相关性，对数据特征进行时序编码，从正、反两个方向提取时间序列特征；在预测输出部分中，将所提取的时序特征送入全连接层，通过全连接层输出预测值，其中，在训练模型中，将泡沫视频图像转换至cielab空间提取a通道的均值和方差这2个颜色方面的测点，将2个测点参数的时间序列数据作为模型的预测输出值，对故障预测模型进行训练，以此得到故障预测模型；而在测试模型中，由全连接层输出对下一时刻颜色测点参数的预测值，完成时间序列的预测，然后再结合由对应的泡沫视频帧提取的颜色测点参数值计算正常偏离度和预警阈值，进一步得到故障预警模型。4.根据权利要求1所述的基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，偏离度定义和预警策略具体为：构建的resnet50-bilstm浮选过程故障预测模型经过正常浮选过程数据集的训练，当模型接收到新的时间序列数据后，根据学习的结果可以预测出下一刻的数据；当浮选过程出现故障的趋势时，相关监测变量较正常状态数据会出现一定的偏差，当这个偏差超过设定的安全阈值时，则判定浮选过程出现早期故障；通过下式计算本节resnet50-bilstm网络模型输出的预测值与实际值之间的残差r
ij
；式中：r
ij
为在j时刻变量i的残差；y
ij
和分别为在j时刻变量i的实际值和本节模型输出的预测值；根据上述对模型预测量的选择，共有4个测点参数，所以每一时刻的残差数据形成一个4维向量，根据下式计算该时刻浮选过程偏离正常状态的偏离度；对每一时刻的偏离度进行计算，从而形成一个偏离度序列；偏离度序列存在多个极值点和非平稳性，采用广义极值理论计算预警阈值，其求解的具体步骤如下：
将偏离度序列分解成多个有相同数据点的最小区间，选择5个点作为最小区间；则每个区间内最大值m的计算方法如下式所示：m＝max{x1,...,x
n
}式中：x
i
为一个最小区间内的值；{x1,...,x
n
}是同分布且独立的随机序列；设随机序列的分布函数为f，则m的分布和{x1,...,x
n
}的分布函数f之间的关系为：p
r
{m≤z}＝p
r
{x1≤z,
……
,x
n
≤z}＝p
r
{x1≤z}
×…×
p
r
{x
n
≤z}＝{f(z)}
n
由于分布函数f未知，所以假设存在μ和σ满足：p
r
{(m-μ)/σ}
→
g(z)式中：μ为位置参数；σ为尺度参数；g()为广义极值分布函数，根据下式计算：g(z)＝exp{-[1+((z-μ)/σ)]-1/ξ
}式中：广义极值分布函数定义于集合{z:1+ξ(z-μ)/σ＞0}，其中，参数μ和ξ分别满足：-∞＜μ＜∞,σ＞0,-∞＜ξ＜∞；通过最大似然估计方法求得广义极值分布的位置参数μ、尺度参数σ和形状参数ξ，通过下式计算预警阈值；t
h
＝μ-σ[1-{-ln(1-α)}-ξ
]/ξ综上，在浮选过程中，若是偏离度序列维持在预警阈值以内，则判定浮选过程正常，若偏离度超出了预警阈值，则判定浮选过程有发生故障的趋势，以此来实现故障预警。5.根据权利要求1所述的基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，bilstm构建正向和反向两条lstm网络来提取特征信息；将同一个输入序列分别接入前向和后向两个lstm网络中，然后改变两个lstm网络的内部结构；bilstm的运算过程如下：前向传播的更新公式如下：后向传播的更新公式如下：前向后向网络层叠加后输出的公式如下：式中：t表示时间序列；表示t时刻的隐层向量，箭头代表方向；x
t
和y
t
分别表示t时刻的输入和输出；w
xh
、w
hh
和分别表示输入-隐层、隐层-隐层和隐层-输出层的权重矩阵；b
h
和b
y
分别表示隐层和输出层的偏置向量；h表示隐层激活函数。6.根据权利要求3所述的基于bilstm预测偏离度的浮选过程故障早期预警方法，其特征在于，将泡沫图像转换到cielab颜色空间上，提取能表征红色程度的a通道上的数字特征，根据下式计算该通道的2个统计量，即均值μ和标准差σ，每帧图像共得到了2维统计量：a通道均值和a通道方差，它们构成对应图像的颜色特征向量；
式中：p
ij
表示图像在(i,j)处的像素值；m和n表示图像的宽和高。

技术总结
本发明提供一种基于BiLSTM预测偏离度的浮选过程故障早期预警方法：首先，采集泡沫视频图像并提取视频序列颜色特征，构建样本数据集；然后，构建基于ResNet50和BiLSTM的时间序列预测模型，将ResNet50提取的空间特征输入到BiLSTM网络进行颜色的时间序列预测；其次，采用正常工作数据集对时间序列颜色特征进行预测，根据预测值和实际值计算偏离度、确定预警阈值；最后，实时采集泡沫视频图像进行颜色特征预测，当预测偏离度超限时进行生产故障早期预警。本发明方法的时间序列颜色特征的预测偏差小、拟合度好，故障预警时间得到有效提前，能够实现浮选过程故障的早期预警，有效减少矿产资源和药剂的浪费。资源和药剂的浪费。资源和药剂的浪费。


技术研发人员：廖一鹏 严欣 朱坤华
受保护的技术使用者：福州大学
技术研发日：2023.05.16
技术公布日：2023/8/16