多工业行业非侵入式设备负荷监测方法

1.本发明属于非侵入式设备负荷监测技术领域，具体涉及多工业行业非侵入式设备负荷监测方法。


背景技术：

2.非侵入式设备负荷监测的目标是通过消耗的总负荷信息识别出设备的运行状态，以及不同设备的分类信息。工业企业作为重要的需求侧资源，可以利用非侵入式设备负荷监测方法向电网公司提供精细化的设备用电信息，为电网调度提供参考，这样不仅有利于可再生能源的消纳，还可以节约企业的生产成本。
3.现有的非侵入式设备负荷监测的研究多数用于家庭用户和单个工业行业。针对于多个行业的非侵入式设备负荷监测的研究较少。并且不同工业行业的设备类型和用电模式差别较大，导致传统的设备负荷监测方法在不同工业行业上识别效果不稳定。


技术实现要素：

4.本发明的目的是提供多工业行业非侵入式设备负荷监测方法，克服了不同工业行业的设备类型和用电模式差别较大，导致传统的设备负荷监测方法在不同工业行业上识别效果不稳定的问题。
5.本发明所采用的技术方案是，多工业行业非侵入式设备负荷监测方法，具体按照以下步骤实施：
6.步骤1、从iaid数据集中选取工业负荷数据作为总功率序列，对总功率序列预处理，并将预处理后的总功率序列分解为固定长度的功率子序列集合，利用词嵌入技术对子序列集合中每个值进行高维向量代替，得到子序列向量集；
7.步骤2、将子序列向量集分别输入至融合高效通道注意力的convnext block和bigru，分别提取工业负荷数据中的空间特征和时间特征；
8.步骤3、利用多尺度特征提取模块将融合高效通道注意力的convnext block和bigru结合起来得到多尺度时空特征融合模型；
9.步骤4、采用公开数据集iaid中6类不同的行业的负荷数据对多尺度时空特征融合模型进行训练；并利用随机权重平均方法在训练过程中将一定数量的模型权重随机平均，确定模型的权重；
10.步骤5、将训练完成的多尺度时空特征融合模型对不同行业设备状态进行识别。
11.本发明的特点还在于：
12.步骤1具体过程为：从iaid数据集中选取工业负荷数据作为总功率序列，使用均值插值法填补数据中的缺失值，并删除重复值，针对数据中的异常值，利用相邻数据的平均值进行替换，将清洗后的数据利用max-min归一化做进一步的处理得到预处理后的总功率序列并将预处理后的总功率序列分解为t个固定长度的功率子序列集合使用词嵌入矩阵e＝[v_s*e_s]中对子序列集合中每个值进行高维向量代替，得到子序列向量
集
[0013]
步骤2具体过程为：
[0014]
步骤2.1、将子序列向量集输入至融合高效通道注意力的convnext block和下采样层得到空间特征，其中，convnext block中保留了残差连接，依次包括一个7x7深度可分离卷积、layernorm层、1x1的卷积层、gelu层和1x1的卷积层，并且还采用倒瓶颈层设计，特征通道维数分别64，256，64；用参数c、w和h代表特征图的通道数、宽度和高度；k代表1d卷积大小；以自适应方式来确定k值，k和通道数c之间有一种映射如下式所示：
[0015]
c＝φ(k)＝2
(γ*k-b)
[0016]
当给定通道维数c后可得：
[0017][0018]
式中|
·
|
odd
表示最接近的奇数，并设置γ＝2，b＝1，以此来确定k的大小，其中为逐元素乘法；下采样层是由layernorm层之后，加入一个步长为2的2
×
2卷积核实现的；
[0019]
步骤2.2、将子序列向量集输入至bigru对时间特征进行提取得到时间特征，bigru包含一个前向的gru模型和一个反向的gru模型；因此，输出层同时包含过去的信息和未来的信息；bigru的公式如下：
[0020][0021][0022][0023]
为时间t呈现前向传播的gru单元，为时间t呈现反向传播的gru单元，为前向传播的状态，为反向传播的状态，w
t
和v
t
代表权重，a
t
代表偏差。
[0024]
步骤3具体过程为：
[0025]
利用多尺度特征提取模块把空间特征和时间特征处理为相同维度，将处理后的浅层、中层和深层空间和时间特征进行融合，其中使用全局平均池作为多尺度特征提取模块，表示为：
[0026]ft(1)
＝[gap(q
t
),gap(h
t
)]
[0027]ft(f)
＝[f
t(1)
,f
t(2)
,q
t(f)
,h
t(f)
]
[0028]qt
为空间特征；f
t(1)
和f
t(2)
分别为网络中浅层和中层融合的时空特征，q
t(f)
和h
t(f)
分别为模型提取的深层空间特征和时间特征；f
t(f)
为最终融合的多尺度时空特征。
[0029]
步骤4具体过程为：
[0030]
步骤4.1、在给定初始学习率后，多尺度时空特征融合模型利用nadam优化器自适应地确定每次迭代的学习率，直至模型对应的损失函数接近收敛；
[0031]
步骤4.2、学习率已衰减到较小值，此时搜寻的较优解只会在最小值附近小幅度波动，直至模型收敛；在每个迭代步骤结束时，当前权重被添加到swa运行平均值中，模型权重被swa运行的平均值取代；
[0032][0033]mswa
为第i次迭代后，对前i迭代获得的权重取平均值，m为模型第i次迭代后，所得局部解的权重，n
model
表示模型经过第i次迭代后，求得局部解的个数。
[0034]
本发明的有益效果是：
[0035]
本发明多工业行业非侵入式设备负荷监测方法，不仅分别从空间和时间角度提取工业设备的特征信息，而且引入多尺度特征提取模块对不同尺度的时间和空间特征信息进行处理。并将多尺度的时空特征充分融合，使得模型可以提取到全面的工业设备特征信息。最终采用了随机权重平均方法，在训练过程中通过对一定数量的模型权重进行随机平均，从而得到多个模型的权重信息。本发明能够获取到负荷数据中丰富的特征信息，从而实现对不同工业行业设备运行状态的准确识别。
附图说明
[0036]
图1是本发明多工业行业非侵入式设备负荷监测方法流程图；
[0037]
图2为本发明实施例的融合高效通道注意力的convnext block方法结构图；
[0038]
图3为本发明实施例的多尺度时空特征融合方法结构图；
[0039]
图4为本发明实施例在塑料厂设备状态识别图中的注塑机图；
[0040]
图5为本发明实施例在钢铁厂设备状态识别图中的电弧炉图；
[0041]
图6为本发明实施例在金属厂设备状态识别图中的过滤器图。
具体实施方式
[0042]
下面结合附图和具体实施方式对本发明进行详细说明。
[0043]
本发明多工业行业非侵入式设备负荷监测方法，如图1所示，具体按照以下步骤实施：
[0044]
步骤1、从iaid数据集中选取工业负荷数据作为总功率序列，对总功率序列预处理，并将预处理后的总功率序列分解为固定长度的功率子序列集合，利用词嵌入技术对子序列集合中每个值进行高维向量代替，得到子序列向量集；具体过程为：从iaid数据集中选取工业负荷数据作为总功率序列，使用均值插值法填补数据中的缺失值，并删除重复值，针对数据中的异常值，利用相邻数据的平均值进行替换，将清洗后的数据利用max-min归一化做进一步的处理得到预处理后的总功率序列并将预处理后的总功率序列分解为t个固定长度的功率子序列集合使用词嵌入矩阵e＝[v_s*e_s]中对子序列集合中每个值进行高维向量代替，得到子序列向量集
[0045]
步骤2、将子序列向量集分别输入至融合高效通道注意力(eca)的convnext block(cne)和bigru，分别提取工业负荷数据中的空间特征和时间特征；具体过程为：
[0046]
步骤2.1、将子序列向量集输入至融合高效通道注意力的convnext block和下采样层得到空间特征，其中，convnext block中保留了残差连接，依次包括一个7x7深度可分离卷积、layernorm层、1x1的卷积层、gelu层和1x1的卷积层，并且还采用倒瓶颈层设计，特征通道维数分别64，256，64；用参数c、w和h代表特征图的通道数、宽度和高度；k代表1d卷积
大小；eca模块以自适应方式来确定k值，k和通道数c之间有一种映射如下式所示：
[0047]
c＝φ(k)＝2
(γ*k-b)
[0048]
当给定通道维数c后可得：
[0049][0050]
式中|
·
|
odd
表示最接近的奇数，并设置γ＝2，b＝1，以此来确定k的大小，其中为逐元素乘法；下采样层是由layernorm层之后，加入一个步长为2的2
×
2卷积核实现的；
[0051]
步骤2.2、将子序列向量集输入至bigru对时间特征进行提取得到时间特征，bigru包含一个前向的gru模型和一个反向的gru模型；因此，输出层同时包含过去的信息和未来的信息；bigru的公式如下：
[0052][0053][0054][0055]
为时间t呈现前向传播的gru单元，为时间t呈现反向传播的gru单元，为前向传播的状态，为反向传播的状态，w
t
和v
t
代表权重，a
t
代表偏差。
[0056]
步骤3、使用一种多尺度特征融合结构，可以充分的利用网络中不同尺度的特征信息。首先利用多尺度特征提取模块将融合高效通道注意力的convnext block和bigru结合起来得到多尺度时空特征融合模型；具体过程为：
[0057]
利用多尺度特征提取模块把空间特征和时间特征处理为相同维度，将处理后的浅层、中层和深层空间和时间特征进行融合，其中使用全局平均池作为多尺度特征提取模块，表示为：
[0058]ft(1)
＝[gap(q
t
),gap(h
t
)]
[0059]ft(f)
＝[f
t(1)
,f
t(2)
,q
t(f)
,h
t(f)
]
[0060]qt
为空间特征；f
t(1)
和f
t(2)
分别为网络中浅层和中层融合的时空特征，q
t(f)
和h
t(f)
分别为模型提取的深层空间特征和时间特征；f
t(f)
为最终融合的多尺度时空特征。
[0061]
步骤4、采用公开数据集iaid中6类不同的行业的负荷数据对多尺度时空特征融合模型进行训练；并利用随机权重平均方法在训练过程中将一定数量的模型权重随机平均，确定模型的权重；具体过程为：
[0062]
步骤4.1、在给定初始学习率后，多尺度时空特征融合模型利用nadam优化器自适应地确定每次迭代的学习率，直至模型对应的损失函数接近收敛；
[0063]
步骤4.2、学习率已衰减到较小值，此时搜寻的较优解只会在最小值附近小幅度波动，直至模型收敛；在每个迭代步骤结束时，当前权重被添加到swa运行平均值中，模型权重被swa运行的平均值取代；
[0064][0065]mswa
为第i次迭代后，对前i迭代获得的权重取平均值，m为模型第i次迭代后，所得
局部解的权重，n
model
表示模型经过第i次迭代后，求得局部解的个数。
[0066]
步骤5、将训练完成的多尺度时空特征融合模型对不同行业设备状态进行识别。
[0067]
实施例
[0068]
1.数据集的选取
[0069]
为了证明本发明提出的方法的有效性，使用了iaid数据集。数据集记录了有六个不同的行业的负荷数据和设备状态信息。采样频率为1hz，采集时间为一个月。六个不同的行业分别为：化工厂、玻璃厂、金属厂、塑料厂、钢铁厂和纺织厂。并且将工厂的负荷序列分解为长度5分钟的子序列集作为模型的输入。并将设备工作状态1、状态2、
…
、状态n编码为0、1、
…
、n作为输入的标签。
[0070]
2.数据预处理、数据分割与词嵌入
[0071]
如图1所示。首先，使用均值插值法填补数据中的缺失值，并删除重复值。针对数据中的异常值，利用相邻数据的平均值进行替换，再将输入的功率序列x使用max-min归一化进一步进行处理得到新的功率序列其次，将被划分固定长度子序列集每个子序列的长度为l。最后，利用词嵌入e＝[v_s*e_s]将子序列中的每个值使用高维向量进行代替。
[0072]
3.基于多尺度时空特征融合的特征提取方法
[0073]
利用融合高效通道注意力的convnext block可以更有效的识别并保留目标设备状态变化和运行时产生的细微空间特征，融合高效通道注意力的convnext block的模型结构如图2所示。bigru能够获取到设备运行状态在时间维度上的相关性，从而提取到时间特征。并且利用多尺度特征提取模块对不同深度网络层的时间和空间特征进行提取，并将提取到的多尺度时空特征充分融合，进而获取到全面的工业设备特征信息，图3为多尺度时空特征融合的结构图。
[0074]
4.基于swa的模型优化方法
[0075]
如图1所示，在网络框架中引入随机权重平均的方法，通过调整学习率和更新权重，使网络找到最接近全局最优的点，可以有效地缓解局部最优问题。设定前85％的迭代周期为swa的第一阶段，初始学习率为0.002。其余的作为第二阶段，并在此阶段设置恒定学习率为0.001。
[0076]
5.评价指标
[0077]
使用wasserstein距离和马修斯相关系数作为评价指标。
[0078][0079]
p
p
和pq为需要计算两者之间距离的概率分布。inf(
·
)表示取最小值。π(pq,p
p
)是p
p
和pq分布组合起来所有可能的联合分布的集合。可以从联合分布γ中采样(x,y)～γ得到x和y，从而可以得到其范数距离||x-y||，进而计算该联合分布下的距离期望值e
(x,y)～γ
(||x-y||)。wasserstein距离可以体现识别出的设备状态的时间概率分布与真实的设备状态运行时间概率分布之间的差异。
[0080]
马修斯相关系数可以为模型分类质量提供平衡度量。可以根据m个不同的设备运行状态，ls个样本的混淆矩阵c定义：
[0081][0082]
其中并且mcc得分取值范围为[-1,+1]。当mcc越靠近+1时，表示设备状态识别模型的性能越好。
[0083]
6.实验结果分析
[0084]
为了证明本发明所设计模型的有益效果，实验在iaid数据集中六个不同工业行业上进行。每个工厂的数据采样时间为一个月，采样频率为1hz。使用80％的数据进行模型训练，5％的数据进行模型验证，其余15％用于模型测试。bigru和cne分别从时间和空间角度提取特征，没有进行特征融合；stff为未进行多尺度特征融合的方法；msstff为未使用swa的方法；msstff-s为本发明模型。如表1所示，使用特征融合方法的效果明显均优于未进行特征融合的方法，msstff模型相较于bigru和cne模型在iaid中的平均mcc提升了9.41％和7.36％，wasserstein距离降低了40.48％和31.82％。对于stff模型，由于没有考虑将不同深度网络层的时空特征充分融合，因此在六个工厂的设备状态识别中表现不如msstff模型。当使用swa对msstff模型进行优化后，在iaid中的平均mcc提升了1.87％，wasserstein距离降低了30.77％。
[0085]
表1
[0086][0087]
图4、图5、图6分别为塑料厂设备中的注塑机、钢铁厂设备中的电弧炉和金属厂设备中的过滤器的在相同时间内的状态识别图。msstff-s模型采用了多尺度时空特征融合的方法，所以可以最大程度的提取并保留到的获取的时空特征。并且swa方法能够获取到多个局部解中差异性的特征信息，从而能够获取到最接近的全局最优值。因此，msstff-s方法在不同行业的设备上均能取得较好的结果。
[0088]
通过上述方式，本发明多工业行业非侵入式设备负荷监测方法，首先，分别从空间和时间角度提取工业设备的特征信息，融合了高效通道注意力的convnext block具有较强的特征提取能力，可以从混杂工业负荷信息中提取到设备状态变化和运行时产生的空间特征。同时，使用双向门控循环网络学习负荷数据的双向依赖关系，获取时间特征。然后，引入多尺度特征提取模块对不同尺度的时间和空间特征信息进行处理与提取，并将提取到的多尺度时空特征充分融合。最后，采用了随机权重平均方法，在训练过程中通过对一定数量的设备状态识别模型的权重随机平均，进而得到多个模型的权重信息，在不增加训练代价的
情况下提高了模型的泛化能力和识别精度。从而实现对不同工业行业设备运行状态的准确识别。

技术特征：
1.多工业行业非侵入式设备负荷监测方法，其特征在于，具体按照以下步骤实施：步骤1、从iaid数据集中选取工业负荷数据作为总功率序列，对总功率序列预处理，并将预处理后的总功率序列分解为固定长度的功率子序列集合，利用词嵌入技术对子序列集合中每个值进行高维向量代替，得到子序列向量集；步骤2、将子序列向量集分别输入至融合高效通道注意力的convnext block和bigru，分别提取工业负荷数据中的空间特征和时间特征；步骤3、利用多尺度特征提取模块将融合高效通道注意力的convnext block和bigru结合起来得到多尺度时空特征融合模型；步骤4、采用公开数据集iaid中6类不同的行业的负荷数据对多尺度时空特征融合模型进行训练；并利用随机权重平均方法在训练过程中将一定数量的模型权重随机平均，确定模型的权重；步骤5、将训练完成的多尺度时空特征融合模型对不同行业设备状态进行识别。2.根据权利要求1所述多工业行业非侵入式设备负荷监测方法，其特征在于，步骤1具体过程为：从iaid数据集中选取工业负荷数据作为总功率序列，使用均值插值法填补数据中的缺失值，并删除重复值，针对数据中的异常值，利用相邻数据的平均值进行替换，将清洗后的数据利用max-min归一化做进一步的处理得到预处理后的总功率序列并将预处理后的总功率序列分解为t个固定长度的功率子序列集合使用词嵌入矩阵e＝[v_s*e_s]中对子序列集合中每个值进行高维向量代替，得到子序列向量集3.根据权利要求1所述多工业行业非侵入式设备负荷监测方法，其特征在于，步骤2具体过程为：步骤2.1、将子序列向量集输入至融合高效通道注意力的convnext block和下采样层得到空间特征，其中，convnext block中保留了残差连接，依次包括一个7x7深度可分离卷积、layernorm层、1x1的卷积层、gelu层和1x1的卷积层，并且还采用倒瓶颈层设计，特征通道维数分别64，256，64；用参数c、w和h代表特征图的通道数、宽度和高度；k代表1d卷积大小；以自适应方式来确定k值，k和通道数c之间有一种映射如下式所示：c＝φ(k)＝2
(γ*k-b)
当给定通道维数c后可得：式中|
·
|
odd
表示最接近的奇数，并设置γ＝2，b＝1，以此来确定k的大小，其中为逐元素乘法；下采样层是由layernorm层之后，加入一个步长为2的2
×
2卷积核实现的；步骤2.2、将子序列向量集输入至bigru对时间特征进行提取得到时间特征，bigru包含一个前向的gru模型和一个反向的gru模型；因此，输出层同时包含过去的信息和未来的信息；bigru的公式如下：
为时间t呈现前向传播的gru单元，为时间t呈现反向传播的gru单元，为前向传播的状态，为反向传播的状态，w
t
和v
t
代表权重，a
t
代表偏差。4.根据权利要求1所述多工业行业非侵入式设备负荷监测方法，其特征在于，步骤3具体过程为：利用多尺度特征提取模块把空间特征和时间特征处理为相同维度，将处理后的浅层、中层和深层空间和时间特征进行融合，其中使用全局平均池作为多尺度特征提取模块，表示为：f
t(1)
＝[gap(q
t
),gap(h
t
)]f
t(f)
＝[f
t(1)
,f
t(2)
,q
t(f)
,h
t(f)
]q
t
为空间特征；f
t(1)
和f
t(2)
分别为网络中浅层和中层融合的时空特征，q
t(f)
和h
t(f)
分别为模型提取的深层空间特征和时间特征；f
t(f)
为最终融合的多尺度时空特征。5.根据权利要求1所述多工业行业非侵入式设备负荷监测方法，其特征在于，步骤4具体过程为：步骤4.1、在给定初始学习率后，多尺度时空特征融合模型利用nadam优化器自适应地确定每次迭代的学习率，直至模型对应的损失函数接近收敛；步骤4.2、学习率已衰减到较小值，此时搜寻的较优解只会在最小值附近小幅度波动，直至模型收敛；在每个迭代步骤结束时，当前权重被添加到swa运行平均值中，模型权重被swa运行的平均值取代；m
swa
为第i次迭代后，对前i迭代获得的权重取平均值，m为模型第i次迭代后，所得局部解的权重，n
model
表示模型经过第i次迭代后，求得局部解的个数。

技术总结
本发明公开了多工业行业非侵入式设备负荷监测方法，分别从空间和时间角度提取工业设备的特征信息，融合了高效通道注意力的ConvNeXt Block具有较强的特征提取能力，从混杂工业负荷信息中提取到设备状态变化和运行时产生的空间特征。同时，使用双向门控循环网络学习负荷数据的双向依赖关系，获取时间特征。引入多尺度特征提取模块对不同尺度的时间和空间特征信息进行处理与提取，并将提取到的多尺度时空特征充分融合。最后，采用了随机权重平均方法，在训练过程中通过对一定数量的设备状态识别模型的权重随机平均，进而得到多个模型的权重信息，在不增加训练代价的情况下提高了模型的泛化能力和识别精度。高了模型的泛化能力和识别精度。高了模型的泛化能力和识别精度。


技术研发人员：林琳 柳江 马雪丽 农贵山 张振伟 臧义超 李士林 许津豪 张云山
受保护的技术使用者：吉林化工学院
技术研发日：2023.05.06
技术公布日：2023/8/13