一种电网时序数据解耦自监督预训练方法与系统与流程

1.本发明电网故障诊断技术领域，涉及一种电网时序数据解耦自监督预训练方法与系统。


背景技术：

2.近些年，时序预测在电网运行中有了广泛的应用，在调度方面需要对负荷、新能源发电量进行预测以制定发电计划，在需求响应方面需要对柔性负荷的可调节容量进行预测以助力电网调峰调频。同时，随着新型电力系统的不断发展，电网关键设备的不断升级改造，一些核心设备在承担了更加复杂任务的同时也积累了大量的时序监测数据，通过对这些时序数据的分析和预测，可以有效把握设备内部一些关键参数的变化趋势以及设备的健康状态，从而更早的发现设备可能存在的故障，提升对设备故障诊断的智能化水平，对预防严重事故的产生，维持电网安全稳定的运行有重大意义。然而，现有的时序数据分析方法，大多存在泛化能力弱，对训练数据过拟合的问题，具体表现为针对一个设备所训练的分析模型，在同类型的设备上可能就无法进行有效的分析，从而阻碍了时序模型在相关领域的发展。而自监督训练作为一种通用的模型预训练学习范式，可以从数据中把握关键信息，而忽略不同设备的特有噪声，从而提高模型的泛化能力。
3.现有技术中，申请公布号为cn116028785a、申请公布日期为2023年4月28日的中国发明专利文献《电网时序数据特征提取模型的训练方法及装置》利用了通用的掩码建模方式进行原始输入数据的重建，但是忽略了时序数据特有的属性，使得预训练模型对数据特征的提取更加困难，限制了模型表征能力。


技术实现要素：

4.本发明的目的在于如何将电网时序数据解耦与掩码预测相结合进行自监督预训练，以解决现有技术存在的鲁棒性差、泛化能力弱的问题。
5.本发明是通过以下技术方案解决上述技术问题的：一种电网时序数据解耦自监督预训练方法，包括以下步骤：步骤1、对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量；步骤2、对解耦出的趋势分量与周期分量分别进行一致掩码预测；步骤3、根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；步骤4、将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
6.进一步地，步骤1中所述的对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量的方法如下：首先根据单次需要解耦的时序数据长度l选取滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋
势分量得到周期分量，具体公式如下：势分量得到周期分量，具体公式如下：其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量。
7.进一步地，步骤2中所述的对解耦出的趋势分量与周期分量分别进行一致掩码预测的方法如下：（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
8.进一步地，步骤3中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
9.进一步地，步骤3中所述的重构损失的计算公式如下：其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引。
[0010]
一种电网时序数据解耦自监督预训练系统，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量；所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测；所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
[0011]
进一步地，解耦模块中所述的对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量的方法如下：首先根据单次需要解耦的时序数据长度l选取滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量。
[0012]
进一步地，一致掩码预测模块中所述的对解耦出的趋势分量与周期分量分别进行一致掩码预测的方法如下：（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
[0013]
进一步地，预测重构及损失计算模块中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
[0014]
进一步地，预测重构及损失计算模块中所述的重构损失的计算公式如下：其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引。
[0015]
本发明的优点在于：本发明通过对时序数据解耦从而分离出时序数据的趋势分量与周期分量，再对解耦后的两分量分别进行掩码预测，最后根据时序数据特征对解耦分量进行重构，继而通过与未掩码数据对比得到掩码损失，端到端的优化整个模型，实现了对电网时序数据模型的预训练，提取出具有强泛化能力的通用特征，增强了模型的鲁棒性，提升了模型的预测精度，同时提高模型对各类下游任务适配性，有效提升了模型的利用率。本发明考虑了时序数据本身的特点，将原始时序数据进行解耦，生成趋势序列和周期序列并分别进行掩码建模，使得预训练模型具有时序数据的归纳偏置，从而提升了模型的掩码建模能力。
附图说明
[0016]
图1为本发明的方法的流程图；图2为数据分解流程图；图3为掩码预测流程图；图4为特征编码器模块架构图；图5为重建解码器模块架构图；图6为预测重构架构图。
具体实施方式
[0017]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0018]
下面结合说明书附图以及具体的实施例对本发明的技术方案作进一步描述：实施例一一种电网时序数据解耦自监督预训练方法的主要流程如下：1、时序数据解耦本步骤通过数据分解对输入的时序数据进行解耦。如图2所示，为数据分解流程图，首先根据单次需要解耦的时序数据长度l选取合适的滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：势分量得到周期分量，具体公式如下：其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量。
[0019]
2、掩码预测该部分整体流程图见附图3，有两个分支，每个分支都有两个核心模块：趋势特征掩码预测分支和周期特征掩码预测分支，特征编码器模块和重建解码器模块。其中两个分支分别用于处理时序数据解耦出的趋势分量与周期分量，两个分量在两个分支上的处理是相同的。下面以趋势分量在趋势特征掩码预测分支上的处理为例：首先在特征编码器模块中，其整体结构见附图4，对解耦分量进行嵌入编码，继而再叠加上位置信息，然后对编码后的时序数据随机选取固定比例的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；在重建解码器模块中，其整体结构见附图5，首先对特征编码器模块的输出数据进行扩充，扩充方法为在数据的时间维度上，根据掩码长度向后扩充仅包含了位置数据的时间步信息，然后输入到一个transfomer解码器中，输出对于掩码部分的预测结果；在周期特征掩码预测分支的处理方式与之类似。但值得一提的是，在对时序数据随机选取固定比例的时间步索引时，要保持两个分支的索引是相同的。
[0020]
3、预测重构该部分整体流程图见附图6，用于根据未解耦的时序特征对两分支的掩码预测数据进行预测重构，分为两个阶段：阶段一为根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例；阶段二为根据阶段一所得到的叠加比例，对趋势特征掩码预测分支和周期特征掩码预测分支的预测结果，按照对应比例进行预测重构。
[0021]
重构的数据中包含了对于未掩码时间步的重建，而在预训练模型优化过程中仅关
注对于掩码时间步的重构效果，所以在计算损失时还要进行对于掩码时间步的索引，其计算公式如下：其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引。
[0022]
4、模型优化两分支的掩码预测结果，经过预测重构，重新耦合成了一个新的掩码预测结果，将新的掩码预测损失，替代趋势特征掩码预测分支的重构损失与周期特征掩码预测分支的重构损失，从而同步到端到端优化整个模型。
[0023]
实施例二一种电网时序数据解耦自监督预训练系统，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，其方法如下：首先根据单次需要解耦的时序数据长度l选取滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：势分量得到周期分量，具体公式如下：其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量。
[0024]
所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测，其方法如下：（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果。
[0025]
所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。
[0026]
所述的重构损失的计算公式如下：
其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引。
[0027]
所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。
[0028]
为了证明时序数据解耦自监督预训练方法的有效性，在变压器顶层油温预测的四个公开数据集etth1、etth2、ettm1和ettm2上的实验结果如下表1所示，与未解耦的自监督预训练方法相比，本发明的模型在均方误差（mse）和平均绝对值误差（mae）两个评价指标上均表现出更优的性能。
[0029]
表1 实验结果以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种电网时序数据解耦自监督预训练方法，其特征在于，包括以下步骤：步骤1、对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，方法具体如下：首先根据单次需要解耦的时序数据长度l选取滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：量得到周期分量，具体公式如下：其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量；步骤2、对解耦出的趋势分量与周期分量分别进行一致掩码预测，方法具体如下：（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果；步骤3、根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失，所述的重构损失的计算公式如下：其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引；步骤4、将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。2.根据权利要求1所述的电网时序数据解耦自监督预训练方法，其特征在于，步骤3中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。3.一种电网时序数据解耦自监督预训练系统，其特征在于，包括：解耦模块、一致掩码预测模块、预测重构及损失计算模块、模型优化模块；所述解耦模块用于对电网时序数据解耦从而分离出时序数据的趋势分量与周期分量，方法具体如下：首先根据单次需要解耦的时序数据长度l选取滑窗长度n，然后选择索引位置，以索引位置为起点，依据选取的滑窗长度进行滑动平均，获得趋势分量，将待解耦数据减去趋势分量得到周期分量，具体公式如下：
其中，为待解耦时序数据，l表示需要解耦的时序数据长度，n表示滑窗长度，代表索引位置，分别为时序数据解耦出的趋势分量与周期分量；所述一致掩码预测模块用于对解耦出的趋势分量与周期分量分别进行一致掩码预测，方法具体如下：（1）对解耦出的趋势分量与周期分量进行嵌入编码，叠加上位置信息，然后对编码后的时序数据随机选取固定比例的相同的时间步索引，将对应的时间步索引信息进行删除掩码，并将未被掩码的时序数据输入到一个transfomer编码器中；（2）对transfomer编码器的输出数据进行扩充，扩充方法为：在数据的时间维度上，根据掩码长度向后扩充仅包含位置数据的时间步信息，然后输入到一个transfomer解码器中从而输出掩码部分的预测结果；所述预测重构及损失计算模块用于根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行重构并计算重构损失；所述的重构损失的计算公式如下：其中，为均方误差损失，[]和[]分别为重构数值和目标数值，为掩码的时间步索引；所述模型优化模块用于将重构的掩码预测数据与未掩码数据对比得到掩码预测损失，替代重构损失，从而同步到端到端优化整个模型。4.根据权利要求3所述的电网时序数据解耦自监督预训练系统，其特征在于，预测重构及损失计算模块中所述的根据未解耦的时序数据的特征对趋势分量与周期分量的掩码预测数据进行预测重构的方法分为：根据未解耦的时序数据，通过两层全连接层映射趋势分量与周期分量的叠加比例，对趋势分量与周期分量的掩码预测结果按照叠加比例进行预测重构。

技术总结
一种电网时序数据解耦自监督预训练方法与系统，属于电网故障诊断技术领域，解决如何将电网时序数据解耦与掩码预测相结合进行自监督预训练，从而提高模型鲁棒性以及泛化能力的问题；本发明通过对时序数据解耦从而分离出时序数据的趋势分量与周期分量，再对解耦后的两分量分别进行掩码预测，最后根据时序数据特征对解耦分量进行重构，继而通过与未掩码数据对比得到掩码损失，端到端的优化整个模型，实现了对电网时序数据模型的预训练，提取出具有强泛化能力的通用特征，增强了模型的鲁棒性，提升了模型的预测精度，同时提高模型对各类下游任务适配性，有效提升了模型的利用率。有效提升了模型的利用率。有效提升了模型的利用率。


技术研发人员：刘浩 李启明 甘津瑞 卢卫疆 李彬 刘鑫 李奇越 孙伟 李帷韬 黄海宏
受保护的技术使用者：国网安徽省电力有限公司 国网智能电网研究院有限公司
技术研发日：2023.08.17
技术公布日：2023/9/20