一种典型负荷模式提取方法及系统与流程

1.本发明涉及电网运行规划技术领域，尤其涉及一种典型负荷模式提取方法及系统。


背景技术：

2.目前，随着电力用户的用电信息采集系统逐渐发展和完善，体量庞大、种类繁多、结构复杂的用户负荷数据信息为相关配电网-微电网协同规划研究工作提供了坚实的数据基础，同时也带来了新的挑战。
3.在面对结构复杂、种类繁多的负荷数据信息时，现有负荷类别辨识方法往往由于负荷数据的复杂性和多样性，存在数据类别不平衡的问题，会进一步影响用户用电行为分析模型的辨识效果，使得电网侧无法对负荷数据中深层次的用户用电行为特征等信息进行准确分析和有效利用。另外现有用户典型负荷模式提取技术仍存在一定的局限性。传统聚类算法和分类算法受限于算法性能，面对海量负荷数据呈现出的数据种类繁多、结构复杂等特点，传统分析方法数据适应性较差，难以深入挖掘提取用户的潜在用电行为特性，且海量负荷数据的数据缺失和数据异常等问题仍需要更加有效的解决方法。


技术实现要素：

4.本发明提供了一种典型负荷模式提取方法及系统，通过考虑电力用户负荷类别不平衡问题，对电力负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。
5.为了解决上述技术问题，本发明实施例的第一方面提供了一种典型负荷模式提取方法，所述方法包括：
6.获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据；
7.采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果；
8.调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。
9.实施本实施例，通过获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。本方法通过考虑电力用户负荷类别不平衡问题，对电力负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。
10.在第一方面的一种可能的实现方式中，利用wgan网络对所述历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，具体为：
11.使用最大最小值法对所述历史负荷数据进行归一化后，得到归一化后的负荷数据；
12.遍历所述归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定所述类别负荷数据为少数类样本数据；
13.将所述少数类样本数据输入构建好的生成器和判别器中，并利用加入梯度惩罚项的判别器损失函数对所述生成器和所述判别器进行训练，利用得到训练好的生成器和判别器，其中，所述判别器损失函数为：
[0014][0015]
其中，e(
·
)表示数学期望，d(x)表示判别器判定为真的概率，为梯度惩罚项，λ表示正则化因子，py指介于真实分布pr和生成分布pg之间的惩罚分布，||
·
||p为p范数，表示对x求导；
[0016]
将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将所述高斯噪声特征数据添加至所述少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部所述少数类样本数据达到预设数量，得到类别平衡负荷数据。
[0017]
实施本实施例，使用最大最小值法对历史负荷数据进行归一化后，得到归一化后的负荷数据后，遍历归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定类别负荷数据为少数类样本数据，将少数类样本数据输入构建好的生成器和判别器中，对生成器和判别器进行训练，得到训练好的生成器和判别器，将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将高斯噪声特征数据添加至少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部少数类样本数据达到预设数量，得到类别平衡负荷数据。通过采用基于wasserstein距离的生成对抗网络对少数类别样本进行过抽样，可以有效生成与原始负荷曲线形状和分布特征相似的曲线，改善负荷类别的不平衡性，在不影响其他类别分类精度的情况下，提高少数类别的召回率。
[0018]
在第一方面的一种可能的实现方式中，预设数量为：
[0019]
0.5
×nl-ni[0020]
其中，n
l
为历史负荷数据中数据数量最多的类别负荷样本数据，ni为少数类样本数据数量。
[0021]
在第一方面的一种可能的实现方式中，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，具体为：
[0022]
将类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；
[0023]
将测试负荷数据输入负荷类别分类模型进行识别，以使负荷类别分类模型采用序列输入层对测试负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用
softmax激活函数对第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到分类结果。
[0024]
在第一方面的一种可能的实现方式中，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，具体为：
[0025]
采用序列输入层对样本负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；
[0026]
采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；
[0027]
采用softmax激活函数第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到实际分类结果；
[0028]
根据实际分类结果与预设分类结果计算出交叉熵损失值，若交叉熵损失值小于预设损失值，则得到负荷类别分类模型，若交叉熵损失值大于预设损失值，则根据交叉熵损失值更新网络参数后，对样本数据进行计算，得到更新后的实际分类结果，根据更新后的实际分类结果计算出更新后的交叉熵损失值，重复此过程直到更新后的交叉熵损失值小于预设损失值，得到负荷类别分类模型。
[0029]
实施本实施例，将类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；将测试负荷数据输入负荷类别分类模型进行识别，以使负荷类别分类模型采用序列输入层对测试负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到分类结果，本发明通过使用建立的sa-lstm负荷类别分类模型能够有选择地集中学习和记忆部分输入信息，从而解决了大量输入信息过载问题，有效提高了模型的训练效率。
[0030]
在第一方面的一种可能的实现方式中，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式，具体为：
[0031]
根据相关系数计算公式计算分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，相关系数计算公式为：
[0032][0033]
其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合。
[0034]
将各个负荷数据分别与负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个负荷数据的总相似度；
[0035]
选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据每个类别的负荷中心，得到典型用电模式。
[0036]
本发明实施例的第二方面提供了一种典型负荷模式提取系统，所述系统包括：
[0037]
获取模块，用于获取历史负荷数据，利用wgan网络对所述历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据；
[0038]
分类模块，用于采用所述类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用所述负荷类别分类模型对所述类别平衡负荷数据进行识别，得到分类结果；
[0039]
提取模块，用于调用预设典型用电模型提取模型对所述分类结果进行特征提取，得到典型用电模式。
[0040]
在第二方面的一种可能的实现方式中，获取模块包括归一化单元、筛选单元、训练单元和扩充单元，
[0041]
其中，归一化单元用于使用最大最小值法对历史负荷数据进行归一化后，得到归一化后的负荷数据；
[0042]
筛选单元用于遍历归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定类别负荷数据为少数类样本数据；
[0043]
训练单元用于将少数类样本数据输入构建好的生成器和判别器中，对生成器和判别器进行训练，得到训练好的生成器和判别器；
[0044]
扩充单元用于将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将高斯噪声特征数据添加至少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部少数类样本数据达到预设数量，得到类别平衡负荷数据。
[0045]
在第二方面的一种可能的实现方式中，分类模块包括分类模型训练单元和识别单元，
[0046]
其中，分类模型训练单元用于将类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；
[0047]
识别单元用于将测试负荷数据输入负荷类别分类模型进行识别，以使负荷类别分类模型采用序列输入层对测试负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到分类结果。
[0048]
在第二方面的一种可能的实现方式中，提取模块包括相似度单元、总相似度单元和选取单元，
[0049]
其中，相似度单元用于根据相关系数计算公式计算分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，相关系数计算公式为：
[0050][0051]
其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合，t表示在向量维度为t的向量中第t个数据；
[0052]
总相似度单元用于将各个负荷数据分别与负荷数据与所在类别中的其他负荷数
据的相似度相加，得到各个负荷数据的总相似度；
[0053]
选取单元用于选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据每个类别的负荷中心，得到典型用电模式。
[0054]
相比于现有技术，本发明实施例提供的一种典型负荷模式提取方法及系统，其有益效果在于：获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。本方法通过考虑电力用户负荷类别不平衡问题，对电力用户负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。
附图说明
[0055]
图1：为本发明提供的典型负荷模式提取方法的一种实施例的流程示意图；
[0056]
图2：为本发明提供的典型负荷模式提取方法的一种实施例的gan原理流程示意图；
[0057]
图3：为本发明提供的典型负荷模式提取方法一种实施例的负荷类别分类流程示意图；
[0058]
图4：为本发明提供的典型负荷模式提取方法一种实施例的lstm内部结构示意图；
[0059]
图5：为本发明提供的典型负荷模式提取方法一种实施例的注意力机制模块结构示意图；
[0060]
图6：为本发明提供的典型负荷模式提取方法一种实施例的原始样本数据曲线示意图；
[0061]
图7：为本发明提供的典型负荷模式提取方法一种实施例的生成样本数据曲线示意图；
[0062]
图8：为本发明提供的典型负荷模式提取方法一种实施例的典型负荷模式提取结果示意图，其中，(a)为负荷类别1的典型负荷模式提取结果，(b)为负荷类别2的典型负荷模式提取结果，(c)为负荷类别3的典型负荷模式提取结果，(d)为负荷类别4的典型负荷模式提取结果，(e)为负荷类别5的典型负荷模式提取结果；
[0063]
图9：为本发明提供的典型负荷模式提取方法另一种实施例的系统结构示意图。
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
实施例一
[0066]
请参照图1，为本发明实施例提供的典型负荷模式提取方法，该包括步骤s11～s13：
[0067]
s11：获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据。
[0068]
作为示例性地，在获取历史负荷数据后，将输入的负荷数据使用最大最小值法归一化至0～1，从而提升神经网络的训练效率。进而判断用户历史负荷数据是否存在类别不平衡问题，若用户历史负荷数据存在类别不平衡问题，采用wgan对不平衡样本进行预处理，将少数类的负荷曲线输入wgan，通过wgan学习负荷曲线的分布特征，并将生成数据与原始数据进行合并，实现对少数类负荷曲线的扩充。
[0069]
在优选的实施例当中，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，具体为：
[0070]
使用最大最小值法对历史负荷数据进行归一化后，得到归一化后的负荷数据；
[0071]
遍历归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定类别负荷数据为少数类样本数据；
[0072]
将少数类样本数据输入构建好的生成器和判别器中，并利用加入梯度惩罚项的判别器损失函数对生成器和判别器进行训练，利用得到训练好的生成器和判别器，其中，判别器损失函数为：
[0073][0074]
其中，e(
·
)表示数学期望，d(x)表示判别器判定为真的概率，为梯度惩罚项，λ表示正则化因子，py指介于真实分布pr和生成分布pg之间的惩罚分布，||
·
||p为p范数，表示对x求导；
[0075]
将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将高斯噪声特征数据添加至少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部少数类样本数据达到预设数量，得到类别平衡负荷数据。
[0076]
在优选的实施例当中，所述预设数量为：
[0077]
0.5
×nl-ni[0078]
其中，n
l
为所述历史负荷数据中数据数量最多的类别负荷样本数据，ni为所述少数类样本数据数量。
[0079]
作为示例性地，获取历史负荷数据样本集后，首先遍历历史负荷数据样本集，得到各个类别的样本数据ns＝{n1,n2,
···
,nm}，最大类别样本数目max(ns)记作n
l
。对每一类别负荷样本集，判断是否属于少数类样本，若第i类样本数目ni小于n
l
/2，则判定为少数类样本，并对其进行样本扩充。
[0080]
生成对抗网络的主要思想在于生成器和判别器的对抗博弈。生成器从随机噪声中采样，在隐变量空间和真实样本建立映射关系，最终输出维度同真实样本一致的生成样本；判别器负责判断输入是否来自于真实样本或者生成样本，输出为介于0和1之间的概率值。在相互对抗学习中，生成器生成的样本质量逐渐提升，判别器难以鉴定真伪，最终达到纳什均衡，gan的原理如图2所示。当得到判定出少数类样本数据后，将少数类样本数据输入wgan网络中进行训练，wgan网络通过引入wasserstein距离代替js散度，避免传统gan训练过程中的模式坍塌、梯度消失等问题。利用加入梯度惩罚项的判别器损失函数，判别器损失函数
为：
[0081][0082]
其中，e(
·
)表示数学期望，d(x)表示判别器判定为真的概率，为梯度惩罚项，λ表示正则化因子，py指介于真实分布pr和生成分布pg之间的惩罚分布，||
·
||p为p范数，表示对x求导。
[0083]
若第i类样本数据为少数类样本数据，将少数类样本数据输入wgan网络中，利用该少数类样本数据训练生成器和判别器，当生成器和判别器达到纳什均衡时，可认为模型训练完成。
[0084]
从符合标准正态分布的高斯噪声中采样，将高斯噪声数据输入训练好的生成器，通过前向传播经过生成器中的各个网络层便可得到生成高斯噪声特征数据。将高斯噪声特征数据加入到第i类少数类负荷样本数据子集，重复此过程，直至生成样本数量达到0.5
×nl-ni，可得到样本扩充后的负荷样本子集。当对所有的少数类样本数据进行扩充后，最终可得到类别平衡的历史负荷数据样本数据集。
[0085]
需要说明的是，采用wgan对不平衡样本进行预处理，其中生成器和判别器的网络设计均采用多层神经网络，生成器输入层接收来自隐变量空间的高斯分布噪声数据，形状大小并无特别的要求，输出层生成样本应与真实负荷样本大小一致。判别器任务类型本质上为二分类问题，因此判别器输出层可采用独热编码并设定神经元个数为2。
[0086]
步骤102：采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对所述类别平衡负荷数据进行识别，得到分类结果。
[0087]
在优选的实施例当中，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，具体为：
[0088]
将类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；
[0089]
将测试负荷数据输入负荷类别分类模型进行识别，以使负荷类别分类模型采用序列输入层对测试负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到分类结果。
[0090]
在优选的实施例当中，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，具体为：
[0091]
采用序列输入层对样本负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；
[0092]
采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；
[0093]
采用softmax激活函数第二时序特征数据进行分类转化，得到各个类别负荷数据
的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到实际分类结果；
[0094]
根据实际分类结果与预设分类结果计算出交叉熵损失值，若交叉熵损失值小于预设损失值，则得到负荷类别分类模型，若交叉熵损失值大于预设损失值，则根据交叉熵损失值更新网络参数后，对样本数据进行计算，得到更新后的实际分类结果，根据更新后的实际分类结果计算出更新后的交叉熵损失值，重复此过程直到更新后的交叉熵损失值小于预设损失值，得到负荷类别分类模型。
[0095]
作为示例性地，如图3所示，为负荷类别分类流程示意图，将类别平衡负荷数据分为样本负荷数据和测试负荷数据，将样本负荷数据输入基于sa-lstm构建的负荷类别分类模型，序列输入层将输入的样本负荷数据转换为网络可以训练的时序负荷数据，并输入每个样本负荷数据序列的特征维度参数；然后在lstm层学习时序负荷数据中负荷数据与时间步长之间的依赖关系，并提取出固有的抽象特征，得到第一时序特征数据后；自注意力层接收从lstm层提取的第一时序特征数据，通过将第一时序特征数据与权重矩阵相乘并加入偏差向量来降低分类输出层的数据复杂度，得到第二时序特征数据；softmax层对经过自注意力层的数据采用softmax激活函数将多分类问题的输出数值转化为分类数据属于各个类别的概率；分类层从softmax函数中获取输入，通过计算模型的输出结果和真实值之间的交叉熵损失来判断网络是否收敛，最后得到训练好的负荷类别分类模型，将测试负荷数据输入负荷类别分类模型，使用该模型得到分类结果。
[0096]
通过利用lstm神经网络构建基于sa-lstm的负荷类别分类模型，lstm是一种特殊结构的循环神经网络模型。lstm单元通过引入遗忘门、输入门、输出门三种机制，来实现记忆或者遗忘状态信息，其内部网络结构如图4所示。将上一时刻输出h
t-1
和当前输入x
t
进行线性变换，可分别得到遗忘门、输入门、输出门和经过tanh函数的候选细胞状态，具体变换过程为：
[0097]ft
＝σ(wf·
[h
t-1
,x
t
]+bf)
[0098]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
[0099]ot
＝σ(wo·
[h
t-1
,x
t
]+bo)
[0100][0101][0102][0103]
其中，f
t
表示遗忘门，i
t
表示输入门，o
t
表示输出门，表示当前时刻候选状态，σ取值为[0,1]之间，w和b分别表示神经元的权重和偏置，c
t-1
表示上一时刻长时记忆状态，ξ
t
表示当前时刻输出，表示当前细胞状态，*表示点乘运算。
[0104]
遗忘门负责控制对上一时刻长时记忆状态的保留程度，输入门负责控制对当前时刻候选的保留程度，输出门负责控制当前长时记忆状态的保留程度，当前细胞状态由遗忘门和输入门的组合信息得到，当前时刻输出由输出门和当前细胞状态共同决定。
[0105]
注意力机制是将有限的资源用来处理更加重要的有效信息，其核心是让神经网络在不同的时间节点上有选择性的重点学习和记忆某些输入信息，从而提高模型的分类性能和训练效率。自注意力是注意力机制的一种变体，尽可能地使用数据特征内部固有的信息进行注意力的交互，其基本结构如图5所示。
[0106]
假设存在输入矩阵x＝[x1,x2,
···
,xn]，输出矩阵y＝[y1,y2,
···
,yn]，通过线性变换可将输入分别映射到查询矩阵，键矩阵，值矩阵，计算过程如下所示：
[0107]
q＝wqx
[0108]
k＝wkx
[0109]
v＝wvx
[0110]
其中，x表示输入的矩阵，q表示查询矩阵，k表示键矩阵，v表示值矩阵，wq、wk和wv分别表示查询矩阵权重、键矩阵权重和值矩阵权重。
[0111]
基于缩放点击打分机制的输出向量计算过程如下所示：
[0112][0113]
其中，y表示基于缩放点击打分机制的输出向量，lk为矩阵维度，q表示查询矩阵，k表示键矩阵，v表示值矩阵。
[0114]
设中间矩阵则基于缩放点击打分机制的输出向量可等价为：
[0115][0116]
步骤103：调用预设典型用电模型提取模型对所述分类结果进行特征提取，得到典型用电模式。
[0117]
在优选的实施例当中，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式，具体为：
[0118]
根据相关系数计算公式计算分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，相关系数计算公式为：
[0119][0120]
其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合。
[0121]
将各个负荷数据分别与负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个负荷数据的总相似度；
[0122]
选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据每个类别的负荷中心，得到典型用电模式。
[0123]
作为示例性地，为明确表示用户负荷分类类型的差异性和独特性，需从分类结果中各类负荷曲线中提取典型模型表示此类曲线的共同特征。spearman相关系数是统计学中利用单调方程评价两个统计变量相关性的指标，表示两独立变量的相关方向，在分类结果中的在各类负荷数据中，按照相关系数计算公式计算两负荷向量的相似度，其中，相关系数
计算公式为：
[0124][0125]
其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合。
[0126]
然后将各个负荷数据分别与负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个负荷数据的总相似度；选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据每个类别的负荷中心，得到典型用电模式。
[0127]
作为本实施例的一种举例，实例基于某地实测台区负荷数据展开验证。
[0128]
首先，对台区负荷数据集归一化处理，按照1:1:8的比例将其分为训练集、验证集和测试集，然后根据标签类别训练集分为五类样本集；其次，基于wgan的平衡样本预处理，确定为少数类别样本集，并分别建立生成器和判别器；然后，基于不平衡负荷类别辨识模型的处理步骤，训练和输入随机噪声以生成少数类别样本，分别为7214、3836、6044和6186；最后，通过比较生成的样本和原始样本之间的差异，可以判断wgan样本生成的效果。原始样本和生成样本如图6和图7所示，图中的黑色和深灰色曲线分别为生成样本和原始样本的均值中心。
[0129]
从图6和图7中可以看出，生成的样本和原始样本的分布基本相同，但生成的样本与原始样本之间存在一些差异，这表明，wgan可以通过神经网络之间的对抗博弈建立从隐藏空间中的高斯分布到原始数据的真实分布的映射，并生成符合原始样本数据分布特征的高质量样本。
[0130]
将上述经过平衡化处理的训练样本作为增强训练集，然后使用增强训练集训练sa-lstm，并在验证集上进行测试。超参数的最佳组合如下：sa-lstm的隐层数为100；梯度阈值为1；优化算法为adam算法；迭代次数为100；为分类输出层选择交叉熵损失函数。负荷分类结果如图8所示，图8为各负荷类别所提取的典型负荷模式，从图8中可以看出，除了第二种负荷模式全天处于高用电量水平，第四种日负荷方式夜间处于高用电量之外，在上午、下午和晚上都有明显的负荷高峰。其中，负荷类别1在早上、下午和晚上呈现单调递增的分布特征，负荷类别3的峰包在晚上呈现高的分布特征。负荷类别5的负荷峰包显示了中午高度的分布特征，午间峰包的峰值时间从上午10:00左右开始，持续到下午15:00左右。
[0131]
然后选取其他分类算法与本发明所提算法进行分类性能的对比，分类效果见表1。从表1中可以看出，与传统的负荷聚类和分类算法如kmeans和bpnn相比，深度学习算法lstm在处理时间序列负荷数据方面具有更好的性能；此外，具有自注意力机制的wgan-sa-lstm模型和考虑负荷类别不平衡的处理，可以获得比lstm和sa-lstm更好的负荷分类效果。
[0132]
表1分类效果对比
[0133][0134]
本实施例通过获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。本方法考虑电力用户负荷类别不平衡问题，对电力负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。
[0135]
实施例二
[0136]
基于与第一实施例相同的发明构思，第二实施例提供如图9所示的典型负荷模式提取系统，包括：
[0137]
获取模块901，用于获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据；
[0138]
分类模块902，用于采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果；
[0139]
提取模块903，用于调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。
[0140]
在优选的实施例当中，获取模块901包括归一化单元9011、筛选单元9012、训练单元9013和扩充单元9014，
[0141]
其中，归一化单元9011用于使用最大最小值法对历史负荷数据进行归一化后，得到归一化后的负荷数据；
[0142]
筛选单元9012用于遍历归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定类别负荷数据为少数类样本数据；
[0143]
训练单元9013用于将少数类样本数据输入构建好的生成器和判别器中，对生成器和判别器进行训练，得到训练好的生成器和判别器；
[0144]
扩充单元9014用于将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将高斯噪声特征数据添加至少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部少数类样本数据达到预设数量，得到类别平衡负荷数据。
[0145]
获取模块901还包括预设数量为：
[0146]
0.5
×nl-ni[0147]
其中，n
l
为历史负荷数据中数据数量最多的类别负荷样本数据，ni为少数类样本数据数量。
[0148]
分类模块902包括分类模型训练单元9021和识别单元9022，
[0149]
其中，分类模型训练单元9021用于将类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；
[0150]
识别单元9022用于将测试负荷数据输入负荷类别分类模型进行识别，以使负荷类别分类模型采用序列输入层对测试负荷数据进行转换，得到时序数据，再将时序数据和各个时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对各个类别负荷数据的概率进行计算后，得到分类结果。
[0151]
分类模块902还用于采用序列输入层对所述样本负荷数据进行转换，得到时序数据，再将所述时序数据和各个所述时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；
[0152]
采用自注意力模块对所述第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；
[0153]
采用softmax激活函数所述第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对所述各个类别负荷数据的概率进行计算后，得到实际分类结果；
[0154]
根据所述实际分类结果与预设分类结果计算出交叉熵损失值，若所述交叉熵损失值小于预设损失值，则得到负荷类别分类模型，若所述交叉熵损失值大于预设损失值，则根据所述交叉熵损失值更新网络参数后，对所述样本数据进行计算，得到更新后的实际分类结果，根据所述更新后的实际分类结果计算出更新后的交叉熵损失值，重复此过程直到所述更新后的交叉熵损失值小于预设损失值，得到负荷类别分类模型。
[0155]
提取模块903包括相似度单元9031、总相似度单元9032和选取单元9033，
[0156]
其中，相似度单元9031用于根据相关系数计算公式计算分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，相关系数计算公式为：
[0157][0158]
其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合，t表示在向量维度为t的向量中第t个数据；
[0159]
总相似度单元9032用于将各个负荷数据分别与负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个负荷数据的总相似度；
[0160]
选取单元9033用于选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据每个类别的负荷中心，得到典型用电模式。
[0161]
综上所述，实施本发明的实施例，具有如下有益效果：
[0162]
通过获取历史负荷数据，利用wgan网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，采用类别平衡负荷数据对预设负荷类别分类模型进行模
型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。本方法通过考虑电力用户负荷类别不平衡问题，对电力负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。
[0163]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种典型负荷模式提取方法，其特征在于，包括：获取历史负荷数据，利用wgan网络对所述历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据；采用所述类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用所述负荷类别分类模型对所述类别平衡负荷数据进行识别，得到分类结果；调用预设典型用电模型提取模型对所述分类结果进行特征提取，得到典型用电模式。2.如权利要求1所述的一种典型负荷模式提取方法，其特征在于，所述利用wgan网络对所述历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，具体为：使用最大最小值法对所述历史负荷数据进行归一化后，得到归一化后的负荷数据；遍历所述归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定所述类别负荷数据为少数类样本数据；将所述少数类样本数据输入构建好的生成器和判别器中，并利用加入梯度惩罚项的判别器损失函数对所述生成器和所述判别器进行训练，利用得到训练好的生成器和判别器，其中，所述判别器损失函数为：其中，e(
·
)表示数学期望，d(x)表示判别器判定为真的概率，为梯度惩罚项，λ表示正则化因子，py指介于真实分布pr和生成分布pg之间的惩罚分布，||
·
||p为p范数，表示对x求导；将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将所述高斯噪声特征数据添加至所述少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部所述少数类样本数据达到预设数量，得到类别平衡负荷数据。3.如权利要求2所述的一种典型负荷模式提取方法，其特征在于，所述预设数量为：0.5
×
n
l-n
i
其中，n
l
为历史负荷数据中数据数量最多的类别负荷样本数据，n
i
为所述少数类样本数据数量。4.如权利要求1所述的一种典型负荷模式提取方法，其特征在于，所述采用所述类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用所述负荷类别分类模型对所述类别平衡负荷数据进行识别，得到分类结果，具体为：将所述类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据所述样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；将所述测试负荷数据输入所述负荷类别分类模型进行识别，以使所述负荷类别分类模型采用序列输入层对所述测试负荷数据进行转换，得到时序数据，再将所述时序数据和各个所述时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对所述第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对所述第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对所述各个类别负荷数据的概率进行计算后，得到
分类结果。5.如权利要求3所述的一种典型负荷模式提取方法，其特征在于，所述根据所述样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，具体为：采用序列输入层对所述样本负荷数据进行转换，得到时序数据，再将所述时序数据和各个所述时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对所述第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数所述第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对所述各个类别负荷数据的概率进行计算后，得到实际分类结果；根据所述实际分类结果与预设分类结果计算出交叉熵损失值，若所述交叉熵损失值小于预设损失值，则得到负荷类别分类模型，若所述交叉熵损失值大于预设损失值，则根据所述交叉熵损失值更新网络参数后，对所述样本数据进行计算，得到更新后的实际分类结果，根据所述更新后的实际分类结果计算出更新后的交叉熵损失值，重复此过程直到所述更新后的交叉熵损失值小于预设损失值，得到负荷类别分类模型。6.如权利要求1所述的一种典型负荷模式提取方法，其特征在于，所述调用预设典型用电模型提取模型对所述分类结果进行特征提取，得到典型用电模式，具体为：根据相关系数计算公式计算所述分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，所述相关系数计算公式为：其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合，t表示在向量维度为t的向量中第t个数据；将各个所述负荷数据分别与所述负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个所述负荷数据的总相似度；选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据所述每个类别的负荷中心，得到典型用电模式。7.一种典型负荷模式提取系统，其特征在于，包括：获取模块，用于获取历史负荷数据，利用wgan网络对所述历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据；分类模块，用于采用所述类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用所述负荷类别分类模型对所述类别平衡负荷数据进行识别，得到分类结果；提取模块，用于调用预设典型用电模型提取模型对所述分类结果进行特征提取，得到典型用电模式。8.如权利要求7所述的典型负荷模式提取系统，其特征在于，所述获取模块包括归一化单元、筛选单元、训练单元和扩充单元，其中，所述归一化单元用于使用最大最小值法对所述历史负荷数据进行归一化后，得到归一化后的负荷数据；
所述筛选单元用于遍历所述归一化后的负荷数据，筛选出少于预设数据数量的类别负荷数据，确定所述类别负荷数据为少数类样本数据；所述训练单元用于将所述少数类样本数据输入构建好的生成器和判别器中，对所述生成器和所述判别器进行训练，得到训练好的生成器和判别器；所述扩充单元用于将高斯噪声数据输入训练好的生成器中进行特征提取，得到高斯噪声特征数据，将所述高斯噪声特征数据添加至所述少数类样本数据中，得到扩充后的少数类样本数据，重复此步骤对所有少数类样本数据进行扩充，直到全部所述少数类样本数据达到预设数量，得到类别平衡负荷数据。9.如权利要求7所述的典型负荷模式提取系统，其特征在于，所述分类模块包括分类模型训练单元和识别单元，其中，所述分类模型训练单元用于将所述类别平衡负荷数据分为样本负荷数据和测试负荷数据，根据所述样本负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型；所述识别单元用于将所述测试负荷数据输入所述负荷类别分类模型进行识别，以使所述负荷类别分类模型采用序列输入层对所述测试负荷数据进行转换，得到时序数据，再将所述时序数据和各个所述时序数据的特征维度参数输入lstm层进行特征提取，得到第一时序特征数据；采用自注意力模块对所述第一时序特征数据与权重矩阵相乘，并加入偏差向量进行处理后，得到第二时序特征数据；采用softmax激活函数对所述第二时序特征数据进行分类转化，得到各个类别负荷数据的概率，采用分类层对所述各个类别负荷数据的概率进行计算后，得到分类结果。10.如权利要求7所述的典型负荷模式提取系统，其特征在于，所述提取模块包括相似度单元、总相似度单元和选取单元，其中，所述相似度单元用于根据相关系数计算公式计算所述分类结果中两两负荷数据之间的相似度，得到每个类别中各个负荷数据的相似度，其中，所述相关系数计算公式为：其中，ρ表示任意两向量间的spearman相关系数，t为向量维度，d为两向量中元素排行差分集合，t表示在向量维度为t的向量中第t个数据；所述总相似度单元用于将各个所述负荷数据分别与所述负荷数据与所在类别中的其他负荷数据的相似度相加，得到各个所述负荷数据的总相似度；所述选取单元用于选取每个类别中总相似度最高的负荷数据作为每个类别的负荷中心，根据所述每个类别的负荷中心，得到典型用电模式。

技术总结
本发明公开了一种典型负荷模式提取方法及系统，获取历史负荷数据，利用WGAN网络对历史负荷数据进行少数类样本判断和扩充处理，得到类别平衡负荷数据，采用类别平衡负荷数据对预设负荷类别分类模型进行模型训练，得到负荷类别分类模型，并调用负荷类别分类模型对类别平衡负荷数据进行识别，得到分类结果，调用预设典型用电模型提取模型对分类结果进行特征提取，得到典型用电模式。本方法通过考虑电力用户负荷类别不平衡问题，对电力用户负荷数据进行少数类样本扩充后，利用构建的负荷类别分类模型和提取模块对电力负荷数据进行特征提取，可以提高电力用户典型负荷模式的准确度和效率。效率。效率。


技术研发人员：安然然 梁晓兵 杨跃 岳菁鹏 陶然 黄振琳 唐景星 陆俊 赵艳军
受保护的技术使用者：广东电网有限责任公司电力科学研究院
技术研发日：2023.04.23
技术公布日：2023/9/7