一种增强深度Transformer-Attention集成预测的分数阶微积分降能引导方法

一种增强深度transformer-attention集成预测的分数阶微积分降能引导方法
技术领域
1.本发明属于电力系统的能源控制技术、人工智能领域和数学应用中的微积分应用领域，涉及一种人工智能与综合能源系统的控制方法，适用于综合能源系统的长期降能引导。


背景技术：

2.2020.08.25申请的申请号为2020108660490的专利名为《一种多群分布式灵活能源服务商长期价格引导方法》提出一种在非完全信息情况下的长期动态博弈策略，只考虑到了研究对象之间的长期动态博弈，没有将研究对象的影响因素加入到控制策略中。2022.01.18申请的申请号为2021111974623的专利名为《一种灵活能源混合网络动态微分控制的长期价格引导方法动态微分方法》只考虑随机动态微分在整数阶微分的情况，但是能源消耗量与时间之间是一种非线性关系，且具有非马尔科夫性质，整数阶随机动态微分在描述非马尔科夫性质的关系时具有局限性。2022.10.18申请的申请号为2022112767254的专利名为《一种增强深度注意力双向预测的分数阶长期价格引导方法》将分数阶随机动态微分用于电动汽车的能耗引导，但是这种方法仅仅局限于电动汽车这一个单一的对象，没有考虑到整个能源系统，单一的电动汽车能耗对整个能源系统的影响非常小，缺乏对整个能源系统的能耗管理。
3.因此，提出一种增强深度transformer-attention集成预测的分数阶微积分降能引导方法，该方法能考虑能耗状态、能耗系数、季节、气温和准入规则对能耗的影响；该方法能发挥能耗在综合能源系统中的调节功能，解决综合能源系统中能源供给量和能源消耗不平衡的问题；该方法利用transformer-attention网络和结合时序注意力单元的高效时序预测网络来对用户的基准能源消耗量进行预测，能解决预测用户能源消耗量的问题；该方法将维纳过程的分数阶积分引入控制器中，能更好地描述噪声信号的随机波动和系统的随机扰动；该方法从综合能源系统的角度出发，通过降能引导信号来引导系统能源，在满足能源消耗侧体验的情况下降低能耗；该方法从长远来看，降低综合能源系统的能耗，能提高综合能源系统的稳定性。


技术实现要素：

4.本发明提出一种增强深度transformer-attention集成预测的分数阶微积分降能引导方法，该方法将transformer-attention网络、结合时序注意力单元的高效时序预测网络、分数阶随机动态微积分控制器相结合，用于综合能源系统的长期降能引导，具有提高能源利用率、提升综合能源系统的稳定性、推进可再生能源融入综合能源系统和降低能耗的功能；所述方法在使用过程中的步骤为：
5.步骤(1)：建立综合能源系统降能引导的运作框架；综合能源系统从发电厂、锅炉、化石燃料中获得能源生产量，从能源消耗侧收集预计需要的能源消耗量，综合能源系统将
能源生产量和预计需要的能源消耗量比对，通过降能引导方法找到最优的降能引导信号，然后，综合能源系统向能源消耗侧发送降能引导信号，引导工业、商业、住宅消耗能源，降低能耗；
6.步骤(2)：提出增强深度transformer-attention集成预测的分数阶微积分控制，通过transformer-attention网络、结合时序注意力单元的高效时序预测网络对综合能源系统的基准能源消耗量进行预测；
7.首先，进行数据预处理，并将处理后的数据进行特征提取；然后，将经过处理后得到的特征数据分别用transformer-attention网络方法和结合时序注意力单元的高效时序预测网络进行预测，对预测结果进行选择后得到预测的基准能源消耗量；
8.transformer-attention网络是一种以多头注意力为基本运算单元的深层网络架构，能在获取长期依赖和低时间复杂度间获取平衡；通过提出probsparse自注意力机制、自注意力蒸馏机制、生成式解码器来提高预测精度；
9.transformer-attention网络由输入层、编码器、解码器、全连接层和输出层组成；
10.首先，将电能、热能和燃料的历史消耗量全部输入到编码器中进行编码得到一个映射序列，然后再将长序列中需要预测的目标值填补为零，与编码器得到的映射序列一起输入到解码器中，直接生成需要得到的预测输出元素；编码器将第t个输入序列χ
t
塑造成一个矩阵：
[0011][0012]
式中，是指编码矩阵；t是指t时刻；是指大小为l
x
×
d的实数矩阵集合；是指实数；l
x
是指序列的长度；d是输入维度；
[0013]
transformer-attention网络所采用的probsparse自注意力机制与标准的自注意力机制不同，标准的自注意力机制采用的缩放的点积对为：
[0014][0015]
式中，a(q，k，v)是指标准的自注意力机制值；q是查询向量；k是指被查询的向量；v是内容向量；kt是被查询向量的转置；softmax()是归一化指数函数；lq是q的长度；lk是k的长度；是指大小为lq×
d的实数矩阵集合；是指大小为lk×
d的实数矩阵集合；
[0016]
probsparse自注意力机制将标准注意力机制的缩放点积对定义成一个概率形式的内核平滑器为
[0017][0018]
式中，ai(qi，k，v)是指概率形式的自注意力机制值；i、j、l是指行数；qi是指q的第i行；kj是指k的第j行；k
l
是指k的第l行；vj是指v的第j行；k()是指概率函数；p(kj|qi)是指kj在qi下的条件概率分布；是指条件概率的和；
[0019]
内核平滑器中的概率函数k(qi，kj)采用的非对称指数核为：
[0020][0021]
式中，是kj的转置；
[0022]
查询向量的概率分布满足的均匀分布为：
[0023]
[0024]
式中，q(kj|qi)是指查询向量的均匀分布；
[0025]
如果p(kj|qi)接近均匀分布q(kj|qi)，则自注意力变成值v，对于预测输出是多余的，因此采用分布p和q之间的相似性来区分序列中重要的部分，通过kullback-leibler散度来衡量的相似性为：
[0026][0027]
式中，kl(q||p)是指分布p和q之间的kullback-leibler散度；是指k
l
的转置；1n()是以e为底的对数函数；
[0028]
在kullback-leibler散度中去掉lnlk这个常数，将第i个查询向量的稀疏度度量定义为：
[0029][0030]
式中，m(qi，k)是指第i个查询向量的稀疏度度量；
[0031]
在标准的自注意力机制中稀疏度度量得到probsparse自注意力机制的注意力值为：
[0032][0033]
式中，as(q，k，v)是指probsparse自注意力机制的注意力值；是指一个与q相同大小的稀疏矩阵，仅包含稀疏度度量m(qi，k)；
[0034]
通过计算每个编码矩阵中每个元素的probsparse自注意力值，注意力值的蒸馏过程是提取probsparse自注意力机制的注意力值，对注意力值赋予具有支配特征的较优特征特权，并在下一层生成聚焦的自注意特征映射；通过蒸馏过程从第n层向前进入(n+1)层为：
[0035][0036]
式中，是指第n层的自注意特征映射；是指第(n+1)层的自注意特征映射；
[0037]
maxpool()是指最大池化函数；elu()是指激活函数；conv1d()是指利用激活函数在时间维度上执行1维卷积滤波器；[]
ab
是指包含多头probsparse自注意和注意块中的基本操作；
[0038]
生成式解码器由2个相同的多头注意层堆叠而成，生成式预测则能有效地缓解长时间预测中速度下降的问题；向解码器输入的向量为：
[0039][0040]
式中，是指向解码器输入的向量；是指起始分词向量；是指目标序列的占位符向量，每一个元素都为0；ltoken是指起始分词向量的长度；ly是指目标序列的占位符向量的长度；concat()是指拼接操作函数；
[0041]
通过将和进行解码操作之后最后将向量通过全连接层得到最终的需要预测的能源消耗量为：
[0042][0043]
式中，是指通过transformer-attention网络预测的能源消耗量；是指输
出值构成的大小为dy实数矩阵集合；dy是指输出数据的维度；是指构成目标输出的第o个向量；
[0044]
结合时序注意力单元的高效时序预测网络不是使用循环神经网络，而是使用注意力机制来并行化地处理时间演变；结合时序注意力单元的高效时序预测网络将时序注意力分解为两个部分：静态注意力和动态注意力；静态注意力使用小核心深度卷积和扩张卷积来实现大感受野，从而捕捉序列的长时间依赖关系；动态注意力利用时序间注意力的不同来学习时序权重，从而捕捉序列间变化趋势；结合时序注意力单元的高效时序预测网络利用一种差分散度正则化方法，用于优化时序预测学习的损失函数；差分散度正则化方法通过将预测值和真实值之间的差分转换为概率分布，并计算它们之间的kullback-leibler散度，使结合时序注意力单元的高效时序预测网络学习到时序中固有的变化规律；将电能、热能和燃料的历史消耗量输入到结合时序注意力单元的高效时序预测网络的输入矩阵中为：
[0045][0046]
式中，t是指输入的时间序列的长度；是指大小为t的实数矩阵集合；
[0047]
神经网络映射的预测值为：
[0048][0049]
式中，是指神经网络模型映射的预测值；是一个神经网络模型；
[0050]
将神经网络模型映射的预测值和真实值作前向差分为：
[0051][0052]
式中，是神经网络映射的预测值的前向差分；是指神经网络模型映射的第i+1个预测值；是指神经网络模型映射的第i个预测值；是指真实值的前向差分；是指真实值第i+1个数据；是指真实值第i个数据；
[0053]
将前向差分通过softmax()函数转化为概率为：
[0054][0055]
式中，σ()是指概率分布函数；是指动态注意力；是指静态注意力；τ是指温度系数；exp()是以e为底的指数函数；
[0056]
通过计算概率分布和之间的kullback-leibler散度得到微分散度正则化函数为：
[0057][0058]
式中，是指微分散度正则化函数；t
′
是需要预测的时间序列的长度；
[0059]
结合时序注意力单元的高效时序预测网络以完全无监督的方式进行端到端训练，由均方误差损失和常数λ加权的微分发散正则化构成的评估差异的损失函数为：
[0060][0061]
式中，是评估差异的损失函数；λ是一个常数；
[0062]
通过损失函数能求解出结合时序注意力单元的高效时序预测网络的权重参数为：
[0063]
[0064]
式中，θ
*
是求解出的权重参数的值；argmin是求解目标函数最小值对应的解；θ是一个权重参数；
[0065]
结合时序注意力单元的高效时序预测网络是从时间t+1预测随后的t
′
，结合时序注意力单元的高效时序预测网络能学习从的映射，通过结合时序注意力单元的高效时序预测网络得到的能源消耗量为：
[0066][0067]
式中，是指通过结合时序注意力单元的高效时序预测网络预测的能源消耗量；是指大小为t
′
的实数矩阵集合；
[0068]
步骤(3)：把增强深度transformer-attention集成预测的分数阶微积分控制用于综合能源系统的降能引导；将预测的基准能源消耗量输入到分数阶随机动态微积分控制器中，分数阶随机动态微积分控制器输出降能引导信号；
[0069]
综合能源系统的能源消耗有电力消耗、热能消耗和燃料消耗，利用transformer-attention网络和结合时序注意力单元的高效时序预测网络预测到的能源消耗量通过基准能源消耗量预测函数得到的基准能源消耗量为：
[0070][0071]
式中，d
t
是指预测的基准能源消耗量；forecast()是指基准能源消耗量预测函数；
[0072]
利用分数阶随机动态微积分控制器输出的能耗状态微分为：
[0073][0074]
式中，α是指分数阶微积分的阶次；s
t
是指能耗状态；d
αst
是指对能耗状态的分数阶微分；是指综合能源系统获得的能源量；pt是指分数阶随机动态微积分控制器预测的能源消耗量；d
α
t是指对时间的分数阶微分；n
noise
是指噪音强度；是指对维纳过程的分数阶积分；w
t
是指维纳过程；
[0075]
综合能源系统包括能源产生侧和能源消耗侧，能源消耗量受利用分数阶随机动态微积分控制器输出能源消耗量的变化量为：
[0076][0077]
式中，是指能源消耗量的变化量；γ()是指逻辑函数；l1、l2、l3、l4和l5分别是指逻辑函数γ()里面的能耗状态函数、能耗系数函数、季节函数、气温函数和准入规则函数的系数；sta()是指能耗状态函数；δ是能耗状态函数sta()的参数；coe()是指能耗系数函数；c
t
是指能耗系数；β是指能耗系数函数coe()的参数；wea()是指季节函数；w
t
是指季节情况；tem()是指气温函数；h
t
是指气温；rul()是指准入规则函数；u
t
是指准入规则；θ是指能源消耗量的参数；
[0078]
通过分数阶随机动态微分控制器来得到预测的用电负荷为：
[0079][0080]
式中，p
energy
是指可再生能源量的比例；是指符号函数；
[0081]
符号函数s()为：
[0082]
[0083]
逻辑函数γ()为：
[0084][0085]
式中，l是逻辑函数γ()的参数；
[0086]
步骤(4)：考虑到由能耗状态、能耗系数、季节、气温和准入规则所引起的动态能耗变化，由分数阶随机动态微积分控制器产生降能引导信号；
[0087]
由能耗的影响因素、预测的基准能源消耗量和综合能源系统提供的能源量作为分数阶随机动态微积分控制器的输入变量，降能引导信号作为输出变量；
[0088]
能耗状态函数sta()为：
[0089]
sta(s
t
，δ1，δ2，δ3，δ4)＝(1-2s
t
+δ1×
[1-(2s
t-1)2]}
×
[δ2+δ3×
(2s
t-1)2+δ4×
(2s
t-1)6]
ꢀꢀ
(26)式中，δ1、δ2、δ3和δ4分别是指能耗状态函数sta()中控制能耗状态的偏斜程度、变化量常数项、变化量二次项和变化量六次项的系数；
[0090]
能耗系数函数coe()为：
[0091][0092]
式中，tnz是指样条总数；z是指第z个样条；iz()是指i样条函数；
[0093]
季节函数wea()为：
[0094][0095]
式中，sin()是指正弦函数；
[0096]
气温函数tem()为：
[0097]
tem(h
t
)＝0.6 exp(h
t
)+8h
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(29)
[0098]
准入规则函数rul()为：
[0099][0100]
预测的基准能源消耗量和能源供给量作为分数阶随机动态微积分控制器的输入变量，通过分数阶随机动态微分方程输出预测能源消耗量，再利用目标函数求解最优的降能引导信号；利用分数阶随机动态微积分控制器求解降能引导信号的函数为：
[0101][0102]
式中，period是指预测周期；pre(d
t
，c
t
)是指以能耗系数c
t
为变量的预测能源消耗量函数；
[0103]
步骤(5)：将降能引导信号运用到综合能源系统中，引导能源消耗侧使用能源，提高能源利用率，加强综合能源系统的稳定性，促进可再生能源的整合，并降低综合能源系统的能耗。
[0104]
本发明相对于现有技术具有如下的优点及效果：
[0105]
(1)本发明利用数据预处理功能、transformer-attention网络和结合时序注意力单元的高效时序预测网络来预测用户的基准能源消耗量，同时将维纳过程的分数阶积分引入到分数阶随机动态微积分控制器中，能提高降能引导信号的精确度。
[0106]
(2)本发明从综合能源系统的角度出发，考虑能耗状态、能耗系数、季节、气温和准入规则对能耗的影响，通过降能引导信号引导能源消耗侧消耗能源，降低综合能源系统的
能耗。
[0107]
(3)本发明相比于2020.08.25申请的申请号为2020108660490的专利名为《一种多群分布式灵活能源服务商长期价格引导方法》，不仅考虑了能源生产和能源消耗之间的动态博弈，还将能耗的影响因素考虑到了综合能源系统的降能引导中。
[0108]
(4)本发明相比于2022.01.18申请的申请号为2021111974623的专利名为《一种灵活能源混合网络动态微分控制的长期价格引导方法动态微分方法》，将分数阶随机动态微分加入到了控制器中，能更好地描述能源消耗量与时间之间的非线性关系和非马尔可夫性质。
[0109]
(5)本发明相比于2022.10.18申请的申请号为2022112767254的专利名为《一种增强深度注意力双向预测的分数阶长期价格引导方法》，将研究对象从单一的电动汽车扩大到综合能源系统，同时在控制器中加入了维纳过程的分数阶积分，能更好地描述噪声信号的随机波动和系统的随机扰动，提高能耗引导信号的精确度。
附图说明
[0110]
图1是本发明方法的增强深度transformer-attention集成预测的分数阶微积分降能引导方法控制框架图。
[0111]
图2是本发明方法的transformer-attention网络。
[0112]
图3是本发明方法的结合时序注意力单元的高效时序预测网络。
具体实施方式
[0113]
本发明提出一种增强深度transformer-attention集成预测的分数阶微积分降能引导方法，结合附图详细说明如下：
[0114]
图1是本发明方法的增强深度transformer-attention集成预测的分数阶微积分降能引导方法控制框架图。首先，对从工业、商业、住宅得到原始能源消耗量数据并进行数据预处理。然后，将预处理后的数据分别通过transformer-attention网络和结合时序注意力单元的高效时序预测网络进行预测，确定出预测的基准能源消耗量。最后，将预测的基准能源消耗量输入分数阶随机动态微积分控制器中，结合能耗影响因素和能源生产量，输出最优的降能引导信号来引导工业、商业、住宅消耗能源。
[0115]
图2是本发明方法的transformer-attention网络。首先编码器接收大量长序列输入。transformer-attention网络用probesparse自注意取代标准自注意。然后，对多头注意力进行蒸馏操作，经过蒸馏操作的注意力是一种金字塔依赖关系，通过层层蒸馏，提取主导注意力到解码器，大幅缩小网络大小。最后，解码器接收长序列输入，将目标元素填充为零，计算特征图的加权注意力组成，并以生成式风格立即预测输出元素。
[0116]
图3是本发明方法的结合时序注意力单元的高效时序预测网络。结合时序注意力单元的高效时序预测网络的整体结构是数据输入、编码器、时序注意力单元、解码器和数据输出。在时序注意力单元中，首先，将由实际值产生的静注意力通过小核深度卷积、可扩张深度卷积和1*1卷积进行转化，以获得第一个输出向量。然后，将神经网络映射的动态注意力通过平均池化层和全连接层得到第二个输出向量。最后，将这两个输出向量结合发送到解码器中，由解码器生成最后的数据输出。
[0117]
以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

技术特征：
1.一种增强深度transformer-attention集成预测的分数阶微积分降能引导方法，其特征在于，该方法将transformer-attention网络、结合时序注意力单元的高效时序预测网络、分数阶随机动态微积分控制器相结合，用于综合能源系统的长期降能引导，具有提高能源利用率、提升综合能源系统的稳定性、推进可再生能源融入综合能源系统和降低能耗的功能；所述方法在使用过程中的步骤为：步骤(1)：建立综合能源系统降能引导的运作框架；综合能源系统从发电厂、锅炉、化石燃料中获得能源生产量，从能源消耗侧收集预计需要的能源消耗量，综合能源系统将能源生产量和预计需要的能源消耗量比对，通过降能引导方法找到最优的降能引导信号，然后，综合能源系统向能源消耗侧发送降能引导信号，引导工业、商业、住宅消耗能源，降低能耗；步骤(2)：提出增强深度transformer-attention集成预测的分数阶微积分控制，通过transformer-attention网络、结合时序注意力单元的高效时序预测网络对综合能源系统的基准能源消耗量进行预测；首先，进行数据预处理，并将处理后的数据进行特征提取；然后，将经过处理后得到的特征数据分别用transformer-attention网络方法和结合时序注意力单元的高效时序预测网络进行预测，对预测结果进行选择后得到预测的基准能源消耗量；transformer-attention网络是一种以多头注意力为基本运算单元的深层网络架构，能在获取长期依赖和低时间复杂度间获取平衡；通过提出probsparse自注意力机制、自注意力蒸馏机制、生成式解码器来提高预测精度；transformer-attention网络由输入层、编码器、解码器、全连接层和输出层组成；首先，将电能、热能和燃料的历史消耗量全部输入到编码器中进行编码得到一个映射序列，然后再将长序列中需要预测的目标值填补为零，与编码器得到的映射序列一起输入到解码器中，直接生成需要得到的预测输出元素；编码器将第t个输入序列χ
t
塑造成一个矩阵：式中，是指编码矩阵；t是指t时刻；是指大小为l
x
×
d的实数矩阵集合；是指实数；l
x
是指序列的长度；d是输入维度；transformer-attention网络所采用的probsparse自注意力机制与标准的自注意力机制不同，标准的自注意力机制采用的缩放的点积对为：式中，a(q,k,v)是指标准的自注意力机制值；q是查询向量；k是指被查询的向量；v是内容向量；k
t
是被查询向量的转置；softmax()是归一化指数函数；l
q
是q的长度；l
k
是k的长度；是指大小为l
q
×
d的实数矩阵集合；是指大小为l
k
×
d的实数矩阵集合；probsparse自注意力机制将标准注意力机制的缩放点积对定义成一个概率形式的内核平滑器为：式中，a
i
(q
i
,k,v)是指概率形式的自注意力机制值；i、j、l是指行数；q
i
是指q的第i行；k
j
是指k的第j行；k
l
是指k的第l行；v
j
是指v的第j行；k()是指概率函数；p(k
j
|q
i
)是指k
j
在q
i
下的条件概率分布；是指条件概率的和；内核平滑器中的概率函数k(q
i
,k
j
)采用的非对称指数核为：式中，是k
j
的转置；查询向量的概率分布满足的均匀分布为：式中，q(k
j
|q
i
)是指查询向量的均匀分布；如果p(k
j
|q
i
)接近均匀分布q(k
j
|q
i
)，则自注意力变成值v，对于预测输出是多余的，因此采用分布p和q之间的相似性来区分序列中重要的部分，通过kullback-leibler散度来衡量的相似性为：式中，kl(q||p)是指分布p和q之间的kullback-leibler散度；是指k
l
的转置；ln()是以e为底的对数函数；在kullback-leibler散度中去掉lnl
k
这个常数，将第i个查询向量的稀疏度度量定义为：式中，m(q
i
,k)是指第i个查询向量的稀疏度度量；在标准的自注意力机制中稀疏度度量得到probsparse自注意力机制的注意力值为：式中，a
s
(q,k,v)是指probsparse自注意力机制的注意力值；是指一个与q相同大小的稀疏矩阵，仅包含稀疏度度量m(q
i
,k)；通过计算每个编码矩阵中每个元素的probsparse自注意力值，注意力值的蒸馏过程是提取probsparse自注意力机制的注意力值，对注意力值赋予具有支配特征的较优特征特权，并在下一层生成聚焦的自注意特征映射；通过蒸馏过程从第n层向前进入(n+1)层为：式中，是指第n层的自注意特征映射；是指第(n+1)层的自注意特征映射；maxpool()是指最大池化函数；elu()是指激活函数；conv1d()是指利用激活函数在时间维度上执行1维卷积滤波器；[]
ab
是指包含多头probsparse自注意和注意块中的基本操作；生成式解码器由2个相同的多头注意层堆叠而成，生成式预测则能有效地缓解长时间预测中速度下降的问题；向解码器输入的向量为：式中，是指向解码器输入的向量；是指起始分词向量；
是指目标序列的占位符向量，每一个元素都为0；l
token
是指起始分词向量的长度；l
y
是指目标序列的占位符向量的长度；concat()是指拼接操作函数；通过将和进行解码操作之后最后将向量通过全连接层得到最终的需要预测的能源消耗量为：式中，是指通过transformer-attention网络预测的能源消耗量；是指输出值构成的大小为d
y
实数矩阵集合；d
y
是指输出数据的维度；是指构成目标输出的第o个向量；结合时序注意力单元的高效时序预测网络不是使用循环神经网络，而是使用注意力机制来并行化地处理时间演变；结合时序注意力单元的高效时序预测网络将时序注意力分解为两个部分：静态注意力和动态注意力；静态注意力使用小核心深度卷积和扩张卷积来实现大感受野，从而捕捉序列的长时间依赖关系；动态注意力利用时序间注意力的不同来学习时序权重，从而捕捉序列间变化趋势；结合时序注意力单元的高效时序预测网络利用一种差分散度正则化方法，用于优化时序预测学习的损失函数；差分散度正则化方法通过将预测值和真实值之间的差分转换为概率分布，并计算它们之间的kullback-leibler散度，使结合时序注意力单元的高效时序预测网络学习到时序中固有的变化规律；将电能、热能和燃料的历史消耗量输入到结合时序注意力单元的高效时序预测网络的输入矩阵中为：式中，t是指输入的时间序列的长度；是指大小为t的实数矩阵集合；神经网络映射的预测值为：式中，是指神经网络模型映射的预测值；是一个神经网络模型；将神经网络模型映射的预测值和真实值作前向差分为：式中，是神经网络映射的预测值的前向差分；是指神经网络模型映射的第i+1个预测值；是指神经网络模型映射的第i个预测值；是指真实值的前向差分；是指真实值第i+1个数据；是指真实值第i个数据；将前向差分通过softmax()函数转化为概率为：式中，σ()是指概率分布函数；是指动态注意力；是指静态注意力；τ是指温度系数；exp()是以e为底的指数函数；通过计算概率分布和之间的kullback-leibler散度得到微分散度正则化函数为：
式中，是指微分散度正则化函数；t
′
是需要预测的时间序列的长度；结合时序注意力单元的高效时序预测网络以完全无监督的方式进行端到端训练，由均方误差损失和常数λ加权的微分发散正则化构成的评估差异的损失函数为：式中，是评估差异的损失函数；λ是一个常数；通过损失函数能求解出结合时序注意力单元的高效时序预测网络的权重参数为：式中，θ
*
是求解出的权重参数的值；argmin是求解目标函数最小值对应的解；θ是一个权重参数；结合时序注意力单元的高效时序预测网络是从时间t+1预测随后的t
′
，结合时序注意力单元的高效时序预测网络能学习从的映射，通过结合时序注意力单元的高效时序预测网络得到的能源消耗量为：式中，是指通过结合时序注意力单元的高效时序预测网络预测的能源消耗量；是指大小为t
′
的实数矩阵集合；步骤(3)：把增强深度transformer-attention集成预测的分数阶微积分控制用于综合能源系统的降能引导；将预测的基准能源消耗量输入到分数阶随机动态微积分控制器中，分数阶随机动态微积分控制器输出降能引导信号；综合能源系统的能源消耗有电力消耗、热能消耗和燃料消耗，利用transformer-attention网络和结合时序注意力单元的高效时序预测网络预测到的能源消耗量通过基准能源消耗量预测函数得到的基准能源消耗量为：式中，d
t
是指预测的基准能源消耗量；forecast()是指基准能源消耗量预测函数；利用分数阶随机动态微积分控制器输出的能耗状态微分为：式中，α是指分数阶微积分的阶次；s
t
是指能耗状态；d
α
s
t
是指对能耗状态的分数阶微分；是指综合能源系统获得的能源量；p
t
是指分数阶随机动态微积分控制器预测的能源消耗量；d
α
t是指对时间的分数阶微分；n
noise
是指噪音强度；是指对维纳过程的分数阶积分；w
t
是指维纳过程；综合能源系统包括能源产生侧和能源消耗侧，能源消耗量受利用分数阶随机动态微积分控制器输出能源消耗量的变化量为：式中，是指能源消耗量的变化量；γ()是指逻辑函数；l1、l2、l3、l4和l5分别是指逻辑函数γ()里面的能耗状态函数、能耗系数函数、季节函数、气温函数和准入规则函数的系数；sta()是指能耗状态函数；δ是能耗状态函数sta()的参数；coe()是指能耗系数函数；c
t
是指能耗系数；β是指能耗系数函数coe()的参数；wea()是指季节函数；w
t
是指季节情况；tem()是指气温函数；h
t
是指气温；rul()是指准入规则函数；u
t
是指准入规则；θ是指能源消耗量的参数；通过分数阶随机动态微分控制器来得到预测的用电负荷为：式中，p
energy
是指可再生能源量的比例；是指符号函数；符号函数s()为：逻辑函数γ()为：式中，l是逻辑函数γ()的参数；步骤(4)：考虑到由能耗状态、能耗系数、季节、气温和准入规则所引起的动态能耗变化，由分数阶随机动态微积分控制器产生降能引导信号；由能耗的影响因素、预测的基准能源消耗量和综合能源系统提供的能源量作为分数阶随机动态微积分控制器的输入变量，降能引导信号作为输出变量；能耗状态函数sta()为：sta(s
t
,δ1,δ2，δ3,δ4)＝{1-2s
t
+δ1×
[1-(2s
t-1)
z
l}
×
[δ2+δ3×
(2s
t-1)
z
+δ4×
(2s
t-1)6]
ꢀꢀꢀꢀ
(26)式中，δ1、δ2、δ3和δ4分别是指能耗状态函数sta()中控制能耗状态的偏斜程度、变化量常数项、变化量二次项和变化量六次项的系数；能耗系数函数coe()为：式中，tn
z
是指样条总数；z是指第z个样条；i
z
()是指i样条函数；季节函数wea()为：式中，sin()是指正弦函数；气温函数tem()为：tem(h
t
)＝0.6exp(h
t
)+8h
t
ꢀꢀꢀꢀꢀꢀꢀ
(29)准入规则函数rul()为：预测的基准能源消耗量和能源供给量作为分数阶随机动态微积分控制器的输入变量，通过分数阶随机动态微分方程输出预测能源消耗量，再利用目标函数求解最优的降能引导信号；利用分数阶随机动态微积分控制器求解降能引导信号的函数为：
式中，period是指预测周期；pre(d
t
,c
t
)是指以能耗系数c
t
为变量的预测能源消耗量函数；步骤(5)：将降能引导信号运用到综合能源系统中，引导能源消耗侧使用能源，提高能源利用率，加强综合能源系统的稳定性，促进可再生能源的整合，并降低综合能源系统的能耗。

技术总结
本发明提出一种增强深度Transformer-Attention集成预测的分数阶微积分降能引导方法，该方法由Transformer-Attention网络、结合时序注意力单元的高效时序预测网络、分数阶随机动态微积分控制器组成。该方法考虑综合能源系统的能源消耗，以能耗影响因素、能源生产量作为输入，输出最优的降能引导信号。该方法中的Transformer-Attention网络和结合时序注意力单元的高效时序预测网络能解决基准能源消耗量的预测问题，用于输出最优的预测结果；该方法中的分数阶随机动态微积分控制器能通过预测的能源消耗量和能源生产量得到最优的降能引导信号。所提方法能降低综合能源系统的整体能耗，能提高综合能源系统的稳定性。能提高综合能源系统的稳定性。能提高综合能源系统的稳定性。


技术研发人员：殷林飞 曹义 胡立坤
受保护的技术使用者：广西大学
技术研发日：2023.07.15
技术公布日：2023/9/7