一种建筑园区内的微电网调控方法

1.本发明涉及微电网调控技术领域，尤其涉及一种建筑园区内的微电网调控方法。


背景技术：

2.微电网中通常配备了可再生新能源的发电装置，如分布式光伏系统和小型风力发电机等；同时，微电网也可以连接到主电网上，作为市场主体积极参与能源交易，这使得微电网的实际运行过程变得更加复杂。光伏发电、风力发电等受外部环境影响因素较大，具有较强的随机波动性和间歇性，这给微电网的优化运行带来了极大挑战；建筑园区内中用户侧负荷与实时电力市场的不确定性也增加了微电网能量管理的难度。
3.微电网能量管理是指在微电网运行过程中，在满足功率平衡限制、系统内各单元运行限制、容量限制、潮流限制等多种限制条件下，通过实时控制及调度微电网系统内的各个可控单元或者为其制定运行计划，达到微电网运行的目标，包括维持系统稳定、促进新能源高效利用、减小用电成本等。
4.为了积极应对微电网面临的多重不确定因素，除了从发电侧及装备侧角度提高供电稳定性外，更需要提升微电网的能量管理水平。可靠、经济、高效的能量管理策略是微电网是系统安全、稳定、高效运行的重要保障，是微电网优化运行的基础。为此，微电网能量管理策略具有很大的研究价值。
5.传统优化方法是将微电网能量管理模型建模为线性规划问题或者混合整数规划问题等，再通过数值计算出结果或者利用商业求解器求解模型。传统方法可以在获得准确数据的条件下，计算得到能源管理时序决策问题的最优值。传统优化方法是通过对微电网的准确建模并求解可以获得理论上的最优值，所以该方法常用于微电网日前调度的问题。但由于此类方法需要通过求解构建的优化问题来获取最优结果，不能够直接用于实时决策。


技术实现要素：

6.本发明主要解决的技术问题是提供一种建筑园区内的微电网调控方法，解决不能够直接用于实时决策的问题。
7.为解决上述技术问题，本发明采用的一个技术方案是提供一种建筑园区内的微电网调控方法，包括步骤：
8.步骤s1:基于建筑园区内微电网的应用场景，构建含有多种可调度资源的用户模型；
9.步骤s2:设定日前规划模型，基于可再生能源的预测信息，确立建筑园区内的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，获取建筑园区内微电网与电力市场的能量交易曲线；
10.步骤s3:设定实时调控模型，基于可再生能源发电预测的偏差，以维持所述能量交易曲线的稳定为目标，获取储能系统以及可控发电机的实时动作策略，响应可再生能源预
测与实际发电的偏差。
11.优选的，建筑园区内微电网中包含光伏发电装置、小型风力发电机、不可控负荷、可削减负荷、可转移负荷、电动汽车、储能系统和备用发电机。
12.优选的，可削减负荷是用户在使用过程中改变其功率的负荷，可削减负荷可表示如下：
[0013][0014][0015]
上式中，表示可削减负荷的装置总数，p
icur
(t)表示在时刻t时可削减负荷的实际负荷量，表示可削减负荷的削减率，当为0时，表示在当前时刻，可削减负荷不发生变动，表示装置i要保证生活所需或维持正常工作状态。
[0016]
优选的，可削减负荷维持在正常水平，通过下式定义可削减负荷的用户不满意度，用以衡量调控可削减负荷的成本，
[0017][0018]
上式中，表示第i个电器的不满意度系数，若值越大。
[0019]
优选的，可转移负荷指用户使用过程中可改变使用时间但不能改变使用功率的负荷，可转移负荷可表示如下：
[0020][0021][0022][0023]
上式中，表示可转移负荷的装置总数，表示转移负荷在t时刻的负荷量，和表示可调度负荷k在时刻t允许的最小和最大运行功率，表示可调度负荷只在规定时间范围使用，其中uk表示可调度负荷k的连续使用时长，表明可调度负荷在使用时不能中断；
[0024]
对于可转移负荷，在可供使用的时间范围内，自时刻开始使用是达到最高用户满意度，往后延迟则会导致用户满意度降低，可转移负荷的用户不满意度可由下式刻画：
[0025][0026]
上式中，表示第k个可转移负荷装置的不满意度函数的成本系数。
[0027]
优选的，电动汽车通过调节充电时间来响应需求侧响应，在完成一个完整的充电周期后，将电动汽车完全充满电为最高满意度；电动汽车的不满意度用下式表示：
[0028]fev
＝α
ev
[(soe-soe
max
)s
ev
]2+β
ev
[(soe-soe
max
)s
ev
]，
[0029]
如上式所示，α
ev
和β
ev
分别表示表示不满意度依赖二次系数和一次系数，soe表示电动汽车的充电状态，s
ev
表示电动汽车充电容量。
[0030]
优选的，建筑园区内微网日前规划建模为混合整数非线性规划问题，具体如下：
[0031]
minf
total
＝min(afe+bf
dis-sat
+cf
tran
)，
[0032][0033]fdis-sat
＝∑f
cur
(t)δt+f
sh
+f
ev
，
[0034]ftran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2，
[0035]
在上述式子中，fe、f
dis-sat
、f
tran
分别表示用户用电成本、不满意度成本、不合理交易成本，a、b、c为表示不同类型成本的重要度系数，和表示微电网购电价格和售电价格，式f
tran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2为建筑园区内微电网合理交易水平限制，用于减少储能的过量使用。
[0036]
优选的，在通过日前规划制定建筑园区内微电网需求侧响应计划的过程中，设定运行限制，以满足建筑园区内微电网基本运行条件，运行限制包括：
[0037][0038][0039][0040][0041]
p
e-ch
(t)
·
p
e-dis
(t)＝0，
[0042]
p
tev-max
≤p
ev
(t)≤p
tev-max
，
[0043][0044][0045]
soc
min
≤soc(t)≤soc
max
，
[0046]
soe
min
≤soe(t)≤soe
max
，
[0047]
其中，p
wt
(t)、p
pv
(t)表示t时刻风力发电与光伏发电功率，表示负荷功率，包括可削减负荷、可转移负荷、固定负荷和电动汽车充电功率，p
e-ch
(t)、p
e-dis
(t)代表储能系统充放电功率，根据式p
e-ch
(t)
·
p
e-dis
(t)＝0可知，储能系统不能同时充放电，p
ev
(t)表示电动汽车充电功率，式soc
min
≤soc(t)≤soc
max
和式soe
min
≤soe(t)≤soe
max
规定了储能系统和电动汽车的能量状态的变化范围。
[0048]
优选的，实时调控模型包含的基本元素为环境观测状态s
t
，微电网能量管理系统输出动作a
t
，微电网能量管理系统获得的奖励r
t
，以及状态转移概率p，定义微电网经济调度问题的状态空间为s:s
t
∈s，动作空间为a:a
t
∈a，奖励空间为r:r
t
∈r，
[0049]
在t时刻，微电网能量管理系统获取到的环境状态包括可在生能源的供电功率、负荷功率、储能系统的荷电状态、电动汽车的充电情况、微电网购电价格，则状态空间表示如下：
[0050][0051]
式中：p
twind
、p
tpv
和p
tload
表示风力发电机、光伏与不可控负荷的在t时刻的实时功
率；soc
t
表示储能系统在t时刻的实时荷电状态；e
ev
(t)表示在调度时刻t，电动汽车的剩余充电容量，代表微电网从主电网的实时购电价格。
[0052]
优选的，实时调控的动作空间设计为：
[0053]at
＝[δp
ess
(t),p
dg
(t)]，
[0054]
上式中，δp
ess
(t)表示储能系统的调整功率，p
dg
(t)表示可控发电机的发电功率，
[0055]
将强化学习形式下的奖励函数设计为建筑园区内微电网单步的负成本，可表示如下：
[0056]
r(t)＝-(c
dev
(t)+c
dg
(t))，
[0057]cdev
(t)＝ξ
·
ρ
tbuy
·
(p
grid
(t)-p
grid*
(t))2，
[0058]cdg
＝α
dg
[p
dg
(t)]2+β
dg
p
dg
(t)，
[0059]
在上述式子中,ξ表示偏差惩罚系数；α
dg
/β
dg
分别表示可控发电机的二次/一次成本系数，p
grid
(t)为实时的微电网与电网交易量，p
grid*
(t)为计划的交易量。
[0060]
本发明的有益效果是：考虑含有多类型负荷、储能以及可控序充电电动汽车的建筑园区内微电网模型，在日前规划阶段以经济成本、用户不满意度、合理交易水平为目标构建建筑园区内微电网的多目标优化决策模型，并以此确定和上级能量管理中心的交易电量，形成建筑园区内微电网的日前负荷曲线；在考虑预测数据的误差情况下，将含误差的预测数据作为训练集，以日前负荷曲线偏差最小为目标，采用竞争网络架构的深度强化学习算法，训练以储能系统和可控发电机为核心的实时调度微电网能量管理系统，使得该微电网能量管理系统能够实时响应的可再生能源变化，确保微电网负荷曲线的稳定性。
附图说明
[0061]
图1是根据本发明一实施例的流程图；
[0062]
图2是根据本发明一实施例建筑园区内微电网的结构示意图；
[0063]
图3是根据本发明一实施例两阶段调度算法原理示意图
[0064]
图4是根据本发明一实施例建筑园区内微电网计划能量流动图
[0065]
图5是根据本发明一实施例可削减负荷调度情况示意图；
[0066]
图6是根据本发明一实施例可转移负荷调度情况示意图；
[0067]
图7是根据本发明一实施例电动汽车调度情况示意图；
[0068]
图8是根据本发明一实施例计及不确定性的实时调度训练情况示意图；
[0069]
图9是根据本发明一实施例实时数据与预测数据对比图；
[0070]
图10是根据本发明一实施例实时调度下建筑园区内微电网功率流动图；
[0071]
图11是根据本发明一实施例建筑园区内微电网能量交易曲线示意图；
[0072]
图12是根据本发明一实施例储能实时调度的充放电情况示意图；
[0073]
图13是根据本发明一实施例可控发电机实时调度情况示意图；
[0074]
图14是根据本发明一实施例不同测试数据的成本对比示意图。
具体实施方式
[0075]
为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明以许多不同的形式来实现，并不限于本
说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
[0076]
需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0077]
图1显示了本发明建筑园区内的微电网调控方法的实施例，包括：
[0078]
步骤s1:基于建筑园区内微电网的应用场景，构建含有多种可调度资源的用户模型；
[0079]
步骤s2:设定日前规划模型，基于可再生能源的预测信息，确立建筑园区内的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，获取建筑园区内微电网与电力市场的能量交易曲线；
[0080]
步骤s3:设定实时调控模型，基于可再生能源发电预测的偏差，以维持所述能量交易曲线的稳定为目标，获取储能系统以及可控发电机的实时动作策略，响应可再生能源预测与实际发电的偏差。
[0081]
本技术基于建筑园区内微电网的应用场景，首先构建了含有多种可调度资源的用户模型，分析了参与电力市场的建筑园区内用户的能量管理模式。然后结合日前规划和实时调控的调度方法提出了建筑园区内用户考虑新能源发电误差情况下的两阶段能量管理方法。在日前规划阶段，用户参与电力市场获取经济收益；同时考虑实际用能情况，设计各类用电装置的不满意度函数；再设置交易惩罚用以避免用户追求效益而过量交易。
[0082]
针对以上内容设计建筑园区内微电网的多目标优化模型，获取未来一天内最优的需求侧响应策略，同时确定与上层能源市场的能量交易曲线。在实时调度阶段，以维持交易曲线稳定为目标，设计实时调度的时序决策问题，引入深度强化学习方法，求解储能系统和可控发电机的动作策略。
[0083]
本技术考虑分布式新能源和用户侧灵活资源大量接入的建筑园区内微电网场景。户用屋顶光伏板和小型风力发电机是常见的用户侧新能源发电装备，而随着智能电网的建设推进，用户主动参与能量调度管理。
[0084]
考虑含有多类型负荷、储能以及可控序充电电动汽车的建筑园区内微电网模型，在日前规划阶段以经济成本、用户不满意度、合理交易水平为目标构建建筑园区内微电网的多目标优化决策模型，并以此确定和上级能量管理中心的交易电量，形成建筑园区内微电网的日前负荷曲线；在考虑预测数据的误差情况下，将含误差的预测数据作为训练集，以日前负荷曲线偏差最小为目标，采用竞争网络架构的深度强化学习算法，训练以储能系统和可控发电机为核心的实时调度微电网能量管理系统，使得该微电网能量管理系统能够实时响应的可再生能源变化，确保微电网负荷曲线的稳定性。
[0085]
本技术所研究的建筑园区内微电网能量管理系统如图2所示，包括建筑园区内微电网中包含光伏发电装置(光伏板)、小型风力发电机、各种类型建筑园区内负荷(不可控负荷、可削减负荷、可转移负荷)、电动汽车、储能系统和备用发电机。图2中，箭头表明了能量流动方向，该系统与主电网连接，且既可从能源市场购买电力资源，也向能源市场出售电能。本技术将考虑复杂多样的负荷类型以适应需求侧响应的需求，该建筑园区内微电网中
的电力负荷分主要为不可控负荷、可削减负荷和可转移负荷。
[0086]
不可控负荷为用户系统中的基础负荷，即为在使用过程中必须被满足的负荷，比如电视机、电脑等。不可控负荷在使用过程中不具备自主功率调节能力，不参与实时能量调度过程，故本技术不对不可控负荷进行具体建模分析。
[0087]
可削减负荷是用户在使用过程中改变其功率的负荷，如电灯、空调等负荷。可削减负荷可表示如下：
[0088][0089][0090]
上式中，表示可削减负荷的装置总数。p
icur
(t)表示在时刻t时可削减负荷的实际负荷量，表示可削减负荷的削减率，当为0时，表示在当前时刻，可削减负荷不发生变动。一般情况下，可削减负荷不削减至0，所以小于1。表示装置i要保证生活所需或维持正常工作状态，即在时刻t时，可削减负荷的最小功率。
[0091]
由可削减负荷的定义可知，在用户主动参与电力市场环境下，用户通过改变可削减负荷的功率来减小在时刻t时的总负荷量，从而达到减小用电成本的目的。但可削减负荷的减少会影响用户正常的生活需求，可削减负荷的调控不应只考虑用户的经济效益，还要使其维持在正常水平，优选的，通过下式定义可削减负荷的用户不满意度f
cur
(t)，用以衡量调控可削减负荷的成本。
[0092][0093]
上式中，表示第i个电器的不满意度系数，若值越大，则表示用户对该电器的需求程度越高；反之则表示用户对该电器需求程度低，将有更大可能减少该电器的使用。可削减负荷的调控应同时考虑负荷经济成本和用户不满意度，应在最大化经济效益的同时最小化不满意度。
[0094]
可转移负荷指用户使用过程中可改变使用时间但不能改变使用功率的负荷，例如洗衣机等负荷，设定使用时间。可转移负荷可表示如下：
[0095][0096][0097][0098]
上式中，表示可转移负荷的装置总数。表示转移负荷在t时刻的负荷量。和表示可调度负荷k在时刻t允许的最小和最大运行功率。表示可调度负荷只在规定时间范围使用，表示转移负荷的使用时间，和分别表示转移负荷的最小和最大使用时间，uk表示可调度负荷k的连续使用时长，表明可调度负荷在使用时不能中断。可转移负荷应满足基本使用需求，规定了在运行时间范围内，可调度负荷k应达到的最低负荷要求。δt表示运行时间周期，
表示最低负荷要求。可转移负荷与可削减负荷类似，在用户主动参与需求侧响应的情况下，可转移负荷依据可依据电价选择合适的时间使用，用以减小用电成本。同时，对于可转移负荷，在可供使用的时间范围内，自时刻开始使用是达到最高用户满意度，往后延迟则会导致用户满意度降低。可转移负荷的用户不满意度可由下式刻画：
[0099][0100]
上式中，表示第k个可转移负荷装置的不满意度函数的成本系数，值越大，代表可转移负荷的转移倾向越低。
[0101]
电动汽车成为建筑园区内负荷的重要组成部分。而电动汽车的储能能力使得电动汽车作为负荷具备一定的灵活性。在用户主动参与电力调控的情景下，电动汽车灵活选择充电时间，实现电动汽车的有序充电，达到负荷侧和发电侧的协调发展。
[0102]
本技术主要考虑电动汽车的充电特性，即序充电电动汽车模型。电动汽车通过调节充电时间来响应需求侧响应，同时电动汽车所需完成的充电量具备一定的灵活性，充电完成水平越高，越符合用户需求，但同时也会加大用电成本。在实际充电过程中，在完成一个完整的充电周期后，将电动汽车完全充满电为最高满意度。电动汽车的不满意度f
ev
用下式表示：
[0103]fev
＝α
ev
[(soe-soe
max
)s
ev
]2+β
ev
[(soe-soe
max
)s
ev
]，
[0104]
如上式所示，α
ev
和β
ev
分别表示表示不满意度依赖二次系数和一次系数，其值越大，代表用户的对电动车充满电的需求越高。soe表示电动汽车的充电状态，soe
max
表示电动汽车的最大荷电，s
ev
表示电动汽车充电容量。
[0105]
储能系统通过合理的充电或放电实现对能量在时间上的移用，在新能源发电装置大量普及的背景下，储能系统也得到了愈加广泛的应用。在建筑园区内微电网能量管理系统中，主要考虑储能系统的功率特性。
[0106]
在用户参与电力市场的背景下，储能系统提高了用户主动参与能量调度的能力。在新能源发电系统广泛接入用户侧的情境下，用户储能有效平抑可再生新能源发电的波动，也选择积极响应电力市场实时电价，通过在不同时刻充电或者放电，达到可再生能源的高效益利用。
[0107]
由于建筑园区内微电网中含有可再生新能源发电单元，在配网系统中，不同于传统的建筑园区内负荷，建筑园区内微电网实现能量的双向流动，既从主网中获取能量以满足自身需求，也与电力市场签订协议，将能量出售给电力市场，这也代表着建筑园区内微电网同时具备产消特性。而在建筑园区内微电网中，由于风力发电和光伏发电的容量等级都比较小，受环境影响大，具有随机性、间歇性、波动性的特点，这给微电网的能量管理带来了许多不确定性。而随着可再生能源发电预测技术的研究越来越多，结合可再生能源预测进行优化的方法也得到了广泛的应用。从与上级电力市场能量交易的角度来说，建筑园区内微电网系统通过预测技术获取可再生能源发电功率预测值，在此基础上确立与电力市场的能量交易曲线，从而获取最大的收益。而对于电力市场而言，在与用户达成能量交易协议后，可将建筑园区内微电网单元视作一个负荷单元，其负荷曲线是已知，由此便于主网制定合理的发电计划。所以建筑园区内微电网在完成能量交易协议后，还应保证能够完成既定
的能量交易目标，否则将会受到违约惩罚。
[0108]
由上段所述建筑园区内微电网的能量管理模式可知，本技术将建筑园区内微电网的能量管理划分为两个阶段，如图3所示。
[0109]
(1)在日前规划阶段，建筑园区内微电网从电力市场获取电价信息，基于可再生能源的预测信息，确立建筑园区内微电网内部的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，从而获取建筑园区内微电网与电力市场的能量交易曲线。能量交易曲线为微电网与电力市场在一天内的交易情况，可参考图11。
[0110]
(2)在实时调控阶段，考虑可再生能源发电预测的偏差，以维持能量交易曲线的稳定为目标，基于深度强化学习获取储能系统以及可控发电机的实时动作策略，响应可再生能源预测与实际发电的偏差。
[0111]
在日前规划阶段，建筑园区内微电网能量管理系统对建筑园区内微电网的调度目标为最大化经济效益的同时，最小化用户的用能不满意度，同时避免不合理交易。所以日前规划视作建筑园区内微电网的多目标优化阶段。
[0112]
为了追求最大的经济效益，用户就会倾向于尽可能地减少负荷的使用，而这会带来用户不满意度的提高，所以建筑园区内微网的能量管理是要在多个目标中寻求平衡。最大化经济效益转化为求取最小经济成本f
total
，则建筑园区内微网日前规划建模为混合整数非线性规划问题，具体如下：
[0113]
minf
total
＝min(afe+bf
dis-sat
+cf
tran
)，
[0114][0115]fdis-sat
＝∑f
cur
(t)δt+f
sh
+f
ev
，
[0116]ftran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2，
[0117]
在上述式子中，fe、f
dis-sat
、f
tran
分别表示用户用电成本、不满意度成本、不合理交易成本。a、b、c为表示不同类型成本的重要度系数，a、b、c的值越大，代表用户对该项成本的重视度越高，越倾向于减少该项成本。和分别表示微电网购电价格和售电价格。p
buy
(t)和p
sell
(t)分别表示微电网购电功率和售电功率。式f
tran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2为建筑园区内微电网合理交易水平限制，用于减少储能的过量使用。σ
tran
表示微电网的不满意度函数的成本系数，p
tgap
表示微电网内部的净负荷。
[0118]
在通过日前规划制定建筑园区内微电网需求侧响应计划的过程中，还需要满足建筑园区内微电网基本运行条件，包括上述可消减负荷和可转移负荷的运行条件，还有如下运行限制：
[0119][0120][0121][0122][0123]
p
e-ch
(t)
·
p
e-dis
(t)＝0，
[0124]
p
tev-max
≤p
ev
(t)≤p
tev-max
，
[0125][0126][0127]
soc
min
≤soc(t)≤soc
max
，
[0128]
soe
min
≤soe(t)≤soe
max
，
[0129]
其中，p
wt
(t)、p
pv
(t)表示t时刻风力发电与光伏发电功率，表示负荷功率，包括可削减负荷、可转移负荷、固定负荷和电动汽车充电功率。p
e-ch
(t)、p
e-dis
(t)代表储能系统充放电功率，根据式p
e-ch
(t)
·
p
e-dis
(t)＝0可知，储能系统不能同时充放电。p
ev
(t)表示电动汽车充电功率。式soc
min
≤soc(t)≤soc
max
和式soe
min
≤soe(t)≤soe
max
规定了储能系统和电动汽车的能量状态的变化范围。
[0130]
在应用强化学习的过程中，涵盖状态、动作以及奖励函数三种基本要素，所以对于根据此阶段建筑园区内微电网的实际问题，对应的实时调控模型可设计如下。
[0131]
实时调度的状态包含当前时刻的可再生能源发电、负荷大小、储能系统荷电状态、电价信息，则此时状态空间表示如下：
[0132][0133]
在日前规划阶段通过用户需求侧响应已经确定了用户各类负荷的调度计划，所以在进行不确定性优化时，微电网能量管理系统输入的状态量参照日前计划的各个调度时刻的负荷总量。
[0134]
实时调控的动作空间设计为：
[0135]at
＝[δp
ess
(t),p
dg
(t)]，
[0136]
上式中，δp
ess
(t)表示储能系统的调整功率，p
dg
(t)表示可控发电机的发电功率。根据建筑园区内微电网此阶段的调度目标，可将强化学习形式下的奖励函数设计为建筑园区内微电网单步的负成本，可表示如下：
[0137]
r(t)＝-(c
dev
(t)+c
dg
(t))，
[0138][0139]cdg
＝α
dg
[p
dg
(t)]2+β
dg
p
dg
(t)，
[0140]
在上述式子中,ξ表示偏差惩罚系数；α
dg
/β
dg
分别表示可控发电机的二次/一次成本系数。p
grid
(t)为实时的微电网与电网交易量，p
grid*
(t)为计划的交易量。
[0141]
在实时调控阶段，建筑园区内微电网能量控制器通过调节储能装置和可控发电机以保持建筑园区内微电网与上级电力市场达成的能量交易协议的稳定性。实时调控的目标是减少因新能源发电不确定性带来的计划交易误差成本以及最小化可控发电成本，所以实时调控的优化过程可看作不确定性优化过程。
[0142]
在实时调控阶段，将采用实时调控模型，实时调控模型包含的基本元素为环境观测状态s
t
，微电网能量管理系统输出动作a
t
，微电网能量管理系统获得的奖励r
t
，以及状态转移概率p。本技术定义微电网经济调度问题的状态空间为s:s
t
∈s，动作空间为a:a
t
∈a，奖
励空间为r:r
t
∈r。
[0143]
在t时刻，微电网能量管理系统获取到的环境状态包括可在生能源的供电功率、负荷功率、储能系统的荷电状态、电动汽车的充电情况、微电网购电价格，则状态空间表示如下：
[0144][0145]
式中：p
twind
、p
tpv
和p
tload
表示风力发电机、光伏与不可控负荷的在t时刻的实时功率；soc
t
表示储能系统在t时刻的实时荷电状态；e
ev
(t)表示在调度时刻t，电动汽车的剩余充电容量，代表微电网从主电网的实时购电价格。
[0146]
微电网中的可控单元的动作输出，构成了微电网能量管理系统的动作空间。主要包括储能系统的动作、电动汽车的动作、柴油发电机的动作以及微电网与主电网的功率交换。根据设定的状态空间发现，有些状态如风电、光伏的发电功率与外部环境相关，不受微电网能量管理系统动作的影响，而储能系统的荷电状态与电动汽车的充电情况则受到上一时刻系统的动作影响。储能系统与电动汽车还会直接影响微电网的产消能力。即表明不同的动作具备不同的环境影响效果。根据动作空间包含动作具备的这方面的特性的不同，将动作空间划分为两层：外层为储能系统在t时刻的动作，电动汽车的充电功率；内层为微电网与主电网的交换功率以及柴油发电机功率。则微电网能量管理系统的动作空间可表示如下：
[0147]
a＝{a
out
，a
in
}，
[0148]aout
＝{p
tess
，p
tev
}，
[0149]ain
＝{p
tdiesel
，p
tsell
,p
tbuy
}，
[0150]
式中：a
out
，a
in
分别表示微电网能量管理系统输出动作和输入动作，p
tess
表示储能系统动作，p
tev
表示序充电电动汽车的充电动作；p
tdiesel
表示燃油机的实时功率，p
tsell
、p
tbuy
分别表示在时刻t时，微电网与电力市场的购电量与售电量。
[0151]
储能系统动作包括储能装置的充电、放电功率，将其设定为离散动作如下：
[0152]
p
tess
＝{-1.0,-0.5,0.0,0.5,1.0}，
[0153]
电动汽车的充电功率动作设定如下：
[0154]
p
tev
＝{0.0,0.5,1.0}，
[0155]
在上两式中，当动作取值为1/-1时，表示储能系统和电动汽车以最大功率充电/放电；当动作取值为0.5/-0.5时，表示充电功率/放电功率为额定功率的一半；当动作取值为0时，表示不采取任何动作。
[0156]
根据算法的框架，在得到外层动作后构建求解内层动作的二次规划模型，模型如下所示：
[0157][0158]
0≤p
tbuy
,p
tsell
≤|p
tgpcc
|，
[0159]
p
tgpcc
+p
tdiesel
+p
tbuy-p
tsell
＝0，
[0160]
通过求解二次规划获得当前状态下的最优内层动作，将外层动作和内层动作组合作为微电网能量管理系统在时刻t的动作，并作用于环境中获得奖励。微电网能量管理系统的即时奖励设定如下：
[0161][0162]
由于微电网中含有电动汽车单元，对于电动汽车，需要满足其充电需求，所以在强化学习的奖励中需要引入惩罚项，对没有达到充电需求的行为进行惩罚。在一天调度周期完成后，有：
[0163][0164]
其中，为惩罚系数。
[0165]
本技术将选取图2所示的建筑园区内微电网模型作为仿真对象，对所提的两阶段算法的应用情况和效果进行验证和分析。
[0166]
场景设置，在选取的实验模型中，考虑了可再生新能源的接入，包括风力发电单元和光伏发电单元，对于可再生能源发电单元和微电网内的固定负荷，由于其状态不受微电网运行策略的影响而只受环境影响，所以不考虑对其进行建模设计，其实时功率大小来源于真实数据。建筑园区内微电网与电力市场进行交易的电价数据来源于澳大利亚电力市场，将电价数据进行了归一化处理，使得电价数据的范围在0到1之间。
[0167]
本技术建筑园区内微电网的调度周期设定为一天，将调度时间间隔设为半小时，即一天有48个调度时刻。由于面向建筑园区内用户，日常建筑园区内用电主要集中在夜间，所以调度初始时刻设定为下午18:00，调度时间范围为第一天下午18:00至第二天下午18:00。同时，微电网中还包含可转移负荷、可削减负荷、电动汽车、储能系统、备用发电机多种可控单元。对于可削减负荷，设计了四类负荷：空调负荷、电暖器负荷、热水器负荷以及灯具负荷；而可转移负荷主要指洗衣机。对于本实验中微电网的各个单元的功率范围、运行时间以及不满意度系数如表1所示：
[0168]
表1可控负荷基本参数
[0169][0170][0171]
模型中的电动汽车单元的基本参数和储能系统的基本参数如表2和表3所示。对于电动汽车而言，假定其达到时具备一定的电量水平。
[0172]
表2电动汽车基本参数
[0173][0174]
表3 储能系统基本参数
[0175][0176]
本技术的构建的日前优化问题通过调用专业求解器gurobi进行求解，而实时调度的强化学习算法通过python 3.7.2使用pytorch 1.6.0实现。相关算例均在硬件配置为intel core i5-9400和8gb ram的计算机系统上实现。后面将从不同阶段分析所提算法的实际效果。
[0177]
日前规划结果分析，日前规划阶段在假定能获得准确数据的情况下进行一天内各个单元的动作规划。通过实施日前规划，获得用户微电网的最优需求侧响应，并确立微电网与上层能源市场的电量交易曲线。
[0178]
在实际数据测试下，日前规划的基本情况如图4至图7所示。图4展示了根据日前规划的建筑园区内微电网内的各时刻功率平衡情况，可知通过个单元的相互协调，很好地保证了系统的稳定。图5展示了各类可削减负荷的一天调度计划情况和实时电价的变化情况，根据负荷变动情况看出可削减负荷的变动情况受到电价影响。对于空调类负荷而言，其调度时间为下午6:00至上午8:00，在这一时间范围内，凌晨0:00至上午5:00这一段时间电价水平较低，此时看出该阶段的负荷水平高于其他电价更高的时刻，且当电价最低时负荷水平最高；且每个调度时刻的空调类总负荷量为0到2.2kw，由于为了减少用户的使用不满意度，可削减负荷并未一味减少负荷量，其负荷水平整体维持在一个较为平稳的状态。同理，对于灯具类负荷和热水器类负荷也得到类似结论，在两类不同负荷的调度时间范围内，分别在19:00和22:00达到最低和最高的负荷水平，而这也刚好对应该范围内的最大电价与最小电价。
[0179]
图6展示了可转移负荷的日前调度计划，可转移负荷的时间限制已通过虚线进行标注。电动汽车的充电调度安排如图8所示，看到，电动汽车能够积极响应电价的变化，会依据外界的电价变化选取合适的充电时间以及充电功率。如图所示，在凌晨时间段以及21:30的时间，电价明显低于其余可调度时刻，于是电动汽车选择在这些时间以最大功率进行充电。同时，电动汽车需要满足最小充电目标，所以电动汽车的电池储能状态最终达到了0.85。
[0180]
根据建筑园区内微电网的日前规划情况看出，通过多目标的优化，通过电价积极的引导建筑园区内微电网进行需求侧响应，适时地削减用电负荷并调整用户部分用电装置的用电时间，同时又通过不满意度的目标的建立，又保证了用电负荷保持在合理区间，能够满足建筑园区内微电网的需求。
[0181]
实时调度结果分析，实时调度是在日前规划的基础上考虑了可再生能源发电功率的不确定性进行的优化调度。实时调度的动作结果是通过不确定性优化获取的。日前规划
是假定在获得精确数据情况下进行求解的，本技术通过对数据增加误差扰动来模拟实时数据的不确定性。实时调控阶段引入了深度强化学习算法，强化学习的基本参数如表4所示。
[0182]
表4强化学习参数设置
[0183][0184]
在强化学习中，采用神经网络替代q值函数，对于本技术所用算法，采用5层全连接层，每层全连接层的神经元个数为350，采用relu函数作为每一层的激活函数，并将初始学习率设定为0.005。
[0185]
根据实时调控的训练目标，以每天获取的累计奖励为参考，强化学习的训练情况如图8所示。由图8可知，经过大约1000次的训练，建筑园区内微电网的微电网能量管理系统基本收敛到一个稳定值附近，在训练过程中出现了奖励值的振荡，这是由于微电网能量管理系统有一定的概率采取随机动作，且处在不确定环境下，这会导致训练过程出现一定的不稳定。在600次以前，看出微电网能量管理系统的累计奖励值较低且波动较大，但整体呈现逐渐增大趋势，这是由于微电网能量管理系统前期有较大概率采取随机动作，这也说明了微电网能量管理系统通过与环境的不断交互不断优化自身策略。将训练好的微电网能量管理系统用于建筑园区内微电网的实时调度，在考虑实时数据相较于日前数据有一定误差的情况下，随机采样获得实时调度的数据，如图9所示，其中虚线代表日前获得的数据。看出，由于实时调度数据和日前数据存在一定误差，这也会对建筑园区内微电网的能量的带来一定困难。
[0186]
将训练好的总体调度策略应用于选取的测试数据，图10-图13所示展示了建筑园区内微电网的实时调度具体情况。图10展示了实时调度时的建筑园区内微电网内部功率平衡情况，看出，通过不确定性优化，储能系统和可控发电机能够灵活调整，适应微电网中新能源发电的不确定性，达到微电网内部的功率平衡要求。由于建筑园区内微电网调度的目标之一是使得建筑园区内微电网能够满足其与外部能源市场达成的能量交易协议，而由于新能源发电的不确定性，将会导致交易电量产生偏差，图11反映了实际调度过程中的电能交易量与日前计划的对比，实时调度的交易量基本能够很好的贴合计划交易量，使得建筑园区内微电网受新能源发电的波动的影响减小，证明了两阶段调度方法的有效性。
[0187]
图12和图13反映了储能系统和可控发电机的实际动作情况。储能系统的动作逻辑需要从两个层面进行分析，一是追求经济效益，二是保证计划稳定性。看出在凌晨0:00至上午6:00的时间段里，电价较低，而在第二天上午9:00至下午14:00的时间范围内，电价较高。从整体趋势上来说，储能系统在电价较低时充电，在电价较高时放电，从而获得更高的经济收益。此外，由于实时调控阶段的调整，储能系统的动作还需要保证建筑园区内微电网的实时交易电量满足日前计划，这需要结合可控发电机的动作情况进行分析。图13中展示了预测值与实时值的误差变化情况，当新能源发电减少的时候，其值越大；当新能源发电增多的
时候，其值越小。在第一天下午18:00至22:00的时间范围内，出现了较大的功率波动情况且主要为内部功率不足，为了保证日前交易量，此时可控发电机发出电能以满足能量所需；同时储能系统也会通过调整充放电来满足需求，例如在第二天4:00至6:00的时间段，新能源发电出现过剩，此时为保证尽量不弃风、弃光，此时储能系统充入过剩电量，这也保证了与外部电力市场交易曲线的稳定性，同样的规律也反应在第二天下午1:00到2:00的时间范围内。总体来说，储能系统和可控发电机的动作逻辑基本达到了调度的需求。
[0188]
为进一步分析本技术所提算法的性能，将采用基于预测的规划方法与本技术算法进行对比。基于预测的规划方法利用预测信息进行调度，其调度效果受到预测精度的影响。表5给出了在测试数据下，两类算法的一天总成本情况。
[0189]
表5不同算法下建筑园区内微电网运行成本对比
[0190][0191]
可知，在数据误差增大情况下，系统成本逐渐增加。对于本技术的模型，系统成本不仅包括由日前规划确定的计划成本，还包括由不确定性带来的额外成本。本技术所提两阶段的算法有效减小系统的一天运行成本。
[0192]
为了进一步验证，通过日前数据生成考虑30％高斯误差的测试数据集，并从数据集中选取样例进行测试，给出了在考虑5组不同测试数据下的结果。如图14所示，从图14中看出，如果数据预测误差增大，建筑园区内微电网的总成本会增大。采用强化学习进行实时调控能够很好地适应新能源发电的不确定性，在不同测试数据下都能较好地控制系统成本。
[0193]
本技术基于建筑园区内微电网的应用场景，首先构建了含有多种可调度资源的用户模型，分析了参与电力市场的建筑园区内用户的能量管理模式。然后结合日前规划和实时调控的调度方法提出了建筑园区内用户考虑新能源发电误差情况下的两阶段能量管理方法。在日前规划阶段，用户参与电力市场获取经济收益；同时考虑实际用能情况，设计各类用电装置的不满意度函数；再设置交易惩罚用以避免用户追求效益而过量交易。
[0194]
针对以上内容设计建筑园区内微电网的多目标优化模型，获取未来一天内最优的需求侧响应策略，同时确定与上层能源市场的能量交易曲线。在实时调度阶段，以维持交易曲线稳定为目标，设计实时调度的时序决策问题，引入深度强化学习方法，求解储能系统和可控发电机的动作策略。最后，通过真实数据集的验证，所提两阶段方法能够实现有效的需求侧响应获取经济收益并通过强化学习能够减少可再生能源预测误差带来的交易惩罚，提升建筑园区内微电网在不确定环境下的能量管理的鲁棒性。
[0195]
以上仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种建筑园区内的微电网调控方法，其特征在于，包括步骤：步骤s1:基于建筑园区内微电网的应用场景，构建含有多种可调度资源的用户模型；步骤s2:设定日前规划模型，基于可再生能源的预测信息，确立建筑园区内微电网内部的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，获取建筑园区内微电网与电力市场的能量交易曲线；步骤s3:设定实时调控模型，基于可再生能源发电预测的偏差，以维持所述能量交易曲线的稳定为目标，获取储能系统以及可控发电机的实时动作策略，响应可再生能源预测与实际发电的偏差。2.根据权利要求1所述的建筑园区内的微电网调控方法，其特征在于，建筑园区内微电网中包含光伏发电装置、小型风力发电机、不可控负荷、可削减负荷、可转移负荷、电动汽车、储能系统和备用发电机。3.根据权利要求2所述的建筑园区内的微电网调控方法，其特征在于，可削减负荷是用户在使用过程中改变其功率的负荷，可削减负荷表示如下：户在使用过程中改变其功率的负荷，可削减负荷表示如下：上式中，表示可削减负荷的装置总数，p
icur
(t)表示在时刻t时可削减负荷的实际负荷量，表示可削减负荷的削减率，当为0时，表示在当前时刻，可削减负荷不发生变动，表示装置i要保证生活所需或维持正常工作状态。4.根据权利要求3所述的建筑园区内的微电网调控方法，其特征在于，可削减负荷维持在正常水平，通过下式定义可削减负荷的用户不满意度，用以衡量调控可削减负荷的成本，上式中，表示第i个电器的不满意度系数，若值越大。5.根据权利要求2所述的建筑园区内的微电网调控方法，其特征在于，可转移负荷指用户使用过程中可改变使用时间但不能改变使用功率的负荷，可转移负荷可表示如下：户使用过程中可改变使用时间但不能改变使用功率的负荷，可转移负荷可表示如下：户使用过程中可改变使用时间但不能改变使用功率的负荷，可转移负荷可表示如下：上式中，表示可转移负荷的装置总数，表示转移负荷在t时刻的负荷量，和表示可调度负荷k在时刻t允许的最小和最大运行功率，表示可调度负荷只在规定时间范围使用，其中u
k
表示可调度负荷k的连续使用时长，表明可调度负荷在使用时不能中断；对于可转移负荷，在可供使用的时间范围内，自时刻开始使用是达到最高用户满意度，往后延迟则会导致用户满意度降低，可转移负荷的用户不满意度由下式刻画：
上式中，表示第k个可转移负荷装置的不满意度函数的成本系数。6.根据权利要求2所述的建筑园区内的微电网调控方法，其特征在于，电动汽车通过调节充电时间来响应需求侧响应，在完成一个完整的充电周期后，将电动汽车完全充满电为最高满意度；电动汽车的不满意度用下式表示：f
ev
＝α
ev
[(soe-soe
max
)s
ev
]2+β
ev
[(soe-soe
max
)s
ev
],如上式所示，α
ev
和β
ev
分别表示表示不满意度依赖二次系数和一次系数，soe表示电动汽车的充电状态，s
ev
表示电动汽车充电容量。7.根据权利要求1所述的建筑园区内的微电网调控方法，其特征在于，建筑园区内微网日前规划建模为混合整数非线性规划问题，具体如下：minf
total
＝min(af
e
+bf
dis-sat
+cf
tran
)，f
dis-sat
＝∑f
cur
(t)δt+f
sh
+f
ev
，f
tran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2，在上述式子中，f
e
、f
dis-sat
、f
tran
分别表示用户用电成本、不满意度成本、不合理交易成本，a、b、c为表示不同类型成本的重要度系数，和表示微电网购电价格和售电价格，式f
tran
＝∑σ
tran
(p
buy
(t)-p
sell
(t)-p
gap
(t))2为建筑园区内微电网合理交易水平限制，用于减少储能的过量使用。8.根据权利要求7所述的建筑园区内的微电网调控方法，其特征在于，在通过日前规划制定建筑园区内微电网需求侧响应计划的过程中，设定运行限制，以满足建筑园区内微电网基本运行条件，运行限制包括：网基本运行条件，运行限制包括：网基本运行条件，运行限制包括：网基本运行条件，运行限制包括：p
e-ch
(t)
·
p
e-dis
(t)＝0,p
tev-max
≤p
ev
(t)≤p
tev-max
,,soc
min
≤soc(t)≤soc
max
,soe
min
≤soe(t)≤soe
max
,其中，p
wt
(t)、p
pv
(t)表示t时刻风力发电与光伏发电功率，表示负荷功率，包括可
削减负荷、可转移负荷、固定负荷和电动汽车充电功率，p
e-ch
(t)、p
e-dis
(t)代表储能系统充放电功率，根据式p
e-ch
(t)
·
p
e-dis
(t)＝0可知，储能系统不能同时充放电，p
ev
(t)表示电动汽车充电功率，式soc
min
≤soc(t)≤soc
max
和式soe
min
≤soe(t)≤soe
max
规定了储能系统和电动汽车的能量状态的变化范围。9.根据权利要求1所述的建筑园区内的微电网调控方法，其特征在于，实时调控模型包含的基本元素为环境观测状态s
t
，微电网能量管理系统输出动作a
t
，微电网能量管理系统获得的奖励r
t
，以及状态转移概率p，定义微电网经济调度问题的状态空间为s:s
t
∈s，动作空间为a:a
t
∈a，奖励空间为r:r
t
∈r，在t时刻，微电网能量管理系统获取到的环境状态包括可在生能源的供电功率、负荷功率、储能系统的荷电状态、电动汽车的充电情况、微电网购电价格，则状态空间表示如下：式中：p
twind
、p
tpv
和p
tload
表示风力发电机、光伏与不可控负荷的在t时刻的实时功率；soc
t
表示储能系统在t时刻的实时荷电状态；e
ev
(t)表示在调度时刻t，电动汽车的剩余充电容量，代表微电网从主电网的实时购电价格。10.根据权利要求9所述的建筑园区内的微电网调控方法，其特征在于，实时调控的动作空间设计为：a
t
＝[δp
ess
(t),p
dg
(t)],上式中，δp
ess
(t)表示储能系统的调整功率，p
dg
(t)表示可控发电机的发电功率，将强化学习形式下的奖励函数设计为建筑园区内微电网单步的负成本，可表示如下：r(t)＝-(c
dev
(t)+c
dg
(t))，c
dg
＝α
dg
[p
dg
(t)]2+β
dg
p
dg
(t)，在上述式子中,ξ表示偏差惩罚系数；α
dg
/β
dg
分别表示可控发电机的二次/一次成本系数，p
grid
(t)为实时的微电网与电网交易量，p
grid*
(t)为计划的交易量。

技术总结
本发明公开了一种建筑园区内的微电网调控方法；该方法包括基于建筑园区内微电网的应用场景，构建含有多种可调度资源的用户模型；设定日前规划模型，基于可再生能源的预测信息，确立建筑园区内微电网内部的可削减负荷的负荷曲线、可转移负荷的用能计划、电动汽车的充电时间规划、储能系统的初始充放电动作，获取建筑园区内微电网与电力市场的能量交易曲线；设定实时调控模型，基于可再生能源发电预测的偏差，以维持所述能量交易曲线的稳定为目标，获取储能系统以及可控发电机的实时动作策略，响应可再生能源预测与实际发电的偏差。使得该微电网能量管理系统能够实时响应的可再生能源变化，确保微电网负荷曲线的稳定性。确保微电网负荷曲线的稳定性。确保微电网负荷曲线的稳定性。


技术研发人员：朱敬 卢迪 徐国梁 吴瑜燕 陆萍 杨强
受保护的技术使用者：浙江大学
技术研发日：2023.06.27
技术公布日：2023/9/20