储能参与新型电力市场的自适应调频辅助服务方法

1.本发明涉及一种储能参与新型电力市场的自适应调频辅助服务方法，属于电力系统调频技术领域。


背景技术：

2.近年来以新能源为主的新型电力系统的建设正在不断加快中，但由于新能源的出力具有不确定性的问题，在大量并网后将加剧电力系统的频率不稳定。而储能系统调频性能具有速度快精度高的特性，能够快速的响应电力系统的调频需求，同时可以对可再生能源出力进行平滑控制，从源头降低波动性，满足可再生能源的并网需求，促进新能源的消纳，在电力市场中具有巨大发展潜力。
3.传统的电力系统调频为集中式调频，集中式调频是以调度中心为主体，调度中心下达调频辅助服务调节需求，各发电机组进行响应，通过控制发电机来响应系统频率的变化，以维持频率的稳定。
4.储能参与调频虽然有良好的调频性能指标，但是由于自身荷电状态特性即荷电状态特性的限制，由于某些储能机组荷电状态荷电状态达到充电最大值或者放电最小值造成储能此时只能参与单向调频，影响储能参与调频的整体效果和调频积极性。
5.上述问题是在储能参与新型电力市场的自适应调频辅助服务过程中应当予以考虑并解决的问题。


技术实现要素：

6.本发明的目的是提供一种储能参与新型电力市场的自适应调频辅助服务方法解决现有技术中存在的储能机组由于自身荷电状态特性的限制，电力市场上难以充分发挥调频效果，且调频收益有待提高的问题。
7.本发明的技术解决方案是：
8.一种储能参与新型电力市场的自适应调频辅助服务方法，包括以下步骤，
9.s1、建立储能调频荷电状态自适应策略，并基于储能调频荷电状态自适应策略确定储能调频评估指标；
10.s2、基于储能调频荷电状态自适应策略并考虑储能电站运行的收益和成本，建立储能参与市场时自身收益最大化决策模型，作为上层储能电站决策模型；
11.s3、基于调频评估指标，建立储能和火电参与下的市场联合交易出清模型，作为建立下层市场联合交易出清模型；
12.s4、利用卡罗需-库恩-塔克条件即kkt条件和对偶理论，将双层模型包括步骤s2得到的上层储能电站决策模型和步骤s3得到的下层市场联合交易出清模型，转化为单层模型；
13.s5、基于乐观搜索的双延迟深度确定性梯度算法即乐观搜索的td3-oe算法求解单层模型，得到最佳的调频策略和收益结果。
14.进一步地，步骤s1中，建立储能调频荷电状态自适应策略，并基于储能调频荷电状态自适应策略确定储能调频评估指标，具体为，
15.s11、改进的火电储能联合系统积差调频方程式为：
16.(αk+1)δf+r(δp
ref
+α∫kδfdt)＝0
17.其中，δf为系统频率变化量，t为时刻，δp
ref
为发电功率值，r为调差系数，α为市场经济参与因子，k为功率频率换算系数。
18.s12、根据改进的火电储能联合系统积差调频方程式和储能三种荷电状态状态提出储能调频荷电状态自适应策略；
19.s13、基于储能调频荷电状态自适应策略确定储能调频评估指标，包括调节速率、响应时间和调节精度。
20.进一步地，步骤s12中，根据改进的系统积差调频方程式和储能三种荷电状态状态提出储能调频荷电状态自适应策略，具体为，
21.s121、当储能荷电状态soc处于正常区间soc
down
≤soc≤soc
up
时，此时储能作为基本调频资源，根据容量大小和系统中标量分配调频需求，正常充放电完成调频任务，储能调频荷电状态自适应策略为：
22.调频指令为上调频：
23.调频指令为下调频：
24.其中，soc
down
为储能荷电状态soc放电最小状态，soc
up
为储能荷电状态soc充电最大状态，p
ref,b
为agc指令的下发的功率，p
chpmax,b
、p
dismax,b
分别为储能机组最大充电功率和放电功率，δp
max,g
为火电机组最大调节容量；
25.s122、当储能荷电状态soc处于0≤soc＜soc
down
时，储能此时禁止放电，只允许充电，储能调频荷电状态自适应策略为：
[0026][0027]
s123、当储能荷电状态soc处于soc
up
＜soc≤1时，储能此时禁止充电，只允许放电，储能调频荷电状态自适应策略为：
[0028][0029]
其中，soc
up
为储能荷电状态soc最大可充电状态。
[0030]
进一步地，步骤s13中，基于储能调频荷电状态自适应策略确定储能调频评估指标，包括调节速率、响应时间和调节精度，具体为，
[0031]
s131、基于储能调频荷电状态自适应策略确定储能调频评估指标：
[0032]
kd＝ω1k1+ω2k2+ω3k3[0033]
其中，kd为储能调频性能评估指标，k1、k2、k3分别为响应时间、调节速率、调节精度，ω1、ω2、ω3分别为调频资源3个调频性能指标的权重系数；
[0034]
s132、调节速率k1指发电单元响应自动发电控制指令即agc控制指令的相对速率，
计算公式为：
[0035]
k1＝vs/v
p
[0036]
其中，vs为储能单元响应agc指令的实际速率，其中，p
m,b
(a)、p
m,b
(b)分别为储能调节过程中开始时和结束时的发电量，ta和tb分别为调频过程对应的开始和结束的时间，v
p
为储能资源中各个储能单元的agc发电机组平均标准调节速率；
[0037]
s133、响应时间k2指发电单元响应agc指令的时间延迟，计算公式为：
[0038][0039]
其中，tr为储能单元在调度周期内响应agc指令的时延，ta和tb分别为储能单元在调度周期内响应agc指令的起始时间和结束时间；
[0040]
s134、调节精度k3指发电单元响应agc指令的精准度，计算公式为：
[0041][0042]
其中，p
ref,b
为agc指令的下发的功率，p
m,b
为储能单元实发的功率，|p
ref,b-p
m,b
|指储能发电单元响应agc指令后实际出力值与控制指令值的偏差，δpn为发电单元调节允许误差。
[0043]
进一步地，步骤s2中，建立储能参与市场时自身收益最大化决策模型，具体为，
[0044]
建立储能参与市场时自身收益最大化决策模型的目标函数为：
[0045][0046]
其中，f
ess
为储能电站收益，t为时刻，t为24小时，wn为决策变量，ng为火电机组个数，n
ess
为储能电站的数量；为t时段储能电站m在电能量市场中标时的放电功率和充电功率；分别为t时段调频市场中标时的调频容量和调频里程；λ
m,t
、分别为电价、调整后的调频容量出清价格和调频里程出清价格，由联合市场出清求得，c
s,w
和c
o,w
分别是储能电站的置换成本和运行成本：
[0047][0048][0049]
其中，cs和co分别为单位功率运行成本和单位容量置换成本价格；en为储能的等额定容量，q
m,t
为储能t时刻的循环次数，q
m,max
为储能电池的循环寿命；
[0050]
储能电站的竞价策略λ
m,t
根据储能的三种状态下的调频策略确定为：
[0051]
[0052]
其中，λ
c,1
、λ
c,2
、λ
c,3
分别为储能电站三种自适应调频策略下不同的购电价格，λ
d,1
、λ
d,2
、λ
d,3
分别为储能电站三种自适应调频策略下不同的售电价格。
[0053]
进一步地，储能参与市场时自身收益最大化决策模型中，储能电站约束包括储能充放电功率约束、储能荷电状态荷电状态约束、储能申报容量约束和储能报价约束，具体为，
[0054]
储能充放电约束：
[0055][0056]
其中，分别为t时刻储能电站n在电能量市场中申报的放电功率和充电功率；分别为储能电站m的最大放电功率和最大充电功率；分别为储能电站m的最大放电功率和最大充电功率；为0-1变量，分别表示储能电站m在t时刻的放电、充电状态；
[0057]
储能荷电状态荷电状态约束：
[0058][0059]
其中，分别表示储能电站m所允许的最大、最小容量以及其在t时段的剩余容量；分别表示储能电站m的充电和放电效率；
[0060]
储能申报容量约束为：
[0061][0062]
其中，分别表示t时刻储能电站m申报的调频容量和调频里程；为储能电站m的最大调频容量；λ
ess,m
为储能电站m的调频里程乘子；
[0063]
储能报价约束为：
[0064][0065]
其中，分别为t时刻储能电站m申报的充放电价格、调频容量价格和调频里程价格；分别为储能电站m在电能量市场以及调频市场中的上限。
[0066]
进一步地，步骤s3中，建立储能和火电参与下的市场联合交易出清模型，具体为，
[0067]
s31、根据储能自适应调整策略建立储能参与调频时的报价函数调整策略为：
[0068][0069][0070]
其中，和分别为t时刻储能机组m申报调频容量价格和调频里程价格，和分别为考虑储能调频评估指标调整后t时刻储能机组m申报调频容量价格和调频里程价格，r
mil
为系统历史历程，即系统内所有调频机组1个月内每小时实际里程的平均值，gd表示归一化之后的综合调频性能指标：
[0071]
其中，kd为储能调频性能评估指标，k
max
为所有发电单元的综合调频性能指标中最大值；
[0072]
s32、建立储能和火电参与下的市场联合交易出清模型：
[0073][0074][0075]
其中，wd为下层模型的决策变量，ng为常规机组；p
s,t
分别为t时刻机组s在电能量市场中标的电量，分别为在调频辅助服务市场的调频容量和调频里程的中标量；φ
s,t
、分别为t时刻机组s申报的发电价格、调频容量价格和调频里程价格；和分别为t时段储能机组m机组放电报价价格和充电报价价格，和分别为t时段储能电站m在电能量市场中标时的放电功率和充电功率，和分别为t时刻储能机组m在调频辅助服务市场的调频容量和调频里程的中标量。
[0076]
进一步地，步骤s32中，储能和火电参与下的市场联合交易出清模型的约束包括电网运行约束、调频容量与里程约束、报价约束、常规机组申报量约束和光伏出力约束，具体为，
[0077]
电网运行约束：
[0078][0079][0080]
θn＝1,n＝1
[0081]
其中，为火电机组的功率，为节点n在t时刻的负荷，ψg(n)、ψ
ess
(n)、ψd(n)表示分别位于节点n上的常规机组、储能电站和电力负荷的集合；ψ(n)表示与节点n相连的支路；表示节点n在t时刻的负荷；b
nq
表示节点n和q之间的线路导纳；θ
n,t
和θ
q,t
分别表示t时刻节点n、q的相角；l
l
表示线路l的传输容量极限；
[0082]
调频容量与里程约束：
[0083][0084][0085]
其中，分别表示系统的调频容量需求和调频里程需求；
[0086]
报价约束：
[0087][0088][0089]
其中，φ
max
为储能在电能量市场上允许上报的最高价格，设置报价约束来防止市场上出现恶意报价；
[0090]
常规机组申报量约束：
[0091][0092][0093]
其中，分别为常规机组发电功率的最大值、最小值，为常规机组提供的调频容量的最大值；
[0094]
光伏出力约束：
[0095]
0≤p
tpv
≤p
pv,max
[0096]
其中，p
tpv
为光伏电站发电功率，p
pv,max
为光伏输出功率上限。
[0097]
进一步地，步骤s4中，转化为单层模型：
[0098][0099]
其中，ng为火电机组个数，l
l
为线路l的传输容量极限，为节点相角的对偶乘子；为火电机组s出力的上下限，为其对偶乘子；分别为申报的调频容量和调频里程，分别为调频容量和调频里程的对偶乘子，为节点n在t时刻的负荷，分别为调整后的调频容量出清价格和调频里程出清价格，λ
n,t
为节点n在t时刻的负荷的对偶乘子。
[0100]
进一步地，步骤s5中，基于乐观搜索的td3-oe算法求解单层模型，得到最佳的调频策略和收益结果，具体为，
[0101]
s51、初始化critic训练网络cx1、cx2和actor训练网络π
θ
的随机参数w1，w2，θ；初始化critic目标网络cm1、cm2参数：w1'
←
w1，w'2←
w2，θ'
←
θ；初始化超参数：k，δ，χ；初始化经验池ξ；设定最大循环次数，令循环次数z＝1；
[0102]
s52、通过探索策略选择动作：a＝πe(s)，由于新能源出力的不确定性，随机生成x个新能源出力与负荷预测的不确定性学习样本集，当智能体即agent代理与环境交互时，将多元组(s,a,r,s')保存在经验池ξ中，其中，s为当前的状态包括储能机组的申报容量、里程和价格，a为动作，r为奖励，s'为下一个状态，经验池缓存中抽样(s,a,r,s')
←
ξ，进行网络训练；
[0103]
s53、通过actor目标策略网络获取状态s'下的动作：
[0104][0105]
其中，π
θ'
为下一个状态的目标策略网络，ε为噪声扰动，clip(n(0,σ),-c,c)为高斯分布，σ为标准差，c为高斯分布范围；
[0106]
s54、通过critic目标网络cm1、cm2获得s’，下得到当前状态的最小化目标q值函数y1和下一个状态的最小化目标q值函数y2：
[0107][0108][0109]
其中，r
t
为t时刻的奖励，分别为下一个状态两个q值目标函数，γ为折扣因子，为critic目标网络cm1的目标策略网络，为critic目标网络cm2的目标策略网络；
[0110]
并计算目标值y：
[0111][0112]
其中，r
t
为t时刻的奖励，折扣率，为下一个状态的目标q值函数，s
t+1
下一个状态，为下一个状态的动作；
[0113]
s55、根据下式的拟合函数获得目标q值函数的近似置信上界
[0114][0115]
其中，μq为q值函数的平均值，k标准差温度参数，σq为q值函数的瓦瑟斯坦散度约束参数；
[0116]
s56、通过两个目标q值函数得到下界函数q'
lb
，与训练网络的q值函数计算用于衡量当前状态和预期状态的差异的时间差误差td_error，并更新critic训练网络cx1、cx2参数wi：
[0117][0118]
td_error＝r
t-γπ
θ
(s')-π
θ
(s)
[0119][0120]
其中，n为高斯分布，为目标q值函数；
[0121]
s57、根据下式更新探索策略πe：
[0122][0123]
其中，π
t
为目标策略，σ为标准差，为动作梯度，ε～ν(0,σ)为探索噪声；
[0124]
s58、通过策略梯度更新actor训练网络参数，与目标q值函数的置信上界函数共同得到智能体的探索策略，智能体利用探索策略与环境进行交互：
[0125][0126]
其中，为critic训练网络cx1、cx2的梯度，j(θ)为目标函数，为q值函数，为动作梯度，为策略梯度，π
θ
(s)为actor训练网络；
[0127]
s59、通过“软更新”方式更新critic目标网络cm1、cm2的参数w'i、θ'，并且更新经验池中的下一个状态s'包括储能机组的申报容量、里程和价格，进而得出储能调频策略和市场收益：
[0128]
w'i←
ξwi+(1-ξ)w'i[0129]
θ'
←
ξθ+(1-ξ)θ'
[0130]
其中，w'i为更新后的网络参数，wi为初始随机参数，θ'为更新后的网络参数，θ为初始随机参数，ξ为软更新参数；
[0131]
s510、奖励r
t
：其中，a
t
为t时刻的动作，s
t
为t时刻的状态；在奖励r
t
未达到收敛时，返回步骤s54；奖励r
t
收敛时，使得q值函数达到全局最优值，进入下一步骤s511；
[0132]
s511、在循环次数z≤最大循环次数z时，z＝z+1，返回步骤s2；在循环次数z＞最大循环次数z时，结束循环，得到最佳的调频策略和收益结果。
[0133]
本发明的有益效果是：该种储能参与新型电力市场的自适应调频辅助服务方法，与现有技术相比，通过将储能分布式调频和考虑自适应调整策略有效结合，能够在完成调度中心发布的调频任务的同时，储能机组能够考虑自适应调整策略自主参与调频，能够有效提高机组调频效果，能够有效发挥机组的调频性能，能够提高调频收益并降低市场成本。
附图说明
[0134]
图1是本发明实施例储能参与新型电力市场的自适应调频辅助服务方法的流程示意图；
[0135]
图2是实施例中td3-oe算法的说明示意图；
[0136]
图3是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中各机组电能量市场中标电量的对比示意图，其中，(a)是未考虑储能调频自适应策略时联合市场中各机组电能量市场中标电量的示意图，(b)是实施例方法考虑储能调频自适应策略后联合市场中各机组电能量市场中标电量的示意图；
[0137]
图4是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中调频容量中标量的对比示意图，其中，(a)是未考虑储能调频自
适应策略时联合市场中调频容量中标量的示意图，(b)是实施例方法考虑储能调频自适应策略的联合市场中调频容量中标量的示意图；
[0138]
图5是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中调频里程中标量的对比示意图，其中，(a)是未考虑储能调频自适应策略时联合市场中调频里程中标量的示意图，(b)是实施例方法考虑储能调频自适应策略的联合市场中调频里程中标量的示意图；
[0139]
图6是实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的调频容量出清价格对比示意图；
[0140]
图7是实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的调频里程出清价格对比示意图；
[0141]
图8是实施例实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的储能机组成本变化对比示意图。
具体实施方式
[0142]
下面结合附图详细说明本发明的优选实施例。
[0143]
实施例
[0144]
一种储能参与新型电力市场的自适应调频辅助服务方法，如图1，包括以下步骤，
[0145]
s1、建立储能调频荷电状态自适应策略，并基于储能调频荷电状态自适应策略确定储能调频评估指标；
[0146]
s11、改进的火电储能联合系统积差调频方程式为：
[0147]
(αk+1)δf+r(δp
ref
+α∫kδfdt)＝0
[0148]
其中，δf为系统频率变化量，t为时刻，δp
ref
为发电功率值，r为调差系数，α为市场经济参与因子，k为功率频率换算系数。
[0149]
s12、根据改进的火电储能联合系统积差调频方程式和储能三种荷电状态状态提出储能调频荷电状态自适应策略；
[0150]
s121、当储能荷电状态soc处于正常区间soc
down
≤soc≤soc
up
时，此时储能作为基本调频资源，根据容量大小和系统中标量分配调频需求，正常充放电完成调频任务，储能调频荷电状态自适应策略为：
[0151]
调频指令为上调频：
[0152]
调频指令为下调频：
[0153]
其中，soc
down
为储能荷电状态soc放电最小状态，soc
up
为储能荷电状态soc充电最大状态，p
ref,b
为agc指令的下发的功率，p
chpmax,b
、p
dismax,b
分别为储能机组最大充电功率和放电功率，δp
max,g
为火电机组最大调节容量；
[0154]
s122、当储能荷电状态soc处于0≤soc＜soc
down
时，此时储能已经不能长时间参与下调频，为保持储能良好调频性能，需要把储能荷电状态soc恢复到正常区间，为下一阶段参与调频任务做好准备，储能此时禁止放电，只允许充电，储能调频荷电状态自适应策略
为：
[0155][0156]
s123、当储能荷电状态soc处于soc
up
＜soc≤1时，此时储能不能再长时间参与上调频，为保持储能良好调频性能，需要把储能荷电状态soc恢复到正常区间，为下一阶段参与调频任务做好准备，储能此时禁止充电，只允许放电，储能调频荷电状态自适应策略为：
[0157][0158]
其中，soc
up
为储能荷电状态soc最大可充电状态。
[0159]
s13、基于储能调频荷电状态自适应策略确定储能调频评估指标，包括调节速率、响应时间和调节精度。
[0160]
s131、基于储能调频荷电状态自适应策略确定储能调频评估指标：
[0161]
kd＝ω1k1+ω2k2+ω3k3[0162]
其中，kd为储能调频性能评估指标，k1、k2、k3分别为响应时间、调节速率、调节精度，ω1、ω2、ω3分别为调频资源3个调频性能指标的权重系数；
[0163]
s132、调节速率k1指发电单元响应自动发电控制指令即agc控制指令的相对速率，计算公式为：
[0164]
k1＝vs/v
p
[0165]
其中，vs为储能单元响应agc指令的实际速率，其中，p
m,b
(a)、p
m,b
(b)分别为储能调节过程中开始时和结束时的发电量，ta和tb分别为调频过程对应的开始和结束的时间，v
p
为储能资源中各个储能单元的agc发电机组平均标准调节速率；
[0166]
s133、响应时间k2指发电单元响应agc指令的时间延迟，计算公式为：
[0167][0168]
其中，tr为储能单元在调度周期内响应agc指令的时延，ta和tb分别为储能单元在调度周期内响应agc指令的起始时间和结束时间；
[0169]
s134、调节精度k3指发电单元响应agc指令的精准度，计算公式为：
[0170][0171]
其中，p
ref,b
为agc指令的下发的功率，p
m,b
为储能单元实发的功率，|p
ref,b-p
m,b
|指储能发电单元响应agc指令后实际出力值与控制指令值的偏差，δpn为发电单元调节允许误差。
[0172]
步骤s1中，储能参与电网调频的能力受储能自身荷电状态状态和容量的限制，参与调频时长时间的充(放)电极易造成电池电量的蓄满(耗尽)，致使储能在只能进行单向的上下调频，储能的调频能力受到很大影响，在电力市场上的中标量也会减少，最终导致储能电站的非经济运行。因此对储能单元进行统一管理，保证储能单元参与调频一致性的同时对储能荷电状态状态进行调控，最大化的保持储能参与调频的能力，提供储能在调频市场
的中标量，保证储能电站的经济性运行。
[0173]
s2、基于储能调频荷电状态自适应策略并考虑储能电站运行的收益和成本，建立储能参与市场时自身收益最大化决策模型，作为上层储能电站决策模型；
[0174]
步骤s2中，建立储能参与市场时自身收益最大化决策模型，具体为，
[0175]
建立储能参与市场时自身收益最大化决策模型的目标函数为：
[0176][0177]
其中，f
ess
为储能电站收益，t为时刻，t为24小时，wn为决策变量，ng为火电机组个数，n
ess
为储能电站的数量；为t时段储能电站m在电能量市场中标时的放电功率和充电功率；分别为t时段调频市场中标时的调频容量和调频里程；λ
m,t
、分别为电价、调整后的调频容量出清价格和调频里程出清价格，由联合市场出清求得，c
s,w
和c
o,w
分别是储能电站的置换成本和运行成本：
[0178][0179][0180]
其中，cs和co分别为单位功率运行成本和单位容量置换成本价格；en为储能的等额定容量，q
m,t
为储能t时刻的循环次数，q
m,max
为储能电池的循环寿命；
[0181]
储能电站的竞价策略λ
m,t
根据储能的三种状态下的调频策略确定为：
[0182][0183]
其中，λ
c,1
、λ
c,2
、λ
c,3
分别为储能电站三种自适应调频策略下不同的购电价格，λ
d,1
、λ
d,2
、λ
d,3
分别为储能电站三种自适应调频策略下不同的售电价格。
[0184]
储能参与市场时自身收益最大化决策模型中，储能电站约束包括储能充放电功率约束、储能荷电状态荷电状态约束、储能申报容量约束和储能报价约束，具体为，
[0185]
储能充放电约束：
[0186][0187]
其中，分别为t时刻储能电站n在电能量市场中申报的放电功率和充电功率；分别为储能电站m的最大放电功率和最大充电功率；为0-1变量，分别表示储能电站m在t时刻的放电、充电状态；
[0188]
储能荷电状态荷电状态约束：
[0189][0190]
其中，分别表示储能电站m所允许的最大、最小容量以及其在t时段的剩余容量；分别表示储能电站m的充电和放电效率；
[0191]
储能申报容量约束为：
[0192][0193]
其中，分别表示t时刻储能电站m申报的调频容量和调频里程；为储能电站m的最大调频容量；λ
ess,m
为储能电站m的调频里程乘子；
[0194]
储能报价约束为：
[0195][0196]
其中，分别为t时刻储能电站m申报的充放电价格、调频容量价格和调频里程价格；分别为储能电站m在电能量市场以及调频市场中的上限。
[0197]
步骤s2中，储能电站的收益主要由电能量市场和调频市场两部分组成，而储能电站在两个市场的报价策略与自身运行特性相关。
[0198]
s3、基于调频评估指标，建立储能和火电参与下的市场联合交易出清模型，作为建立下层市场联合交易出清模型；
[0199]
步骤s3中，建立储能和火电参与下的市场联合交易出清模型，具体为，
[0200]
s31、根据储能自适应调整策略建立储能参与调频时的报价函数调整策略为：
[0201][0202][0203]
其中，和分别为t时刻储能机组m申报调频容量价格和调频里程价格，和分别为考虑储能调频评估指标调整后t时刻储能机组m申报调频容量价格和调频里程价格，r
mil
为系统历史历程，即系统内所有调频机组1个月内每小时实际里程的平均值，gd表示归一化之后的综合调频性能指标：
[0204][0205]
其中，kd为储能调频性能评估指标，k
max
为所有发电单元的综合调频性能指标中最大值；
[0206]
s32、建立储能和火电参与下的市场联合交易出清模型：
[0207][0208][0209]
其中，wd为下层模型的决策变量，ng为常规机组；p
s,t
分别为t时刻机组s在电能量市场中标的电量，分别为在调频辅助服务市场的调频容量和调频里程的中标量；φ
s,t
、和分别为t时刻机组s申报的发电价格、调频容量价格和调频里程价格；和分别为t时段储能机组m机组放电报价价格和充电报价价格，和分别为t时段储能电站m在电能量市场中标时的放电功率和充电功率，和分别为t时刻储能机组m在调频辅助服务市场的调频容量和调频里程的中标量。
[0210]
储能和火电参与下的市场联合交易出清模型的约束包括电网运行约束、调频容量与里程约束、报价约束、常规机组申报量约束和光伏出力约束，具体为，
[0211]
电网运行约束：
[0212][0213][0214]
θn＝1,n＝1
[0215]
其中，为火电机组的功率，为节点n在t时刻的负荷，ψg(n)、ψ
ess
(n)、ψd(n)表示分别位于节点n上的常规机组、储能电站和电力负荷的集合；ψ(n)表示与节点n相连的支路；表示节点n在t时刻的负荷；b
nq
表示节点n和q之间的线路导纳；θ
n,t
和θ
q,t
分别表示t时刻节点n、q的相角；l
l
表示线路l的传输容量极限；
[0216]
调频容量与里程约束：
[0217][0218][0219]
其中，分别表示系统的调频容量需求和调频里程需求；
[0220]
报价约束：
[0221][0222]
其中，φ
max
为储能在电能量市场上允许上报的最高价格，设置报价约束来防止市场上出现恶意报价；
[0223]
常规机组申报量约束：
[0224][0225][0226]
其中，分别为常规机组发电功率的最大值、最小值，为常规机组提供的调频容量的最大值；
[0227]
光伏出力约束：
[0228]
0≤p
tpv
≤p
pv,max
[0229]
其中，p
tpv
为光伏电站功率，p
pv,max
为光伏输出功率上限。
[0230]
s4、利用卡罗需-库恩-塔克条件即kkt条件和对偶理论，将双层模型包括步骤s2得到的上层储能电站决策模型和步骤s3得到的下层市场联合交易出清模型，转化为单层模型；
[0231]
步骤s4中，转化为单层模型：
[0232][0233]
其中，ng为火电机组个数，l
l
为线路l的传输容量极限，为节点相角的对偶乘子；为火电机组s出力的上下限，为其对偶乘子；分别为申报的调频容量和调频里程，分别为调频容量和调频里程的对偶乘子，为节点n在t时刻的负荷，λ
tcap
、λ
tmil
分别为调整后的调频容量出清价格和调频里程出清价格，λ
n,t
为节点n在t时刻的负荷的对偶乘子。
[0234]
步骤s4中，利用kkt条件对偶理论求解模型获取储能自身收益和市场联合出清收益。上层储能决策模型与下层市场出清模型具有各自的目标函数和约束条件，且具有非线性和非凸性。其中，下层问题的求解结果及约束条件对上层问题的求解也是1种约束，可以采用kkt条件和对偶理论将其替换成上层问题的约束条件，并将双层模型等价转化为一个单层的优化模型。基于kkt条件将下层模型转化为上层模型的附加约束，转化后得到单层模型。
[0235]
将下层模型转化为上层优化问题的约束条件，将双层模型转化为1个混合整数线性规划问题，单层模型如下：
[0236][0237]
其中，l
l
为线路l的传输容量极限，为节点相角的对偶乘子；为节点相角的对偶乘子；为火电机组s出力的上下限，为其对偶乘子；分别为申报的调频容量和调频里程，分别为其调频容量和调频里程的对偶乘子，为节点n在t时刻的负荷，λ
n,t
为其对偶乘子。
[0238]
s5、基于乐观搜索的td3-oe算法求解单层模型，得到最佳的调频策略和收益结果。如图2，具体为，
[0239]
s51、初始化critic训练网络cx1、cx2和actor训练网络π
θ
的随机参数w1，w2，θ；初始化critic目标网络cm1、cm2参数：w1'
←
w1，w'2←
w2，θ'
←
θ；初始化超参数：k，δ，χ；初始化经验池ξ；设定最大循环次数，令循环次数z＝1；
[0240]
s52、通过探索策略选择动作：a＝πe(s)，由于新能源出力的不确定性，随机生成x个新能源出力与负荷预测的不确定性学习样本集，当智能体即agent代理与环境交互时，将多元组(s,a,r,s')保存在经验池ξ中，其中，s为当前的状态包括储能机组的申报容量、里程和价格，a为动作，r为奖励，s'为下一个状态，经验池缓存中抽样(s,a,r,s')
←
ξ，进行网络训练；
[0241]
s53、通过actor目标策略网络获取状态s'下的动作：
[0242][0243]
其中，π
θ'
为下一个状态的目标策略网络，ε为噪声扰动，clip(n(0,σ),-c,c)为高斯分布，σ为标准差，c为高斯分布范围；
[0244]
s54、通过critic目标网络cm1、cm2获得s’，下得到当前状态的最小化目标q值函数y1和下一个状态的最小化目标q值函数y2：
[0245][0246][0247]
其中，r
t
为t时刻的奖励，分别为下一个状态两个q值目标函数，γ为折扣因子，为critic目标网络cm1的目标策略网络，为critic目标网络cm2的目标策略网络；
[0248]
并计算目标值y：
[0249][0250]
其中，r
t
为t时刻的奖励，折扣率，为下一个状态的目标q值函数，s
t+1
下一个状态，为下一个状态的动作；
[0251]
s55、根据下式的拟合函数获得目标q值函数的近似置信上界
[0252][0253]
其中，μq为q值函数的平均值，k标准差温度参数，σq为q值函数的瓦瑟斯坦散度约束参数；
[0254]
s56、通过两个目标q值函数得到下界函数q'
lb
，与训练网络的q值函数计算用于衡量当前状态和预期状态的差异的时间差误差td_error，并更新critic训练网络cx1、cx2参数wi：
[0255][0256]
td_error＝r
t-γπ
θ
(s')-π
θ
(s)
[0257][0258]
其中，n为高斯分布，为目标q值函数；
[0259]
s57、根据下式更新探索策略πe：
[0260][0261]
其中，π
t
为目标策略，σ为标准差，为动作梯度，ε～ν(0,σ)为探索噪声；
[0262]
s58、通过策略梯度更新actor训练网络参数，与目标q值函数的置信上界函数共同得到智能体的探索策略，智能体利用探索策略与环境进行交互：
[0263][0264]
其中，为critic训练网络cx1、cx2的梯度，j(θ)为目标函数，为q值函数，为动作梯度，为策略梯度，π
θ
(s)为actor训练网络；
[0265]
s59、通过“软更新”方式更新critic目标网络cm1、cm2的参数w'iθ'，并且更新经验池中的下一个状态s'包括储能机组的申报容量、里程和价格，进而得出储能调频策略和市场收益：
[0266]
w'i←
ξwi+(1-ξ)w'i[0267]
θ'
←
ξθ+(1-ξ)θ'
[0268]
其中，w'i为更新后的网络参数，wi为初始随机参数，θ'为更新后的网络参数，θ为初始随机参数，ξ为软更新参数；
[0269]
s510、奖励r
t
：其中，a
t
为t时刻的动作，s
t
为t时刻的状态；在奖励r
t
未达到收敛时，返回步骤s54；奖励r
t
收敛时，使得q值函数达到全局最优值，进入下一步骤s511；
[0270]
s511、在循环次数z≤最大循环次数z时，z＝z+1，返回步骤s2；在循环次数z＞最大循环次数z时，结束循环，得到最佳的调频策略和收益结果。
[0271]
步骤s5中，基于乐观搜索的td3-oe算法求解模型：根据建立改进的积差调频方程式和转化单层模型，利用td3-oe算法进行训练优化，得出最佳的调频策略和收益结果。
[0272]
该种储能参与新型电力市场的自适应调频辅助服务方法，与现有技术相比，通过将储能分布式调频和考虑自适应调整策略有效结合，能够在完成调度中心发布的调频任务的同时，储能机组能够考虑自适应调整策略自主参与调频，能够有效提高储能机组调频效果，能够有效发挥储能机组的调频性能，能够提高调频收益并降低市场成本。该方法解决了电力市场上储能机组难以充分发挥调频效果和市场经济性的问题。
[0273]
实施例的该种储能参与新型电力市场的自适应调频辅助服务方法进行实验验证如下：
[0274]
对实施例的火电机组与储能机组分别确定申报参数如表1和表2：
[0275]
表1火电机组申报参数
[0276][0277][0278]
表2储能机组申报参数
[0279][0280]
图3是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中各机组电能量市场中标电量的对比示意图，其中，(a)是未考虑储能调频自适应策略时联合市场中各机组电能量市场中标电量的示意图，(b)是实施例方法考虑储能调频自适应策略后联合市场中各机组电能量市场中标电量的示意图。图3中，e1-e4分别表示储能电站，g1-g10分别表示火电机组。
[0281]
由图3的(a)和(b)可以看出，火电机组在电能量市场上占了绝大部分中标量，由于储能自身的投资成本决定了储能在电能量市场上报价很高时才能获取收益，在电能量市场上竞价并没有优势，因此很难在电能量市场上中标，图3的(a)和(b)表明了储能电站在电能
量市场考虑储能调频自适应策略后效果并不理想，储能靠电能量市场回收收益还需要政策补贴成本或者开发出新一代电池。
[0282]
图4是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中调频容量中标量的对比示意图，其中，(a)是未考虑储能调频自适应策略时联合市场中调频容量中标量的示意图，(b)是实施例方法考虑储能调频自适应策略的联合市场中调频容量中标量的示意图。图4中，e1-e4分别表示储能电站，g1-g10分别表示火电机组。
[0283]
图5是实施例储能参与新型电力市场的自适应调频辅助服务方法与未考虑储能调频自适应策略的联合市场中调频里程中标量的对比示意图，其中，(a)是未考虑储能调频自适应策略时联合市场中调频里程中标量的示意图，(b)是实施例方法考虑储能调频自适应策略的联合市场中调频里程中标量的示意图；图5中，e1-e4分别表示储能电站，g1-g10分别表示火电机组。
[0284]
由图4的(a)和图5的(a)可以看出，在未考虑自适应调策略时，由于储能电站e1、e2、e3良好的性能指标，三台储能机组的调频里程和容量报价相对较低，因此三台机组几乎承担了所有的调频任务，而e4由于较高的报价，因此并未获得中标。相于火电机组，储能机组具有更好的调频性能指标以及更低的报价，因此在调频辅助服务市场上会优先中标。
[0285]
由图4的(b)和图5的(b)可以看出，在考虑了储能自适应调整策略后，两台储能机组e1、e2由于自身的性能优势以及价格优势，储能机组e1、e2在全时段均能达到满发，而e3价格相对较高，因此在负荷量加大时也能够中标，储能机组e4由于报价较高，因此，图4的(b)中储能机组e4中标量很少，图5的(b)中储能机组e4并未中标。
[0286]
由图4与图5可以看出，在考虑储能调频自适应策略后储能机组在调频辅助服务市场上中标的容量和里程得到大幅度提升。
[0287]
图6是实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的调频容量出清价格对比示意图。由图6可以看出，实施例的该种储能参与新型电力市场的自适应调频辅助服务方法，调频容量出清价格得以有效降低。
[0288]
图7是实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的调频里程出清价格对比示意图。由图7可以看出，实施例的该种储能参与新型电力市场的自适应调频辅助服务方法，调频里程出清价格大幅降低。
[0289]
图8是实施例实施例储能参与新型电力市场的自适应调频辅助服务方法应用于场景二与未考虑本发明中储能调频自适应策略的场景一的储能机组成本变化对比示意图。由图8可以看出，实施例的该种储能参与新型电力市场的自适应调频辅助服务方法，能够降低成本。
[0290]
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：包括以下步骤，s1、建立储能调频荷电状态自适应策略，并基于储能调频荷电状态自适应策略确定储能调频评估指标；s2、基于储能调频荷电状态自适应策略并考虑储能电站运行的收益和成本，建立储能参与市场时自身收益最大化决策模型，作为上层储能电站决策模型；s3、基于调频评估指标，建立储能和火电参与下的市场联合交易出清模型，作为建立下层市场联合交易出清模型；s4、利用卡罗需-库恩-塔克条件即kkt条件和对偶理论，将双层模型包括步骤s2得到的上层储能电站决策模型和步骤s3得到的下层市场联合交易出清模型，转化为单层模型；s5、基于乐观搜索的双延迟深度确定性梯度算法即乐观搜索的td3-oe算法求解单层模型，得到最佳的调频策略和收益结果。2.如权利要求1所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s1中，建立储能调频荷电状态自适应策略，并基于储能调频荷电状态自适应策略确定储能调频评估指标，具体为，s11、改进的火电储能联合系统积差调频方程式为：(αk+1)δf+r(δp
ref
+α∫kδfdt)＝0其中，δf为系统频率变化量，t为时刻，δp
ref
为发电功率值，r为调差系数，α为市场经济参与因子，k为功率频率换算系数。s12、根据改进的火电储能联合系统积差调频方程式和储能三种荷电状态状态提出储能调频荷电状态自适应策略；s13、基于储能调频荷电状态自适应策略确定储能调频评估指标，包括调节速率、响应时间和调节精度。3.如权利要求2所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s12中，根据改进的系统积差调频方程式和储能三种荷电状态状态提出储能调频荷电状态自适应策略，具体为，s121、当储能荷电状态soc处于正常区间soc
down
≤soc≤soc
up
时，此时储能作为基本调频资源，根据容量大小和系统中标量分配调频需求，正常充放电完成调频任务，储能调频荷电状态自适应策略为：调频指令为上调频：调频指令为下调频：其中，soc
down
为储能荷电状态soc放电最小状态，soc
up
为储能荷电状态soc充电最大状态，p
ref,b
为agc指令的下发的功率，p
chpmax,b
、p
dismax,b
分别为储能机组最大充电功率和放电功率，δp
max,g
为火电机组最大调节容量；s122、当储能荷电状态soc处于0≤soc＜soc
down
时，储能此时禁止放电，只允许充电，储能调频荷电状态自适应策略为：
s123、当储能荷电状态soc处于soc
up
＜soc≤1时，储能此时禁止充电，只允许放电，储能调频荷电状态自适应策略为：其中，soc
up
为储能荷电状态soc最大可充电状态。4.如权利要求2所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s13中，基于储能调频荷电状态自适应策略确定储能调频评估指标，包括调节速率、响应时间和调节精度，具体为，s131、基于储能调频荷电状态自适应策略确定储能调频评估指标：k
d
＝ω1k1+ω2k2+ω3k3其中，k
d
为储能调频性能评估指标，k1、k2、k3分别为响应时间、调节速率、调节精度，ω1、ω2、ω3分别为调频资源3个调频性能指标的权重系数；s132、调节速率k1指发电单元响应自动发电控制指令即agc控制指令的相对速率，计算公式为：k1＝v
s
/v
p
其中，v
s
为储能单元响应agc指令的实际速率，其中，p
m,b
(a)、p
m,b
(b)分别为储能调节过程中开始时和结束时的发电量，t
a
和t
b
分别为调频过程对应的开始和结束的时间，v
p
为储能资源中各个储能单元的agc发电机组平均标准调节速率；s133、响应时间k2指发电单元响应agc指令的时间延迟，计算公式为：其中，t
r
为储能单元在调度周期内响应agc指令的时延，t
a
和t
b
分别为储能单元在调度周期内响应agc指令的起始时间和结束时间；s134、调节精度k3指发电单元响应agc指令的精准度，计算公式为：其中，p
ref,b
为agc指令的下发的功率，p
m,b
为储能单元实发的功率，|p
ref,b-p
m,b
|指储能发电单元响应agc指令后实际出力值与控制指令值的偏差，δp
n
为发电单元调节允许误差。5.如权利要求1-4任一项所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s2中，建立储能参与市场时自身收益最大化决策模型，具体为，建立储能参与市场时自身收益最大化决策模型的目标函数为：其中，f
ess
为储能电站收益，t为时刻，t为24小时，w
n
为决策变量，n
g
为火电机组个数，n
ess
为储能电站的数量；为t时段储能电站m在电能量市场中标时的放电功率和充电功率；分别为t时段调频市场中标时的调频容量和调频里程；λ
m,t
、λ
tmil
分别为电价、调整后的调频容量出清价格和调频里程出清价格，由联合市场出清求得，c
s,w
和c
o,w
分别是储能电站的置换成本和运行成本：分别是储能电站的置换成本和运行成本：其中，c
s
和c
o
分别为单位功率运行成本和单位容量置换成本价格；e
n
为储能的等额定容量，q
m,t
为储能t时刻的循环次数，q
m,max
为储能电池的循环寿命；储能电站的竞价策略λ
m,t
根据储能的三种状态下的调频策略确定为：其中，λ
c,1
、λ
c,2
、λ
c,3
分别为储能电站三种自适应调频策略下不同的购电价格，λ
d,1
、λ
d,2
、λ
d,3
分别为储能电站三种自适应调频策略下不同的售电价格。6.如权利要求5所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：储能参与市场时自身收益最大化决策模型中，储能电站约束包括储能充放电功率约束、储能荷电状态荷电状态约束、储能申报容量约束和储能报价约束，具体为，储能充放电约束：其中，分别为t时刻储能电站n在电能量市场中申报的放电功率和充电功率；分别为储能电站m的最大放电功率和最大充电功率；分别为储能电站m的最大放电功率和最大充电功率；为0-1变量，分别表示储能电站m在t时刻的放电、充电状态；储能荷电状态荷电状态约束：其中，分别表示储能电站m所允许的最大、最小容量以及其在t时段的剩余容量；分别表示储能电站m的充电和放电效率；储能申报容量约束为：
其中，分别表示t时刻储能电站m申报的调频容量和调频里程；为储能电站m的最大调频容量；λ
ess,m
为储能电站m的调频里程乘子；储能报价约束为：其中，分别为t时刻储能电站m申报的充放电价格、调频容量价格和调频里程价格；分别为储能电站m在电能量市场以及调频市场中的上限。7.如权利要求1-4任一项所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s3中，建立储能和火电参与下的市场联合交易出清模型，具体为，s31、根据储能自适应调整策略建立储能参与调频时的报价函数调整策略为：s31、根据储能自适应调整策略建立储能参与调频时的报价函数调整策略为：其中，和分别为t时刻储能机组m申报调频容量价格和调频里程价格，和分别为考虑储能调频评估指标调整后t时刻储能机组m申报调频容量价格和调频里程价格，r
mil
为系统历史历程，即系统内所有调频机组1个月内每小时实际里程的平均值，g
d
表示归一化之后的综合调频性能指标：其中，k
d
为储能调频性能评估指标，k
max
为所有发电单元的综合调频性能指标中最大值；s32、建立储能和火电参与下的市场联合交易出清模型：其中，w
d
为下层模型的决策变量，n
g
为常规机组；p
s,t
分别为t时刻机组s在电能量市场中
标的电量，分别为在调频辅助服务市场的调频容量和调频里程的中标量；φ
s,t
、和分别为t时刻机组s申报的发电价格、调频容量价格和调频里程价格；和分别为t时段储能机组m机组放电报价价格和充电报价价格，和分别为t时段储能电站m在电能量市场中标时的放电功率和充电功率，和分别为t时刻储能机组m在调频辅助服务市场的调频容量和调频里程的中标量。8.如权利要求7所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s32中，储能和火电参与下的市场联合交易出清模型的约束包括电网运行约束、调频容量与里程约束、报价约束、常规机组申报量约束和光伏出力约束，具体为，电网运行约束：电网运行约束：θ
n
＝1,n＝1其中，为火电机组的功率，为节点n在t时刻的负荷，ψ
g
(n)、ψ
ess
(n)、ψ
d
(n)表示分别位于节点n上的常规机组、储能电站和电力负荷的集合；ψ(n)表示与节点n相连的支路；表示节点n在t时刻的负荷；b
nq
表示节点n和q之间的线路导纳；θ
n,t
和θ
q,t
分别表示t时刻节点n、q的相角；l
l
表示线路l的传输容量极限；调频容量与里程约束：调频容量与里程约束：其中，分别表示系统的调频容量需求和调频里程需求；报价约束：报价约束：其中，φ
max
为储能在电能量市场上允许上报的最高价格，设置报价约束来防止市场上出现恶意报价；常规机组申报量约束：常规机组申报量约束：其中，分别为常规机组发电功率的最大值、最小值，为常规机组提供的调频容量的最大值；光伏出力约束：
0≤p
tpv
≤p
pv,max
其中，p
tpv
为光伏电站发电功率，p
pv,max
为光伏输出功率上限。9.如权利要求1-4任一项所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s4中，转化为单层模型：其中，n
g
为火电机组个数，l
l
为线路l的传输容量极限，为节点相角的对偶乘子；为火电机组s出力的上下限，为其对偶乘子；分别为申报的调频容量和调频里程，分别为调频容量和调频里程的对偶乘子，为节点n在t时刻的负荷，分别为调整后的调频容量出清价格和调频里程出清价格，λ
n,t
为节点n在t时刻的负荷的对偶乘子。10.如权利要求1-4任一项所述的储能参与新型电力市场的自适应调频辅助服务方法，其特征在于：步骤s5中，基于乐观搜索的td3-oe算法求解单层模型，得到最佳的调频策略和收益结果，具体为，s51、初始化critic训练网络cx1、cx2和actor训练网络π
θ
的随机参数w1，w2，θ；初始化critic目标网络cm1、cm2参数：w'1←
w1，w'2←
w2，θ'
←
θ；初始化超参数：k，δ，χ；初始化经验池ξ；设定最大循环次数，令循环次数z＝1；s52、通过探索策略选择动作：a＝π
e
(s)，由于新能源出力的不确定性，随机生成x个新能源出力与负荷预测的不确定性学习样本集，当智能体即agent代理与环境交互时，将多元组(s,a,r,s')保存在经验池ξ中，其中，s为当前的状态包括储能机组的申报容量、里程和价格，a为动作，r为奖励，s'为下一个状态，经验池缓存中抽样(s,a,r,s')
←
ξ，进行网络训练；s53、通过actor目标策略网络获取状态s
′
下的动作：ε～clip(n(0,σ),-c,c)其中，π
θ'
为下一个状态的目标策略网络，ε为噪声扰动，clip(n(0,σ),-c,c)为高斯分布，σ为标准差，c为高斯分布范围；s54、通过critic目标网络cm1、cm2获得s’，下得到当前状态的最小化目标q值函数y1和下一个状态的最小化目标q值函数y2：：其中，r
t
为t时刻的奖励，分别为下一个状态两个q值目标函数，γ为折扣因子，为critic目标网络cm1的目标策略网络，为critic目标网络cm2的目标策略网络；并计算目标值y：
其中，r
t
为t时刻的奖励，折扣率，为下一个状态的目标q值函数，s
t+1
下一个状态，为下一个状态的动作；s55、根据下式的拟合函数获得目标q值函数的近似置信上界s55、根据下式的拟合函数获得目标q值函数的近似置信上界其中，μ
q
为q值函数的平均值，k标准差温度参数，σ
q
为q值函数的瓦瑟斯坦散度约束参数；s56、通过两个目标q值函数得到下界函数q'
lb
，与训练网络的q值函数计算用于衡量当前状态和预期状态的差异的时间差误差td_error，并更新critic训练网络cx1、cx2参数w
i
：td_error＝r
t-γπ
θ
(s’)-π
θ
(s)其中，n为高斯分布，为目标q值函数；s57、根据下式更新探索策略π
e
：其中，π
t
为目标策略，σ为标准差，为动作梯度，ε～ν(0,σ)为探索噪声；s58、通过策略梯度更新actor训练网络参数，与目标q值函数的置信上界函数共同得到智能体的探索策略，智能体利用探索策略与环境进行交互：其中，为critic训练网络cx1、cx2的梯度，j(θ)为目标函数，为q值函数，为动作梯度，为策略梯度，π
θ
(s)为actor训练网络；s59、通过“软更新”方式更新critic目标网络cm1、cm2的参数w’i
、θ'，并且更新经验池中的下一个状态s’包括储能机组的申报容量、里程和价格，进而得出储能调频策略和市场收益：w'
i
←
ξw
i
+(1-ξ)w'
i
θ'
←
ξθ+(1-ξ)θ'其中，w'
i
为更新后的网络参数，w
i
为初始随机参数，θ'为更新后的网络参数，θ为初始随机参数，ξ为软更新参数；s510、奖励r
t
：其中，a
t
为t时刻的动作，s
t
为t时刻的状态；在奖励r
t
未达到收敛时，返回步骤s54；奖励r
t
收敛时，使得q值函数达到全局最优值，进入下一步骤s511；
s511、在循环次数z≤最大循环次数z时，z＝z+1，返回步骤s2；在循环次数z＞最大循环次数z时，结束循环，得到最佳的调频策略和收益结果。

技术总结
本发明提供一种储能参与新型电力市场的自适应调频辅助服务方法，通过基于储能调频荷电状态自适应策略确定储能调频评估指标；建立储能参与市场时自身收益最大化决策模型，作为上层储能电站决策模型；建立储能和火电参与下的市场联合交易出清模型，作为建立下层市场联合交易出清模型；利用KKT条件和对偶理论，将双层模型转化为单层模型；基于乐观搜索的TD3-OE算法求解单层模型，得到最佳的调频策略和收益结果；该方法，与现有技术相比，能够在完成调度中心发布的调频任务的同时，储能机组能够考虑自适应调整策略自主参与调频，能够有效提高机组调频效果，能够有效发挥机组的调频性能，能够提高调频收益并降低市场成本。够提高调频收益并降低市场成本。够提高调频收益并降低市场成本。


技术研发人员：齐岭 付蓉 沈浩 江欣
受保护的技术使用者：南京邮电大学
技术研发日：2023.06.27
技术公布日：2023/9/16