基于能源卸载的新能源混合供电方法、系统及存储介质

1.本发明属于新能源供电规划领域，更具体地，涉及一种基于能源卸载的新能源混合供电方法、系统及存储介质。


背景技术：

2.在当前社会中，基于新能源的无线蜂窝网络架构备受瞩目。新能源与无线蜂窝网络的有机结合构成新能源混合供电系统。然而，如何提高新能源混合供电系统的性能仍是需要解决的难题，包括但不限于提高系统的时延、能效、频效或总容量等指标。
3.现有技术中大多是通过优化系统配置实现新能源与无线蜂窝网络的平衡关系，以最大化无线网络覆盖范围、最小化能耗，比如通过调整无线基站的部署位置和数量，结合新能源系统的特性，来达到最佳性能。或者通过无线网络系统的资源调度提高新能源混合供电系统的性能，比如基于基站功耗控制的能量管理模型，将用户的业务按照排队论模型进行建模，并根据业务流量情况实时调整基站发射功率，来提高系统的能效；比如基于接收信号强度的接入方法，用户终端采集各个基站的信号强度，并通过比较各无线接入网的链路质量来选择接入的基站，进而提高系统的能效。
4.这些方法均能够在一定程度上提升新能源混合供电系统的性能，但是这些方法均是通过调整特定的指标以提升系统性能，无法反应新能源混合供电系统的时间特性对系统性能的影响，无法最大化系统的性能。


技术实现要素：

5.针对现有技术的缺陷和改进需求，本发明提供了一种基于能源卸载的新能源混合供电方法、系统及存储介质，其目的在于通过动态调整新能源混合供电系统的部署参数及能源卸载路径，最大化系统的性能。
6.为实现上述目的，按照本发明的一个方面，提供了一种基于能源卸载的新能源混合供电方法，包括：
7.构建新能源混合供电系统模型，包括多个蜂窝小区，每个所述蜂窝小区包括一个基站、多个光伏组件以及与所述光伏组件相连的储能组件；其中，所述储能组件用于在光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；
8.构建新能源混合供电系统模型的约束条件，用于约束所述储能组件的容量、充放电状态和充放电功率，以及约束每个基站服务用户数量和每个基站部署的光伏组件数量；
9.构建新能源混合供电系统模型的目标函数，所述目标函数为最大化投资回报率和碳效率；
10.求解新能源混合供电系统模型，得到新能源混合供电系统多余的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。
11.进一步地，所述储能组件在t时刻的剩余容量e
ss
(t)为：
12.e
ss
(t)＝(1-ω)e
ss
(t-δt)+(η
ce
·
p
sc,i
(t)-η
de
·
p
sd
)
·
δt
13.其中，ω表示储能组件在无动作状态下的自放电率，η
ce
和η
de
分别表示储能组件在充电和放电时的能量交换效率，p
sd
表示储能组件的放电功率；p
sc,i
(t)表示第i小区t时刻储能组件的充电功率，由第i小区中光伏组件的发电功率和其它小区中储能组件转移过来的放电功率组成；δt表示单位时间间隔。
14.进一步地，所述第i小区t时刻储能组件的充电功率p
sc,i
(t)为：
[0015][0016]
其中，nb表示新能源混合供电系统中部署的基站总数量，r
ij
表示第i小区与第j小区的距离，表示能源转移的路径损耗因子；n
ji
(t)表示状态函数，包含0，1两个状态，当n
ji
(t)＝0时，表示第j小区不向第i小区转移能量，当n
ji
(t)＝1时，表示第j小区向第i小区转移的能量；p
b,i
(t)表示第i小区内的基站在t时刻的输出功率，p
p,i
(t)表示第i小区中光伏组件的发电功率。
[0017]
进一步地，所述新能源混合供电系统模型的目标函数为：
[0018]
maximize f＝{roi,η
ce
}
[0019]
其中，roi表示投资回报率，η
ce
为碳效率，表达式分别为：
[0020][0021][0022]
式中，t0表示新能源混合供电系统每年运行的天数，t表示每天运行小时数，t1表示所述系统运行寿命年限；p
g,i
(t)为市网供电功率；cf
n,i
表示第i个小区新能源供电碳效率因子，cf
g,i
表示第i小区市电供电碳效率因子；ξg为市电的单位价格；ξ
ce
为碳税的单位价格；n
pv
表示每个基站配备的光伏组件的数量，ncb、nc
pv
和nc
bat
分别表示每个蜂窝小区内的基站、光伏组件和储能组件的净现值成本；c
total
表示所述系统一天内的通信容量。
[0023]
进一步地，求解新能源混合供电系统模型，包括：
[0024]
s1、构建新能源混合供电系统的状态空间s
t
，包括：t时刻的投资回报率roi(t)、t时刻的碳效率η
ce
(t)、t时刻储能组件的剩余容量和t时刻基站的覆盖率；
[0025]
s2、设置新能源混合供电系统的动作空间，包括：t时刻的卸载路径、基站的部署数量及光伏组件的部署参数；
[0026]
s3、基于所述动作空间中每个动作对应的状态，构建td3深度强化学习网络第t时刻的奖励函数r
t
：
[0027]rt
＝{η
ce
(t)-η
ce
(t-1)-re(t)}
[0028][0029]
其中，η
ce
(t-1)、η
ce
(t)分别表示t-1时刻的碳效率和t时刻的碳效率，re
′
表示设定的阈值，为前t时刻的投资回报率的平均值；
[0030]
s4、通过反向迭代优化所述奖励函数，使得所述奖励函数最大化。
[0031]
进一步地，s4中，包括：
[0032]
s41、采用时序差分算法训练所述奖励函数，每次迭代时，计算所述td3深度强化学习网络当前时刻的两个q值，以预测下一时刻的两个q值，其中，每个q值包含了当前的状态以及当前状态对应的卸载路径；
[0033]
s42、将预测的下一时刻的两个q值代入性能评估函数y
t
中，计算出对应的评估值，沿评估值较大的卸载路径更新所述奖励函数的参数；所述评估函数y
t
为：
[0034][0035]
其中，γ为折扣因子，v为常数，a
t
表示所述动作空间的集合，q1(s
t+1
,a
t
(s
t+1
))、q2(s
t+1
,a
t
(s
t+1
))分别表示预测的下一时刻的两个q值；
[0036]
s43、当达到设定的迭代次数或所述奖励函数的梯度达到设定阈值，停止训练，得到当前时刻使投资回报率及碳效率同时最大下的卸载路径、基站的部署数量及光伏组件的部署参数。
[0037]
进一步地，所述储能组件的容量约束为：
[0038]
0≤e
ss
(t)≤e
ss
[0039]
其中，e
ss
(t)表示储能组件在t时刻的剩余容量，e
ss
表示储能组件的额定容量；
[0040]
所述充放电状态约束为：
[0041]
soc
min
≤soc(t)≤soc
max
[0042][0043]
其中，soc(t)表示储能组件当前的充放电状态，p
sd
表示储能组件的放电功率，soc
min
、soc
max
分别表示储能组件的最小和最大放电状态；
[0044]
所述充放电功率约束为：
[0045]
0≤p
sc,i
(t)≤p
sc_max
[0046]
其中，p
sc,i
(t)表示第i小区t时刻储能组件的充电功率，p
sc_max
表示储能组件充电的最大额定功率。
[0047]
进一步地，所述每个基站服务用户数量约束为：
[0048]
0≤n
u,i
≤n
u_max
[0049][0050]
其中，n
u,i
表示第i个蜂窝小区用户的数量，n
u_max
表示每个蜂窝小区基站最多服务用户的数量，nu表示新能源混合供电系统中用户总数，nb表示所述系统中部署的基站总数量；
[0051]
所述每个基站部署的光伏组件数量约束为：
[0052]
0≤n
pv
≤n
pv_max
[0053]
其中，n
pv
表示每个基站部署的光伏组件数量，n
pv_max
表示每个基站部署的光伏组件的最大数量。
[0054]
按照本发明的另一方面，提供了一种基于能源卸载的新能源混合供电系统，包括：
[0055]
模型构建模块，用于构建新能源混合供电系统模型，包括多个蜂窝小区，每个所述蜂窝小区包括一个基站、多个光伏组件以及与所述光伏组件相连的储能组件；其中，所述储能组件用于在光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；
[0056]
约束条件构建模块，用于构建新能源混合供电系统模型的约束条件，用于约束所述储能组件的容量、充放电状态和充放电功率，以及约束每个基站服务用户数量和每个基站部署的光伏组件数量；
[0057]
目标函数构建模块，用于构建新能源混合供电系统模型的目标函数，所述目标函数为最大化投资回报率和碳效率；
[0058]
模型求解模块，用于求解新能源混合供电系统模型，得到新能源混合供电系统多余的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。
[0059]
按照本发明的另一方面，提供了一种计算机可读存储介质，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行第一方面任一项所述的方法。
[0060]
总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：
[0061]
(1)本发明构建的新能源混合供电系统模型，在当前蜂窝小区内的光伏组件发电量超过当前蜂窝小区内基站的需求时，通过与光伏组件相连的储能组件，将多余的能源卸载至其它蜂窝小区的基站，并构建储能组件的容量约束、充放电状态约束、充放电功率约束，基站服务用户数量的约束以及每个基站部署的光伏组件数量约束，使得储能组件在进行能源卸载的过程中保持充放电平衡；以最大化投资回报率和碳效率为目标，求解该模型，得到当前蜂窝小区内的光伏组件多余的能源卸载至其它蜂窝小区的基站的最佳卸载路径，以及基站的部署数量及光伏组件的部署参数；本发明的方法，基于最佳的基站的部署数量及光伏组件的部署参数，动态调整当前时刻多余能源最佳的卸载路径，避免能源浪费的同时，降低电网给基站的供电量，最大化系统的性能。
[0062]
(2)进一步地，本发明基于储能组件的特性、充放电规律以及光伏组件的输出特性和变化趋势构建储能组件在t时刻的剩余容量模型，以及第i小区t时刻储能组件的充电功率，充分反映能源卸载过程中，各个物理量之间的耦合关系，使得构建的新能源混合供电系统模型精准，便于最大化系统的性能。
[0063]
(3)进一步地，本发明构建的目标函数建立起了储能组件、基站及光伏组件之间参
量的耦合关联，充分考虑了在能源卸载过程中光伏组件发电量多余能源的成本、碳税以及基站、储能组件及光伏组件的折旧率等多个因素对新能源混合供电系统性能的综合影响；并且，以投资回报率及碳效率作为目标函数的主要影响因子，同时考虑了系统对环境的影响以及对资金的回报程度，这两个指标的有机结合可以更好地帮助决策者从系统的可持续性和经济效益进行规划和决策。
[0064]
(4)进一步地，在求解新能源混合供电系统模型过程中，构建的奖励函数以目标函数为参考，综合考虑了碳效率及投资回报率，通过t-1时刻和t时刻碳效率的差值构建对碳效率的奖励，基于部署参数设计投资回报率的奖励，通过取平均，降低奖励函数的波动，避免出现td3深度强化学习的最优解局部收敛的问题。
[0065]
(5)进一步地，在进行奖励函数优化更新时，相比现有的td3算法直接采用两个q值中的较小值作为评估值，本发明设计的性能评估函数y
t
同时考虑了两个q值对奖励函数的影响，避免两个q值相差较大时出现低估偏差，探索效率高，可以减少模型的迭代次。
[0066]
(6)进一步地，本发明构建的新能源混合供电系统模型的约束条件能够确保储能组件在进行能源卸载的过程中的充放电平衡，防止储能组件电压过高或过低，提升充电效率，确保储能组件在进行能量卸载过程中，当前小区中光伏组件的发电功率和其它小区转移过来的功率之间能量转移的合理性；以及确保每个用户都可以获得足够的带宽的同时，还使得系统中所有用户都能得到服务。
附图说明
[0067]
图1为本发明提供的基于能源卸载的新能源混合供电方法示意图。
[0068]
图2为本发明实施例提供的atd3方法与现有方法对于系统优化的奖励变化曲线图。
[0069]
图3为本发明实施例提供的atd3方法与现有方法对于系统不同基站覆盖概率下进行优化的投资回报率的对比图。
[0070]
图4为本发明实施例提供的atd3方法与现有方法对于系统不同基站覆盖概率下进行优化的碳效率的对比图。
具体实施方式
[0071]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0072]
如图1所示，本发明提供了一种基于能源卸载的新能源混合供电方法，主要包括如下步骤：
[0073]
构建新能源混合供电系统模型，该模型包括多个蜂窝小区，每个蜂窝小区包括一个基站、多个光伏组件以及与光伏组件相连的储能组件；其中，储能组件用于在当前蜂窝小区内的光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；
[0074]
构建新能源混合供电系统模型的约束条件，用于约束储能组件的容量、充放电状
态、充放电功率，约束基站服务用户数量，以及约束每个基站部署的光伏组件数量，使得储能组件的充放电平衡；
[0075]
构建新能源混合供电系统模型的目标函数，该目标函数为最大化投资回报率和碳效率；
[0076]
求解新能源混合供电系统模型，得到新能源混合供电系统多余的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数；其中，卸载路径用于反应多余的能源卸载至哪个蜂窝小区的基站；光伏组件的部署参数包括光伏组件的朝向角度、倾斜角度及光伏组件的数量。
[0077]
具体地，在构建的新能源混合供电系统模型中，当储能组件与光伏组件相连时，新能源混合供电系统的功耗转移状态会发生变化。本发明中，基于储能组件的特性、充放电规律以及光伏组件的输出特性和变化趋势，构建t时刻储能组件的剩余容量e
ss
(t)模型：
[0078]ess
(t)＝(1-ω)e
ss
(t-δt)+(η
ce
·
p
sc,i
(t)-η
de
·
p
sd
)
·
δt
[0079]
式中，δt表示离散时间序列中的单位时间间隔，ω表示储能组件在无动作状态下的自放电率，η
ce
和η
de
分别代表储能组件在充电和放电时的能量交换效率；p
sd
表示储能组件的放电功率，为设定的固定值，单位为瓦特/小时；p
sc,i
(t)表示第i小区t时刻储能组件的充电功率，其中，p
sc,i
(t)由当前小区(第i小区)中的光伏组件的发电功率p
p,i
(t)和其它小区中的储能组件转移过来的放电功率p
sd
组成。
[0080]
具体地，构建的p
sc,i
(t)为：
[0081][0082]
其中，r
ij
表示第i小区与第j小区的距离，表示能源转移的路径损耗因子；n
ji
(t)表示状态函数，包含0，1两个状态，当n
ji
(t)＝0时，表示第j小区不向第i小区转移能量，当n
ji
(t)＝1时，则表示第j小区向第i小区转移的能量；p
b,i
(t)表示第i个基站在t时刻的输出功率，p
p,i
(t)表示当前小区中的光伏组件的发电功率。
[0083]
nb表示新能源混合供电系统中部署的基站总数量，其中，在新能源混合供电系统中，基站和用户分布在二维空间d内，分别遵循独立的泊松点过程和部署密度分别为λb和λu，表达式如下：
[0084][0085][0086]
其中，nb表示新能源混合供电系统中部署的基站总数量，根据部署情况而变动，nu表示系统中用户总数，为设定的固定值，bi表示第i个基站的泊松分布，ui表示第i个用户的泊松分布。
[0087]
具体地，构建的新能源混合供电系统模型的约束条件包括：对储能组件的容量约束、储能组件的充放电状态约束、储能组件的充放电功率约束，基站服务用户数量约束，以及每个基站部署的光伏组件数量约束。
[0088]
储能组件的容量约束为：
[0089]
0≤e
ss
(t)≤e
ss
[0090]
其中，e
ss
(t)表示t时刻储能组件的剩余容量，e
ss
表示储能组件额定容量。
[0091]
储能组件的充放电状态约束，可以防止储能组件电压过高或过低，提升充电效率，充放电状态约束为：
[0092]
soc
min
≤soc(t)≤soc
max
[0093][0094]
其中，soc(t)表示储能组件当前的充放电状态，是指储能组件当前可用电能与总电能之间的比例，即t时刻储能组件的剩余容量e
ss
(t)与储能组件额定容量e
ss
的比值，它反映了储能组件当前的电能储存情况，soc
min
、soc
max
分别表示储能组件的最小和最大放电状态。
[0095]
为了确保储能组件在进行能量卸载过程中，当前小区中的光伏组件的发电功率和其它小区转移过来的功率之间能量转移的合理性，储能组件的充放电功率约束为：
[0096]
0≤p
sc,i
(t)≤p
sc_max
[0097]
其中，p
sc_max
表示储能组件充电的最大额定功率。
[0098]
为了确保每个用户的平均信息接收速率，并防止用户在同一基站下聚集，对基站服务的用户数量进行约束，使得每个用户都可以获得足够的带宽，以及确保系统中所有用户都能得到服务，基站服务用户数量约束为：
[0099]
0≤n
u,i
≤n
u_max
[0100][0101]
其中，n
u,i
表示第i个蜂窝小区用户的数量，n
u_max
表示每个蜂窝小区基站最多服务用户的数量，nu表示系统中用户总数，nb表示新能源混合供电系统中部署的基站总数量。
[0102]
对每个基站部署的光伏组件数量进行约束，避免过多部署光伏组件可能导致电力供应不稳定或超过基站的承载能力，约束条件为：
[0103]
0≤n
pv
≤n
pv_max
[0104]
其中，n
pv
表示每个基站部署的光伏组件数量，n
pv_max
表示每个基站部署的光伏组件的最大数量。
[0105]
具体地，构建新能源混合供电系统模型的目标函数，该目标函数为最大化投资回报率和碳效率，包括：
[0106]
采用年均利润作为投资回报，并将投资成本均摊在t1年中，计算出一年投资的投资回报率roi，在本发明中，基于构建的储能组件，在设定的时间内，计算当前蜂窝小区内的光伏组件发电量超过自身需求部分的成本，以及相应的碳税；在本发明实施例中，设定的时间为一年。并基于基站、储能组件、光伏组件的折旧率，计算得到部署新能源混合供电系统的成本，进而得到当前的投资回报率roi：
[0107][0108]
式中，t0表示新能源混合供电系统每年运行的天数，t表示天运行小时数，t1表示系统运行寿命年限；p
b,i
(t)表示第i个基站在t时刻的输出功率，p
g,i
(t)为市网供电功率；cf
n,i
表示第i个小区新能源供电碳效率因子，cf
g,i
表示第i小区市电供电碳效率因子；ξg为市电的单位价格；ξ
ce
为碳税的单位价格，用于衡量每mg二氧化碳排放量需要缴纳的碳税，单位为￥/mg；n
pv
表示每个基站配备的光伏组件的数量，ncb、nc
pv
和nc
bat
分别表示每个蜂窝小区内的基站、光伏组件和储能组件的净现值成本。
[0109]
其中，ncb、nc
pv
和nc
bat
分别为：
[0110]
nck＝cogs
·
ψ，k取b、pv、bat；
[0111]
式中，cogs为购买成本，ψ为折旧系数，表达式如下：
[0112][0113]
其中，d为折旧系数。
[0114]
市网供电功率p
g,i
(t)为：
[0115][0116]
式中，当前小区中的光伏组件的发电功率p
p,i
(t)为：
[0117][0118]
其中，α、μ、σ、λ分别表示偏正态分布的幅度值、均值、标准差和偏斜参；表示标准正态分布的密度函数，是标准正态分布的分布函数；s
p
为光伏组件接光实际面积，η
p
为光伏组件发电的转换率，k
p
为综合系数，是针对光伏组件的特性得出的修正系数值，这些特性包括：光伏组件的光照利用率、表面污染率、集成电路损耗率等。
[0119]
本发明中，基于新能源混合供电的无线蜂窝网络系统的碳效率η
ce
为：
[0120][0121]
式中，c
total
表示新能源混合供电系统一天内的通信容量，cf
n,i
表示第i个小区新能源供电碳效率因子，cf
g,i
表示第i小区市电供电碳效率因子；p
b,i
(t)表示第i个基站在t时刻的输出功率，p
g,i
(t)为市网供电功率；δt表示离散时间序列中的单位时间间隔。
[0122]
其中，新能源混合供电系统中，对于t时刻单个基站的容量为：
[0123][0124]
式中，w表示单个基站总带宽，n
u,i
表示第i个基站连接的用户数量，sinr
i,j,t
表示第i个基站第j个用户在t时刻的信干噪比，用户的接入逻辑为：
[0125]
用户选择最优基站接入无线蜂窝网络系统，也即，无线蜂窝网络系统中的用户通过最大信干噪比原则选择最优基站进行接入，以获得最佳信号质量，以便于使系统的容量达到最大化，其中，第i个基站第j个用户在t时刻的信干噪比sinr
i,j,t
为：
[0126][0127]
其中，h0表示的是信道功率增益，a为路径损耗指数，σ2表示为加性高斯白噪声的方差，hj表示第j用户的信道衰落，x
ij
表示第i个基站与第j个用户之间距离，
φb
表示泊松点过程。
[0128]
故新能源混合供电系统一天内的通信容量c
total
为：
[0129][0130]
因此，本发明中，构建的新能源混合供电系统模型的目标函数为：
[0131]
maximize f＝{roi,η
ce
}
[0132]
具体地，本发明实施例中，通过深度强化学习方法求解能源混合供电系统模型，本发明实施例中，采用改进的td3深度强化学习网络(记为：atd3)进行求解，包括：
[0133]
s1、构建新能源混合供电系统当前时刻的状态空间s
t
，包括：t时刻的投资回报率roi(t)、t时刻的碳效率η
ce
(t)、t时刻储能组件的剩余容量和t时刻基站的覆盖率在强化学习中，状态是智能体在环境中交互的结果，状态空间是由各种状态的集合组成，表示因环境的不同而产生变化。本发明中构建的状态空间不仅考虑了系统的经济效益和环境保护程度，还充分考虑了储能组件的电量和基站的服务质量等因素，更够更全面地描述新能源混合供电系统的运行情况；其中，式中，e
ss,i
(t)表示t时刻储能组件i的剩余电量，i取1-nb；表示t时刻用户i的覆盖概率，i取1-nu。
[0134]
s2、设置新能源混合供电系统当前时刻的动作空间，包括：t时刻将当前蜂窝小区内的光伏组件多余的能源卸载至其它蜂窝小区的基站的路径(也即卸载路径)、基站的部署数量nb及光伏组件的部署参数；动作空间用于反应智能体在于环境进行交互时可以采取的所有可能的动作集合；针对本发明的多目标优化问题，选择的动作空间参量对投资回报率和碳效率均能够产生重要影响；在本发明实施例中，t时刻的动作空间a
t
表示为：
其中，其中，nb
i,j
表示储能组件i向储能组件j转移的能量。
[0135]
s3、基于动作空间中每个动作对应的状态，构建td3深度强化学习网络的奖励函数r
t
；其中，r
t
＝{η
ce
(t)-η
ce
(t-1)-re(t)}，η
ce
(t-1)、η
ce
(t)分别表示t-1时刻的碳效率和t时刻的碳效率；re(t)的表达式为：
[0136][0137]
式中，re
′
表示设定的阈值，根据经验选择；为前t时刻的投资回报率的平均值，表达式为：
[0138][0139]
其中，roii表示t时刻的投资回报率。
[0140]
本发明设计的奖励函数综合考虑了碳效率及投资回报率，同时考虑到每时刻的决策对碳效率的影响更大以及投资回报率与系统的部署参数相关，通过t-1时刻和t时刻碳效率的差值构建对碳效率的奖励，基于部署参数设计投资回报率的奖励，通过取平均，降低奖励函数的波动，避免td3深度强化学习得到的最优解局部收敛。
[0141]
s4、通过反向迭代优化奖励函数，使得奖励函数最大化，包括：
[0142]
s41、采用时序差分算法进行训练奖励函数，每次迭代时，计算td3深度强化学习网络当前时刻的两个q值：q1(s
t
,a
t
(s
t
))、q2(s
t
,a
t
(s
t
))，并预测下一时刻的两个q值：q1(s
t+1
,a
t
(s
t+1
))、q2(s
t+1
,a
t
(s
t+1
))；其中，每个q值包含了当前的状态以及当前状态对应的卸载路径；
[0143]
s42、将预测的下一时刻的两个q值：q1(s
t+1
,a
t
(s
t+1
))、q2(s
t+1
,a
t
(s
t+1
))代入设计的性能评估函数y
t
中，计算出对应的评估值，沿评估值较大的卸载路径更新奖励函数的参数；其中，评估函数y
t
为：
[0144][0145]
其中，r
t
表示第t时刻的奖励，γ为折扣因子，v为常数，根据经验选择；a
t
表示动作空间的集合。
[0146]
s43、当达到设定的迭代次数或者奖励函数的梯度达到设定阈值，停止训练，得到使投资回报率、碳效率同时最大下的卸载路径、基站的部署数量及光伏组件的部署参数。
[0147]
相比现有的td3算法直接采用两个q值中的较小值作为评估值可能出现的低估偏差问题，本发明设计的性能评估函数y
t
同时考虑了两个q值对奖励函数的影响，避免两个q值相差较大时出现低估偏差，探索效率高，可以减少模型的迭代次。
[0148]
为了进一步验证本发明的atd3方法与现有的td3及ddpg方法进行比较，如图2所示，可以看出，ddpg方法容易受困于局部最优解，难以获得更高的奖励，其奖励函数波动不定，且明显低于其它两种方法；td3方法倾向于低估q值；本发明的atd3方法在学习效率方面优于ddpg和td3方法。
[0149]
如图3所示，展示了新能源混合供电系统在不同基站覆盖率下，本发明的atd3方法与现有的td3及ddpg方法对系统投资回报率的优化结果。从图3中可以看出，本发明的atd3方法相比其它两种方法，其在不同覆盖概率条件下的投资回报率均最高，提升的投资回报率在2％～10％之间。
[0150]
如图4所示，展示了新能源混合供电系统在不同基站覆盖概率下，本发明的atd3方法与现有的td3及ddpg方法对系统碳效率的优化结果。从图4中可以看出，本发明的atd3方法相比其它两种方法，其在不同覆盖概率条件下的碳效率均最高，提升的投资回报率在5％～20％之间。
[0151]
按照本发明的另一方面，提供了基于能源卸载的新能源混合供电系统，包括：
[0152]
模型构建模块，用于构建新能源混合供电系统模型，包括多个蜂窝小区，每个蜂窝小区包括一个基站、多个光伏组件以及与光伏组件相连的储能组件；其中，储能组件用于在光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；
[0153]
约束条件构建模块，用于构建新能源混合供电系统模型的约束条件，用于约束储能组件的容量、充放电状态和充放电功率，以及约束每个基站服务用户数量和每个基站部署的光伏组件数量；
[0154]
目标函数构建模块，用于构建新能源混合供电系统模型的目标函数，目标函数为最大化投资回报率和碳效率；
[0155]
模型求解模块，用于求解新能源混合供电系统模型，得到新能源混合供电系统的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。
[0156]
其中，每个模块用于执行上述实施例中的基于能源卸载的新能源混合供电方法中对应的步骤。
[0157]
本发明还提供了一种计算机可读存储介质，包括存储的计算机程序；计算机程序被处理器执行时，控制计算机可读存储介质所在设备执行上述实施例中的基于能源卸载的新能源混合供电方法中的每个步骤。
[0158]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于能源卸载的新能源混合供电方法，其特征在于，包括：构建新能源混合供电系统模型，包括多个蜂窝小区，每个所述蜂窝小区包括一个基站、多个光伏组件以及与所述光伏组件相连的储能组件；其中，所述储能组件用于在光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；构建新能源混合供电系统模型的约束条件，用于约束所述储能组件的容量、充放电状态和充放电功率，以及约束每个基站服务用户数量和每个基站部署的光伏组件数量；构建新能源混合供电系统模型的目标函数，所述目标函数为最大化投资回报率和碳效率；求解新能源混合供电系统模型，得到新能源混合供电系统多余的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。2.根据权利要求1所述的方法，其特征在于，所述储能组件在t时刻的剩余容量e
ss
(t)为：e
ss
(t)＝(1-ω)e
ss
(t-δt)+(η
ce
·
p
sc,i
(t)-η
de
·
p
sd
)
·
δt其中，ω表示储能组件在无动作状态下的自放电率，η
ce
和η
de
分别表示储能组件在充电和放电时的能量交换效率，p
sd
表示储能组件的放电功率；p
sc,i
(t)表示第i小区t时刻储能组件的充电功率，由第i小区中光伏组件的发电功率和其它小区中储能组件转移过来的放电功率组成；δt表示单位时间间隔。3.根据权利要求2所述的方法，其特征在于，所述第i小区t时刻储能组件的充电功率p
sc,i
(t)为：其中，n
b
表示新能源混合供电系统中部署的基站总数量，r
ij
表示第i小区与第j小区的距离，表示能源转移的路径损耗因子；n
ji
(t)表示状态函数，包含0，1两个状态，当n
ji
(t)＝0时，表示第j小区不向第i小区转移能量，当n
ji
(t)＝1时，表示第j小区向第i小区转移的能量；p
b,i
(t)表示第i小区内的基站在t时刻的输出功率，p
p,i
(t)表示第i小区中光伏组件的发电功率。4.根据权利要求3所述的方法，其特征在于，所述新能源混合供电系统模型的目标函数为：maximize f＝{roi,η
ce
}其中，roi表示投资回报率，η
ce
为碳效率，表达式分别为：
式中，t0表示新能源混合供电系统每年运行的天数，t表示每天运行小时数，t1表示所述系统运行寿命年限；p
g,i
(t)为市网供电功率；cf
n,i
表示第i个小区新能源供电碳效率因子，cf
g,i
表示第i小区市电供电碳效率因子；ξ
g
为市电的单位价格；ξ
ce
为碳税的单位价格；n
pv
表示每个基站配备的光伏组件的数量，nc
b
、nc
pv
和nc
bat
分别表示每个蜂窝小区内的基站、光伏组件和储能组件的净现值成本；c
total
表示所述系统一天内的通信容量。5.根据权利要求1所述的方法，其特征在于，求解新能源混合供电系统模型，包括：s1、构建新能源混合供电系统的状态空间s
t
，包括：t时刻的投资回报率roi(t)、t时刻的碳效率η
ce
(t)、t时刻储能组件的剩余容量和t时刻基站的覆盖率；s2、设置新能源混合供电系统的动作空间，包括：t时刻的卸载路径、基站的部署数量及光伏组件的部署参数；s3、基于所述动作空间中每个动作对应的状态，构建td3深度强化学习网络第t时刻的奖励函数r
t
：r
t
＝{η
ce
(t)-η
ce
(t-1)-re(t)}其中，η
ce
(t-1)、η
ce
(t)分别表示t-1时刻的碳效率和t时刻的碳效率，re
′
表示设定的阈值，为前t时刻的投资回报率的平均值；s4、通过反向迭代优化所述奖励函数，使得所述奖励函数最大化。6.根据权利要求5所述的方法，其特征在于，s4中，包括：s41、采用时序差分算法训练所述奖励函数，每次迭代时，计算所述td3深度强化学习网络当前时刻的两个q值，以预测下一时刻的两个q值，其中，每个q值包含了当前的状态以及当前状态对应的卸载路径；s42、将预测的下一时刻的两个q值代入性能评估函数y
t
中，计算出对应的评估值，沿评估值较大的卸载路径更新所述奖励函数的参数；所述评估函数y
t
为：其中，γ为折扣因子，v为常数，a
t
表示所述动作空间的集合，q1(s
t+1
,a
t
(s
t+1
))、q2(s
t+1
,a
t
(s
t+1
))分别表示预测的下一时刻的两个q值；s43、当达到设定的迭代次数或所述奖励函数的梯度达到设定阈值，停止训练，得到当前时刻使投资回报率及碳效率同时最大下的卸载路径、基站的部署数量及光伏组件的部署参数。
7.根据权利要求1所述的方法，其特征在于，所述储能组件的容量约束为：0≤e
ss
(t)≤e
ss
其中，e
ss
(t)表示储能组件在t时刻的剩余容量，e
ss
表示储能组件的额定容量；所述充放电状态约束为：soc
min
≤soc(t)≤soc
max
其中，soc(t)表示储能组件当前的充放电状态，p
sd
表示储能组件的放电功率，soc
min
、soc
max
分别表示储能组件的最小和最大放电状态；所述充放电功率约束为：0≤p
sc,i
(t)≤p
sc_max
其中，p
sc,i
(t)表示第i小区t时刻储能组件的充电功率，p
sc_max
表示储能组件充电的最大额定功率。8.根据权利要求7所述的方法，其特征在于，所述每个基站服务用户数量约束为：0≤n
u,i
≤n
u_max
其中，n
u,i
表示第i个蜂窝小区用户的数量，n
u_max
表示每个蜂窝小区基站最多服务用户的数量，n
u
表示新能源混合供电系统中用户总数，n
b
表示所述系统中部署的基站总数量；所述每个基站部署的光伏组件数量约束为：0≤n
pv
≤n
pv_max
其中，n
pv
表示每个基站部署的光伏组件数量，n
pv_max
表示每个基站部署的光伏组件的最大数量。9.一种基于能源卸载的新能源混合供电系统，其特征在于，包括：模型构建模块，用于构建新能源混合供电系统模型，包括多个蜂窝小区，每个所述蜂窝小区包括一个基站、多个光伏组件以及与所述光伏组件相连的储能组件；其中，所述储能组件用于在光伏组件的发电量超过当前蜂窝小区内的基站需求时，将多余的能源卸载至其它蜂窝小区的基站；约束条件构建模块，用于构建新能源混合供电系统模型的约束条件，用于约束所述储能组件的容量、充放电状态和充放电功率，以及约束每个基站服务用户数量和每个基站部署的光伏组件数量；目标函数构建模块，用于构建新能源混合供电系统模型的目标函数，所述目标函数为最大化投资回报率和碳效率；模型求解模块，用于求解新能源混合供电系统模型，得到新能源混合供电系统多余的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。10.一种计算机可读存储介质，其特征在于，包括存储的计算机程序；所述计算机程序被处理器执行时，控制所述计算机可读存储介质所在设备执行权利要求1-8任一项所述的方法。

技术总结
本发明公开了一种基于能源卸载的新能源混合供电方法、系统及存储介质，属于新能源供电规划领域，方法包括：构建新能源混合供电系统模型，包括多个蜂窝小区，每个所述蜂窝小区包括一个基站、多个光伏组件以及与所述光伏组件相连的储能组件；构建新能源混合供电系统模型的约束条件；构建新能源混合供电系统模型的目标函数，所述目标函数为最大化投资回报率和碳效率；求解新能源混合供电系统模型，得到新能源混合供电系统的能源在当前时刻的卸载路径、基站的部署数量及光伏组件的部署参数。本发明通过动态调整新能源混合供电系统的部署参数及能源卸载路径，实现了系统性能的最大化。化。化。


技术研发人员：钟祎 林宇驰 郑艺 韩涛 葛晓虎
受保护的技术使用者：华中科技大学
技术研发日：2023.04.06
技术公布日：2023/8/14