光储系统的太阳阵控制器的控制方法、装置及存储介质

1.本发明涉及储能控制技术领域，具体提供一种光储系统的太阳阵控制器的控制方法、装置及存储介质。


背景技术：

2.在以太阳阵作为唯一能量来源，电池组作为储能系统的独立光储系统中，由于太阳阵输出功率受光照和温度等因素的影响，太阳阵控制器需要根据电池组的soc(state ofcharge，荷电状态)和负载的功率在恒流模式、mppt(maximum power point tracking，最大功率点跟踪)模式和恒压模式之间不断切换。如果在切换过程中系统受到扰动影响，系统可能会在两种模式下来回切换，从而造成光储系统的不稳定。
3.相应地，本领域需要一种新的光储系统太阳阵控制器的控制方案来解决上述问题。


技术实现要素：

4.为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决太阳阵控制器在不同运行模式之间进行切换的过程中，可能存在频繁切换的情况，导致光储系统不稳定的问题。
5.在第一方面，本发明提供一种光储系统的太阳阵控制器的控制方法，所述光储系统包括太阳阵、蓄电池和负载，所述太阳阵与所述太阳阵控制器的第一端连接，所述太阳阵控制器的第二端分别与所述蓄电池和所述负载连接，所述蓄电池也与所述负载连接，所述方法包括：
6.通过训练好的强化学习智能体，获取所述太阳阵控制器当前阶段的输入电压参考值；
7.通过所述太阳阵控制器对所述输入电压参考值进行跟踪，以改变所述太阳阵控制器当前阶段的输出电流，使得所述蓄电池的充电电流更接近预设的参考电流。
8.在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，所述通过训练好的强化学习智能体，获取所述太阳阵控制器当前阶段的输入电压参考值，包括：
9.通过所述强化学习智能体，获取所述太阳阵控制器输入电压参考值的电压改变量；
10.根据所述电压改变量和上一阶段的输入电压参考值，获取当前阶段的输入电压参考值。
11.在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，所述根据所述电压改变量和上一阶段的输入电压参考值，获取当前阶段的输入电压参考值，包括：
12.根据所述强化学习智能体的奖励函数，获取所述强化学习智能体当前阶段的增益系数；
13.将所述电压改变量乘以增益系数后，与所述上一阶段的输入电压参考值相加，获
取当前阶段的输入电压参考值。
14.在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，根据以下公式获取所述强化学习智能体的奖励函数：
15.r＝-|i
bat-i
b_ref
|
16.其中，r为所述奖励函数；i
bat
为所述蓄电池的充电电流；i
b_ref
为所述预设的参考电流。
17.在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，根据以下公式获取所述增益系数：
18.k＝k
×r19.其中，k为所述增益系数；k为变换系数。
20.在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，根据以下公式获取所述变换系数：
[0021][0022]
其中，i
mppt
为所述太阳阵的最大功率点电流；is为所述太阳阵的短路电流；v
mppt
为所述太阳阵的最大功率点电压；v
oc
为所述太阳阵的开路电压。
[0023]
在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，所述太阳阵控制器包括pwm控制器和开关管；
[0024]
所述通过所述太阳阵控制器对所述输入电压参考值进行跟踪，包括：
[0025]
通过所述pwm控制器，根据所述输入电压参考值，获取所述太阳阵控制器当前阶段的输出信号的占空比；
[0026]
根据所述占空比，对所述开关管进行控制，以改变所述太阳阵控制器当前阶段的输出电流。
[0027]
在上述光储系统的太阳阵控制器的控制方法的一个技术方案中，所述强化学习智能体的观察的状态包括：当前阶段所述太阳阵的电压和/或功率；和/或，当前阶段所述电池组的电流和/或电压和/或荷电状态和/或参考电流；和/或，当前阶段所述负载的电流。
[0028]
在第二方面，提供一种控制装置，该控制装置包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述光储系统的太阳阵控制器的控制方法的技术方案中任一项技术方案所述的光储系统的太阳阵控制器的控制方法。
[0029]
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述光储系统的太阳阵控制器的控制方法的技术方案中任一项技术方案所述的光储系统的太阳阵控制器的控制方法。
[0030]
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0031]
在实施本发明的技术方案中，本发明通过训练好的强化学习智能体，获取太阳阵控制器当前阶段的输入电压参考值，使得太阳阵控制器对输入电压参考值进行跟踪，从而改变太阳阵控制器的当前阶段的数输出电流。通过上述配置方式，本发明通过控制太阳阵控制器的输入电压参考值，使得蓄电池的充电电流尽可能的接近预设的参考电流。且由于
在控制过程中，没有区分恒流模式、恒压模式以及mppt模式，也能够避免太阳阵控制器在不同模式之间进行频繁切换，提升了光储系统的稳定性。
附图说明
[0032]
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。其中：
[0033]
图1是根据本发明的一个实施例的光储系统的太阳阵控制器的控制方法的主要步骤流程示意图；
[0034]
图2是根据本发明实施例的一个实施方式的光储系统的主要组成结构示意图；
[0035]
图3是锂电池的一阶rc模型的主要电路组成示意图；
[0036]
图4是根据本发明实施例的一个实施方式的光储系统的太阳阵控制器的控制方法的主要框架组成示意图。
具体实施方式
[0037]
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
[0038]
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“a和/或b”表示所有可能的a与b的组合，比如只是a、只是b或者a和b。术语“至少一个a或b”或者“a和b中的至少一个”含义与“a和/或b”类似，可以包括只是a、只是b或者a和b。单数形式的术语“一个”、“这个”也可以包含复数形式。
[0039]
这里先解释本发明涉及到的一些术语。
[0040]
soc(state ofcharge)＝荷电状态
[0041]
dqn(deep q-network)＝深度q网络算法
[0042]
pwm(pulse width modulation)＝脉冲宽度调制
[0043]
mppt(maximum power point tracking)＝最大功率点追踪。
[0044]
本发明的一个应用场景的例子，对于电池组没有额外的充放电电路，即电池组电压等于母线电压的场景。
[0045]
参阅附图1和附图2，图1是根据本发明的一个实施例的光储系统的太阳阵控制器的控制方法的主要步骤流程示意图，图2是根据本发明实施例的一个实施方式的光储系统的主要组成结构示意图。
[0046]
如图2所示，本发明实施例中光储系统包括太阳阵、蓄电池和负载，太阳阵与太阳阵控制器的第一端连接，太阳阵控制器的第二端分别与蓄电池和负载连接，蓄电池也与负载连接。
[0047]
太阳阵的输出是非线性的，其数学模型如公式(1)所示：
[0048]ipv
＝i
sc-i
os
[exp(q/akt)u
pv-1](1)
[0049]
其中，i
pv
是太阳阵的输出电流；i
sc
为光生电流，i
os
为饱和电流，a为二极管理想因子，k为玻尔兹曼常数，t为太阳阵的工作温度，q为电子电荷，u
pv
为太阳阵的输出电压。
[0050]
系统需要满足电流平衡条件。在光照期光伏为负载供电，多余的能量为蓄电池充电，如果光照不足或负载需求过大，则由光伏和蓄电池同时为负载供电。在地影期，负载由蓄电池供电，如公式(2)所示：
[0051]ipv
+i
bat
＝i
load
(2)
[0052]
其中，i
bat
为蓄电池的充电电流，i
bat
》0为蓄电池放电，i
bat
《0为蓄电池充电；i
load
为负载电流。
[0053]
一个实施方式中，蓄电池可以为锂电池，可以建立锂电池一阶rc模型，其电路拓扑结构如图3所示，图3是锂电池的一阶rc模型的主要电路组成示意图。图3中，u
oc
表示电池的开路电压，i
load
和u
load
分别表示电池的负载电流和负载电压；r0表示电池的欧姆内阻，模型还有一个rc环节，表示为电阻r1和电容c1并联；u1表示rc环节的电压。
[0054]
根据kvl(kirchhoff'svoltagelaw，基尔霍夫电压定律)定理，锂电池一阶rc模型负载电压的表达式如公式(3)所示：
[0055]uload
＝u
oc-ir
0-u1(3)
[0056]
其中，u1满足以下公式(4)：
[0057][0058]
一阶rc模型的输出方程如公式(5)所示：
[0059][0060]
rc环节的电压变化如公式(6)所示：
[0061][0062]
其中，为第k+1个阶段的rc环节的电压；为第k个阶段的rc环节的电压；δt为采样时间；τ为时间常数。
[0063]
电池的荷电状态soc的定义如公式(7)所示：
[0064][0065]
其中，q
t
为蓄电池当前剩余容量；q0为蓄电池的额定容量，即蓄电池充满后可放出的最大容量。
[0066]
由于蓄电池的功率和充放电能力有限，需要满足电流约束、容量约束和工作电压约束如公式(8)至公式(10)所示：
[0067]ibat_min
≤i
bat
≤i
bat_max
(8)
[0068]
soc
min
≤soc≤soc
max
(9)
[0069]vbat_min
≤v
bat
≤v
bat_max
(10)
[0070]
其中，i
bat_min
为充电电流最小值；i
bat_max
为充电电流最大值；soc
min
为荷电状态最小值；soc
max
为荷电状态最大值；v
bat_min
为充电电压最小值；v
bat_max
为充电电压最大值。
[0071]
如图1所示，本发明的光储系统的太阳阵控制器的控制方法主要包括下列步骤s101-步骤s102。
[0072]
步骤s101：通过训练好的强化学习智能体，获取太阳阵控制器当前阶段的输入电压参考值。
[0073]
在本实施例中，可以通过训练好的强化学习智能体来获取太阳阵控制器当前阶段的输入电压参考值。
[0074]
其中，强化学习的问题模型通常被表示为一个元组(s,a,p,r)，其中：s表示状态的集合，a表示动作的集合，p表示状态转移概率，r表示奖励函数。强化学习通过代理观察环境的当前状态s∈s，并根据状态决定要采取的动作a∈a。一种状态可能对应多种动作，每种动作有不同的选择概率p，p由策略π决定，如公式(11)所示。
[0075]
π(a|s)＝p[a
t
＝a|s
t
＝s](11)
[0076]
动作对状态产生改变后，会生成奖励。强化学习的价值由当前奖励和折扣的未来奖励组成。如果该奖励是正面的，则随后执行该奖励的概率会增加。在状态s中，动作a对应的价值如式(12)所示
[0077][0078]
式中，γ∈[0,1]为折扣因子。
[0079]
强化学习智能体是部署在上层控制器中，不直接控制太阳阵控制器。也就是说，强化学习智能体的动作输出结果并不是太阳阵控制器的控制指令，而是太阳阵控制器所进行控制时的输入电压参考值。
[0080]
一个实施方式中，强化学习智能体应用的强化学习算法可以为dqn(deepqnetwork，深度q网络)算法。
[0081]
一个实施方式中，强化学习智能体应用的强化学习算法可以为k-dqn算法。
[0082]
步骤s102：通过太阳阵控制器对输入电压参考值进行跟踪，以改变太阳阵控制器当前阶段的输出电流，使得蓄电池的充电电流更接近预设的参考电流。
[0083]
在本实施例中，可以通过太阳阵控制器对输入电压参考值进行跟踪，从而改变太阳阵控制当前阶段的输出电流，以实现蓄电池的充电电流更接近参考电流。
[0084]
一个实施方式中，参考电流可以为蓄电池的多阶段恒流充电曲线对应的电流。
[0085]
基于上述步骤s101-步骤s102，本发明实施例通过训练好的强化学习智能体，获取太阳阵控制器当前阶段的输入电压参考值，使得太阳阵控制器对输入电压参考值进行跟踪，从而改变太阳阵控制器的当前阶段的数输出电流。通过上述配置方式，本发明实施例通过控制太阳阵控制器的输入电压参考值，使得蓄电池的充电电流尽可能的接近预设的参考电流。且由于在控制过程中，没有区分恒流模式、恒压模式以及mppt模式，也能够避免太阳阵控制器在不同模式之间进行频繁切换，提升了光储系统的稳定性。
[0086]
下面分别对步骤s101和步骤s102作进一步地说明。
[0087]
在本发明实施例的一个实施方式中，步骤s101可以包括以下步骤s1011和步骤s1012：
[0088]
步骤s1011：通过强化学习智能体，获取太阳阵控制器输入电压参考值的电压改变量。
[0089]
在本实施方式中，可以参阅附图4，图4是根据本发明实施例的一个实施方式的光
储系统的太阳阵控制器的控制方法的主要框架组成示意图。如图4所示，强化学习智能体的动作空间可以为太阳阵控制器输入电压参考值的电压改变量，即两个相邻阶段的输入电压参考值的差值。其中，动作空间可以用以下公式(13)表示：
[0090]
δv＝[δv1,δv2,δv3,
…
,δvn](13)
[0091]
其中，δv为强化学习智能体的动作空间；δvn为输入电压参考值的电压改变量，正为增加，负为减少。
[0092]
一个实施方式中，如图4所示，强化学习智能体观察(环境)的状态包括太阳阵电压v
pv
、功率p
pv
，电池组电流i
bat
、电压v
bat
、soc、电池组(蓄电池)参考充电电流i
b_ref
和负载电流i
load
等信息。
[0093]
步骤s1012：根据电压改变量和上一阶段的输入电压参考值，获取当前阶段的输入电压参考值。
[0094]
在本实施方式中，步骤s1012可以进一步包括以下步骤s10121和步骤s10122：
[0095]
步骤s10121：根据强化学习智能体的奖励函数，获取强化学习智能体当前阶段的增益系数。
[0096]
在本实施方式中，可以基于强化学习智能体的奖励函数来获取当前阶段的增益系数。传统的dqn(deepqnetwork，深度q网络)算法(即，强化学习算法)的输出是离散的。但是由于本发明中控制对象为蓄电池的充电电流，电流信号在现实中是连续值，如果仍然采用dqn的思路，控制动作的步长将是有限的，无法实现对变换器的灵活控制。有一些可以应用于连续动作对象的强化学习算法，如深度确定性梯度策略等，也可以增加输出动作的个数，但是这些算法需要使用更大规模的网络，大大增加了训练的时间和难度。因此，本发明使用一种基于增益系数的改进dqn算法，将离散的dqn算法改进为连续的dqn，简称为k-dqn。即基于强化学习的奖励值获得一个增益系数，在智能体输出动作后将动作乘以该系数，进而将原本数量较少的动作区间扩容。
[0097]
一个实施方式中，强化学习智能体的奖励函数可以根据以下公式(14)获得：
[0098]
r＝-|i
bat-i
b_ref
|(14)
[0099]
其中，r为奖励函数；i
bat
为蓄电池的充电电流；i
b_ref
为预设的参考电流。
[0100]
在本实施方式中，可以将强化学习智能体的奖励函数定义为蓄电池当前充电电流和参考电流之间的偏差的绝对值。
[0101]
一个实施方式中，可以根据以下公式(15)获取增益系数：
[0102]
k＝k
×
r(15)
[0103]
其中，k为增益系数；k为变换系数，k的取值可以根据实际使用的太阳阵和太阳阵控制器的参数进行设计。
[0104]
一个实施方式中，可以根据以下公式(16)获取变换系数：
[0105][0106]
其中，i
mppt
为太阳阵的最大功率点电流；is为太阳阵的短路电流；v
mppt
为太阳阵的最大功率点电压；v
oc
为太阳阵的开路电压。
[0107]
在本实施方式中，当蓄电池的实际充电电流与参考电流之间的差异较大时，r的绝对值较大，此时k也较大，即太阳阵控制器需要调整的变化较大。当蓄电池的实际充电电流
与参考电流之间的差距较小时，r的绝对值较小，此时k也较小，即太阳阵控制器需要调整的变化也较小。当蓄电池的实际充电电流与参考电流相等时，r为0，此时k也为0，此时太阳控制器的输入电压就不需要调整。
[0108]
步骤s10122：将电压改变量乘以增益系数后，与上一阶段的输入电压参考值相加，获取当前阶段的输入电压参考值。
[0109]
在本实施方式中，如图4所示，可以将电压改变量乘以增益系数k后与上一阶段的输入电压参考值相加，获得当前阶段的输入电压参考值v
ref_pv
。
[0110]
在本发明实施例的一个实施方式中，如图4所示，太阳阵控制器(dc-dc变换器)可以包括pwm(pulse width modulation，脉冲调制)控制器和开关管。步骤s102可以进一步包括以下步骤s1021和步骤s1022：
[0111]
步骤s1021：通过pwm控制器，根据输入电压参考值，获取太阳阵控制器当前阶段的输出信号的占空比。
[0112]
步骤s1022：根据占空比，对开关管进行控制，以改变所述太阳阵控制器当前阶段的输出电流。
[0113]
在本实施方式中，如图4所示，pwm控制器可以根据输入电压参考值生成输出信号的占空比(d)；可以根据pwm控制器生成的占空比对开关管进行控制(on-off)，从而改变太阳阵控制器当前阶段的输出电流，从而实现对蓄电池充电电流的控制。
[0114]
通过控制太阳阵控制器的输入参考电压，使得蓄电池的充电电流尽可能接近多阶段恒流充电曲线(参考电流)，且由于控制的过程中没有区分恒流、恒压和mppt等控制模式，能够有效避免太阳阵控制器在不同的模式之间来回切换的问题，提升了整个光储系统的稳定性。
[0115]
一个实施方式中，在对强化学习智能体进行实际训练时，可以建立太阳阵和太阳阵控制器的数学模型或者通过测量数据拟合输出和效率曲线。在强化学习的环境中进行建模，搭建神经网络训练强化学习智能体。为了使得仿真环境尽可能模拟真实环境，可以为所有的电压和电流测试值增加一定的随机噪声。
[0116]
在训练过程中，可以设置一定数量的强化学习智能体的输出动作。由于在每个控制周期内电池组的参考充电电流变化和负载变化的数量是有限的，为了减少训练时间，并不对电池组的全充电周期进行仿真，而是在每一次训练中将电池组的初始soc设置为使用范围的随机数。设置一定数量的控制周期，假设在每次训练的环境模拟时间较短，电池组的soc并不发生变化。在每次训练中设置一定数量的随机时间点随机的改变电池组的参考充电电流和负载电流。为了避免系统工况改变的时间点对强化学习智能体的训练有影响，将强化学习奖励的折扣因子设置为0。
[0117]
每一次训练需要模拟环境运行一定的时间(仿真虚拟时间)，控制周期是指仿真虚拟时间的步长。在每一次训练前设置初始输入电压参考值，太阳阵的初始输出功率和其他状态根据系统模型计算得到。
[0118]
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时(并行)执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
[0119]
本领域技术人员能够理解的是，本发明实现上述一实施例的方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括：能够携带所述计算机程序代码的任何实体或装置、介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器、随机存取存储器、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括电载波信号和电信信号。
[0120]
进一步，本发明还提供了一种控制装置。在根据本发明的一个控制装置实施例中，控制装置包括处理器和存储装置，存储装置可以被配置成存储执行上述方法实施例的光储系统的太阳阵控制器的控制方法的程序，处理器可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的光储系统的太阳阵控制器的控制方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该控制装置可以是包括各种电子设备形成的控制装置设备。
[0121]
在本发明实施例中控制装置可以是包括各种电子设备形成的控制装置设备。在一些可能的实施方式中，控制装置可以包括多个存储装置和多个处理器。而执行上述方法实施例的光储系统的太阳阵控制器的控制方法的程序可以被分割成多段子程序，每段子程序分别可以由处理器加载并运行以执行上述方法实施例的光储系统的太阳阵控制器的控制方法的不同步骤。具体地，每段子程序可以分别存储在不同的存储装置中，每个处理器可以被配置成用于执行一个或多个存储装置中的程序，以共同实现上述方法实施例的光储系统的太阳阵控制器的控制方法，即每个处理器分别执行上述方法实施例的光储系统的太阳阵控制器的控制方法的不同步骤，来共同实现上述方法实施例的光储系统的太阳阵控制器的控制方法。
[0122]
上述多个处理器可以是部署于同一个设备上的处理器，例如上述控制装置可以是由多个处理器组成的高性能设备，上述多个处理器可以是该高性能设备上配置的处理器。此外，上述多个处理器也可以是部署于不同设备上的处理器，例如上述控制装置可以是服务器集群，上述多个处理器可以是服务器集群中不同服务器上的处理器。
[0123]
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的光储系统的太阳阵控制器的控制方法的程序，该程序可以由处理器加载并运行以实现上述光储系统的太阳阵控制器的控制方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
[0124]
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
[0125]
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
[0126]
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

技术特征：
1.一种光储系统的太阳阵控制器的控制方法，其特征在于，所述光储系统包括太阳阵、蓄电池和负载，所述太阳阵与所述太阳阵控制器的第一端连接，所述太阳阵控制器的第二端分别与所述蓄电池和所述负载连接，所述蓄电池也与所述负载连接，所述方法包括：通过训练好的强化学习智能体，获取所述太阳阵控制器当前阶段的输入电压参考值；通过所述太阳阵控制器对所述输入电压参考值进行跟踪，以改变所述太阳阵控制器当前阶段的输出电流，使得所述蓄电池的充电电流更接近预设的参考电流。2.根据权利要求1所述的光储系统的太阳阵控制器的控制方法，其特征在于，所述通过训练好的强化学习智能体，获取所述太阳阵控制器当前阶段的输入电压参考值，包括：通过所述强化学习智能体，获取所述太阳阵控制器输入电压参考值的电压改变量；根据所述电压改变量和上一阶段的输入电压参考值，获取当前阶段的输入电压参考值。3.根据权利要求2所述的光储系统的太阳阵控制器的控制方法，其特征在于，所述根据所述电压改变量和上一阶段的输入电压参考值，获取当前阶段的输入电压参考值，包括：根据所述强化学习智能体的奖励函数，获取所述强化学习智能体当前阶段的增益系数；将所述电压改变量乘以增益系数后，与所述上一阶段的输入电压参考值相加，获取当前阶段的输入电压参考值。4.根据权利要求3所述的光储系统的太阳阵控制器的控制方法，其特征在于，根据以下公式获取所述强化学习智能体的奖励函数：r＝-|i
bat-i
b_ref
|其中，r为所述奖励函数；i
bat
为所述蓄电池的充电电流；i
b_ref
为所述预设的参考电流。5.根据权利要求4所述的光储系统的太阳阵控制器的控制方法，其特征在于，根据以下公式获取所述增益系数：k＝k
×
r其中，k为所述增益系数；k为变换系数。6.根据权利要求5所述的光储系统的太阳阵控制器的控制方法，其特征在于，根据以下公式获取所述变换系数：其中，i
mppt
为所述太阳阵的最大功率点电流；i
s
为所述太阳阵的短路电流；v
mppt
为所述太阳阵的最大功率点电压；v
oc
为所述太阳阵的开路电压。7.根据权利要求1所述的光储系统的太阳阵控制器的控制方法，其特征在于，所述太阳阵控制器包括pwm控制器和开关管；所述通过所述太阳阵控制器对所述输入电压参考值进行跟踪，包括：通过所述pwm控制器，根据所述输入电压参考值，获取所述太阳阵控制器当前阶段的输出信号的占空比；根据所述占空比，对所述开关管进行控制，以改变所述太阳阵控制器当前阶段的输出
电流。8.根据权利要求1至7中任一项所述的光储系统的太阳阵控制器的控制方法，其特征在于，所述强化学习智能体的观察的状态包括：当前阶段所述太阳阵的电压和/或功率；和/或，当前阶段所述电池组的电流和/或电压和/或荷电状态和/或参考电流；和/或，当前阶段所述负载的电流。9.一种控制装置，包括至少一个处理器和至少一个存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至8中任一项所述的光储系统的太阳阵控制器的控制方法。10.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至8中任一项所述的光储系统的太阳阵控制器的控制方法。

技术总结
本发明涉及储能控制技术领域，具体提供一种光储系统的太阳阵控制器的控制方法、装置及存储介质，旨在解决太阳阵控制器在不同运行模式之间进行切换的过程中，可能存在频繁切换的情况，导致光储系统不稳定的问题。为此目的，本发明通过训练好的强化学习智能体，获取太阳阵控制器当前阶段的输入电压参考值，使得太阳阵控制器对输入电压参考值进行跟踪，从而改变太阳阵控制器的当前阶段的数输出电流。本发明通过控制太阳阵控制器的输入电压参考值，使得蓄电池的充电电流尽可能的接近预设的参考电流。且在控制过程中，没有区分恒流模式、恒压模式以及MPPT模式，也能够避免太阳阵控制器在不同模式之间进行频繁切换，提升了光储系统的稳定性。性。性。


技术研发人员：尹靖元 叶泽雨 张桐硕 霍群海 吴理心 师长立 韦统振
受保护的技术使用者：中国科学院电工研究所
技术研发日：2023.05.31
技术公布日：2023/9/5