一种能量管理方法及能量管理平台

1.本发明涉及云平台领域，具体涉及一种能量管理方法及能量管理平台。


背景技术：

2.随着近年人工智能与新能源汽车的发展，新能源汽车的市场规模逐渐扩大。新能源车辆最需要解决的问题就是对其能量系统的能量管理。
3.目前对于能量系统的能量管理主要有以下两个方案：
4.基于规则的能量管理策略：基于规则的能量管理策略基于操作知识以及相关专业经验设计功率分配表，制定相关的功率边界，主要包括模糊逻辑，小波变换，有限状态机等方法。基于规则的控制方法易于设计并便于在实际系统中运行，但是难以在不用的负载条件下满足不同的要求，适应性较差，难以保证动态系统的整体性能。
5.基于优化的能量管理策略：包括全局优化方法和瞬时优化的方法，这些方法可以确保在多种条件约束下实现系统的最优性能。其中，全局优化方法虽然优化效果较好，但需要提前获取相关工况，车辆运行状态等相关信息，且需要的计算难度与计算量也较大，实用性较弱，不能直接用于在线控制。瞬时优化方法与全局优化方法相比具有计算量较小，实时性较高的特点，但是其经济性与持久性较弱。


技术实现要素：

6.为解决上述问题，本发明提供一种能量管理方法及能量管理平台。
7.该方法包括：
8.接收交通工具运行中的能量系统状态数据并进行清洗得到交通工具运行工况数据；
9.对交通工具运行工况数据按照交通工具类型进行分类；
10.针对交通工具能量管理优化目标，为每个交通工具类型单独构建多个基于强化学习算法的能量管理策略；
11.使用交通工具运行工况数据为不同交通工具类型训练能量管理策略得到多个稳定的能量管理策略；
12.比较多个稳定的能量管理策略，根据交通工具能量管理优化目标选出一个最终的能量管理策略；
13.根据最终的能量管理策略对交通工具进行反馈控制。
14.进一步的，使用数字孪生展示交通工具运行工况数据和最终的能量管理策略流程。
15.进一步的，所述工况数据包括：能量数据、交通工具速度、交通工具的加速度。
16.进一步的，所述交通工具为新能源汽车。
17.进一步的，所述强化学习算法包括：q-learning、sarsa、策略梯度为框架的相关基础算法与拓展算法。
18.进一步的，所述能量管理优化目标包括：燃料电池功率波动、电池使用寿命、交通工具行驶速度、交通工具续航距离、能量消耗。
19.进一步的，其特征在于，所述能量包括锂电池与燃油发动机，燃料电池与锂电池，超级电容与锂电池，燃料电池与锂电池与超级电容。
20.该能量管理平台包括：
21.数据传输单元，用于传输运行交通工具与平台间的数据以及平台各单元间的数据，并对数据进行存储；
22.算法运行与控制单元，用于对数据进行处理，针对能量管理优化目标构建强化学习算法，并通过数据训练算法，根据能量管理优化目标选择算法，并基于选择的构建能量管理策略对交通工具进行能量控制；
23.数字孪生展示单元，用于展示交通工具运行状态以及算法流程图。。
24.进一步的，所述平台运行在云服务器。
25.进一步的，所述对数据进行存储包括：将数据存储到aws s3、azure blob storage、mysql、mongodb中的一个或多个数据库中。
26.本技术实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：
27.本发明在完成训练新能源车辆的强化学习能量管理策略的同时，还可以降低算法开发难度，节省开发时间，在完成对车辆的运行状态监督的情况下还可以对车辆运行状态进行反馈控制，即提高了整体能量使用效率又增加了车辆使用的寿命，此外，相关可视化平台直观地对运行的算法与能量系统进行展示，降低人机交互的难度。
附图说明
28.图1为本发明实施例提供的能量管理平台的框架图；
29.图2为本发明实施例提供的能量管理平台管理汽车能量的流程图。
具体实施方式
30.以下结合附图和具体实施例，对本发明进行详细说明，在详细说明本发明各实施例的技术方案前，对所涉及的名词和术语进行解释说明，在本说明书中，名称相同或标号相同的部件代表相似或相同的结构，且仅限于示意的目的。
31.如图1所示，本发明提供的能量管理平台包括数据传输单元、算法运行与控制单元、数字孪生展示单元。
32.利用通讯设备与协议，在车辆与云平台之间传输数据，并且在云平台的不同模块中传输数据。具体来说，在车辆端利用有线通讯以及通讯协议获取车辆运行数据至无线远程通讯设备，再利用无线通讯协议获取车辆运行相关数据至云平台，而在云平台之间，通过地址内存分配对不同功能数据进行划分与存储，再利用命令进行调用获取存储在内存中的相关数据用于各个单元与模块，如果需要将数据进行导出至其他相关应用，则需要满足云平台自身的接口与通讯协议，并验证具有一定权限后得以实施导出。
33.数据传输单元包括：数据接收模块，数据发送模块，数据存储模块；数据传输单元用于在运行车辆能量系统与云平台中进行数据的发送与接收，并对相关数据进行存储；数字接收模块接收车辆运行中产生的自身能量系统状态，所述的自身能量系统状态包括：行
驶速度、加速度、加速踏板状态、制动踏板状态、电池荷电状态、燃料电池输出功率。
34.数据接收模块以及数据发送模块用于数据在云平台内部的传输以及运行的车辆数据与云平台的数据互换通讯，具体传输手段包括但不限于can数据传输，tcp网络传输。数据接收模块通过网络通讯连接到新能源汽车，从汽车中接收数据，包括但不限于车辆速度，车辆加速度，燃料电池功率，电池功率等，得到数据后将其通过数据发送模块发送至数据存储模块进行存储，且发送至数据分析模块，对原始数据进行分析处理。
35.数据存储模块，在云服务器中开辟内存空间，用于存储数据以及保留运行过程产生的临时数据，需要保留的数据包括但不限于车辆运行数据，车辆内部能量系统运行数据，云平台强化学习算法参数，云平台访问与权限数据。数据存储模块用来保存所有的运行相关数据，包括但不限于燃料电池电压，燃料电池电流，锂电池剩余容量，锂电池温度，q-learning算法的q表最新值。可以将数据存储到云存储服务中，如aws s3、azure blob storage，或存储到关系型或非关系型数据库中，如mysql、mongodb。
36.算法运行与控制单元包括：数据分析模块、算法构建模块、算法运行模块、算法管理模块、车辆控制反馈模块。该单元将初始数据进行处理分析，包括对数据的裁剪，组合，简化，清洗等。利用处理后的数据进行算法构建，主要以q-learning、sarsa、策略梯度算法为基础。将策略进行优化并对能量管理策略进行平台仿真。此外，将不同的强化学习算法进行分类管理，便于以后使用的调度以及改进。算法的训练条件则是需要较大的云空间并利用高算力服务器进行运行与迭代优化，在得到针对具体车辆的相关能量管理策略后即可以实现对算法优缺点的比较，主要考虑算法运行速度，算法占用空间以及能量管理目标优化效果。在仿真完成后，若得到较满意的管理策略，可以实现对车辆的反向控制，以实现策略的实施运行。
37.数据分析模块，将存储的数据进行处理包括但不限于对原始数据进行清理、去噪、填充缺失值等操作，以确保数据的质量和可用性。此外，可以从原始数据中提取特征，如车辆的速度、加速度、转向角度、电池电量等，这些特征可以用于算法构建和优化。依据车辆参数获得两个数据范围，正常的数据范围标明此部分车辆运行数据可以直接使用的范围，预警的数据范围是需要对车辆发送告警信息，重新运行便于数据检查的范围，而超出预警的数据范围的数据则为异常数据。若出现异常数据，通过数据传输单元对车辆进行控制以停止车辆运行。
38.算法构建模块，用于在获得相关处理后的数据后对整体能量系统进行强化学习能量管理算法的搭建，可选择的相关能量系统架构包括锂电池与燃油发动机，燃料电池与锂电池，超级电容与锂电池，燃料电池与锂电池与超级电容；可选择的算法q-learning、sarsa、策略梯度为框架的相关基础算法与拓展算法。具体功能在于根据得到的能量系统框架，以及相关工况定义状态、动作、奖励等相关参数，根据能量拓扑图以及优化目标，采用一个基础强化学习算法作为框架，输入相关状态、动作、奖励的数据，得到初步构建的算法。
39.所述的算法运行模块，利用云平台的较高算力，在算法框架构建完成后，输入相关运行参数，进行算法的训练与实时运行，以获得收敛的算法结果，并保存该车辆数据以及对应的算法结构与参数，算法运行时长，算法复杂度等相关信息。该模块负责在模型中进行参数更新，以逐步提高模型的性能，再基于算法模型的输出结果，制定下一步的驾驶决策和能量管理策略。
40.算法管理模块，该模块负责对训练好的算法进行评估和优化，以提高模型的性能。评估指标可以包括能量消耗、车速、行驶距离等。该模块需要采用交叉验证、测试集验证等方法对模型进行评估，并根据评估结果对模型进行调整和优化，以提高模型的预测精度和泛化能力。
41.数字孪生展示单元包括：状态可视化模块、算法可视化模块。将车辆运行收集到的状态数据进行可视化展示，利用三维建模手段仿真车辆运行状态。同时在得到成熟的可实际运行的强化学习能量管理策略后，利用流程图形式，展示出相关算法。数字孪生展示单元在云平台的基础上进行可视化的展示，帮助对相关算法以及作用在车辆上的效果进行更清晰的展示并降低人机交互复杂度。
42.状态可视化模块利用采集到的车辆数据以及能量系统运行数据，对车辆进行建模，得到车辆三维模型以及内部能量系统的三维模型两部分，车辆三维模型主要包括车辆轮廓形状，运行速度，运行路线，内部能量系统的三维模型主要包括单个能量源输入参数与能量源输出功率，在确定所使用的都为正常的数据范围内的数据时，使用绿色进行数据标注，若出现预警数据以及异常数据时，分别使用橙色与黄色进行数据标注。
43.算法可视化模块，负责展示训练好的算法模型的能量管理策略，以及模型的性能指标，主要性能指标包括优化的结果，准确度，能量使用率等。展示可以使用图表、表格、动画等形式。
44.本发明提供的能量管理方法，包括以下步骤：
45.根据数据接收模块从车端采集到的车辆运行中产生的自身能量系统状态，经过数据传输单元通信到算法运行与控制单元，在数据分析模块中剔除异常数据，从采集到的数据中根据所需的能量管理优化目标选择相关车辆数据作为算法输入，确定输入后对数据进行数据处理，将偏差值过大的异常数据进行删除，将时间间隔较大的数据进行线性插值填充，选择运用强化学习算法构建基于特定优化目标的能量管理策略，并对不同车辆模型进行训练。
46.将训练后得到的稳定的强化学习能量管理策略及其输入、优化目标、相关参数，一起保存至算法管理模块，进行算法的分类，并进行相同输入与优化目标的算法对比，对比内容包括：算法运行速度、算法运行所需空间、控制精细度、参数数量等。同时在具有相同输入与优化目标的能量管理策略中，选取最优的能量管理策略，通过车辆反馈控制模块将最优的能量管理策略的决策内容传输至所数据传输单元，对车辆进行反馈控制。
47.将数据存储模块中的车辆运行状态与算法管理模块存储的稳定能量管理策略传输至数字孪生展示单元，分别构建车辆孪生可视化模型与强化学习能量管理策略可视化流程图，车辆孪生可视化主要展示能量分配状态，以及车辆运行状态，能量管理策略可视化主要为调用基础算法的原始框图，在其基础上进行修改更新迭代。
48.具体来说，当建立车辆运行模型时，不光需要建立能量系统的三维模型，还需要对运行环境进行建模，利用三维建模软件，得到三维模型包括车身外轮廓，能量系统各个子部件，能量系统间的能量流动方向等，此外，算法展示主要是将所用算法的框架进行标识，便于开发人员理解与修改。
49.下面结合两个具体的实施例来解释本发明。
50.实施例一是一个使用强化学习策略梯度算法，如actor-critic算法对燃料电池以
及电池进行能量管理策略训练的算法运行相关例子以及公式。该例子的目标是如何控制燃料电池和锂电池系统的输出功率，以最小化车辆的总能耗和排放。
51.在每个时间步，将当前状态表示s
t
，其中包括当前的电池电量、车速、车辆负载等信息；将电池系统的输出功率表示为a
t，1
，将燃料电池系统的输出功率表示为a
t，2
。
52.策略梯度代理可以学习一个策略函数pi(a
t，1
，a
t，2
|s
t
)，该函数将当前状态s
t
映射到一个动作(a
t，1
，a
t，2
)的概率分布。定义一个价值函数v(s
t
)，用于估计在当前状态s
t
下采取某个动作的长期回报。
53.策略梯度代理可以使用actor-critic算法来学习策略函数pi(a
t，1
，a
t，2
|s
t
)和价值函数v(s
t
)。在每个时间步，策略梯度代理会从环境中观察到状态s
t
，并根据当前策略pi(a
t，1
，a
t，2
|s
t
)选择一个动作(a
t，1
，a
t，2
)。策略梯度代理还会收到一个奖励r
t
和下一个状态s
t+1
。策略梯度代理使用这些信息来更新策略函数和价值函数：
54.首先，策略梯度代理根据当前策略π(a
t，1
，a
t，2
|s
t
)和价值函数v(s
t
)计算出动作的q值q(s
t
，a
t，1
，a
t，2
)，其中q值表示当前的电池输出功率与燃料电池输出功率的控制策略下，采取当前策略π(a
t，1
，a
t，2
|s
t
)所能够得到的长期回报的动作价值函数的值。
55.接着，代理计算动作的概率比率其中π
old
(a
t，1
，a
t，2
|s
t
)是旧的策略函数，用于避免梯度下降过程中的震荡。
56.策略梯度代理使用概率比率ρ
t
和优势函数a
t
＝q(s
t
，a
t，1
，a
t，2
)-v(s
t
)计算出策略梯度其中j(θ)是策略的总体期望回报，θ是策略函数的参数。策略梯度可以写为：
[0057][0058]
其中，ti代表每一次循环中的总的策略梯度更新的总时间步，直到完成这一次循环；n代表每次训练的总循环次数。
[0059]
最后，代理使用蒙特卡洛方法来估计策略和价值函数的期望回报，并使用梯度下降来更新策略函数和价值函数的参数：
[0060][0061][0062]
其中，α
θ
和θ
φ
是学习率，代表得到的新的参数保留之前参数信息的多少，也即每一次更新参数的变化幅度大小；φ是价值函数的参数，代表每一次循环后得到的新的价值函数的梯度，也即下一次循环所使用的价值函数的变化速度。
[0063]
至于运行工况的选择是利用对工况进行特征分析，提取出相关特征，例如最大车速，车辆平均速度，车速变化率，最大加速度等。对工况进行分析划分，得到不同种特征下的工况段，确定每个工况段对应的行驶状态和控制要求可以清晰区分。再利用强化学习算法进行优化训练，得到每一种工况下的约束条件。例如若得到特征为最大车速不超过10km/h的情况下，划分为低速工况，则停止燃料电池的运行，算法的训练中就将去除燃料电池输入，且选择单目标进行控制。若得到特征为车速大于50km/h，且加速度及速度波动率都小于10％，则考虑稳定燃料电池输出功率，增加权重因子，减少锂电池的输出功率，减小权重因子，再对算法进行训练，此时则需要将强化学习的奖励设置按照权重因子进行设置。
[0064]
实施例二描述的是能量管理平台如何管理汽车的能量，流程如图2所示：汽车在拥堵情况下运行，反馈车速，车辆运行所需的功率，预计拥堵时间信息至云平台，云端将根据
能量源进行分析，若预计拥堵时间低于10分钟，电池soc大于70％时，则仅仅利用电池供电，此时的算法框架仅仅考虑对电池进行功率分配，设置燃料电池最大功率为0，作为强化学习初始状态进行训练，得到能量管理策略结果，在车辆端运行。若预计拥堵时间低于10分钟且电池soc低于70％或预计拥堵时间高于10分钟时，则将算法框架初始化为燃料电池始终处于最低一档的功率模式下运行，并且在燃料电池满足车辆运行所需功率后对电池进行充电。
[0065]
以上所述实施方式仅仅是对本发明的优选实施方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明的权利要求书确定的保护范围内。

技术特征：
1.一种能量管理方法，其特征在于，包括以下步骤：接收交通工具运行中的能量系统状态数据并进行清洗得到交通工具运行工况数据；对交通工具运行工况数据按照交通工具类型进行分类；针对交通工具能量管理优化目标，为每个交通工具类型单独构建多个基于强化学习算法的能量管理策略；使用交通工具运行工况数据为不同交通工具类型训练能量管理策略得到多个稳定的能量管理策略；比较多个稳定的能量管理策略，根据交通工具能量管理优化目标选出一个最终的能量管理策略；根据最终的能量管理策略对交通工具进行反馈控制。2.根据权利要求1所述能量管理方法，其特征在于，使用数字孪生展示交通工具运行工况数据和最终的能量管理策略流程。3.根据权利要求1所述能量管理方法，其特征在于，所述工况数据包括：能量数据、交通工具速度、交通工具的加速度。4.根据权利要求1所述能量管理方法，其特征在于，所述交通工具为新能源汽车。5.根据权利要求1所述能量管理方法，其特征在于，所述强化学习算法包括：q-learning、sarsa、策略梯度为框架的相关基础算法与拓展算法。6.根据权利要求1所述能量管理方法，其特征在于，所述能量管理优化目标包括：燃料电池功率波动、电池使用寿命、交通工具行驶速度、交通工具续航距离、能量消耗。7.根据权利要求1所述能量管理方法，其特征在于，所述能量包括锂电池与燃油发动机，燃料电池与锂电池，超级电容与锂电池，燃料电池与锂电池与超级电容。8.一种用于实现权利要求1-7所述能量管理方法的能量管理平台，其特征在于，包括以下单元：数据传输单元，用于传输运行交通工具与平台间的数据以及平台各单元间的数据，并对数据进行存储；算法运行与控制单元，用于对数据进行处理，针对能量管理优化目标构建强化学习算法，并通过数据训练算法，根据能量管理优化目标选择算法，并基于选择的构建能量管理策略对交通工具进行能量控制；数字孪生展示单元，用于展示交通工具运行状态以及算法流程图。9.根据权利要求8所述能量管理平台，其特征在于，所述平台运行在云服务器。10.根据权利要求8所述能量管理平台，其特征在于，所述对数据进行存储包括：将数据存储到aws s3、azure blob storage、mysql、mongodb中的一个或多个数据库中。

技术总结
本发明涉及云平台领域，具体涉及一种能量管理方法及能量管理平台。该方法包括：接收交通工具运行中的工况数据；对工况数据按照交通工具类型进行分类；针对交通工具能量管理优化目标，为每个交通工具类型单独构建多个能量管理策略；使用交通工具运行工况数据为不同交通工具类型训练强化学习算法得到多个稳定的能量管理策略；比较多个稳定的能量管理策略，根据交通工具能量管理优化目标选出一个最终的能量管理策略；根据最终的能量管理策略对交通工具进行反馈控制。本发明降低算法开发难度，节省开发时间，即提高了整体能量使用效率又增加了车辆使用的寿命，此外，相关可视化平台直观地对运行的算法与能量系统进行展示，降低人机交互的难度。机交互的难度。机交互的难度。


技术研发人员：汪玉洁 康旭 陈宗海
受保护的技术使用者：中国科学技术大学
技术研发日：2023.04.26
技术公布日：2023/8/21