基于机器视觉与雷达信息融合的车辆能量控制方法及系统

1.本发明属于新能源汽车技术领域，具体涉及一种基于机器视觉与雷达信息融合的车辆能量控制方法及系统。


背景技术：

2.随着新能源汽车产业的迅猛发展，混合动力电动汽车与传统的内燃机汽车相比，能够实现更好的燃油经济性和更低的尾气排放，与纯电动汽车相比又具有更高的续驶里程。尤其对于插电式混合动力汽车而言，相比传统的混合动力汽车，其还具有可以通过外接充电器从电网获取电能的优势，增强了对各种不同行驶环境的适应性，故使其在混合动力汽车领域受到了广泛关注和研究。目前，针对插电式混合动力汽车(phev)的能量管理策略的研究主要集中于利用目标车辆的历史车速信息进行能量管理策略的制定，但是，随着低成本、高性能图像传感器的不断普及，以及机器视觉和深度学习技术在目标检测领域的广泛应用，车辆行驶环境的诸多因素开始被纳入车辆能量管理策略制定的考虑范围之中，如车辆行驶时周围车辆的行驶状态以及前方的道路交通信号灯等，需要综合考虑车辆行驶环境的复杂性及多变性。
3.现有技术基于车辆行驶道路交通信息的能量管理策略具有以下不足：
4.1)在考虑车辆行驶信息的能量管理问题上，大多数研究只考虑本车的行驶信息，但是因为车辆行驶环境的复杂性以及多变性，使得单纯只针对本车行驶信息所制定的能量管理策略在适应性上存在着明显不足；2)在考虑车辆行驶的道路交通信息多因素上，更多的是利用车联网信息实现v2v以及v2x之间的信息交互，并将其作为能量管理问题的输入，但是考虑到车联网技术发展水平的限制，一般需要给车辆装备专用设备才能实现。目前针对多信息，尤其是考虑交通信息的能量管理策略，研究人员更多的是在仿真平台上构建相关道路场景，并将模拟平台当中相关的车辆行驶信息和道路交通信息的输出作为能量管理问题的输入，使得所建立的能量管理策略在实际应用上存在缺陷；3)现有的混合动力汽车能量管理策略虽然已经有少部分利用车载摄像机对外部交通环境的相关信息进行采集，但是机器视觉在获取外部环境时容易受到天气等因素的干扰，同时当识别物距离较远时精度较差，其只能在一定范围内进行相关信息的识别，并且比较难以获得与距离相关的信息。


技术实现要素：

5.本发明的目的在于提供一种基于机器视觉与雷达信息融合的车辆能量控制方法及系统，能够快速、准确的获得车辆行驶时外部的交通信息，为能量管理策略的制定提供更多、更精确的输入，从而解决现有技术在制定能量管理策略时存在的只考虑目标车辆自身历史行驶信息这一单一因素，在获取目标车辆外部交通信息时所存在的感知能力受限和感知精度不足，以及车辆在面临复杂多变的行驶工况下控制策略适应性差，应用效果不佳等问题。
6.为了实现上述目的，本发明有如下的技术方案：
7.一种基于机器视觉与雷达信息融合的车辆能量控制方法，包括：
8.通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；
9.利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划，基于深度学习的单阶段方法在融合图像信息中提取特征信息；
10.将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；
11.基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；
12.根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配，获得符合车辆自身行驶状态和外部交通信息的能量管理策略。
13.作为一种优选的方案，所述通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合包括：
14.通过最小二乘准则对机器视觉与毫米波雷达所采集到的信息进行时间上的同步；
15.所述机器视觉由车载摄像机实现，通过matlab工具箱对车载摄像机以及毫米波雷达进行参数标定；标定采用标准棋盘角点提取的方法，根据标定的参数信息以及车载摄像机和毫米波雷达两个传感器在车上安装的相对位置信息建立两个传感器坐标系的空间转换关系，实现两个传感器采集信息在空间上的同步；
16.通过can总线读取行驶车辆自身的行驶信息，行驶信息包括速度和加速度。
17.作为一种优选的方案，所述利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划包括：
18.将毫米波雷达所采集到的原始交通信息信号投影到车载摄像机所采集的同时间戳的图像中，得到毫米波雷达的原始数据图。
19.作为一种优选的方案，所述基于深度学习的单阶段方法在融合图像信息中提取特征信息的步骤之前，使用卡尔曼滤波对原始数据进行降噪处理，并通过对所规划出的识别区域内的目标进行速度与相对位置关系分析，剔除无效信息。
20.作为一种优选的方案，在所述基于深度学习的单阶段方法在融合图像信息中提取特征信息的步骤中，所述基于深度学习的单阶段方法为yolov5算法，特征信息包括行驶车辆前方的车辆数目及车速、前方的道路交通信号灯信息，以及正前方与最近车辆的车距信息。
21.作为一种优选的方案，所述级联式长短期记忆网络车速预测模型的计算过程包括：
22.计算遗忘门，遗忘门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算舍弃信息：
23.f
t
＝s(wf·
[h
t-1
，x
t
]+bf)
[0024]
计算输入门，输入门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算更新信息和临时细胞状态：
[0025]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
[0026]
[0027][0028]
计算输出门，输出门读取当前输入信息x
t
和前一个神经元信息h
t-1
计算输出信息，并根据更新后的细胞状态计算状态变量h
t
：
[0029]ot
＝σ(wo·
[h
t-1
,x
t
]+bo)
[0030]ht
＝o
t
·
tanh(c
t
)
[0031]
式中，σ为sigmoid激活函数，tanh为正切激活函数，wf，wi，wc，wo和bf，bi，bc，bo为对应门的权重矩阵和偏置项。
[0032]
作为一种优选的方案，所述级联式长短期记忆网络车速预测模型将三个相同网络结构单元的长短期记忆网络结构依次递归，将前方车数信息nf、前方车速信息vf、红灯信息lr及绿灯信息lg作为lstm_1的输入信息，将lstm_1预测输出的信息与检测到的车距信息df作为lstm_2的输入信息，再将lstm_2的输出信息与行驶车辆的车速以及加速度信息作为lstm_3的输入信息，由lstm_3得到行驶车辆短时域内的车速预测出信息v
pre
。
[0033]
作为一种优选的方案，所述基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配的步骤包括：基于行驶车辆短时域内的车速预测出信息v
pre
求解行驶车辆的需求转矩，再利用dp算法求解相同短时域内的最优转矩分配。
[0034]
作为一种优选的方案，所述通过循环迭代，获得最优转矩控制序列的步骤为将求解得到的行驶车辆的需求转矩和相同短时域内的最优转矩分配输入phev，重新预测有限时域内目标车辆行驶状态，以此循环往复，获得最优转矩控制序列。
[0035]
一种基于机器视觉与雷达信息融合的车辆能量控制系统，包括：
[0036]
融合图像信息获取模块，用于通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；
[0037]
特征信息提取模块，用于利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划，基于深度学习的单阶段方法在融合图像信息中提取特征信息；
[0038]
短时域车速预测信息获取模块，用于将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；
[0039]
最优转矩控制序列获取模块，用于基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；
[0040]
能量分配模块，用于根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配，获得符合车辆自身行驶状态和外部交通信息的能量管理策略。
[0041]
相较于现有技术，本发明至少具有如下的有益效果：
[0042]
通过将机器视觉与毫米波雷达采集的信息进行融合，使得目标车辆可以快速、准确的获取车辆行驶时外部的多源交通信息，为能量管理策略的制定提供更多、更精确的输入，同时将机器视觉与雷达信息相融合可以有效的解决在获取外部多源信息时存在感知能力受限和感知精度不足的问题。本发明通过级联式长短期记忆网络车速预测模型，利用获取到的交通信息结合本车自身的行驶状态信息对本车有限时域内的行驶车速进行预测，进而通过mpc(模型预测控制)实现多源信息融合下的能量管理策略制定，以此来解决车辆在复杂道路环境下控制策略适应性差的问题。相比于传统的基于车速预测的能量管理策略，采用本发明所提供的方法进行车速预测所得到的结果拟合优度(r2)为0.99，同时以基于动
态规划(dp)的能量管理策略为基准，本发明基于机器视觉和毫米波雷达信息融合的能量管理策略的电池荷电状态(soc)变化曲线的下降曲线趋势与基于动态规划(dp)的能量管理策略基本吻合，相较于传统的基于等效燃油消耗最小化策略的能量管理策略，燃油经济性提升了12％，表明本发明所提出的能量管理策略可以有效地将目标车辆本身的行驶信息和外部的交通信息相结合，采用能够反应汽车真实行驶状态的功率分配策略，在改善phev综合性能，提升系统适应性上具有显著的效果，明显优于现有的基于车辆行驶的道路交通信息的能量管理策略。
[0043]
进一步的，本发明采用数据融合的方法对行驶车辆外部的交通信息进行采集。为了保证机器视觉与毫米波雷达采集的数据进行有效的融合，通过对安装在行驶车辆上的车载摄像机和毫米波雷达同时进行参数标定，获得二者坐标系空间转换关系，实现两传感器在空间上的数据匹配，再利用最小二乘准则对车载摄像机和毫米波雷达进行时间上的同步处理。通过上述方式，可以保证车载摄像机和毫米波雷达所采集的信息基于同一时间戳，保证了采集数据的一致性与准确性，为后续采集信号的处理提供了条件。
[0044]
进一步的，本发明方法在进行图像数据处理时，首先通过调整毫米波雷达目标筛选的相关设置参数，使其能够有效的提取出行驶车辆周围的交通信息，然后在采集的信息中规划出相关交通信息识别的感兴趣区域。其次，采用基于深度学习的单阶段方法，即只使用一个卷积神经网络(cnn)。由yolov5(you only look once)算法对目标识别的感兴趣进行检测，进而输出相关行驶车辆周围的交通参数信息。通过数据融合的方式，可以实现对冗余数据快速的剔除，保留能够有效表达被测物体信息的数据，进而实现整个识别系统识别准确性、高效性提升的目的，为后面本车有限时域内的车速预测提供保障。
[0045]
进一步的，本发明所采用的基于yolov5算法的目标检测系统在对相关交通信息识别的感兴趣区域进行检测时，检测信息包括：前方车辆数目检测、前方车辆速度检测、正前方最近车辆车距检测、红灯检测、绿灯检测五个部分。通过上述信息可以实现对本车外部的交通信息具象化，同时相较于以往单一的数据信息，通过将机器视觉与毫米波雷达的信息融合实现多源信息的获取并将其应用到行驶车辆的车速预测。
[0046]
进一步的，本发明为实现mpc中本车在有限时域内车速预测，将之前获得的行驶车辆外部交通信息结合本车的行驶信息，采用级联式长短期记忆网络车速预测模型对本车有限时域内的车速进行预测，其中本车的行驶信息包括本车的历史行驶车速以及加速度。通过级联式lstm车速预测模型通过采用深度网络的结构来了解多源信息与未来车速之间的联系，实现了以多源融合信息为基础的短时域车速预测，相较于传统的只考虑本车行驶信息的车速预测，本发明更能够实现对车辆未来短时域内车速的准确预测，预测结果的拟合优度r2＝0.99。
附图说明
[0047]
图1本发明实施例基于机器视觉与雷达信息融合的车辆能量控制方法流程图；
[0048]
图2本发明实施例插电式混合动力汽车总体的能量管理结构示意图；
[0049]
图3本发明实施例卷积神经网络模型示意图；
[0050]
图4本发明实施例yolov5网络结构示意图；
[0051]
图5本发明实施例lstm网络结构示意图；
[0052]
图6本发明实施例级联式lstm车速预测模型示意图；
[0053]
图7本发明实施例基于dp求解mpc流程示意图。
具体实施方式
[0054]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员还可以在没有做出创造性劳动的前提下获得其他实施例。
[0055]
如图1所示，本发明实施例基于机器视觉与雷达信息融合的车辆能量控制方法，首先对安装在车辆上的车载摄像机和毫米波雷达进行标定和其他相关参数的调整，其次利用毫米波雷达对图像中交通信息识别的感兴趣区域进行分割规划，再利用基于深度学习的单阶段方法，通过yolov5算法对融合了车载摄像机和毫米波雷达处理的图像信息进行相关参数的识别提取，接着将识别的交通行驶信息以及本车的车速、加速度信息通过级联式lstm车速预测模型进行车辆短时域内的车速预测，并将预测输出作为mpc控制框架中预测工况部分的输入，最后便可得到短时域内的最优转矩分配方法即基于机器视觉与雷达信息融合的phev能量管理策略。本发明实施例整个能量管理控制策略的实现主要分为行驶车辆自身及外部多源交通信息的获取、基于深度学习的单阶段方法的融合信息处理、基于级联式lstm车速预测模型的车速预测、基于mpc的phev能量管理策略求解这四大步骤。
[0056]
步骤1：行驶车辆自身及外部多源交通信息的获取，具体包括以下步骤：
[0057]
步骤1.1：将车载摄像机安装在车辆前挡风玻璃上方中间位置，将毫米波雷达安装在车辆前保险杠位置。
[0058]
步骤1.2：因为不同传感器对信息的采样频率以及采集信息时所参考的坐标系存在差异，故两个传感器所采集的信息会存在重复、冗余以及错乱的信息。所以，一方面通过最小二乘准则对两个传感器所采集到的信息进行时间上的同步，其次，另一方面通过matlab工具箱对车载摄像机以及毫米波雷达进行相关参数的标定，标定采用的是标准棋盘角点提取的方法，根据标定的参数信息以及车载摄像机和毫米波雷达两个传感器在车上安装的相对位置信息建立两者坐标系的空间转换关系，进而以此实现了两传感器采集信息在空间上的同步。
[0059]
步骤1.3：通过车辆的can总线来读取本车自身的相关行驶信息，如车速、车辆加速度等。
[0060]
步骤1.4：利用已经调试好的车载摄像头和毫米波雷达进行道路信息的采集，以备后面对多源信息的融合处理。
[0061]
步骤2：基于深度学习的单阶段方法的融合信息处理，具体包括以下步骤：
[0062]
本发明实施例选择的图像处理方法是基于深度学习的单阶段方法，也就是只采用一个卷积神经网络，其中卷积神经网络模型如图3所示，该卷积神经网络所采用的核心检测算法是yolov5算法，该算法可以大幅度的提升检测的精度及速度，对于复杂的道路交通信息有着良好的适应性。
[0063]
步骤2.1：利用毫米波雷达对图像中交通信息识别的感兴趣区域进行分割规划，即将毫米波雷达所采集到的原始交通信息信号投影到车载摄像机所采集的同时间戳的图像
中得到毫米波雷达的原始数据图。
[0064]
步骤2.2：因为步骤2.1所得到的原始数据图收到检测时周围噪音的影响，同时原始检测图像中还包含有与本发明所需的相关道路交通信息无关的其他干扰信息，所以本发明实施例先用卡尔曼滤波对原始数据进行降噪处理，同时通过对所规划出的识别区域内的目标进行速度与相对位置关系分析，以此来剔除无效信息。
[0065]
步骤2.3：利用基于yolov5算法的深度学习单阶段方法对融合信息进行相关信息信号的提取，提取的信号为目标车辆前方的车辆数目及车速、前方的道路交通信号灯信息(红灯信息及绿灯信息)及正前方与最近车辆的车距信息。yolov5算法的网络结构如图4所示，其包括输入端(input)、骨干部分(backbone)、颈部(neck)、输出端(output)四部分。
[0066]
步骤3：基于级联式lstm车速预测模型的车速预测，具体包括以下步骤：
[0067]
采用基于级联式lstm车速预测模型来对目标车辆短时域内的未来车速进行预测，单个lstm的网络结构如图5所示，其有3个门，分别为遗忘门(f门)，输入门(i门)和输出门(o门)。本发明实施例进行车速预测时不仅要考虑目标车辆的行驶信息，还涉及车辆外部的交通信号信息，因为信息的多源性、复杂性及耦合性，本发明实施例提出一种级联式lstm车速预测模型对步骤2所检测的信息进行分级递归处理，递归结构拓扑如图6所示。
[0068]
步骤3.1：单个lstm网络结构的计算过程主要分为三步。
[0069]
第一步，计算遗忘门，遗忘门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算舍弃信息如下式(1)所示：
[0070]ft
＝s(wf·
[h
t-1
，x
t
]+bf)
ꢀꢀ
(1)
[0071]
第二步，计算输入门，输入门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算更新信息和临时细胞状态，具体计算及更新表达如下式(2)、(3)、(4)所示：
[0072]it
＝σ(wi·
[h
t-1
,x
t
]+bi)
ꢀꢀꢀ
(2)
[0073][0074][0075]
第三步，计算输出门，输出门读取当前输入信息x
t
和前一个神经元信息h
t-1
计算输出信息，并根据更新后的细胞状态计算状态变量h
t
，具体计算如下式(5)、(6)所示：
[0076]ot
＝σ(wo·
[h
t-1
,x
t
]+bo)
ꢀꢀ
(5)
[0077]ht
＝o
t
·
tanh(c
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0078]
式中：σ为sigmoid激活函数，tanh为正切激活函数。wf，wi，wc，wo和bf，bi，bc，bo为对应门的权重矩阵和偏置项。
[0079]
步骤3.2：将三个相同网络结构单元的lstm结构依次递归，考虑到前方车数信息(nf)、前方车速信息(vf)、红灯信息(lr)及绿灯信息(lg)会对车距信息产生影响，故将上述四个信息作为lstm_1的输入信息，将其预测输出的信息与检测到的车距信息(df)作为lstm_2的输入信息，然后再将lstm_2的输出信息与目标车辆的车速以及加速度信息作为lstm_3的输入信息，最终得到目标车辆短时域内的车速预测出信息v
pre
。
[0080]
步骤4：基于mpc的phev能量管理策略求解，具体包括以下步骤：
[0081]
如图2所示，基于mpc的phev能量管理策略求解主要分为多源信息获取、预测工况生成以及mpc能量管理算法的决策三部分。
[0082]
步骤4.1：基于步骤2以及步骤3可以得到多源信息及预测工况，其中的预测工况指的是步骤3所得到目标车辆短时域内的未来车速信息，并将该车速信息作为mpc的预测部分。
[0083]
步骤4.2：如图7所示，采用dp算法作为mpc中滚动优化的求解方法，根据基于级联式lstm的车速预测模型得到的目标车辆短时域内的预测车速v
pre
求解车辆的需求转矩，再利用dp算法求解相同的短时域内的最优转矩分配，即t
eng
和tm。
[0084]
步骤4.3：将求解得到的t
eng
和tm应用于phev车辆模型以此来更新车辆行驶状态，并将其应用到预测模型，重新预测有限时域内目标车辆行驶状态，循环往复，得到关于转矩的最优控制序列。
[0085]
最后根据所得到的最优转矩控制序列来计算整车的发动机与电机两个能量源之间的能量分配，以期得到符合车辆自身行驶状态和外部交通信息的能量管理策略。
[0086]
本发明实施例还提出一种基于机器视觉与雷达信息融合的车辆能量控制系统，包括：
[0087]
融合图像信息获取模块，用于通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；
[0088]
特征信息提取模块，用于利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划，基于深度学习的单阶段方法在融合图像信息中提取特征信息；
[0089]
短时域车速预测信息获取模块，用于将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；
[0090]
最优转矩控制序列获取模块，用于基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；
[0091]
能量分配模块，用于根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配，获得符合车辆自身行驶状态和外部交通信息的能量管理策略。
[0092]
本发明实施例还提出一种电子设备，包括：
[0093]
存储器，存储至少一个指令；
[0094]
及处理器，执行所述存储器中存储的指令以实现所述基于机器视觉与雷达信息融合的车辆能量控制方法。
[0095]
本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于机器视觉与雷达信息融合的车辆能量控制方法。
[0096]
示例性的，所述存储器中存储的指令可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在计算机可读存储介质中，并由所述处理器执行，以完成本发明基于机器视觉与雷达信息融合的车辆能量控制方法。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段，该指令段用于描述所述计算机程序在服务器中的执行过程。
[0097]
所述电子设备可以是智能手机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，所述电子设备还可以包括更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可
以包括输入输出设备、网络接入设备、总线等。
[0098]
所述处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0099]
所述存储器可以是所述服务器的内部存储单元，例如服务器的硬盘或内存。所述存储器也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器还可以既包括所述服务器的内部存储单元也包括外部存储设备。所述存储器用于存储所述计算机可读指令以及所述服务器所需的其他程序和数据。所述存储器还可以用于暂时地存储已经输出或者将要输出的数据。
[0100]
需要说明的是，上述模块单元之间的信息交互、执行过程等内容，由于与方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
[0101]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0102]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。
[0103]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0104]
以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改
或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，包括：通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划，基于深度学习的单阶段方法在融合图像信息中提取特征信息；将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配，获得符合车辆自身行驶状态和外部交通信息的能量管理策略。2.根据权利要求1所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合包括：通过最小二乘准则对机器视觉与毫米波雷达所采集到的信息进行时间上的同步；所述机器视觉由车载摄像机实现，通过matlab工具箱对车载摄像机以及毫米波雷达进行参数标定；标定采用标准棋盘角点提取的方法，根据标定的参数信息以及车载摄像机和毫米波雷达两个传感器在车上安装的相对位置信息建立两个传感器坐标系的空间转换关系，实现两个传感器采集信息在空间上的同步；通过can总线读取行驶车辆自身的行驶信息，行驶信息包括速度和加速度。3.根据权利要求1所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划包括：将毫米波雷达所采集到的原始交通信息信号投影到车载摄像机所采集的同时间戳的图像中，得到毫米波雷达的原始数据图。4.根据权利要求3所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述基于深度学习的单阶段方法在融合图像信息中提取特征信息的步骤之前，使用卡尔曼滤波对原始数据进行降噪处理，并通过对所规划出的识别区域内的目标进行速度与相对位置关系分析，剔除无效信息。5.根据权利要求4所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，在所述基于深度学习的单阶段方法在融合图像信息中提取特征信息的步骤中，所述基于深度学习的单阶段方法为yolov5算法，特征信息包括行驶车辆前方的车辆数目及车速、前方的道路交通信号灯信息，以及正前方与最近车辆的车距信息。6.根据权利要求1所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述级联式长短期记忆网络车速预测模型的计算过程包括：计算遗忘门，遗忘门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算舍弃信息：f
t
＝s(w
f
·
[h
t-1
,x
t
]+b
f
)计算输入门，输入门读取当前输入信息x
t
和前一个神经元信息h
t-1
，计算更新信息和临时细胞状态：
i
t
＝σ(w
i
·
[h
t-1
,x
t
]+b
i
))计算输出门，输出门读取当前输入信息x
t
和前一个神经元信息h
t-1
计算输出信息，并根据更新后的细胞状态计算状态变量h
t
：o
t
＝σ(w
o
·
[h
t-1
,x
t
]+b
o
)h
t
＝o
t
·
tanh(c
t
)式中，σ为sigmoid激活函数，tanh为正切激活函数，w
f
，w
i
，w
c
，w
o
和b
f
，b
i
，b
c
，b
o
为对应门的权重矩阵和偏置项。7.根据权利要求6所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述级联式长短期记忆网络车速预测模型将三个相同网络结构单元的长短期记忆网络结构依次递归，将前方车数信息n
f
、前方车速信息v
f
、红灯信息l
r
及绿灯信息l
g
作为lstm_1的输入信息，将lstm_1预测输出的信息与检测到的车距信息d
f
作为lstm_2的输入信息，再将lstm_2的输出信息与行驶车辆的车速以及加速度信息作为lstm_3的输入信息，由lstm_3得到行驶车辆短时域内的车速预测出信息v
pre
。8.根据权利要求7所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配的步骤包括：基于行驶车辆短时域内的车速预测出信息v
pre
求解行驶车辆的需求转矩，再利用dp算法求解相同短时域内的最优转矩分配。9.根据权利要求8所述基于机器视觉与雷达信息融合的车辆能量控制方法，其特征在于，所述通过循环迭代，获得最优转矩控制序列的步骤为将求解得到的行驶车辆的需求转矩和相同短时域内的最优转矩分配输入phev，重新预测有限时域内目标车辆行驶状态，以此循环往复，获得最优转矩控制序列。10.一种基于机器视觉与雷达信息融合的车辆能量控制系统，其特征在于，包括：融合图像信息获取模块，用于通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；特征信息提取模块，用于利用毫米波雷达对融合图像信息中交通信息识别的感兴趣区域进行分割规划，基于深度学习的单阶段方法在融合图像信息中提取特征信息；短时域车速预测信息获取模块，用于将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；最优转矩控制序列获取模块，用于基于mpc通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；能量分配模块，用于根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配，获得符合车辆自身行驶状态和外部交通信息的能量管理策略。

技术总结
一种基于机器视觉与雷达信息融合的车辆能量控制方法及系统，方法包括通过机器视觉与毫米波雷达获取行驶车辆自身及外部多源交通图像信息并进行融合，得到融合图像信息；基于深度学习的单阶段方法在融合图像信息中提取特征信息；将融合图像信息中提取到的特征信息以及行驶车辆的车速、加速度信息输入级联式长短期记忆网络车速预测模型，获取行驶车辆短时域内的车速预测信息；基于MPC通过行驶车辆短时域内的车速预测信息求解需求转矩以及短时域内的最优转矩分配，并通过循环迭代，获得最优转矩控制序列；根据最优转矩控制序列计算整车的发动机与电机两个能量源之间的能量分配。本发明能够为能量管理策略的制定提供更多、更精确的输入。精确的输入。精确的输入。


技术研发人员：王姝 赵轩 谢鹏辉 郑字琛 张海川
受保护的技术使用者：长安大学
技术研发日：2023.03.31
技术公布日：2023/6/28