一种车辆接管时间预测方法、装置、设备及存储介质与流程

1.本发明涉及智能驾驶技术领域，特别涉及一种车辆接管时间预测方法、装置、设备及存储介质。


背景技术：

2.智能网联汽车是车联网与智能车的有机结合，其基于智能驾驶技术，使得驾驶员在驾驶智能网联汽车时无需一直操控车辆，可以从事非驾驶相关任务。然而现阶段，智能网联汽车不能在全工况下行驶，其原因在于实际交通场景中存在大量复杂的情境，智能网联汽车的自动驾驶系统不能在这些场景中做出决策，从而引发安全问题。为了保障智能网联汽车的行驶安全，需要驾驶人在一定时间范围内接管智能网联汽车。由于高速公路路段车辆速度较高，在弯道路段，尤其是匝道(弯曲)路段工况复杂，需要驾驶人快速准确的接管车辆，这取决于车辆接管时间的预测模型的预测精度及模型算法的时间复杂度，现有的接管时间预测方案在弯道路段的预测精度较低，偏差较大，使得驾驶员的安全无法得到有效保障。
3.因此，上述技术问题亟待本领域技术人员解决。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种车辆接管时间预测方法、装置、设备及存储介质，能够在弯道路段对接管时间做出准确快速预测，保障驾驶安全。其具体方案如下：
5.本技术的第一方面提供了一种车辆接管时间预测方法，包括：
6.获取目标车辆在弯道路段的目标行驶信息；
7.将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；
8.将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。
9.可选的，所述目标行驶信息包括自身车辆运行信息、道路信息、周边行驶车辆运行信息及驾驶员状态信息。
10.可选的，所述将所述目标行驶信息输入状态预测模型之前，还包括：
11.将所述目标行驶信息的数据格式转化为所述输入状态预测模型支持的第一数据格式，并将第一数据格式的目标行驶信息输入所述状态预测模型；
12.可选的，所述将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型之前，还包括：
13.将所述目标行驶信息的数据格式转化为所述接管时间预测模型支持的第二数据
格式，并将第二数据格式的目标行驶信息输入所述接管时间预测模型。
14.可选的，所述利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测，包括：
15.利用所述接管时间预测模型中的两个估计器计算状态动作价值；
16.利用所述接管时间预测模型中的所述估计器选择模块根据预设概率因子从两个估计器中选择一个目标估计器，并根据所述目标估计器对应的状态动作价值确定出最优动作及执行最优动作；其中，所述预设概率因子为预先定义的超参数，其正负偏差会在每轮更新中根据道路场景调整；
17.利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，如果是，则对估计器参数进行更新，如果否，则不对估计器参数进行更新；
18.执行下轮计算，直至达到最终状态停止计算，并将最终的状态动作价值作为预测出的所述目标接管时间。
19.可选的，所述利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，包括：
20.根据第一关系式确定出执行结果对应的更新轮数是否为本轮更新轮数，如果是，则判定在本轮更新中更新估计器参数，如果否，则判定在本轮更新中不更新估计器参数；
21.所述第一关系式为：
[0022][0023]
其中，q
t+1
(s,a)表示执行结果，k表示执行结果执行结果对应的更新轮数，r
wi
表示执行结果第i次的下一状态，s
wi
表示执行结果第i次的下一奖励，ψ为误差系数，s为当前状态，a为当前行为，γ为模型参数。
[0024]
可选的，所述所述接管时间预测模型对所述目标车辆的目标接管时间进行预测之后，还包括：
[0025]
将预测出的所述目标接管时间输出至预设设备的显示界面进行显示，并控制所述预设设备的语音播报装置按照预设播报方式对所述目标接管时间进行语音播报。
[0026]
可选的，所述预设设备的显示界面为所述目标车辆的中控屏幕。
[0027]
本技术的第二方面提供了一种车辆接管时间预测装置，包括：
[0028]
行驶信息获取模块，用于获取目标车辆在弯道路段的目标行驶信息；
[0029]
状态预测模块，用于将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；
[0030]
接管时间预测模块，用于将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。
[0031]
本技术的第三方面提供了一种电子设备，所述电子设备包括处理器和存储器；其
中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现前述车辆接管时间预测方法。
[0032]
本技术的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现前述车辆接管时间预测方法。
[0033]
本技术中，先获取目标车辆在弯道路段的目标行驶信息；然后将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；最后将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。可见，本技术在利用接管时间预测模型预测接管时间之前，先使用预测模型对已获取到的目标行驶信息进行下一状态预测，在此基础上将下一状态和目标行驶信息一起输入接管时间预测模型来预测接管时间，避免接管时间预测模型进行过多探索。同时，接管时间预测模型的双深度q网络中添加了估计器选择模块和延迟更新模块，在对接管时间进行预测的过程中，估计器选择模块能够在高估/低估之间进行权衡，延迟更新模块能够限制算法复杂度，从而在弯道路段对接管时间做出准确快速预测，保障驾驶安全。
附图说明
[0034]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0035]
图1为本技术提供的一种车辆接管时间预测方法流程图；
[0036]
图2为本技术提供的一种传统ddqn网络和改进后ddqn网络的结构对比图；
[0037]
图3为本技术提供的一种具体的车辆接管时间预测方法流程图；
[0038]
图4为本技术提供的一种传统ddqn网络与改进后ddqn网络进行车辆接管时间预测效果对比图；
[0039]
图5为本技术提供的一种车辆接管时间预测装置结构示意图；
[0040]
图6为本技术提供的一种车辆接管时间预测电子设备结构图。
具体实施方式
[0041]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
现有的接管时间预测方案在弯道路段的预测精度较低，偏差较大，使得驾驶员的安全无法得到有效保障。针对上述技术缺陷，本技术提供一种车辆接管时间预测方案，在利用接管时间预测模型预测接管时间之前，先使用预测模型对已获取到的目标行驶信息进行
下一状态预测，在此基础上将下一状态和目标行驶信息一起输入接管时间预测模型来预测接管时间，避免接管时间预测模型进行过多探索。同时，接管时间预测模型的双深度q网络中添加了估计器选择模块和延迟更新模块，在对接管时间进行预测的过程中，估计器选择模块能够在高估/低估之间进行权衡，延迟更新模块能够限制算法复杂度，从而在弯道路段对接管时间做出准确快速预测，保障驾驶安全。
[0043]
图1为本技术实施例提供的一种车辆接管时间预测方法流程图。参见图1所示，该车辆接管时间预测方法包括：
[0044]
s11：获取目标车辆在弯道路段的目标行驶信息。
[0045]
本实施例中，先获取目标车辆在弯道路段的目标行驶信息。所述目标行驶信息包括自身车辆运行信息、道路信息、周边行驶车辆运行信息及驾驶员状态信息。其中，自身车辆运行信息包括但不限于自车行驶速度、加速度、方向盘转角、油门开度；道路信息包括但不限于道路的曲率、宽度、坡度、长度；周边行驶车辆运行信息包括但不限于周边车辆的位置、速度、加速度、方向盘转角、预期行驶轨迹；驾驶员状态信息包括但不限于驾驶员眼球开度、眨眼频率、眼球注释焦点、双手双脚摆放位置。
[0046]
本实施例中，上述信息获取过程可以利用信息采集模块实现，信息采集模块包括采集自身车辆运行信息的车身传感器、采集道路信息的道路信息采集装置、采集周边行驶车辆运行信息的智能网联信息接收装置、采集驾驶员状态信息的驾驶人情态监视装置。
[0047]
s12：将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态。
[0048]
本实施例中，在获取到所述目标行驶信息之后，先将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态。所述状态预测模型对输入的所述目标行驶信息进行预测并将预测的数据组合成下一状态s’，在向接管时间预测模型进行数据输入前，使用所述状态预测模型对已采集的所述目标行驶信息做出预测，即先预测未来的一部分数据，能够避免所述接管时间预测模型进行过多的探索，提高模型运行效率其中，所述状态预测模型包括但不限于使用机器学习及深度学习预测算法，例如，线性回归，随即森林，svm等。
[0049]
可以理解，在输入进所述状态预测模型之前，还需要将所述目标行驶信息的数据格式转化为所述输入状态预测模型支持的第一数据格式，然后将第一数据格式的目标行驶信息输入所述状态预测模型。
[0050]
s13：将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。
[0051]
本实施例中，在得到所述所述目标车辆的下一状态之后，便可以将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测。其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块，具体的，所述改进后的双深度q网络为通过在传统双深度q网络中添加估计器选择模块和延迟更新模块后得到的网络；所述估计
器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。双深度q网络即ddqn网络(double deep q network)，其是一种机器学习算法。同样的，在输入进所述接管时间预测模型之前，也需要将所述目标行驶信息的数据格式转化为所述接管时间预测模型支持的第二数据格式，然后将第二数据格式的目标行驶信息输入所述接管时间预测模型。
[0052]
考虑到基于传统ddqn进行预测时，由于没有考虑算法的时间复杂度、其所产生的预测偏差以及车辆的横向运动，会使得其在实际应用中价值较小。因此，本实施例对传统的ddqn网络仅改进，加入估计器选择模块和延迟更新模块。在ddqn网络中加入估计器选择模块使之能够在高估/低估之间进行权衡，提高模型的预测精度。在ddqn网络中加入延迟更新模块使之能够限制算法复杂度，进一步提高模型的运行效率，使之能以极快的速度对速公路弯道路段智能网联汽车接管时间作出预测。图2所示为传统的ddqn网络和改进后的ddqn网络的结构对比图，传统的ddqn网络在对接管时间进行预测时，其使用两个独立的估计器逼近q值从而解决高估问题，但高估/低估问题并非会对预测结果产生不利的影响，动作获得的奖励被高估时，会使得模型进行更多的探索，动作获得的奖励被低估时，模型的运行效率会得到提高。本实施例为了利用高估与低估从而对接管时间进行更加精准的预测，改进后的ddqn网络加入了估计器选择模块(也可称为权衡模块)，但估计器选择模块会使得模型变得更加复杂，为了提高模型的运行效率，进一步加入了延迟更新模块，延迟更新模块采用延迟更新规则以降低算法的时间复杂度。
[0053]
本实施例中，利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测之后，可以进一步将预测出的所述目标接管时间输出至预设设备的显示界面进行显示，同时也可以控制所述预设设备的语音播报装置按照预设播报方式对所述目标接管时间进行语音播报。特别的，所述预设设备的显示界面为所述目标车辆的中控屏幕，中控屏幕接收改进的ddqn网络发出的目标接管时间并将其显示，同时，为了使驾驶员更快的获取信息，改进的ddqn网络发出的目标接管时间同时发送信号给语音播报装置，语音播报装置收到信号后发出声音提示驾驶员尽快接管。
[0054]
可见，本技术实施例先获取目标车辆在弯道路段的目标行驶信息；然后将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；最后将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。本技术实施例在利用接管时间预测模型预测接管时间之前，先使用预测模型对已获取到的目标行驶信息进行下一状态预测，在此基础上将下一状态和目标行驶信息一起输入接管时间预测模型来预测接管时间，避免接管时间预测模型进行过多探索。同时，接管时间预测模型的双深度q网络中添加了估计器选择模块和延迟更新模块，在对接管时间进行预测的过程中，估计器选择模块能够在高估/低估之间进行权衡，延迟更新模块能够限制算法复杂度，从而在弯道路段对接管时间做出准确快速预测，保障驾驶安全。
[0055]
图3为本技术实施例提供的一种具体的车辆接管时间预测方法流程图。参见图3所示，该车辆接管时间预测方法包括：
[0056]
s21：获取目标车辆在弯道路段的目标行驶信息。
[0057]
s22：将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态。
[0058]
s23：将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型。
[0059]
本实施例中，关于上述步骤s21至步骤s23的具体过程，可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0060]
s24：利用所述接管时间预测模型中的两个估计器计算状态动作价值。
[0061]
s25：利用所述接管时间预测模型中的估计器选择模块根据预设概率因子从两个估计器中选择一个目标估计器，并根据所述目标估计器对应的状态动作价值确定出最优动作及执行最优动作；其中，所述预设概率因子为预先定义的超参数，其正负偏差会在每轮更新中根据道路场景调整。
[0062]
s26：利用所述接管时间预测模型中的延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，如果是，则对估计器参数进行更新，如果否，则不对估计器参数进行更新。
[0063]
s27：执行下轮计算，直至达到最终状态停止计算，并将最终的状态动作价值作为预测出的所述目标接管时间。
[0064]
本实施例中，在利用基于改进后的双深度q网络构建的接管时间预测模型进行预测时，先利用所述接管时间预测模型中的两个估计器计算状态动作价值。然后利用所述接管时间预测模型中的所述估计器选择模块根据预设概率因子从两个估计器中选择一个目标估计器，并根据所述目标估计器对应的状态动作价值确定出最优动作及执行最优动作；其中，所述预设概率因子为预先定义的超参数，其正负偏差会在每轮更新中根据道路场景调整。接着利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，如果是，则对估计器参数进行更新，如果否，则不对估计器参数进行更新。最后执行下轮计算，直至达到最终状态停止计算，并将最终的状态动作价值作为预测出的所述目标接管时间。
[0065]
具体的，在延迟更新中，主要根据第一关系式确定出执行结果对应的更新轮数是否为本轮更新轮数，如果是，则判定在本轮更新中更新估计器参数，如果否，则判定在本轮更新中不更新估计器参数，所述第一关系式为：
[0066][0067]
其中，q
t+1
(s,a)表示执行结果，k表示执行结果执行结果对应的更新轮数，r
wi
表示执行结果第i次的下一状态，s
wi
表示执行结果第i次的下一奖励，ψ为误差系数，s为当前状态，a为当前行为，γ为模型参数。
[0068]
为了方便理解，下面对传统ddqn网络的工作流程进行描述。将信息采集模块采集到的目标行驶信息输入至传统ddqn网络，传统ddqn网络接收数据后初始化迭代轮数t、状态特征维度n、动作集a、步长α、衰减因子γ、探索率∈、当前q网络q、目标q网络q’、批量梯度下降的样本数m、目标q网络参数更新频率c。首先随机初始化所有的状态和动作对应的价值q，
随机初始化当前q网络的所有参数，初始化目标q网络q’的参数ω'＝ω，清空经验回放的集合d。接着初始化s为当前状态序列的第一个状态。
[0069]
随后第一步先拿到其特征向量φ(s)，并在q网络中使用φ(s)作为输入，得到q网络的所有动作对应的q值输出。用贪婪算法在当前q值输出中选择对应的动作a；第二步根据状态s及s’执行当前动作a，得到新状态s’对应的特征向量φ(s’)和奖励r，是否终止状态ifend，将{φ(s)，a，r，φ(s’)，ifend}这个五元组存入经验回放集合d，令s＝s’；第二步从经验回放集合d中采样m个样本{φ(sj)，aj，rj，φ(s
′
j)，ifendj}，j＝1,2...m，计算当前目标q值yj。其中，yj的计算公式为：
[0070][0071]
第三步使用均方差损失函数，通过神经网络的梯度反向传播来更新q网络的所有参数，如果s’是终止状态，当前轮迭代完毕，否则转到第一步，以上步骤迭代t轮。训练完成输出q网络后，模型能够根据当前模型的输入预测出接管时间。
[0072]
需要说明的是，在改进后的ddqn网络中，其用相互独立的估计器qa及qb逼近q值，在s
t+1
状态下，从qa中选择最优动作集合maxa(q(s
t+1
))，即从最优动作集合中随机抽取动作a
*
，并取出起对应于qb上的元素，qa做出如下更新：
[0073]
qa(s
t
,a
t
)
←
qa(s
t
,a
t
)+α(r
t+1
+γqb(s
t+1
,a
*
)-qa(s
t
,a
t
)
[0074]
同理，qb的更新如下：
[0075]
qb(s
t
,a
t
)
←
qb(s
t
,a
t
)+α(r
t+1
+γqa(s
t+1
,a
*
)-qb(s
t
,a
t
)
[0076]
传统ddqn网络先在当前q网络中先找出最大q值对应的动作，然后利用这个选择出来的动作在目标网络里面去计算目标q值，因此消除了高估，但高估/低估并不一定是不利的，因此改进后的ddqn网络定义了所述预设概率因子，改进后的ddqn网络以的概率依据qa选择动作以及的概率依据qb选择动作。作为超参数，可以根据道路场景调整正负偏差。为了降低通过概率选择qa或qb执行动作a带来的复杂度，改进后的ddqn网络在ddqn的更新规则基础上，采用k轮延迟的方式使得模型能够在短时间内对接管时间做出预测，公式表示为：
[0077][0078]
上述过程中，改进后的ddqn网络的奖励r由当前状态s执行的动作a及下一状态s’状态执行的动作a’给定。
[0079]
图4是本实施例提供的一种传统ddqn网络与改进后的ddqn网络进行车辆接管时间预测效果对比图，t1时刻是本实施例预测方法预测的接管时刻，t2是传统ddqn网络预测的接管时刻。可以看出，由于本实施例使用基于状态s及s’选择动作a、预设概率因子选择qa及qb、延迟更新规则限制算法复杂度、高估车辆横向运动的方法对接管时间作出预测，使得对接管时间的预测更快、更准，能够较好的解决高速公路弯道路段对智能网联汽车接管时间作出预测的问题。
[0080]
参见图5所示，本技术实施例还相应公开了一种车辆接管时间预测装置，包括：
[0081]
行驶信息获取模块11，用于获取目标车辆在弯道路段的目标行驶信息；
[0082]
状态预测模块12，用于将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；
[0083]
接管时间预测模块13，用于将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。
[0084]
可见，本技术实施例先获取目标车辆在弯道路段的目标行驶信息；然后将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；最后将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。本技术实施例在利用接管时间预测模型预测接管时间之前，先使用预测模型对已获取到的目标行驶信息进行下一状态预测，在此基础上将下一状态和目标行驶信息一起输入接管时间预测模型来预测接管时间，避免接管时间预测模型进行过多探索。同时，接管时间预测模型的双深度q网络中添加了估计器选择模块和延迟更新模块，在对接管时间进行预测的过程中，估计器选择模块能够在高估/低估之间进行权衡，延迟更新模块能够限制算法复杂度，从而在弯道路段对接管时间做出准确快速预测，保障驾驶安全。
[0085]
在一些具体实施例中，所述车辆接管时间预测装置中的所述目标行驶信息包括自身车辆运行信息、道路信息、周边行驶车辆运行信息及驾驶员状态信息。
[0086]
在一些具体实施例中，所述车辆接管时间预测装置还包括：
[0087]
第一个格式转化模块，用于将所述目标行驶信息的数据格式转化为所述输入状态预测模型支持的第一数据格式，并将第一数据格式的目标行驶信息输入所述状态预测模型；
[0088]
第二个格式转化模块，用于将所述目标行驶信息的数据格式转化为所述接管时间预测模型支持的第二数据格式，并将第二数据格式的目标行驶信息输入所述接管时间预测模型；
[0089]
显示及播报模块，用于将预测出的所述目标接管时间输出至预设设备的显示界面进行显示，并控制所述预设设备的语音播报装置按照预设播报方式对所述目标接管时间进行语音播报。
[0090]
在一些具体实施例中，所述接管时间预测模块13，具体包括：
[0091]
计算单元，用于利用所述接管时间预测模型中的两个估计器计算状态动作价值；
[0092]
选择单元，用于利用所述接管时间预测模型中的所述估计器选择模块根据预设概率因子从两个估计器中选择一个目标估计器，并根据所述目标估计器对应的状态动作价值确定出最优动作及执行最优动作；其中，所述预设概率因子为预先定义的超参数，其正负偏差会在每轮更新中根据道路场景调整；
[0093]
更新单元，用于利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，如果是，则对估计器参数进行更新，如果否，则不对估计器参数进行更新；
[0094]
更新单元，用于执行下轮计算，直至达到最终状态停止计算，并将最终的状态动作价值作为预测出的所述目标接管时间。
[0095]
在一些具体实施例中，所述更新单元，具体用于根据第一关系式确定出执行结果对应的更新轮数是否为本轮更新轮数，如果是，则判定在本轮更新中更新估计器参数，如果否，则判定在本轮更新中不更新估计器参数；
[0096]
所述第一关系式为：
[0097][0098]
其中，q
t+1
(s,a)表示执行结果，k表示执行结果执行结果对应的更新轮数，rwi表示执行结果第i次的下一状态，swi表示执行结果第i次的下一奖励，ψ为误差系数，s为当前状态，a为当前行为，γ为模型参数。
[0099]
进一步的，本技术实施例还提供了一种电子设备。图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本技术的使用范围的任何限制。
[0100]
图6为本技术实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现前述任一实施例公开的车辆接管时间预测方法中的相关步骤。
[0101]
本实施例中，电源23用于为电子设备20上的各硬件设备提供工作电压；通信接口24能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本技术技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口25，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
[0102]
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括操作系统221、计算机程序222及数据223等，存储方式可以是短暂存储或者永久存储。
[0103]
其中，操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222，以实现处理器21对存储器22中海量数据223的运算与处理，其可以是windows server、netware、unix、linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的车辆接管时间预测方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223可以包括电子设备20收集到的目标行驶信息。
[0104]
进一步的，本技术实施例还公开了一种存储介质，所述存储介质中存储有计算机程序，所述计算机程序被处理器加载并执行时，实现前述任一实施例公开的车辆接管时间预测方法步骤。
[0105]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装
置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0106]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
…”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0107]
以上对本发明所提供的车辆接管时间预测方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种车辆接管时间预测方法，其特征在于，包括：获取目标车辆在弯道路段的目标行驶信息；将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。2.根据权利要求1所述的车辆接管时间预测方法，其特征在于，所述目标行驶信息包括自身车辆运行信息、道路信息、周边行驶车辆运行信息及驾驶员状态信息。3.根据权利要求1所述的车辆接管时间预测方法，其特征在于，所述将所述目标行驶信息输入状态预测模型之前，还包括：将所述目标行驶信息的数据格式转化为所述输入状态预测模型支持的第一数据格式，并将第一数据格式的目标行驶信息输入所述状态预测模型；所述将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型之前，还包括：将所述目标行驶信息的数据格式转化为所述接管时间预测模型支持的第二数据格式，并将第二数据格式的目标行驶信息输入所述接管时间预测模型。4.根据权利要求1所述的车辆接管时间预测方法，其特征在于，所述利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测，包括：利用所述接管时间预测模型中的两个估计器计算状态动作价值；利用所述接管时间预测模型中的所述估计器选择模块根据预设概率因子从两个估计器中选择一个目标估计器，并根据所述目标估计器对应的状态动作价值确定出最优动作及执行最优动作；其中，所述预设概率因子为预先定义的超参数，其正负偏差会在每轮更新中根据道路场景调整；利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，如果是，则对估计器参数进行更新，如果否，则不对估计器参数进行更新；执行下轮计算，直至达到最终状态停止计算，并将最终的状态动作价值作为预测出的所述目标接管时间。5.根据权利要求4所述的车辆接管时间预测方法，其特征在于，所述利用所述接管时间预测模型中的所述延迟更新模块根据执行结果确定在本轮更新中是否更新估计器参数，包括：根据第一关系式确定出执行结果对应的更新轮数是否为本轮更新轮数，如果是，则判定在本轮更新中更新估计器参数，如果否，则判定在本轮更新中不更新估计器参数；所述第一关系式为：
其中，q
t+1
(s,a)表示执行结果，k表示执行结果执行结果对应的更新轮数，rwi表示执行结果第i次的下一状态，swi表示执行结果第i次的下一奖励，ψ为误差系数，s为当前状态，a为当前行为，γ为模型参数。6.根据权利要求1至5任一项所述的车辆接管时间预测方法，其特征在于，所述所述接管时间预测模型对所述目标车辆的目标接管时间进行预测之后，还包括：将预测出的所述目标接管时间输出至预设设备的显示界面进行显示，并控制所述预设设备的语音播报装置按照预设播报方式对所述目标接管时间进行语音播报。7.根据权利要求6所述的车辆接管时间预测方法，其特征在于，所述预设设备的显示界面为所述目标车辆的中控屏幕。8.一种车辆接管时间预测装置，其特征在于，包括：行驶信息获取模块，用于获取目标车辆在弯道路段的目标行驶信息；状态预测模块，用于将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；接管时间预测模块，用于将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度q网络具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器；其中所述存储器用于存储计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至7任一项所述的车辆接管时间预测方法。10.一种计算机可读存储介质，其特征在于，用于存储计算机可执行指令，所述计算机可执行指令被处理器加载并执行时，实现如权利要求1至7任一项所述的车辆接管时间预测方法。

技术总结
本申请公开了一种车辆接管时间预测方法、装置、设备及存储介质，包括：获取目标车辆在弯道路段的目标行驶信息；将所述目标行驶信息输入状态预测模型，以利用所述状态预测模型输出所述目标车辆的下一状态；将所述目标行驶信息及所述下一状态同时输入基于改进后的双深度Q网络构建的接管时间预测模型，以利用所述接管时间预测模型对所述目标车辆的目标接管时间进行预测；其中，所述改进后的双深度Q网络为通过在传统双深度Q网络中添加具有估计器选择模块和延迟更新模块；所述估计器选择模块用于选择出最优估计器，所述延迟更新模块用于指示本轮更新暂不更新估计器参数。本申请能够在弯道路段对接管时间做出准确快速预测，保障驾驶安全。全。全。


技术研发人员：徐天宇
受保护的技术使用者：知行汽车科技（苏州）股份有限公司
技术研发日：2022.12.28
技术公布日：2023/6/28