决策信息生成方法、装置、电子设备及存储介质与流程

1.本公开涉及人工智能技术领域和自动驾驶技术领域，更具体地，涉及一种决策信息生成方法、装置、电子设备、存储介质和程序产品。


背景技术：

2.随着自动驾驶技术的不断发展，自动驾驶车辆作为一种能够进行感知环境、动态决策、线路规划、行为控制、命令执行等多种功能于一体的智能设备，被广泛应用于各种领域。相关技术中，通常是基于静态的地图数据结合预先设定好的规则，进行驾驶决策，以躲避驾驶路径中的静态障碍物。
3.在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：在实际的驾驶环境中，除静态障碍物之外，还存在动态变化的动态障碍物，导致利用相关技术中得到的驾驶决策的准确度较低，使得自动驾驶过程存在安全性的风险。


技术实现要素：

4.有鉴于此，本公开提供了一种决策信息生成方法、装置、电子设备、存储介质和程序产品。
5.本公开的一个方面提供了一种决策生成方法，包括：
6.响应于接收到目标车辆的驾驶服务请求，获取目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与目标车辆的实时相对运动状态信息。利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息。根据目标驾驶场景信息，确定目标驾驶行为决策模型。利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息。
7.根据本公开的实施例，实时运动状态信息包括实时驾驶方向信息和实时位置信息，利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息，包括：
8.从目标区域中确定目标任务点的位置信息和场景切换点的位置信息。根据实时位置信息和场景切换点的位置信息，得到实时位置与场景切换点之间的距离信息。根据目标任务点的位置信息，从目标区域的车道类型信息中查询到目标任务点的车道类型信息。利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息。
9.根据本公开的实施例，利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息，包括：
10.根据实时驾驶方向和目标任务点的车道类型信息，确定多个候选场景切换条件。根据距离信息，从多个候选场景切换条件中确定目标驾驶场景信息。
11.根据本公开的实施例，利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息，包括：
12.根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象。从实时相对运动状态信息中筛选到目标交通参与对象与目标车辆的目标实时相对运动状态信息。根据目标驾驶场景信息，确定目标运动状态的属性信息。从目标车辆的实时运动状态信息中筛选到与目标运动状态的属性信息对应的目标实时运动状态信息。利用目标驾驶行为决策模型对目标实时运动状态信息和目标实时相对运动状态信息，得到驾驶动作决策信息。
13.根据本公开的实施例，根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象，包括：
14.根据实时相对运动状态信息，确定交通参与对象与目标车辆的相对位置关系。根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度。根据风险程度，从交通参与对象中筛选到目标交通参与对象。
15.根据本公开的实施例，根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度，包括：
16.根据相对位置关系，得到交通参与对象与目标车辆的驾驶轨迹的关联关系。根据驾驶轨迹的关联关系，确定风险程度。
17.根据本公开的实施例，目标驾驶行为决策模型的训练方法，包括：
18.在模拟驾驶场景中，获取测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息。从目标车辆的动作概率分布空间中随机选择驾驶动作信息。基于近端策略优化算法，利用驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到目标驾驶行为决策模型。
19.根据本公开的实施例，驾驶动作信息包括s个驾驶动作信息，其中，s为大于1的整数，预设模型中包括策略网络和价值网络，基于近端策略优化算法，利用驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到目标驾驶行为决策模型，包括：
20.针对第s个驾驶动作信息，利用策略网络对第s个驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理，得到第s个驾驶结果信息，s为大于等于1且小于s的整数。利用价值网络对第s个驾驶动作信息和第s个驾驶结果信息进行处理，得到动作价值信息。基于目标函数，根据驾驶状态信息和动作价值信息得到策略优势值。在确定策略优势值不满足预定阈值的情况下，调整预设模型的模型参数，返回执行利用策略网络的处理操作和利用价值网络的处理操作，并递增s。在确定策略优势值满足预定阈值的情况下，确定第s个驾驶动作信息为目标决策动作信息。
21.本公开的另一个方面提供了一种决策信息生成装置，包括：获取模块、分析模块、确定模块和生成模块。其中，获取模块，用于响应于接收到目标车辆的驾驶服务请求，获取所述目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与所述目标车辆的实时相对运动状态信息。分析模块，用于利用驾驶场景分析模型对所述实时运动状态信息和所述车道类型信息进行处理，得到目标驾驶场景信息。确定模块，用于根据所述目标驾驶场景信息，确定目标驾驶行为决策模型。生成模块，用于利用目标驾驶行为决策模型对所述实时运动状态信息和所述实时相对运动状态信息进行处理，得到所述目标车辆的驾驶动作决策信息。
22.根据本公开的实施例，实时运动状态信息包括实时驾驶方向信息和实时位置信息。分析模块包括：第一确定单元、第一获得单元、第一查询单元和第二获得单元。其中，第一确定单元，用于从目标区域中确定目标任务点的位置信息和场景切换点的位置信息。第一获得单元，用于根据实时位置信息和场景切换点的位置信息，得到实时位置与场景切换点之间的距离信息。第一查询单元，用于根据目标任务点的位置信息，从目标区域的车道类型信息中查询到目标任务点的车道类型信息。第二获得单元，用于利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息。
23.根据本公开的实施例，第二获得单元包括第一确定子单元和第二确定子单元。其中，第一确定子单元，用于根据实时驾驶方向和目标任务点的车道类型信息，确定多个候选场景切换条件。第二确定子单元，用于根据距离信息，从多个候选场景切换条件中确定目标驾驶场景信息。
24.根据本公开的实施例，生成模块包括第二确定单元、第一筛选单元、第三确定单元、第二筛选单元和第三获得单元。其中，第二确定单元，用于根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象。第一筛选单元，用于从实时相对运动状态信息中筛选到目标交通参与对象与目标车辆的目标实时相对运动状态信息。第三确定单元，用于根据目标驾驶场景信息，确定目标运动状态的属性信息；第二筛选单元，用于从目标车辆的实时运动状态信息中筛选到与目标运动状态的属性信息对应的目标实时运动状态信息。第三确定单元，用于利用目标驾驶行为决策模型对目标实时运动状态信息和目标实时相对运动状态信息进行处理，得到驾驶动作决策信息。
25.根据本公开的实施例，第二确定单元包括第三确定子单元、第四确定子单元和筛选子单元。其中，第三确定子单元，用于根据实时相对运动状态信息，确定交通参与对象与目标车辆的相对位置关系。第四确定子单元，用于根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度。筛选子单元，用于根据风险程度，从交通参与对象中筛选到目标交通参与对象。
26.根据本公开的实施例，第四确定子单元用于根据相对位置关系，得到交通参与对象与目标车辆的驾驶轨迹的关联关系；以及根据驾驶轨迹的关联关系，确定风险程度。
27.根据本公开的实施例，生成模块包括获取单元和训练单元。其中，获取单元用于在模拟驾驶场景中，获取测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息。训练单元，用于基于近端策略优化算法，利用驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到目标驾驶行为决策模型。
28.根据本公开的实施例，驾驶动作信息包括s个驾驶动作信息，其中，s为大于1的整数，预设模型中包括策略网络和价值网络，所述训练单元包括：处理子单元、第一获得子单元、第二获得子单元和调整子单元。其中，处理子单元，用于针对第s个驾驶动作信息，利用策略网络对第s个驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理，得到第s个驾驶结果信息，s为大于等于1且小于s的整数。第一获得子单元，用于利用价值网络对第s个驾驶动作信息和第s个驾驶结果信息进行处理，得到动作价值信息。第二获得子单元，用于基于目标函数，根据驾驶状态信息和动作价值信息得
到策略优势值。调整子单元用于在确定策略优势值不满足预定阈值的情况下，调整预设模型的模型参数，返回执行利用策略网络的处理操作和利用价值网络的处理操作，并递增s。在确定策略优势值满足预定阈值的情况下，确定第s个驾驶动作信息为目标决策动作信息。
29.本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
30.本公开的另一方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
31.根据本公开的实施例，因为采用了利用驾驶场景分析模型对实时运动状态信息和车道类型信息确定目标驾驶场景信息，再利用于目标驾驶场景对应的目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息的技术手段，所以至少部分地克服了相关技术中基于静态障碍物的信息进行驾驶决策导致决策准确度较低的技术问题，进而达到了结合动态的目标车辆的实时运动状态、交通参与对象于目标车辆的相对运动状态信息和目标区域的车道类型信息对目标车辆的驾驶动作进行动态决策，以提高决策准确度的技术效果。
附图说明
32.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：
33.图1示意性示出了可以应用本公开的决策信息生成方法的应用场景图；
34.图2示意性示出了根据本公开实施例的决策信息生成方法流程图；
35.图3示意性实处了可以应用本公开实施例的决策信息生成放的示例性架构；
36.图4示意性示出了根据本公开实施例的驾驶场景切换的示意图；
37.图5示意性示出了根据本公开实施例的目标行为决策模型的训练方法流程图；
38.图6示意性示出了根据本公开实施例的目标行为决策模型的训练方法逻辑流程图；
39.图7示意性示出了根据本公开实施例的决策信息生成装置的框图；以及
40.图8示意性示出了根据本公开实施例的适于实现决策信息生成方法的电子设备框图。
具体实施方式
41.以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本公开实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。
42.在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
43.在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的
含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
44.在使用类似于“a、b和c等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有a、b和c中至少一个的系统”应包括但不限于单独具有a、单独具有b、单独具有c、具有a和b、具有a和c、具有b和c、和/或具有a、b、c的系统等)。
45.在本公开的实施例中，所涉及的数据(例如，包括但不限于用户个人信息)的收集、更新、分析、处理、使用、传输、提供、公开、存储等方面，均符合相关法律法规的规定，被用于合法的用途，且不违背公序良俗。特别地，对用户个人信息采取了必要措施，防止对用户个人信息数据的非法访问，维护用户个人信息安全、网络安全和国家安全。
46.在本公开的实施例中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
47.相关技术中，自动驾驶车辆的行为决策模型，一般是基于规划路径上的地图信息和车辆采集到的图像，确定静态障碍物的位置，静态障碍物可以包括绿化带、交通标志牌、交通灯、路障等。基于预定规则，根据车辆与静态障碍物之间的距离进行驾驶动作的决策。
48.但是，在实际驾驶场景不仅复杂而且种类众多，例如：路口驾驶场景、车道合并处的驾驶场景、车道分离处的驾驶场景、普通车道内的驾驶场景等等。在目标车辆处于不同的驾驶场景中，面对的交通参与者可能是动态变化的，交通参与者的动态变化对目标车辆的驾驶决策具有重要的影响。因此，基于预定规则进行驾驶动作的决策方法在复杂的驾驶场景中，较难得到较为准确的决策，使得目标车辆存在与驾驶场景中的其他交通参与者发生碰撞等安全风险。
49.有鉴于此，本公开的实施例提供了一种决策信息生成方法。该方法包括响应于接收到目标车辆的驾驶服务请求，获取目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与目标车辆的实时相对运动状态信息。利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息。根据目标驾驶场景信息，确定目标驾驶行为决策模型。利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息。
50.图1示意性示出了可以应用本公开的决策信息生成方法的应用场景图。
51.需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
52.如图1所示，根据该实施例的系统架构100可以包括目标车辆上的车载终端101、网络102和服务器103。网络102用以在目标车辆101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如无线通信链路等等。
53.用户可以使用目标车辆上的车载终端101通过网络102与服务器103交互，以接收或发送消息等。目标车辆上的车载终端101上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
54.目标车辆上的车载终端101可以是具有显示屏并且支持网页浏览的各种电子设
备，包括但不限于平板电脑。
55.服务器103可以是提供各种服务的服务器，例如对用户利用目标车辆上的车载终端101所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户驾驶服务请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备车载终端。
56.需要说明的是，本公开实施例所提供的决策信息生成方法一般可以由服务器103执行。相应地，本公开实施例所提供的决策信息生成装置一般可以设置于服务器103中。本公开实施例所提供的决策信息生成方法也可以由不同于服务器103且能够与车载终端101和/或服务器103通信的服务器或服务器集群执行。相应地，本公开实施例所提供的决策信息生成装置也可以设置于不同于服务器103且能够与车载终端101和/或服务器103通信的服务器或服务器集群中。或者，本公开实施例所提供的决策信息生成方法也可以由车载终端101执行，或者也可以由不同于车载终端101的其他终端设备执行。相应地，本公开实施例所提供的决策信息生成装置也可以设置于车载终端101中，或设置于不同于车载终端101的其他终端设备中。
57.例如，目标车辆可以通过车载的传感器采集目标车辆的实时运动状态、交通参与对象与目标车辆的实时相对运动状态，目标区域的车道信息可以存储于车载终端101中。然后，车载终端101中可以在本地执行本公开实施例所提供的决策信息生成方法，或者将目标车辆的实时运动状态、交通参与对象与目标车辆的实时相对运动状态、目标区域的车道信息发送到其他终端设备、服务器、或服务器集群，并由接收该目标车辆的实时运动状态、交通参与对象与目标车辆的实时相对运动状态、目标区域的车道信息的其他终端设备、服务器、或服务器集群来执行本公开实施例所提供的决策信息生成方法。
58.应该理解，图1中的车载终端、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
59.图2示意性示出了根据本公开实施例的决策信息生成方法的流程图。
60.如图2所示，该方法200包括操作s210～s240。
61.在操作s210，响应于接收到目标车辆的驾驶服务请求，获取目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与目标车辆的实时相对运动状态信息。
62.在操作s220，利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息。
63.在操作s230，根据目标驾驶场景信息，确定目标驾驶行为决策模型。
64.在操作s240，利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息。
65.根据本公开的实施例，目标车辆的实时运动状态信息可以包括目标车辆的实时行驶方向信息和实时位置信息。实时行驶方向信息可以是目标车辆的行驶方向的朝向角度信息。
66.根据本公开的实施例，目标区域可以是目标车辆的实时位置与目的地的位置之间的地图区域。车道类型信息可以包括车道合并、车道分离。
67.根据本公开的实施例，交通参与对象可以是目标区域内的除目标车辆以外的其他
车辆、行人等。与目标车辆的实时相对运动状态信息可以包括：其他车辆与目标车辆的相对速度、相对航向角、相对加速度等。
68.根据本公开的实施例，利用驾驶场景分析模型可以是有限状态机fsm(finite state machine)驾驶场景转换模型。可以根据状态转移触发条件，确定驾驶场景。
69.例如：状态转移触发条件可以是目标车辆的实时运动方向为车辆朝向路口，目标车辆距离下一个路口的距离大于设定阈值d1，则可以确定驾驶场景是普通道路的驾驶场景。
70.在本公开实施例中，驾驶场景可以包括车道分离处的驾驶场景、车道合并处的驾驶场景、路口驾驶场景和普通道路的驾驶场景。根据不同的驾驶场景，可以通过分别训练不同的行为决策模型。当目标车辆触发某一驾驶场景时，则可以切换为由与该驾驶场景相对应的驾驶行为决策模型对实时驾驶环境状态信息分析，得到目标车辆的驾驶动作决策信息。
71.图3示意性实处了可以应用本公开实施例的决策信息生成放的示例性架构。
72.如图3所示，该实施例300中可以包括驾驶场景分析模型301、驾驶行为决策模型集合302和目标驾驶行为决策模型303。在行为决策模型集合中可以包括与不同驾驶场景相对应的驾驶行为决策模型。例如：与驾驶场景m1相对应的驾驶行为决策模型m1(302-1)、与驾驶场景m2相对应的驾驶行为决策模型m2(302-2)和与驾驶场景m3相对应的驾驶行为决策模型m3(302-3)。
73.根据本公开的实施例，驾驶场景分析模型301可以根据目标车辆的实时运行状态和目标区域的车道类型信息得到目标驾驶场景。根据目标驾驶场景从行为决策模型集合302中查询到目标驾驶行为决策模型303。例如：目标驾驶场景是m1，目标驾驶行为决策模型303可以是行为决策模型集合302中的驾驶行为决策模型m1(302-1)。
74.利用目标驾驶行为模型303对目标车辆的实时运行状态和交通参与对象与目标车辆的实时相对运动状态信息，得到目标车辆的驾驶动作决策信息。
75.根据本公开的实施例，因为采用了利用驾驶场景分析模型对实时运动状态信息和车道类型信息确定目标驾驶场景信息，再利用于目标驾驶场景对应的目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息的技术手段，所以至少部分地克服了相关技术中基于静态障碍物的信息进行驾驶决策导致决策准确度较低的技术问题，进而达到了结合动态的目标车辆的实时运动状态、交通参与对象于目标车辆的相对运动状态信息和目标区域的车道类型信息对目标车辆的驾驶动作进行动态决策，以提高决策准确度的技术效果。
76.根据本公开的实施例，利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息，可以包括如下操作：
77.从目标区域中确定目标任务点的位置信息和场景切换点的位置信息。根据实时位置信息和场景切换点的位置信息，得到实时位置与场景切换点之间的距离信息。根据目标任务点的位置信息，从目标区域的车道类型信息中查询到目标任务点的车道类型信息。利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息。
78.根据本公开的实施例，目标任务点可以在目标区域内车道行驶路径上的任一位
置。为了提高目标车辆的驾驶行为决策的精度，目标任务点可以设置多个。
79.根据本公开的实施例，场景切换点可以场景切换条件中，用于条件判定的位置点。例如：在普通道路的驾驶场景切换为路口驾驶场景的场景切换条件中，场景切换点可以是在驾驶路径上，与目标车辆当前位置距离最近的的下一个路口。当目标车辆的运动方向为朝向下一个路口，且目标车辆与下一个路口之间的距离小于某预定阈值时，可以确定驾驶场景切换为路口驾驶场景。
80.根据本公开的实施例，实时运动状态信息可以包括实时驾驶方向信息和实时位置信息。目标任务点的车道类型信息可以包括：车道合并、车道分离等。
81.根据本公开的实施例，利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息，可以包括如下操作：
82.根据实时驾驶方向和目标任务点的车道类型信息，确定多个候选场景切换条件。根据距离信息，从多个候选场景切换条件中确定目标驾驶场景信息。
83.图4示意性示出了根据本公开的实施例的驾驶场景切换的示意图。
84.如图4所示，在实施例400中，当目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a1时，表示当前的驾驶场景为普通道路场景。
85.当目标车辆在普通道路场景中行驶，目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a2时，由普通道路场景切换为车道分离场景。目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a7时，由普通道路场景切换为车道合并场景；目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a5时，由普通道路场景切换为路口场景。
86.当目标车辆在车道分离场景行驶，目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a3时，由车道分离场景切换为普通道路场景。
87.当目标车辆在车道合并场景行驶，目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a6时，由车道合并场景切换为普通道路场景。
88.当目标车辆在路口场景行驶，目标车辆的实时运动状态和目标区域的车道类型信息满足场景切换条件a4时，由路口场景切换为普通道路场景。
89.根据本公开的实施例，场景切换条件可以是预设设定到驾驶场景分析模型的。
90.例如：场景切换条件a1可以是：目标车辆的实时运动方向朝向下一个路口，且目标车辆的实时位置与下一个路口之间的距离大于预定阈值d1。
91.场景切换条件a2可以是：目标车辆的下一个任务点的车道类型为车道分离，且目标车辆的实时运动方向朝向车道分离点，且目标车辆的实时位置与车道分离点的距离小于预定阈值d1。
92.场景切换条件a3可以是：目标车辆的上一个任务点的车道类型为车道分离，且目标车辆的实时运动方向远离车道分离点，且目标车辆的实时位置与车道分离点的距离大于预定阈值d2，目标车辆的实时运动方向与下一段车道线方向的夹角小于预定角度。
93.场景切换条件a4可以是：目标车辆的实时运动方向远离路口，且目标车辆的实时位置距离当前路口的出口点大于预定阈值d2。
94.场景切换条件a5可以是：目标车辆的实时运动方向朝向路口，且目标车辆的实时位置距离下一个路口的汇入点小雨预定阈值d1。
95.场景切换条件a6可以是：目标车辆的上一个任务点的车道类型为车道合并，目标车辆的实时运动方向远离车道合并点，且目标车辆的位置与车道合并点的距离大于预定阈值d2，目标车辆的实时运动方向与下一段车道线方向的夹角小于预定角度。
96.场景切换条件a7可以是：目标车辆的下一个任务点是车道合并，目标车辆的实时位置与车道合并点之间的距离小于预定阈值d1。
97.根据本公开的实际例，利用驾驶场景分析模型可以实时切换目标车辆的驾驶场景，以进行针对不同场景场景的驾驶行为决策，提高决策准确度。
98.根据本公开的实施例，利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息，可以包括如下操作：
99.根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象。从实时相对运动状态信息中筛选到目标交通参与对象与目标车辆的目标实时相对运动状态信息。根据目标驾驶场景信息，确定目标运动状态的属性信息。从目标车辆的实时运动状态信息中筛选到与目标运动状态的属性信息对应的目标实时运动状态信息。利用目标驾驶行为决策模型对目标实时运动状态信息和目标实时相对运动状态信息进行处理，得到驾驶动作决策信息。
100.根据本公开的实施例，由于驾驶场景不同，在进行驾驶动作决策时，需要考虑的交通参与对象也可以不同。例如：在进入车道合并场景时，交通参与对象可以是与目标车辆相邻的车道内的车辆，以及与目标车辆当前所在车道内的车辆。在进入路口场景时，交通参与对象可以是在路口区域与目标车辆可能存在驾驶冲突的车辆，例如：由对向车道驶入路口的车辆。
101.例如：在车道合并或车道分离的场景中，目标交通参与对象可以是与目标车辆位于相同车道内的车辆和与目标车辆相邻的车道内的车辆。此时，目标交通参与对象与目标车辆的目标实时相对运动状态信息可以包括：相对速度、相对航向角、相对加速度、相对位置、碰撞时间、距离汇入点或驶出点的相对距离。目标运动状态的属性可以包括：目标车辆的加速度、方向盘转角、航向角、与目的地的相对位置、与前方路径点的朝向角误差、与当前车道中心线的距离、与汇入点或驶出点的距离。
102.根据本公开的实施例，可以利用利用车道合并场景对应的驾驶行为决策模型对筛选到的目标实时相对运动状态信息和目标实时运动状态信息进行处理，得到目标决策动作信息。
103.根据本公开的实施例，根据驾驶场景的不同，筛选出需要观测的交通参与对象和需要观测的目标车辆的运动状态属性，得到交通参与对象与目标车辆的目标实时相对运动状态，目标实时运动状态，可以对基于不同驾驶场景中交通参与对象与目标车辆的实时驾驶状态的特征，针对性地得到适应于该驾驶场景的驾驶动作决策信息。
104.根据本公开的实施例，根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象，可以包括如下操作：
105.根据实时相对运动状态信息，确定交通参与对象与目标车辆的相对位置关系。根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度。根据风险程度，从交通参与对象中筛选到目标交通参与对象。
106.根据本公开的实施例，路口场景是实际驾驶场景中较为复杂的场景，需要观测的
交通参与对象数量也较多，而且交通参与对象与目标车辆之间的相对位置的动态变化也具有多样性。因此，在面对路口场景进行驾驶动作决策时，需要考虑交通参与对象与目标车辆之间的相对位置关系，以确定该交通参与对象对目标车辆的行驶过程是否存在风险。
107.根据本公开的实施例，交通参与对象与目标车辆的相对位置关系可以包括：合并入同一车道位置；运动轨迹预期会发生交叉、交通参与对象位于目标车辆的相邻车道内，交通参与对象位于目标车辆的当前车道内等等。
108.例如：交通参与对象与目标车辆的运动轨迹预期会发生交叉，且交通参与对象与目标车辆的相对速度较大，可以确定在路口场景中，该交通参与对象对目标车辆在该路口场景中会造成较高程度的安全风险，可以基于交通参与对象与目标车辆的相对位置之间的距离，按照预定的判定规则，确定风险程度。当风险程度高于预定风险阈值时，则将该交通参与对象确定为需要在目标车辆行驶在路口场景的过程中，重点关注的目标交通参与对象。
109.根据本公开的实施例，根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度，可以包括如下操作：
110.根据相对位置关系，得到交通参与对象与目标车辆的驾驶轨迹的关联关系。根据驾驶轨迹的关联关系，确定风险程度。
111.根据本公开的实施例，驾驶轨迹的关联关系可以包括是否存在关联，例如：当交通参与对象与目标车辆处于对向车道时，则二者的驾驶轨迹可能会发生碰撞，表示二者的驾驶轨迹存在关联。可以基于交通参与对象与目标车辆之间的驾驶轨迹关联的情况，确定风险程度。例如：二者的驾驶轨迹为对向重合，表示二者可能会发生碰撞，则对应的风险程度较高。二者的驾驶轨迹为同向重合，表示二者可能会合并入同一车道，虽然存在风险，但是风险程度较驾驶轨迹对向重合的风险程度低。
112.根据本公开的实施例，通过交通参与对象与目标车辆的相对位置关系，可以确定交通参与对象在当前的驾驶场景中，对目标车辆的风险程度，从而筛选出风险程度较高的交通参与对象，作为驾驶行为决策模型在进行决策时，需要关注的交通参与对象。实现了对冗余信息的筛选，提高模型决策的准确度。
113.目标驾驶行为决策模型可以是基于强化学习算法训练得到的。但是，在传统的强化学习算法中，例如：q-learning算法，可以通过输入驾驶动作和驾驶环境状态，输出预期的驾驶动作。但是传统的强化学习算法由于待更新的策略和用来与环境进行交互的策略是同一策略，数据较为单一，容易使算法陷入坏策略-坏数据-更坏策略的死循环中，导致训练过程较难收敛。因此，本公开实施例中采用近端策略优化算法(ppo：proximal policy optimization)通过限制策略更新幅度来解决收敛较慢的问题。
114.图5示意性示出了根据本公开实施例的目标驾驶行为决策模型的训练方法。
115.如图5所示，该方法500可以包括操作s510～s530。
116.在操作s510，在模拟驾驶场景中，获取测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息。
117.在操作s520，从目标车辆的动作概率分布空间中随机选择驾驶动作信息。
118.在操作s530，基于近端策略优化算法，利用驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到目
标驾驶行为决策模型。
119.根据本公开的实施例，模拟驾驶场景可以是在仿真驾驶测试环境中，模拟得到的与目标驾驶场景相同的场景，用于模型训练。本公开实施例中，将实际驾驶场景主要划分为以下四种场景：普通道路场景、车道合并场景、车道分离场景和路口场景。针对每一个驾驶场景，按照本公开实施例提供的训练方法，得到一个目标行为决策模型。
120.根据本公开的实施例，驾驶动作信息包括s个驾驶动作信息，其中，s为大于1的整数，预设模型中包括策略网络和价值网络。
121.图6示意性示出了根据本公开实施例的目标驾驶行为决策模型的训练方法的逻辑流程图。
122.如图6所示，在实施例600中，可以包括操作s610～s650。
123.在操作s610，针对第s个驾驶动作信息，利用策略网络对第s个驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理，得到第s个驾驶结果信息，s为大于等于1且小于s的整数。
124.在操作s620，利用价值网络对第s个驾驶动作信息和第s个驾驶结果信息进行处理，得到动作价值信息。
125.在操作s630，基于目标函数，根据驾驶状态信息和动作价值信息得到策略优势值。
126.在操作s640，确定策略优势值是否满足预设阈值。若是，则执行操作s650，若不是，则调整模型参数，并递增s，返回执行操作s610。
127.在操作s650，在确定策略优势值满足预定阈值的情况下，确定第s个驾驶动作信息为目标决策动作信息。
128.根据本公开的实施例，目标函数可以是ppo算法中用于限制策略更新幅度的函数。可以通过衡量待更新的策略与采样策略差异的比例项，控制策略输出空间的更新幅度。
129.根据本公开的实施例，利用价值网络对第s个驾驶动作信息和第s个驾驶结果信息进行处理，可以基于q-learning算法的价值函数，得到动作价值信息。基于q-learning算法的强化学习方法是较为成熟的技术，在此不作赘述。
130.需要说明的是，在应用q-learning算法的强化学习方法时，本公开实施例可以从目标车辆的安全性、行驶平顺性和遵守交通规则三个方面进行对强化学习的奖励函数进行设计。
131.例如：奖励函数可以如式(1)所示：
132.r＝rc+r
ttc
+ro+r
goal
+r
reach
+r
steering
+r
lane
+r
speed
ꢀꢀ
(1)：
133.rc是测试车辆发生碰撞的惩罚项，如果发生碰撞rc＝-50，否则rc＝0；r
ttc
＝∑0.01*(now_ttc
i-last_ttci)是为了引导测试车辆拉开与其他车辆距离的奖励项，now_ttci是当前帧测试车辆与第i辆车的ttc(time to collision,碰撞时间)，last_ttci是上一帧测试车辆与第i辆车的ttc，如果碰撞时间增大测试车辆获得奖励反之获得惩罚；ro是测试车辆驶出道路的惩罚项，如果驶出道路ro＝-50，否则ro＝0。这三项都是为保证测试车辆的安全性而设计的。
134.r
goal
＝-0.01*d
goal
，与测试车辆距目标点的距离成反比，距离越大，获得的奖励越小；r
reach
是测试车辆到达目标点的奖励项，如果到达目标点r
reach
＝50，否则r
reach
＝0。这两项是为保证测试车辆能够到达目标点而设计的。
135.r
steering
＝-((speed-60)*steering*k)2，当测试车辆速度超过60km/h时，该项才会发生作用，他与方向盘转角成反比，转角越大，奖励越小。这是为保证行驶平顺性而设计的。
136.r
lane
＝-0.01*d
lane
，与测试车辆距当前车道中心线的横向距离成反比，距离越大，奖励越小，该项引导测试车辆尽可能沿车道中心线行驶；r
speed
＝-0.01*(speed-speed_limit)，当测试车辆速度超过道路限速时该项才会发生作用，超过道路限速越多，奖励越小。这两项是为遵守交通规则而设计的。
137.本公开实施例设计测试车辆的动作空间为连续动作空间，即目标驾驶行为决策模型的输出为[方向盘转角，刹车力度，油门开度]。相应的，应选择连续类型的ppo算法，在这种情况下，目标驾驶行为模型的输出最后经tanh函数变换到[-1，1]范围内。
[0138]
根据本公开的实施例，通过将近端策略优化算法与传统的q-learning算法相结合，限制强化学习训练过程的策略更新幅度，从而使得模型较快达到收敛条件，且模型的精度也较高，能够提高模型训练的效率。
[0139]
图7示意性示出了根据本公开实施例的决策信息生成装置的框图。
[0140]
如图7所示，该实施例的决策信息生成装置700可以包括：获取模块710、分析模块720、确定模块730和生成模块740。
[0141]
获取模块710，用于响应于接收到目标车辆的驾驶服务请求，获取所述目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与所述目标车辆的实时相对运动状态信息。
[0142]
分析模块720，用于利用驾驶场景分析模型对所述实时运动状态信息和所述车道类型信息进行处理，得到目标驾驶场景信息。
[0143]
确定模块730，用于根据所述目标驾驶场景信息，确定目标驾驶行为决策模型。
[0144]
生成模块740，用于利用目标驾驶行为决策模型对所述实时运动状态信息和所述实时相对运动状态信息进行处理，得到所述目标车辆的驾驶动作决策信息。
[0145]
根据本公开的实施例，实时运动状态信息包括实时驾驶方向信息和实时位置信息。分析模块包括：第一确定单元、第一获得单元、第一查询单元和第二获得单元。其中，第一确定单元，用于从目标区域中确定目标任务点的位置信息和场景切换点的位置信息。第一获得单元，用于根据实时位置信息和场景切换点的位置信息，得到实时位置与场景切换点之间的距离信息。第一查询单元，用于根据目标任务点的位置信息，从目标区域的车道类型信息中查询到目标任务点的车道类型信息。第二获得单元，用于利用驾驶场景分析模型对距离信息、实时驾驶方向和目标任务点的车道类型信息进行处理，得到目标驾驶场景信息。
[0146]
根据本公开的实施例，第二获得单元包括第一确定子单元和第二确定子单元。其中，第一确定子单元，用于根据实时驾驶方向和目标任务点的车道类型信息，确定多个候选场景切换条件。第二确定子单元，用于根据距离信息，从多个候选场景切换条件中确定目标驾驶场景信息。
[0147]
根据本公开的实施例，生成模块包括第二确定单元、第一筛选单元、第三确定单元、第二筛选单元和第三获得单元。其中，第二确定单元，用于根据目标驾驶场景信息和实时相对运动状态信息，确定目标交通参与对象。第一筛选单元，用于从实时相对运动状态信息中筛选到目标交通参与对象与目标车辆的目标实时相对运动状态信息。第三确定单元，
用于根据目标驾驶场景信息，确定目标运动状态的属性信息；第二筛选单元，用于从目标车辆的实时运动状态信息中筛选到与目标运动状态的属性信息对应的目标实时运动状态信息。第三确定单元，用于利用目标驾驶行为决策模型对目标实时运动状态信息和目标实时相对运动状态信息进行处理，得到驾驶动作决策信息。
[0148]
根据本公开的实施例，第二确定单元包括第三确定子单元、第四确定子单元和筛选子单元。其中，第三确定子单元，用于根据实时相对运动状态信息，确定交通参与对象与目标车辆的相对位置关系。第四确定子单元，用于根据相对位置关系，确定交通参与对象对目标车辆在目标驾驶场景中的风险程度。筛选子单元，用于根据风险程度，从交通参与对象中筛选到目标交通参与对象。
[0149]
根据本公开的实施例，第四确定子单元用于根据相对位置关系，得到交通参与对象与目标车辆的驾驶轨迹的关联关系；以及根据驾驶轨迹的关联关系，确定风险程度。
[0150]
根据本公开的实施例，生成模块包括获取单元和训练单元。其中，获取单元用于在模拟驾驶场景中，获取测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息。训练单元，用于基于近端策略优化算法，利用驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到目标驾驶行为决策模型。
[0151]
根据本公开的实施例，驾驶动作信息包括s个驾驶动作信息，其中，s为大于1的整数，预设模型中包括策略网络和价值网络，所述训练单元包括：处理子单元、第一获得子单元、第二获得子单元和调整子单元。其中，处理子单元，用于针对第s个驾驶动作信息，利用策略网络对第s个驾驶动作信息、测试车辆的运动状态信息、交通参与对象与测试车辆的相对运动状态信息进行处理，得到第s个驾驶结果信息，s为大于等于1且小于s的整数。第一获得子单元，用于利用价值网络对第s个驾驶动作信息和第s个驾驶结果信息进行处理，得到动作价值信息。第二获得子单元，用于基于目标函数，根据驾驶状态信息和动作价值信息得到策略优势值。调整子单元用于在确定策略优势值不满足预定阈值的情况下，调整预设模型的模型参数，返回执行利用策略网络的处理操作和利用价值网络的处理操作，并递增s。在确定策略优势值满足预定阈值的情况下，确定第s个驾驶动作信息为目标决策动作信息。
[0152]
根据本公开的实施例的模块、子模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本公开实施例的模块、子模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本公开实施例的模块、子模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0153]
例如，获取模块710、分析模块720、确定模块730和生成模块740中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/
单元/子单元中实现。根据本公开的实施例获取模块710、分析模块720、确定模块730和生成模块740中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列(fpga)、可编程逻辑阵列(pla)、片上系统、基板上的系统、封装上的系统、专用集成电路(asic)，或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块710、分析模块720、确定模块730和生成模块740中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
[0154]
需要说明的是，本公开的实施例中决策信息生成装置与本公开的实施例中决策信息生成方法部分是相对应的，决策信息生成装置部分的描述具体参考数据处理方法部分，在此不再赘述。
[0155]
图8示意性示出了根据本公开实施例的适于实现上文描述的方法的电子设备的框图。图8示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0156]
如图8所示，根据本公开实施例的电子设备800包括处理器801，其可以根据存储在只读存储器(rom)802中的程序或者从存储部分808加载到随机访问存储器(ram)803中的程序而执行各种适当的动作和处理。处理器801例如可以包括通用微处理器(例如cpu)、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(asic))，等等。处理器801还可以包括用于缓存用途的板载存储器。处理器801可以包括用于执行根据本公开实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
[0157]
在ram 803中，存储有电子设备800操作所需的各种程序和数据。处理器801、rom 802以及ram 803通过总线804彼此相连。处理器801通过执行rom 802和/或ram 803中的程序来执行根据本公开实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除rom802和ram 803以外的一个或多个存储器中。处理器801也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本公开实施例的方法流程的各种操作。
[0158]
根据本公开的实施例，电子设备800还可以包括输入/输出(i/o)接口805，输入/输出(i/o)接口805也连接至总线804。系统800还可以包括连接至i/o接口805的以下部件中的一项或多项：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至i/o接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
[0159]
根据本公开的实施例，根据本公开实施例的方法流程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器801执行时，执行本公开实施例的系统中限定的上述功能。根据本公开的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
[0160]
本公开还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本公开实施例的方法。
[0161]
根据本公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0162]
例如，根据本公开的实施例，计算机可读存储介质可以包括上文描述的rom 802和/或ram 803和/或rom 802和ram 803以外的一个或多个存储器。
[0163]
本公开的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本公开实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本公开实施例所提供的方法。
[0164]
在该计算机程序被处理器801执行时，执行本公开实施例的系统/装置中限定的上述功能。根据本公开的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
[0165]
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分809被下载和安装，和/或从可拆卸介质811被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
[0166]
根据本公开的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如java，c++，python，“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
[0167]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组
合来实现。本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本公开的范围。
[0168]
以上对本公开的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本公开的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本公开的范围由所附权利要求及其等同物限定。不脱离本公开的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本公开的范围之内。

技术特征：
1.一种决策信息生成方法，包括：响应于接收到目标车辆的驾驶服务请求，获取所述目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与所述目标车辆的实时相对运动状态信息；利用驾驶场景分析模型对所述实时运动状态信息和所述车道类型信息进行处理，得到目标驾驶场景信息；以及根据所述目标驾驶场景信息，确定目标驾驶行为决策模型；利用目标驾驶行为决策模型对所述实时运动状态信息和所述实时相对运动状态信息进行处理，得到所述目标车辆的驾驶动作决策信息。2.根据权利要求1所述的方法，其中，所述实时运动状态信息包括实时驾驶方向信息和实时位置信息，所述利用驾驶场景分析模型对所述实时运动状态信息和所述车道类型信息进行处理，得到目标驾驶场景信息，包括：从所述目标区域中确定目标任务点的位置信息和场景切换点的位置信息；根据所述实时位置信息和所述场景切换点的位置信息，得到所述实时位置与所述场景切换点之间的距离信息；根据所述目标任务点的位置信息，从所述目标区域的车道类型信息中查询到所述目标任务点的车道类型信息；以及利用驾驶场景分析模型对所述距离信息、所述实时驾驶方向和所述目标任务点的车道类型信息进行处理，得到所述目标驾驶场景信息。3.根据权利要求2所述的方法，其中，所述利用驾驶场景分析模型对所述距离信息、所述实时驾驶方向和所述目标任务点的车道类型信息进行处理，得到所述目标驾驶场景信息，包括：根据所述实时驾驶方向和所述目标任务点的车道类型信息，确定多个候选场景切换条件；以及根据所述距离信息，从所述多个候选场景切换条件中确定目标驾驶场景信息。4.根据权利要求1所述的方法，其中，所述利用目标驾驶行为决策模型对所述实时运动状态信息和所述实时相对运动状态信息进行处理，得到所述目标车辆的驾驶动作决策信息，包括：根据所述目标驾驶场景信息和所述实时相对运动状态信息，确定目标交通参与对象；从所述实时相对运动状态信息中筛选到所述目标交通参与对象与所述目标车辆的目标实时相对运动状态信息；根据所述目标驾驶场景信息，确定目标运动状态的属性信息从所述目标车辆的实时运动状态信息中筛选到与所述目标运动状态的属性信息对应的目标实时运动状态信息；以及利用所述目标驾驶行为决策模型对所述目标实时运动状态信息和所述目标实时相对运动状态信息进行处理，得到所述驾驶动作决策信息。5.根据权利要求4所述的方法，其中，所述根据所述目标驾驶场景信息和所述实时相对运动状态信息，确定目标交通参与对象，包括：根据所述实时相对运动状态信息，确定所述交通参与对象与所述目标车辆的相对位置关系；
根据相对位置关系，确定所述交通参与对象对所述目标车辆在目标驾驶场景中的风险程度；以及根据所述风险程度，从所述交通参与对象中筛选到所述目标交通参与对象。6.根据权利要求4所述的方法，其中，所述根据相对位置关系，确定所述交通参与对象对所述目标车辆在目标驾驶场景中的风险程度，包括：根据所述相对位置关系，得到所述交通参与对象与所述目标车辆的驾驶轨迹的关联关系；以及根据所述驾驶轨迹的关联关系，确定所述风险程度。7.根据权利要求1所述的方法，其中，所述目标驾驶行为决策模型的训练方法，包括：在模拟驾驶场景中，获取测试车辆的运动状态信息、交通参与对象与所述测试车辆的相对运动状态信息；从目标车辆的动作概率分布空间中随机选择驾驶动作信息；以及基于近端策略优化算法，利用所述驾驶动作信息、测试车辆的运动状态信息、交通参与对象与所述测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到所述目标驾驶行为决策模型。8.根据权利要求7所述的方法，其中，所述驾驶动作信息包括s个驾驶动作信息，其中，s为大于1的整数，所述预设模型中包括策略网络和价值网络，所述基于近端策略优化算法，利用所述驾驶动作信息、测试车辆的运动状态信息、交通参与对象与所述测试车辆的相对运动状态信息进行处理对预设模型进行训练，得到所述目标驾驶行为决策模型，包括：针对第s个驾驶动作信息，利用策略网络对所述第s个驾驶动作信息、测试车辆的运动状态信息、交通参与对象与所述测试车辆的相对运动状态信息进行处理，得到第s个驾驶结果信息，s为大于等于1且小于s的整数；利用价值网络对所述第s个驾驶动作信息和所述第s个驾驶结果信息进行处理，得到动作价值信息；基于目标函数，根据所述驾驶状态信息和所述动作价值信息得到策略优势值；在确定所述策略优势值不满足预定阈值的情况下，调整所述预设模型的模型参数，返回执行利用策略网络的处理操作和利用价值网络的处理操作，并递增s；以及在确定所述策略优势值满足预定阈值的情况下，确定所述第s个驾驶动作信息为目标决策动作信息。9.一种决策信息生成装置，包括：获取模块，用于响应于接收到目标车辆的驾驶服务请求，获取所述目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与所述目标车辆的实时相对运动状态信息；分析模块，用于利用驾驶场景分析模型对所述实时运动状态信息和所述车道类型信息进行处理，得到目标驾驶场景信息；确定模块，用于根据所述目标驾驶场景信息，确定目标驾驶行为决策模型；以及生成模块，用于利用目标驾驶行为决策模型对所述实时运动状态信息和所述实时相对运动状态信息进行处理，得到所述目标车辆的驾驶动作决策信息。10.一种电子设备，包括：
一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现权利要求1至8中任一项所述的方法。11.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器实现权利要求1至8中任一项所述的方法。12.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8中任一项所述的方法。

技术总结
本公开提供了一种决策信息生成方法、装置、电子设备及存储介质，涉及人工智能技术领域和自动驾驶技术领域。该决策信息生成方法包括：响应于接收到目标车辆的驾驶服务请求，获取目标车辆的实时运动状态信息、目标区域的车道类型信息和交通参与对象与目标车辆的实时相对运动状态信息。利用驾驶场景分析模型对实时运动状态信息和车道类型信息进行处理，得到目标驾驶场景信息。根据目标驾驶场景信息，确定目标驾驶行为决策模型。利用目标驾驶行为决策模型对实时运动状态信息和实时相对运动状态信息进行处理，得到目标车辆的驾驶动作决策信息。信息。信息。


技术研发人员：王渤谦
受保护的技术使用者：北京京东乾石科技有限公司
技术研发日：2023.03.15
技术公布日：2023/6/27