目标对象的轨迹确定方法、装置、电子设备和存储介质与流程

1.本公开涉及人工智能技术，尤其是一种目标对象的轨迹确定方法、装置、电子设备和存储介质。


背景技术：

2.在自动驾驶、辅助驾驶等的应用场景中，障碍物轨迹预测是关键任务之一，障碍物轨迹预测可以基于感知获得的障碍物在一段时间内的历史信息预测出该障碍物在未来一段时间内的行驶轨迹，为车辆的规划与控制提供障碍物参考信息。相关技术中，通常是在鸟瞰视角(birds eye view，简称：bev)下，基于障碍物的历史信息及地图元素信息，采用卷积神经网络进行障碍物的轨迹预测。但是，基于卷积神经网络的轨迹预测方法，在障碍物密集场景下预测精度较低。


技术实现要素：

3.为了解决上述在障碍物密集场景下预测精度较低等技术问题，本公开的实施例提供了一种目标对象的轨迹确定方法、装置、电子设备和存储介质，以有效提高预测精度。
4.本公开的第一个方面，提供了一种目标对象的轨迹确定方法，包括：获取至少一个时间帧中各所述时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，所述至少一个时间帧包括所述当前时间帧，所述感知结果包括至少一个目标对象在第一坐标系下的状态信息；基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像；基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征；基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，所述目标特征包括所述目标对象对应的时序特征和/或所述目标对象对应的交互特征，所述交互特征表征所述目标对象与其周围的至少一个其他目标对象之间的相关性；基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。
5.本公开的第二个方面，提供了一种目标对象的轨迹确定装置，包括：第一获取模块，用于获取至少一个时间帧中各所述时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，所述至少一个时间帧包括所述当前时间帧，所述感知结果包括至少一个目标对象在第一坐标系下的状态信息；第一处理模块，用于基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像；第二处理模块，用于基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征；第三处理模块，用于基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，所述目标特征包括所述目标对象对应的时序特征和/或所述目标对象对应的交互特征，所述交互特征表征所述目标对象与其周围的至少一个其他目标对象之间的相关性；第四处理模块，用于基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。
6.本公开的第三个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的目标对象的轨迹确定方法。
7.本公开的第四个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的目标对象的轨迹确定方法。
8.本公开的第五个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令被处理器执行时，执行本公开上述任一实施例所述的目标对象的轨迹确定方法。
9.基于本公开上述实施例提供的目标对象的轨迹确定方法、装置、电子设备和存储介质，在进行目标对象的未来轨迹预测时，可以结合目标对象的历史信息、当前信息，以及目标对象的时序特征和/或与其他对象的交互特征，对目标对象的未来行驶轨迹进行预测，由于时序特征有助于捕捉目标对象的历史运动规律，交互特征可以表征目标对象与周围其他对象之间的关系，从而可以有效提高预测精度，使得在障碍物密集场景下也能够获得更高的预测精度。
10.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
11.通过结合附图对本公开实施例进行更详细的描述，本公开的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
12.图1是本公开提供的目标对象的轨迹确定方法的一个示例性的应用场景；
13.图2是本公开一示例性实施例提供的目标对象的轨迹确定方法的流程示意图；
14.图3是本公开另一示例性实施例提供的目标对象的轨迹确定方法的流程示意图；
15.图4是本公开一示例性实施例提供的栅格图像的示意图；
16.图5是本公开一示例性实施例提供的目标对象的当前坐标系的示意图；
17.图6是本公开一示例性实施例提供的局部图像特征的裁剪原理示意图；
18.图7是本公开再一示例性实施例提供的目标对象的轨迹确定方法的流程示意图；
19.图8是本公开一示例性示例提供的锚定轨迹的示意图；
20.图9是本公开一示例性实施例提供的轨迹预测模型的网络结构示意图；
21.图10是本公开一示例性实施例提供的注意力交互网络的结构示意图；
22.图11是本公开一示例性实施例提供的目标对象的轨迹确定装置的结构示意图；
23.图12是本公开另一示例性实施例提供的目标对象的轨迹确定装置的结构示意图；
24.图13是本公开实施例提供的一种电子设备的结构图。
具体实施方式
25.为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。
26.应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相
27.对布置、数字表达式和数值不限制本公开的范围。
28.本公开概述
29.在实现本公开的过程中，发明人发现，在自动驾驶、辅助驾驶等的应用场景中，障碍物轨迹预测是关键任务之一，障碍物轨迹预测可以基于感知获得的障碍物在一段时间内的历史信息预测出该障碍物在未来一段时间内的行驶轨迹，为车辆的规划与控制提供障碍物参考信息。相关技术中，通常是在鸟瞰视角(birds eye view，简称：bev)下，基于障碍物的历史信息及地图元素信息，采用卷积神经网络进行障碍物的轨迹预测。但是，基于卷积神经网络的轨迹预测方法，在障碍物密集场景下预测精度较低。
30.示例性概述
31.图1是本公开提供的目标对象的轨迹确定方法的一个示例性的应用场景。
32.在自动驾驶、辅助驾驶等场景，在车辆行驶过程中可以基于车辆上的传感器感知周围环境情况，获得感知结果，用于后续的障碍物(目标对象)未来轨迹预测，进而为车辆的规划与控制提供障碍物参考信息。利用本公开的目标对象的轨迹确定方法(在)，在车辆行驶过程中，可以在当前时间帧获取包括当前时间帧的至少一个时间帧中各时间帧分别对应的感知结果(多个时间帧的感知结果称为感知结果数据)和当前时间帧对应的第一区域地图，第一区域地图可以是当前时间帧车辆周围覆盖感知结果的各对象的预设范围的地图，比如车辆前后各50米，左右各30米的矩形区域范围内的地图。具体第一区域地图的范围不作限定。基于各时间帧分别对应的感知结果和第一区域地图，生成当前时间帧对应的目标场景图像，目标场景图像可以是融合各时间帧感知结果的对象信息和第一区域地图的图像，基于目标场景图像，确定当前时间帧对应的各目标对象分别对应的第一特征；基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，目标特征包括目标对象对应的时序特征和/或目标对象对应的交互特征，交互特征表征目标对象与其周围的至少一个其他目标对象之间的相关性；基于各目标对象分别对应的第一特征和目标特征，确定各目标对象分别对应的在后时间帧的行驶轨迹。由于时序特征有助于捕捉目标对象的历史运动规律，交互特征可以表征目标对象与周围其他对象之间的关系，从而可以有效提高预测精度，使得在障碍物密集场景下也能够获得更高的预测精度。
33.示例性方法
34.图2是本公开一示例性实施例提供的目标对象的轨迹确定方法的流程示意图。本实施例可应用在电子设备上，具体比如车载计算平台上，如图2所示，包括如下步骤：
35.步骤201，获取至少一个时间帧中各时间帧分别对应的感知结果和当前时间帧对应的第一区域地图。
36.其中，至少一个时间帧包括当前时间帧，感知结果包括至少一个目标对象在第一坐标系下的状态信息。状态信息可以包括目标对象的位置、速度、加速度、朝向(角度)、尺寸、类型等信息中的至少一种。类型是指目标对象的分类类型，比如车辆、行人及其他可能的类型。第一坐标系可以为世界坐标系、地图坐标系，也可以为对应时间帧的车辆坐标系，具体可以根据实际需求设置。各坐标系之间可以相互转换。对于当前时间帧对应的第一区域地图，可以基于车辆在地图中的当前位置，获取当前位置周围预设范围的地图作为当前时间帧对应的第一区域地图。具体预设范围可以根据实际需求设置，本公开不作限定。
37.在一个可选实施例中，第一区域地图可以包括车道线、路沿、斑马线、道路标志等地图元素信息。
38.在一个可选实施例中，至少一个时间帧还可以包括至少一个历史时间帧，具体时间帧的数量可以根据实际需求设置，比如至少一个时间帧可以包括4帧、5帧、6帧，等等。
39.在一个可选实施例中，相邻时间帧之间的时间间隔可以称为第一时间间隔，第一时间间隔可以根据实际需求设置，比如第一时间间隔为0.5秒，第一时间间隔可以大于车辆感知模块进行感知处理获得的感知结果数据的时间间隔，在需要确定目标对象的轨迹时，可以基于第一时间间隔从感知模块获得的感知结果数据中进行采样，获得至少一个时间帧的各时间帧分别对应的感知结果。
40.步骤202，基于各时间帧分别对应的感知结果和第一区域地图，生成当前时间帧对应的目标场景图像。
41.其中，目标场景图像可以是融合各时间帧感知结果的对象信息和第一区域地图的图像，具体融合方式可以根据实际需求设置。比如可以基于各时间帧的感知结果中各对象的状态信息，将各对象以一定表示方式分布到第一区域地图对应的栅格坐标系上，比如按照对象尺寸与栅格坐标系的比例关系将对象以预设形状(比如矩形、圆形、椭圆形等等)分布到栅格坐标系上，生成栅格图像，将栅格图像与第一区域地图融合，获得目标场景图像。
42.步骤203，基于目标场景图像，确定当前时间帧对应的各目标对象分别对应的第一特征。
43.其中，第一特征可以采用任意可实施的特征提取方式获得，比如基于预先训练获得的特征提取网络对目标场景图像进行特征提取获得第一特征，特征提取网络可以采用任意可实施的网络结构，比如任意的基于卷积神经网络的特征提取网络，本公开不作限定。
44.步骤204，基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，目标特征包括目标对象对应的时序特征和/或目标对象对应的交互特征。
45.其中，交互特征表征目标对象与其周围的至少一个其他目标对象之间的相关性。时序特征表征对象的历史运动规律。
46.在一个可选实施例中，时序特征可以基于任意可实施的时序特征提取方式获得。比如可以基于预先训练获得的时序特征提取网络提取目标对象的时序特征。
47.在一个可选实施例中，目标对象对应的交互特征可以基于注意力交互网络提取获得。
48.步骤205，基于各目标对象分别对应的第一特征和目标特征，确定各目标对象分别对应的在后时间帧的行驶轨迹。
49.其中，在后时间帧可以包括至少一个未来时间帧，比如可以包括未来6秒内的多个时间帧，以第一时间间隔为0.5秒为例，则在后时间帧可以包括12个未来时间帧，也即每个行驶轨迹包括目标对象在未来6秒内的12个轨迹点。
50.在一个可选实施例中，各目标对象分别对应的在后时间帧的行驶轨迹可以基于预先训练获得的解码网络和预测头网络获得。
51.本实施例提供的目标对象的轨迹确定方法，在进行目标对象的未来轨迹预测时，可以结合目标对象的历史信息、当前信息，以及目标对象的时序特征和/或与其他对象的交
互特征，对目标对象的未来行驶轨迹进行预测，由于时序特征有助于捕捉目标对象的历史运动规律，交互特征可以表征目标对象与周围其他对象之间的关系，从而可以有效提高预测精度，使得在障碍物密集场景下也能够获得更高的预测精度。
52.图3是本公开另一示例性实施例提供的目标对象的轨迹确定方法的流程示意图。
53.在一个可选示例中，步骤202的基于各时间帧分别对应的感知结果和第一区域地图，生成当前时间帧对应的目标场景图像，包括：
54.步骤2021，对于任一时间帧，基于该时间帧对应的感知结果，生成该时间帧对应的栅格图像。
55.其中，栅格图像可以是第一区域地图对应的栅格坐标系下的图像。栅格坐标系可以是地图坐标系，也可以是与地图坐标系栅格一致坐标原点不同的坐标系，具体可以根据实际需求设置。栅格图像可以包括该时间帧的感知结果中的各目标对象在栅格坐标系下的分布情况。在栅格图像中，各目标对象可以采用预设形状表示，比如矩形、圆形，等等。
56.步骤2022，将各时间帧分别对应的栅格图像与第一区域地图进行融合，获得目标场景图像。
57.其中，栅格图像的大小可以与第一区域地图大小保持一致或者至少一个维度上保持一致，融合方式可以根据实际需求设置，比如在某一维度上进行拼接。
58.本实施例通过生成各时间帧分别对应的栅格图像，便于与第一区域地图进行融合，使得融合获得的目标场景图像包括各目标对象的历史状态信息、当前状态信息以及目标对象周围的地图元素信息，为后续轨迹的确定提供有效的数据。
59.在一个可选实施例中，步骤2021的基于该时间帧对应的感知结果，生成该时间帧对应的栅格图像，包括：
60.基于该时间帧对应的感知结果中的各目标对象的状态信息，确定各目标对象在栅格图像对应的栅格坐标系下的位置和朝向；基于各目标对象在栅格坐标系下的位置和朝向，按预设渲染方式在栅格坐标系下对各目标对象进行渲染，获得栅格图像。
61.其中，目标对象的状态信息包括目标对象在第一坐标系下的位置、朝向、速度、加速度、尺寸、类型等信息，基于目标对象的状态信息可以确定目标对象在第一坐标系下的位置和朝向，进而可以基于第一坐标系与栅格坐标系的转换关系，将目标对象在第一坐标系下的位置和朝向转换到栅格坐标系下，获得目标对象在栅格坐标系下的位置和朝向。预设渲染方式可以根据实际需求设置，预设渲染方式可以包括目标对象对应的渲染形状、形状大小、渲染颜色、等等，以及栅格图像背景颜色。比如栅格图像背景渲染为黑色，目标对象渲染为白色矩形区域，目标对象的形状大小可以基于目标对象的尺寸与栅格坐标系的比例关系确定。目标对象的形状大小可以在渲染之前基于目标对象的尺寸与栅格坐标系的比例关系确定，也可以在渲染时实时基于目标对象的尺寸与栅格坐标系的比例关系确定，具体不作限定。不同类型的目标对象可以采用相同或不同的形状，具体可以根据实际需求设置。
62.示例性的，图4是本公开一示例性实施例提供的栅格图像的示意图。在本示例中栅格图像的背景为黑色，目标对象被渲染为白色，图中白色矩形或白色点表示目标对象。
63.在一个可选实施例中，第一区域地图表示为h*w*c的图像，则每个时间帧对应的栅格图像可以表示为h*w*1的图像，h表示图像高度、w表示图像宽度、c表示图像的通道数量。若第一区域地图为rgb图像，则第一区域地图的通道数量通常为3，可以包括r(red，红色)、g
(green，绿色)、b(blue，蓝色)三个颜色通道。
64.在一个可选实施例中，步骤2022的将各时间帧分别对应的栅格图像与第一区域地图进行融合，获得目标场景图像，包括：
65.将各时间帧对应的栅格图像与第一区域地图按通道进行拼接，获得目标场景图像。
66.其中，按通道进行拼接是指栅格图像与第一区域地图在通道维度上拼接，使得目标场景图像相对第一区域地图的大小不变，通道数量增多。
67.示例性的，h*w*3的第一区域地图和4个时间帧分别对应的h*w*1的栅格图像，按通道进行拼接获得的目标场景图像为h*w*7的图像。
68.本实施例通过各时间帧的栅格图像与第一区域地图按通道进行拼接作为目标场景图像，用于后续的轨迹预测，由于目标场景图像包括各目标对象的历史状态、当前状态以及地图元素，有助于提取场景的全局特征，为目标对象轨迹预测提供有效的特征。
69.在一个可选实施例中，步骤203的基于目标场景图像，确定当前时间帧对应的各目标对象分别对应的第一特征，包括：
70.步骤2031，利用预先训练获得的轨迹预测模型中的第一特征提取网络对目标场景图像进行处理，获得第一图像特征。
71.其中，轨迹预测模型为预先训练获得的用于对象轨迹预测的神经网络模型。第一特征提取网络可以采用任意可实施的特征提取网络，比如基于卷积神经网络的特征提取网络，具体可以根据实际需求设置。
72.步骤2032，基于第一图像特征，确定各目标对象分别对应的局部图像特征。
73.其中，对于任一目标对象，该目标对象对应的局部图像特征是以该目标对象为中心的周围一定范围内的特征。
74.在一个可选实施例中，可以基于该目标对象在目标场景图像的位置、目标场景图像位置与第一图像特征的位置对应关系，从第一图像特征中裁剪出目标对象对应的局部图像特征。
75.步骤2033，利用轨迹预测模型中的第二特征提取网络对各目标对象分别对应的局部图像特征进行特征提取，获得各目标对象分别对应的第一特征。
76.其中，第二特征提取网络可以为任意可实施的特征提取网络，比如基于卷积神经网络的特征提取网络，具体可以根据实际需求设置。
77.本实施例通过对各目标对象分别对应的局部图像特征进一步进行特征提取获得各目标对象分别对应的第一特征，从而以目标对象为中心的更细粒度的局部特征用于目标对象的轨迹预测，可以进一步提高预测结果的准确性。
78.在一个可选实施例中，步骤2032的基于第一图像特征，确定各目标对象分别对应的局部图像特征，包括：
79.对于任一目标对象，基于该目标对象在当前时间帧的当前状态信息，确定该目标对象的当前坐标系与第一图像特征对应的坐标系之间的转换关系，当前坐标系以该目标对象的当前位置为原点，以该目标对象的当前朝向为第一坐标轴；基于该转换关系，将第一图像特征转换到当前坐标系下，获得第一图像特征对应的目标图像特征；基于预设裁剪规则，从目标图像特征中确定该目标对象对应的子图像特征；将子图像特征作为该目标对象对应
的局部图像特征。
80.其中，当前位置是该目标对象在当前时间帧的位置，该当前位置可以从当前状态信息中获得。当前坐标系目标对象的当前位置为原点，以该目标对象的当前朝向为第一坐标轴，以该目标对象与当前朝向垂直的方向为第二坐标轴。预设裁剪规则可以根据实际需求设置，比如可以是裁剪目标图像特征中以目标对象为中心的m*n的像素区域作为该目标对象对应的子图像特征。
81.示例性的，目标对象为车辆，则当前坐标系为该车辆在当前时间帧的车辆坐标系，即以车辆后轴中心为原点，以车辆长度方向为第一坐标轴，以车辆宽度方向为第二坐标轴。
82.示例性的，图5是本公开一示例性实施例提供的目标对象的当前坐标系的示意图。其中，x0y表示目标对象的当前坐标系。图中仅示出一个目标对象的当前坐标系。
83.在一个可选实施例中，当前坐标系与第一图像特征对应的坐标系之间的转换关系可以基于当前坐标系与第一坐标系的转换关系、第一坐标系与第一区域地图的地图坐标系的转换关系、第一区域地图与目标场景图像的映射关系，以及目标场景图像与第一图像特征的像素对应关系确定。
84.在一个可选实施例中，还可以是基于目标对象的当前坐标系，确定需要裁剪的区域的四个角点，基于上述转换关系，将该四个角点投影到第一图像特征，获得四个投影角点，基于四个投影角点裁剪出该目标对象对应的子图像特征，再将该子图像特征转换到当前坐标系下，获得该目标对象的局部图像特征。
85.示例性的，图6是本公开一示例性实施例提供的局部图像特征的裁剪原理示意图。其中，虚线框内的区域为裁剪出的目标对象的子图像特征，作为该目标对象的局部图像特征。结合目标场景图像可见，裁剪获得的局部图像特征的高度和宽度方向是与目标对象的当前坐标系的坐标轴方向一致。
86.本实施例通过确定以目标对象为中心的当前坐标系下的局部图像特征，用于该目标对象的轨迹预测，可以更好地捕捉该目标对象的相关特征，进一步提高预测轨迹的准确性。
87.在一个可选实施例中，至少一个时间帧还包括至少一个历史时间帧；步骤204的基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，包括：
88.步骤2041a，对于任一目标对象，基于该目标对象在各时间帧的状态信息，确定该目标对象对应的位置序列。
89.其中，位置序列可以包括各时间帧的状态信息在目标对象的当前坐标系下的位置。
90.示例性的，至少一个时间帧包括4个时间帧，以目标对象在当前时间帧的状态建立当前坐标系，将目标对象在各历史时间帧的位置转换到当前坐标系，获得3个当前坐标系下的位置，与当前坐标系原点形成包括4个位置的位置序列。
91.步骤2042a，利用预先训练获得的轨迹预测模型中的时序特征提取网络，对各目标对象分别对应的位置序列进行处理，获得各目标对象分别对应的时序特征。
92.其中，时序特征提取网络可以采用任意可以提取时序特征的特征提取网络，比如时序特征提取网络可以采用时序卷积网络(temporal convolutional network，简称：
tcn)。时序卷积网络用于在目标对象的位置序列的时间维度上进行一维卷积，实现对目标对象的轨迹信息进行编码，得到目标对象的时序表示，作为目标对象的时序特征。
93.本实施例通过时序特征提取网络对各目标对象的位置序列进行处理，获得各目标对象的时序特征，用于辅助目标对象的轨迹预测，可以进一步提高预测结果的准确性。
94.在一个可选实施例中，在确定目标对象的时序特征时，还可以采用比上述时间帧的第一时间间隔更小的第二时间间隔进行感知结果的采样，从而可以获得更细粒度的时序特征，用于辅助目标对象的轨迹预测，可以进一步提高预测结果的准确性。具体可以在模型训练时设置，在应用时，时间间隔与模型训练过程一致。
95.示例性的，第一时间间隔为0.5秒，第二时间间隔可以为0.25秒，用于生成第一特征的至少一个时间帧可以包括4个时间帧(2秒时间)，生成时序特征的感知结果可以包括8帧(2秒时间)，具体可以根据实际需求设置。
96.在一个可选实施例中，步骤204的基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，包括：
97.步骤2041b，对于任一时间帧，基于各目标对象在该时间帧的状态信息，确定各目标对象分别在该时间帧对应的相对关系信息，任一目标对象对应的相对关系信息包括该目标对象在该时间帧下与其他目标对象之间的相对关系。
98.其中，该目标对象与其他目标对象之间的相对关系可以指其他目标对象与该目标的相对位置、相对朝向、相对速度、相对加速度等关系中的至少一种。
99.在一个可选实施例中，对于任一目标对象，在将该目标对象在各历史时间帧的状态信息转换到目标对象的当前坐标系下后，对于任一时间帧，该目标对象在该时间帧对应的相对关系信息可以表示为该目标对象周围的其他目标对象在该目标对象的当前坐标系下的位置、朝向、速度、尺寸、类型等信息中的至少一种。
100.步骤2042b，对于任一目标对象，基于该目标对象在各时间帧分别对应的相对关系信息，确定该目标对象对应的相对关系序列。
101.其中，相对关系系列包括该目标对象在各时间帧分别对应的相对关系信息。
102.示例性的，目标场景图像中包括12个目标对象，4个时间帧，对于每个目标对象，该目标对象对应的相对关系包括该目标对象与自己的相对关系、该目标对象与11个其他目标对象的相对关系，与每个其他目标对象的相对关系包括该其他目标对象在该目标对象的当前坐标系下的横向坐标、纵向坐标、速度、加速度、朝向5个维度的特征，该目标对象对应的相对关系序列可以基于1*12*5*4的特征图确定，时间维度为4，将该特征图表示为序列格式，作为该目标对象对应的相对关系序列。
103.步骤2043b，利用预先训练获得的轨迹预测模型中的注意力交互网络，对各目标对象分别对应的相对关系序列进行处理，获得各目标对象分别对应的交互特征。
104.其中，注意力交互网络可以采用基于注意力机制的神经网络实现。利用各目标对象间的位置、速度、朝向等信息，显式地编码任一目标对象与其他目标对象之间的动态相关性，生成每个目标对象与周围其他目标对象的交互特征。
105.本实施例通过注意力交互网络获得各目标对象分别对应的交互特征用于辅助各目标对象的轨迹预测，可以有效提升复杂道路场景及障碍物交互程度较高的场景下的障碍物轨迹预测精度。
106.在一个可选实施例中，在确定目标对象对应的交互特征时，可以采用比上述时间帧的第一时间间隔更小的第三时间间隔进行感知结果的采样，第三时间间隔可以与时序特征的第二时间间隔相同或不同，从而可以进一步提升复杂道路场景及障碍物交互程度较高的场景下的障碍物轨迹预测精度。具体可以在模型训练时设置，在应用时，时间间隔与模型训练过程一致。
107.图7是本公开再一示例性实施例提供的目标对象的轨迹确定方法的流程示意图。
108.在一个可选实施例中，步骤204的基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，包括：
109.步骤2041c，基于各时间帧分别对应的感知结果和各时间帧之间的至少一个中间帧对应的感知结果，确定各目标对象分别对应的目标特征。
110.其中，中间帧与相邻的时间帧之间的时间间隔可以根据实际需求设置，比如时间帧的第一时间间隔为0.5秒，在相邻时间帧之间再插值采样至少一个中间帧的感知结果，使得用于确定目标特征的第二时间间隔为0.25秒或更小，比如相邻时间帧之间可以插值多个中间帧，从而获得更小时间间隔的多个新时间帧分别对应的感知结果，用于确定目标对象的时序特征和/或交互特征。在新时间帧下，时序特征及交互特征的确定原理与上述时间帧类似在此不再赘述。
111.本实施例通过更高帧率采样感知结果，用于确定目标对象的时序特征和/或交互特征，进而将时序特征和/或交互特征用于辅助目标对象的未来轨迹预测，进一步提升轨迹预测精度。
112.在一个可选实施例中，步骤205的基于各目标对象分别对应的第一特征和目标特征，确定各目标对象分别对应的在后时间帧的行驶轨迹，包括：
113.步骤2051，将各目标对象分别对应的第一特征、时序特征和交互特征进行融合，获得融合特征。
114.其中，第一特征、时序特征和交互特征的融合方式可以根据实际需求设置，比如三者可以在预设维度上进行拼接。
115.步骤2052，利用预先训练获得的轨迹预测模型中的解码网络对融合特征进行处理，获得解码结果。
116.其中，解码网络可以采用任意可实施的网络，比如基于transformer的解码网络，基于卷积神经网络的解码网络，等等。具体不作限定。
117.步骤2053，利用轨迹预测模型中的预测头网络对解码结果进行处理，获得各目标对象分别对应的轨迹预测结果。
118.其中，预测头网络可以包括两个头网络，一个头网络用于预测各目标对象的未来轨迹属于各轨迹类型的预测概率，另一个头网络用于回归预测概率最大的k(k为正整数，具体可以根据实际需求设置)个轨迹类型的锚定轨迹分别对应的高斯分布参数或偏移值。也即轨迹预测结果包括各目标对象的未来轨迹属于各轨迹类型的预测概率和预测概率最大的k个轨迹类型分别对应的高斯分布参数或偏移值。
119.在一个可选实施例中，轨迹预测的高斯分布为二维高斯分别，高斯分布参数包括其对应的锚定轨迹的均值(μ
x
,μy)、标准差的log值(logσ
x
,logσy)和协方差矩阵的相关系数ρ。其中，σ
x
和σy表示标准差。x和y表示目标对象的当前坐标系的x轴和y轴。可以将均值作为
偏移值。锚定轨迹是指预先基于车辆速度、直行、转弯等设置的车辆未来一段时间(比如6秒)可能发生的行驶轨迹。每个锚定轨迹可以包括预设数量(比如12)个轨迹点，每个锚定轨迹对应设置一个轨迹类型，轨迹类型可以用任意可实施的方式表示，比如可以采用不同编号表示不同的锚定轨迹。每个锚定轨迹的各轨迹点可以是以待预测轨迹的目标对象为原点的坐标系(即上述当前坐标系)下的坐标点，表示该目标对象未来可能会经过的坐标点。
120.示例性的，图8是本公开一示例性示例提供的锚定轨迹的示意图。在本示例中，展示了直线和左转两种锚定轨迹。图中，横坐标为目标对象当前坐标系下的y轴坐标，纵坐标为x轴坐标。
121.步骤2054，基于各目标对象分别对应的轨迹预测结果，确定各目标对象分别对应的在后时间帧的行驶轨迹。
122.其中，对于任一目标对象，在获得该目标对象对应的轨迹预测结果后，可以基于轨迹预测结果确定该目标对象的未来行驶轨迹。在后时间帧的行驶轨迹可以包括至少一条轨迹，每条轨迹可以包括一组轨迹点，每组轨迹点的数量可以根据实际需求设置，比如一条轨迹可以包括12个轨迹点，也即12个未来时间帧。以时间帧的第一时间间隔为0.5秒为例，则可以预测目标对象未来6秒的行驶轨迹。
123.在一个可选实施例中，可以基于轨迹预测结果确定预测概率topn的n个行驶轨迹。对于每个行驶轨迹的轨迹点可以基于对应的锚定轨迹的轨迹点与偏移值确定。比如可以将锚定轨迹的每个轨迹点的坐标与偏移值的和作为行驶轨迹的轨迹点。
124.在一个可选实施例中，图9是本公开一示例性实施例提供的轨迹预测模型的网络结构示意图。该轨迹预测模型包括第一特征提取网络、第二特征提取网络、时序特征提取网络、注意力交互网络、特征融合网络、解码网络和预测头网络。裁剪属于模型外的处理，也可以作为模型中的一部分，具体不作限定。其中，第一特征提取网络用于对目标场景图像进行特征提取获得第一图像特征，第一图像特征通过裁剪获得各目标对象分别对应的局部图像特征，第二特征提取网络用于对局部图像特征进行处理，获得各目标对象分别对应的第一特征；时序特征提取网络用于对各目标对象分别对应的位置序列进行处理，获得各目标对象分别对应的时序特征；注意力交互网络用于对各目标对象分别对应的相对关系序列进行处理，获得各目标对象分别对应的交互特征，第一特征、时序特征和交互特征通过特征融合网络进行特征融合，获得融合特征，解码网络用于对融合特征进行解码，获得解码结果，解码结果经预测头网络获得轨迹预测结果。
125.在一个可选实施例中，特征融合网络可以是concat(拼接)网络层，将第一特征、时序特征和交互特征在预设维度上进行拼接，获得融合特征。
126.示例性的，第一特征为12*128*1*1的特征，时序特征为12*8*1*1的特征，交互特征为12*16*1*1的特征，在第二维度上进行拼接，获得的融合特征为12*152*1*1。其中，12表示目标对象的数量，最后的1表示通道数量，中间的128*1、8*1和16*1，表示每个目标对象对应的相应特征的维度，以16*1为例，将每个目标对象的交互特征用16*1的向量表示，各特征的表示方式可以根据实际需求设置，不限于上述方式。
127.在一个可选实施例中，注意力交互网络可以基于多头自注意力机制实现。示例性的，图10是本公开一示例性实施例提供的注意力交互网络的结构示意图。在本示例中，注意力交互网络包括三个独立的卷积层、多头自注意力层和拼接层(concat)，目标对象的相对
关系序列通过三个独立的卷积层分别映射为查询向量q、键向量k和值向量v，q、k、v在多头自注意力(multi-head self-attention)层进行自注意力操作，获得单头(head)分别对应的注意力结果，本示例中多头自注意力层以3个头为例，各头分别对应的注意力结果进行拼接，获得该目标对象对应的交互特征。具体来说，对于每个head，q和k以点积的形式进行相似度计算获得权重值，基于权重值对v进行加权求和获得单头注意力的上下文，多个head的单头注意力上下文进行拼接，获得目标对象的交互特征。这里仅为注意力交互网络的一种示例性结构示意图，在实际应用中还可以采用其他任意可实施的网络结构实现，具体不作限定。
128.在一个可选实施例中，轨迹预测结果包括目标对象在各预设轨迹对应的概率值及偏移值；步骤2054的基于各目标对象分别对应的轨迹预测结果，确定各目标对象分别对应的在后时间帧的行驶轨迹，包括：
129.对于任一目标对象，基于该目标对象在各预设轨迹分别对应的概率值，确定概率值满足预设条件的第一数量的预设轨迹作为目标预设轨迹；对于任一目标预设轨迹，基于该目标预设轨迹及该目标预设轨迹对应的偏移值，确定该目标对象在该目标预设轨迹对应的目标轨迹；将该目标对象在各目标预设轨迹分别对应的目标轨迹作为该目标对象对应的在后时间帧的行驶轨迹。
130.其中，预设轨迹是指前述的锚定轨迹，在此不再赘述。预设条件可以根据实际需求设置，比如按概率值从大到小排序，概率值排在topn(n为第一数量，可以根据实际需求设置)的预设轨迹作为目标预设轨迹。目标预设轨迹与偏移值之和，作为目标对象的目标轨迹。
131.需要说明的是，本公开的轨迹预测模型需要预先进行训练获得，在训练过程中，对训练样本数据的处理过程与上述应用过程一致，基于训练过程预测获得的结果与标签数据对比，确定网络损失，用于网络参数的更新，直至满足训练结束条件，获得训练好的轨迹预测模型。其中，标签数据可以基于目标对象的未来时间帧的真实轨迹确定。具体来说，可以基于收集的大量感知结果数据，按照一定的时间间隔进行采样，获得至少一个时间帧中各时间帧分别对应的感知结果，将各时间帧中的任一时间帧作为当前时间帧，将当前时间帧之前的各时间帧作为历史时间帧，将当前时间帧之后的各时间帧作为未来时间帧，基于当前时间帧和历史时间帧确定出训练样本数据，基于未来时间帧确定出训练样本数据对应的标签数据，用于对预先建立的轨迹预测模型对应的轨迹预测网络进行训练。对于时序特征提取网络和注意力交互网络需要的训练样本数据，可以基于更小的时间间隔(更高的帧率)采样的感知结果确定，通过时序特征提取网络和注意力交互网络可以有效捕捉更细粒度的时序特征和对象之间的交互特征，通过监督学习，大大提高模型的预测精度，从而在实际应用中可以获得更加精准的预测轨迹。
132.本公开实施例提供的目标对象的轨迹确定方法，通过结合目标对象对应的第一特征、时序特征和交互特征对目标对象的未来轨迹进行预测，可以增强对障碍物时序信息的捕捉能力，有效提升预测结果的精度，以及提升在路口转弯、掉头等场景的预测效果，还可以充分利用障碍物之间的空间位置关系，综合障碍物之间的交互性对轨迹预测的影响，进一步提升在复杂道路场景下的预测表现，从而可以为后续的规划与控制提供更有效的障碍物参考信息。
133.本公开上述各实施例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
134.本公开实施例提供的任一种目标对象的轨迹确定方法可以由任意适当的具有数据处理能力的设备执行，包括但不限于：终端设备和服务器等。或者，本公开实施例提供的任一种目标对象的轨迹确定方法可以由处理器执行，如处理器通过调用存储器存储的相应指令来执行本公开实施例提及的任一种目标对象的轨迹确定方法。下文不再赘述。
135.示例性装置
136.图11是本公开一示例性实施例提供的目标对象的轨迹确定装置的结构示意图。该实施例的装置可用于实现本公开相应的方法实施例，如图11所示的装置包括：第一获取模块501、第一处理模块502、第二处理模块503、第三处理模块504和第四处理模块505。
137.第一获取模块501，用于获取至少一个时间帧中各所述时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，所述至少一个时间帧包括所述当前时间帧，所述感知结果包括至少一个目标对象在第一坐标系下的状态信息；
138.第一处理模块502，用于基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像；
139.第二处理模块503，用于基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征；
140.第三处理模块504，用于基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，所述目标特征包括所述目标对象对应的时序特征和/或所述目标对象对应的交互特征，所述交互特征表征所述目标对象与其周围的至少一个其他目标对象之间的相关性；
141.第四处理模块505，用于基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。
142.图12是本公开另一示例性实施例提供的目标对象的轨迹确定装置的结构示意图。
143.在一个可选示例中，第一处理模块502包括：
144.第一处理单元5021，用于对于任一时间帧，基于该时间帧对应的感知结果，生成该时间帧对应的栅格图像。
145.第二处理单元5022，用于将各时间帧分别对应的栅格图像与第一区域地图进行融合，获得目标场景图像。
146.在一个可选实施例中，第一处理单元5021具体用于：
147.基于该时间帧对应的感知结果中的各目标对象的状态信息，确定各目标对象在栅格图像对应的栅格坐标系下的位置和朝向；基于各目标对象在栅格坐标系下的位置和朝向，按预设渲染方式在栅格坐标系下对各目标对象进行渲染，获得栅格图像。
148.在一个可选实施例中，第二处理单元5022具体用于：
149.将各时间帧对应的栅格图像与第一区域地图按通道进行拼接，获得目标场景图像。
150.在一个可选实施例中，第二处理模块503包括：
151.第三处理单元5031，用于利用预先训练获得的轨迹预测模型中的第一特征提取网络对目标场景图像进行处理，获得第一图像特征。
152.第四处理单元5032，用于基于第一图像特征，确定各目标对象分别对应的局部图像特征。
153.第五处理单元5033，用于利用轨迹预测模型中的第二特征提取网络对各目标对象分别对应的局部图像特征进行特征提取，获得各目标对象分别对应的第一特征。
154.在一个可选实施例中，第四处理单元5032具体用于：
155.对于任一目标对象，基于该目标对象在当前时间帧的当前状态信息，确定该目标对象的当前坐标系与第一图像特征对应的坐标系之间的转换关系，当前坐标系以该目标对象的当前位置为原点，以该目标对象的当前朝向为第一坐标轴；基于该转换关系，将第一图像特征转换到当前坐标系下，获得第一图像特征对应的目标图像特征；基于预设裁剪规则，从目标图像特征中确定该目标对象对应的子图像特征；将子图像特征作为该目标对象对应的局部图像特征。
156.在一个可选实施例中，至少一个时间帧还包括至少一个历史时间帧；第三处理模块504包括：
157.第一确定单元5041a，用于对于任一目标对象，基于该目标对象在各时间帧的状态信息，确定该目标对象对应的位置序列。
158.第六处理单元5042a，用于利用预先训练获得的轨迹预测模型中的时序特征提取网络，对各目标对象分别对应的位置序列进行处理，获得各目标对象分别对应的时序特征。
159.在一个可选实施例中，第三处理模块504包括：
160.第二确定单元5041b，用于对于任一时间帧，基于各目标对象在该时间帧的状态信息，确定各目标对象分别在该时间帧对应的相对关系信息，任一目标对象对应的相对关系信息包括该目标对象在该时间帧下与其他目标对象之间的相对关系。
161.第三确定单元5042b，用于对于任一目标对象，基于该目标对象在各时间帧分别对应的相对关系信息，确定该目标对象对应的相对关系序列。
162.第七处理单元5043b，利用预先训练获得的轨迹预测模型中的注意力交互网络，对各目标对象分别对应的相对关系序列进行处理，获得各目标对象分别对应的交互特征。
163.在一个可选实施例中，第三处理模块504具体用于：
164.基于各时间帧分别对应的感知结果和各时间帧之间的至少一个中间帧对应的感知结果，确定各目标对象分别对应的目标特征。
165.在一个可选实施例中，第四处理模块505包括：
166.特征融合单元5051，用于将各目标对象分别对应的第一特征、时序特征和交互特征进行融合，获得融合特征。
167.解码单元5052，用于利用预先训练获得的轨迹预测模型中的解码网络对融合特征进行处理，获得解码结果。
168.预测单元5053，用于利用轨迹预测模型中的预测头网络对解码结果进行处理，获得各目标对象分别对应的轨迹预测结果。
169.第四确定单元5054，用于基于各目标对象分别对应的轨迹预测结果，确定各目标对象分别对应的在后时间帧的行驶轨迹。
170.在一个可选实施例中，轨迹预测结果包括目标对象在各预设轨迹对应的概率值及偏移值；第四确定单元5054具体用于：
171.对于任一目标对象，基于该目标对象在各预设轨迹分别对应的概率值，确定概率值满足预设条件的第一数量的预设轨迹作为目标预设轨迹；对于任一目标预设轨迹，基于该目标预设轨迹及该目标预设轨迹对应的偏移值，确定该目标对象在该目标预设轨迹对应的目标轨迹；将该目标对象在各目标预设轨迹分别对应的目标轨迹作为该目标对象对应的在后时间帧的行驶轨迹。
172.本公开上述各实施例可以单独实施也可以在不冲突的情况下以任意组合方式结合实施，具体可以根据实际需求设置，本公开不做限定。
173.本装置示例性实施例对应的有益技术效果可以参见上述示例性方法部分的相应有益技术效果，在此不再赘述。
174.示例性电子设备
175.图13是本公开实施例提供的一种电子设备的结构图，包括至少一个处理器11和存储器12。
176.处理器11可以是中央处理单元(cpu)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
177.存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的方法以及/或者其他期望的功能。
178.在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
179.该输入装置13还可以包括例如键盘、鼠标等等。
180.该输出装置14可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
181.当然，为了简化，图13中仅示出了该电子设备10中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
182.示例性计算机程序产品和计算机可读存储介质
183.除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的目标对象的轨迹确定方法中的步骤。
184.计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、c++等，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
185.此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指
令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的目标对象的轨迹确定方法中的步骤。
186.计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
187.以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
188.本领域的技术人员可以对本公开进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。

技术特征：
1.一种目标对象的轨迹确定方法，包括：获取至少一个时间帧中各所述时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，所述至少一个时间帧包括所述当前时间帧，所述感知结果包括至少一个目标对象在第一坐标系下的状态信息；基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像；基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征；基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，所述目标特征包括所述目标对象对应的时序特征和/或所述目标对象对应的交互特征，所述交互特征表征所述目标对象与其周围的至少一个其他目标对象之间的相关性；基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。2.根据权利要求1所述的方法，其中，所述基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，包括：基于各所述时间帧分别对应的感知结果和各所述时间帧之间的至少一个中间帧对应的感知结果，确定各所述目标对象分别对应的所述目标特征。3.根据权利要求1所述的方法，其中，所述至少一个时间帧还包括至少一个历史时间帧；所述基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，包括：对于任一所述目标对象，基于该目标对象在各所述时间帧的状态信息，确定该目标对象对应的位置序列；利用预先训练获得的轨迹预测模型中的时序特征提取网络，对各所述目标对象分别对应的位置序列进行处理，获得各所述目标对象分别对应的所述时序特征。4.根据权利要求1所述的方法，其中，所述基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，包括：对于任一所述时间帧，基于各所述目标对象在该时间帧的状态信息，确定各所述目标对象分别在该时间帧对应的相对关系信息，任一所述目标对象对应的所述相对关系信息包括该目标对象在该时间帧下与其他目标对象之间的相对关系；对于任一所述目标对象，基于该目标对象在各所述时间帧分别对应的所述相对关系信息，确定该目标对象对应的相对关系序列；利用预先训练获得的轨迹预测模型中的注意力交互网络，对各所述目标对象分别对应的所述相对关系序列进行处理，获得各所述目标对象分别对应的交互特征。5.根据权利要求1所述的方法，其中，所述基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像，包括：对于任一所述时间帧，基于该时间帧对应的所述感知结果，生成该时间帧对应的栅格图像；将各所述时间帧分别对应的所述栅格图像与所述第一区域地图进行融合，获得所述目
标场景图像。6.根据权利要求5所述的方法，其中，所述基于该时间帧对应的所述感知结果，生成该时间帧对应的栅格图像，包括：基于该时间帧对应的所述感知结果中的各所述目标对象的状态信息，确定各所述目标对象在所述栅格图像对应的栅格坐标系下的位置和朝向；基于各所述目标对象在所述栅格坐标系下的位置和朝向，按预设渲染方式在所述栅格坐标系下对各所述目标对象进行渲染，获得所述栅格图像。7.根据权利要求5所述的方法，其中，所述将各所述时间帧分别对应的所述栅格图像与所述第一区域地图进行融合，获得所述目标场景图像，包括：将各所述时间帧对应的所述栅格图像与所述第一区域地图按通道进行拼接，获得所述目标场景图像。8.根据权利要求1所述的方法，其中，所述基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征，包括：利用预先训练获得的轨迹预测模型中的第一特征提取网络对所述目标场景图像进行处理，获得第一图像特征；基于所述第一图像特征，确定各所述目标对象分别对应的局部图像特征；利用所述轨迹预测模型中的第二特征提取网络对各所述目标对象分别对应的局部图像特征进行特征提取，获得各所述目标对象分别对应的所述第一特征。9.根据权利要求8所述的方法，其中，所述基于所述第一图像特征，确定各所述目标对象分别对应的局部图像特征，包括：对于任一所述目标对象，基于该目标对象在所述当前时间帧的当前状态信息，确定该目标对象的当前坐标系与所述第一图像特征对应的坐标系之间的转换关系，所述当前坐标系以该目标对象的当前位置为原点，以该目标对象的当前朝向为第一坐标轴；基于所述转换关系，将所述第一图像特征转换到所述当前坐标系下，获得所述第一图像特征对应的目标图像特征；基于预设裁剪规则，从所述目标图像特征中确定该目标对象对应的子图像特征；将所述子图像特征作为该目标对象对应的所述局部图像特征。10.根据权利要求1所述的方法，其中，所述基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹，包括：将各所述目标对象分别对应的所述第一特征、所述时序特征和所述交互特征进行融合，获得融合特征；利用预先训练获得的轨迹预测模型中的解码网络对所述融合特征进行处理，获得解码结果；利用所述轨迹预测模型中的预测头网络对所述解码结果进行处理，获得各所述目标对象分别对应的轨迹预测结果；基于各所述目标对象分别对应的轨迹预测结果，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。11.根据权利要求10所述的方法，其中，所述轨迹预测结果包括所述目标对象在各预设轨迹对应的概率值及偏移值；
所述基于各所述目标对象分别对应的轨迹预测结果，确定各所述目标对象分别对应的在后时间帧的行驶轨迹，包括：对于任一所述目标对象，基于该目标对象在各所述预设轨迹分别对应的概率值，确定概率值满足预设条件的第一数量的预设轨迹作为目标预设轨迹；对于任一所述目标预设轨迹，基于该目标预设轨迹及该目标预设轨迹对应的偏移值，确定该目标对象在该目标预设轨迹对应的目标轨迹；将该目标对象在各所述目标预设轨迹分别对应的所述目标轨迹作为该目标对象对应的在后时间帧的行驶轨迹。12.一种目标对象的轨迹确定装置，包括：第一获取模块，用于获取至少一个时间帧中各所述时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，所述至少一个时间帧包括所述当前时间帧，所述感知结果包括至少一个目标对象在第一坐标系下的状态信息；第一处理模块，用于基于各所述时间帧分别对应的所述感知结果和所述第一区域地图，生成当前时间帧对应的目标场景图像；第二处理模块，用于基于所述目标场景图像，确定所述当前时间帧对应的各所述目标对象分别对应的第一特征；第三处理模块，用于基于各所述时间帧分别对应的感知结果，确定所述当前时间帧对应的各所述目标对象分别对应的目标特征，所述目标特征包括所述目标对象对应的时序特征和/或所述目标对象对应的交互特征，所述交互特征表征所述目标对象与其周围的至少一个其他目标对象之间的相关性；第四处理模块，用于基于各所述目标对象分别对应的所述第一特征和所述目标特征，确定各所述目标对象分别对应的在后时间帧的行驶轨迹。13.一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1-11任一所述的目标对象的轨迹确定方法。14.一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述权利要求1-11任一所述的目标对象的轨迹确定方法。

技术总结
本公开实施例公开了一种目标对象的轨迹确定方法、装置、电子设备和存储介质，其中，方法包括：基于至少一个时间帧中各时间帧分别对应的感知结果和当前时间帧对应的第一区域地图，生成当前时间帧对应的目标场景图像；基于目标场景图像，确定当前时间帧对应的各目标对象分别对应的第一特征；基于各时间帧分别对应的感知结果，确定当前时间帧对应的各目标对象分别对应的目标特征，目标特征包括目标对象对应的时序特征和/或目标对象对应的交互特征；基于各目标对象分别对应的第一特征和目标特征，确定各目标对象分别对应的在后时间帧的行驶轨迹。本公开实施例可以有效提高预测精度，使得在障碍物密集场景下也能够获得更高的预测精度。测精度。测精度。


技术研发人员：陈思恩
受保护的技术使用者：北京地平线信息技术有限公司
技术研发日：2023.03.27
技术公布日：2023/6/28