泊车规划方法、装置、电子设备及存储介质与流程

1.本技术涉及智能驾驶领域，具体涉及一种泊车规划方法、装置、电子设备及存储介质。


背景技术：

2.高级驾驶辅助系统(adas，advanced driving assistance system)是利用车辆的传感器实时感知车辆周围的环境，提示潜在危险或者完成授权的部分驾驶操作，从而增加驾驶的舒适性和安全性。其中，作为高效、安全的高级驾驶辅助系统的重点，泊车是一项必不可少而又具有挑战性的任务。
3.目前的泊车方式通常是基于车辆的摄像头，对环境中的车位进行识别，从而规划泊车的行驶轨迹，并且在泊车过程中根据车辆的雷达检测是否有障碍物，从而进行避让。但是该方法仅仅依赖摄像头和雷达采集的数据在泊车过程中进行避障，导致泊车规划的安全性并不高。


技术实现要素：

4.本技术实施例公开了一种泊车规划方法、装置、电子设备及存储介质，能够提高泊车规划的准确性，并且，减少泊车规划过程中的计算资源。
5.本技术实施例公开一种泊车规划方法，应用于车载终端，所述方法包括：
6.获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息；根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域；对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图；将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，所述多个任务包括所述车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务；将各个所述任务对应的输出结果和所述动态区域进行融合，并映射到三维空间中，得到融合结果；根据所述融合结果对所述车辆在所述三维空间中的泊车路径进行规划。
7.本技术实施例根据航迹推算信息及车身位姿信息对上一帧环视图像进行运动补偿，得到基于运动补偿后得到的动态区域，以及，根据当前帧环视图像对应的目标特征图确定多个任务对应的结果，通过将运动补偿后得到的动态区域与多个任务对应的结果进行融合，对车辆进行泊车规划，可以提高泊车规划的准确性，并且，减少泊车规划过程中的计算资源。
8.作为一种可选的实施方式，所述获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息，包括：获取与车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息；根据所述车辆的车辆坐标系与世界坐标系之间的转换关系，将所述原始航迹推算信息及所述原始车身位姿信息从所述车辆坐标系转换至所述世界坐标系，得到转换
至所述世界坐标系下的航迹推算信息及车身位姿信息。
9.本技术实施例通过将获取的与车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息转换至世界坐标系下，可以在泊车规划过程中保证数据的时空一致性。
10.作为一种可选的实施方式，所述根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，包括：根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的当前位姿以及当前航向角；根据上一帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的历史位姿以及历史航向角；计算所述当前位姿以及所述历史位姿之间的差值，得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的位移差值；计算所述当前航向角以及所述历史航向角之间的差值，得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的航向角差值；根据所述位移差值和所述航向角差值，对所述上一帧环视图像进行运动补偿。
11.本技术实施例根据上一帧环视图像和当前帧环视图像分别对应的航迹推算信息及车身位姿信息，得到两帧图像之间车辆的位移差值和航向角差值，从而对上一帧环视图像进行运动补偿，有利于准确确定出当前帧环视图像中的动态区域，从而将动态区域与多个任务对应的结果进行融合，以对车辆进行泊车规划，提高泊车规划的准确性。
12.作为一种可选的实施方式，所述根据所述位移差值和所述航向角差值，对所述上一帧环视图像进行运动补偿，包括：根据所述位移差值和像素转换关系，确定所述上一帧环视图像中像素点的坐标平移量，所述像素转换关系用于表征像素点在世界坐标系下对应的尺寸信息，所述像素转换关系是根据相机标定数据确定的；根据所述航向角差值，确定所述上一帧环视图像中像素点的坐标旋转量；根据所述坐标平移量和所述坐标旋转量，对所述上一帧环视图像中所述车辆对应的像素点进行调整，以使所述上一帧环视图像中调整后的所述车辆对应的像素点与所述当前帧环视图像中所述车辆对应的像素点对齐。
13.本技术实施例根据两帧图像之间车辆的位移差值、航向角差值以及像素转换关系，从而对上一帧环视图像进行运动补偿，使得上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐，有利于准确确定出当前帧环视图像中的动态区域，从而将动态区域与多个任务对应的结果进行融合，以对车辆进行泊车规划，提高泊车规划的准确性。
14.作为一种可选的实施方式，所述根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域，包括：将所述当前帧环视图像中所述车辆对应的像素点以外的像素点作为第一背景像素点，以及，将运动补偿后的所述上一帧环视图像中所述车辆对应的像素点以外的像素点作为第二背景像素点；计算对应相同图像位置的第一背景像素点与第二背景像素点之间的像素值差值，并根据所述当前帧环视图像中对应像素值差值大于差值阈值的第一背景像素点确定为动态区域。
15.本技术实施例在对上一帧环视图像进行运动补偿之后，在上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐的情况下，根据对应相同图像位置的当前帧环视图像和上一帧环视图像之间的像素点差异，准确确定出当前帧环视图像中的动态区域，从而将动态区域与多个任务对应的结果进行融合，以对车辆进行泊车规划，提高泊车规划的准确性。
16.作为一种可选的实施方式，所述对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图，包括：将所述当前帧环视图像输入至特征提取网络，所述特征提取网络包括依次串联的p个第一特征提取模块及p个第二特征提取模块，所述第一特征提取模块输出的特征图的尺度等于输入的特征图的尺度，所述第二特征提取模块输出的特征图的尺度小于输入的特征图的尺度，所述p为大于1的整数；所述第一特征提取模块用于对输入的特征图进行步幅为1的深度分离卷积处理以及通道打乱处理，所述第二特征提取模块用于对输入的特征图进行步幅大于1的深度分离卷积处理以及通道打乱处理；通过多个依次串联的所述第一特征提取模块及所述第二特征提取模块，对所述当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图。
17.本技术实施例通过包括依次串联的p个第一特征提取模块及p个第二特征提取模块的特征提取网络对当前帧环视图像进行特征提取，有利于减少特征提取网络中网络分支的数量，从而有效减少计算量，有助于在泊车规划过程中减少计算资源；同时，本技术实施例通过第一特征提取模块及第二特征提取模块分别对输入的特征图进行不同步幅的深度分离卷积处理，能够有效减少计算量，有助于在泊车规划过程中减少计算资源。
18.作为一种可选的实施方式，所述第一特征提取模块和所述第二特征提取模块交替串联连接；所述第一特征提取模块用于对输入的特征图进行通道分离，得到第一特征图，并对第一特征图进行深度分离卷积处理，得到第二特征图，将所述第一特征图与所述第二特征图进行拼接，得到第三特征图，再对所述第三特征图进行通道打乱，并将通道打乱后的特征图输入至连接的第二特征提取模块；所述第二特征提取模块，用于对输入的特征图分别进行第一深度分离卷积处理及第二深度分离卷积处理，得到第四特征图及第五特征图，将所述第四特征图及第五特征图进行拼接，得到第六特征图，再对所述第六特征图进行通道打乱，并输出通道打乱后的特征图。
19.本技术实施例通过第一特征提取模块对输入的特征图进行深度分离卷积处理、特征图拼接和通道打乱，以及通过第二特征提取模块对输入的特征图分别进行第一深度分离卷积处理和第二深度分离卷积处理、以及特征图拼接和通道打乱，能够有效减少计算量，有助于在泊车规划过程中减少计算资源。
20.作为一种可选的实施方式，所述通过多个依次串联的所述第一特征提取模块及所述第二特征提取模块，对所述当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图，包括：
21.将第一个第二特征提取模块输出的特征图作为所述第一个第二特征提取模块对应的第一融合特征图；对第n个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第n+1个第二特征提取模块输出的特征图进行融合，得到与所述第n+1个第二特征提取模块对应的第一融合特征图，所述n为大于0且小于所述p的整数；所述下采样用于缩小特征图的尺度；对第m个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第m-1个第二特征提取模块对应的第一融合特征图进行融合，得到与所述第m-1个第二特征提取模块对应的第二融合特征图；所述m为小于或等于所述p，且大于1的整数；所述上采样用于扩大特征图的尺度；将每个第二特征提取模块对应的第二融合特征图作为目标特征图输出，以得到与多个尺度分别对应的目标特征图。
22.本技术实施例通过对各个第二特征提取模块对应的第一融合特征图进行双向的
上采样、下采样以及融合，能够方便、快速地进行多尺度特征融合。
23.作为一种可选的实施方式，所述多任务模型包括多个对应于不同任务类别的任务检测网络，所述任务类别包括分类任务、检测任务及分割任务，所述多个对应于不同任务类别的任务检测网络包括分类头网络、检测头网络和分割头网络；所述将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，包括：将与多个尺度分别对应的目标特征图，分别输入至不同的任务类别的任务检测网络，通过各个所述任务检测网络根据输入的目标特征图，确定各个所述任务检测网络对应的一个或多个任务各自的输出结果。
24.本技术实施例将与多个尺度分别对应的目标特征图，分别输入至不同的任务类别的任务检测网络，一次计算就能实现对多个任务的检测，极大地降低了计算资源，同时，充分利用了各个任务之间的关联信息，提高了泊车规划的准确度。
25.作为一种可选的实施方式，所述将与所述多个尺度分别对应的目标特征图分别输入至对应于不同任务类别的任务检测网络，包括：将第一尺度的目标特征图输入至所述分割头网络；将第二尺度的目标特征图输入至所述分类头网络；将第三尺度的目标特征图输入至所述检测头网络；所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。
26.本技术实施例根据任务检测网络对应的任务类别对目标特征图的尺度需求，合理将不同尺度的目标特征图分别输入至不同的任务检测网络，提高了任务检测的精度，提高了任务检测的效率，降低了冗余的计算量，提高了泊车规划的准确度。
27.本技术实施例公开一种泊车规划装置，应用于车载终端，所述装置包括：
28.图像获取模块，用于获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息；
29.区域确定模块，用于根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域；
30.特征提取模块，用于对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图；
31.任务检测模块，用于将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，所述多个任务包括所述车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务；
32.数据融合模块，用于将各个所述任务对应的输出结果和所述动态区域进行融合，并映射到三维空间中，得到融合结果；
33.泊车规划模块，用于根据所述融合结果对所述车辆在所述三维空间中的泊车路径进行规划。
34.本技术实施例公开一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现本技术实施例公开的任意一种泊车规划方法。
35.本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本技术实施例公开的任意一种泊车规划方法。
36.与相关技术相比，本技术实施例具有以下有益效果：
37.基于车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域；将对当前帧环视图像进行特征提取得到的一张或多张目标特征图输入至多任务模型，以得到可行驶区域分割任务、停车位检测任务、移动目标检测任务等多个任务分别对应的输出结果；将各个任务对应的输出结果和动态区域进行融合，并映射到三维空间中得到融合结果；根据融合结果对车辆在三维空间中的泊车路径进行规划。本技术实施例根据航迹推算信息及车身位姿信息对上一帧环视图像进行运动补偿，得到基于运动补偿后得到的动态区域，以及，根据当前帧环视图像对应的目标特征图确定多个任务对应的结果，通过将运动补偿后得到的动态区域与多个任务对应的结果进行融合，对车辆进行泊车规划，可以提高泊车规划的准确性，并且，减少泊车规划过程中的计算资源。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术实施例公开的一种泊车规划方法的应用场景示意图；
40.图2是本技术实施例公开的一种泊车规划方法的流程示意图；
41.图3是本技术实施例公开的一种可视化的融合结果示意图；
42.图4是本技术实施例公开的另一种泊车规划方法的流程示意图；
43.图5a是本技术实施例公开的一种航迹推算参数计算原理示意图；
44.图5b是本技术实施例公开的一种相机坐标系向图像物理坐标系转换的示意图；
45.图6是本技术实施例公开的另一种泊车规划方法的流程示意图；
46.图7a是本技术实施例公开的一种第一特征提取模块的结构示意图；
47.图7b是本技术实施例公开的一种第二特征提取模块的结构示意图；
48.图7c是本技术实施例公开的一种特征提取网络的结构示意图；
49.图8是本技术实施例公开的一种泊车规划装置的结构示意图；
50.图9是本技术实施例公开的一种电子设备的结构示意图。
具体实施方式
51.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.需要说明的是，本技术实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
53.相关技术中，高级驾驶辅助系统(adas，advanced driving assistance system)
是利用车身传感器实时感知车辆周围的环境，提示潜在危险或者完成授权的部分驾驶操作，从而增加驾驶的舒适性和安全性。由于人工智能(artificial intelligence，ai)技术的发展，加速了adas智能化的进程，越来越多的adas细分功能需要依靠ai算法来实现落地。但是ai技术对图像高维特征的拟合能力，但是ai算法具有高算力的特点，单任务模式下意味着实现adas功能需要同时运行数十个ai模型，现有的低成本车型上无法满足如此庞大的算力需求，同时各模型的预测结果会存在高度耦合和时空一致性问题，增加了功能落地的难度。
54.2006年深度学习的概念被正式提出，作者对学习过程中的“梯度消失”的问题给出了解决方案，2012年深度学习模型alexnet获得著名的imagenet图像识别大赛冠军，至此，深度学习算法在学术界和工业界获得了广泛关注。当前基于深度学习技术发展出来的人工神经网络模型千变万化，性能的提升与最初的alexnet也有了天壤之别，在此不做赘述。这些网络模型主要还是为解决单一任务而设计的，而实际的adas场景通常需要同时解决多个任务，多任务神经网络应运而生。
55.作为开发高效、安全的高级驾驶辅助系统的重点，泊车近年来越来越受到工业界和研究界的关注。在各种驾驶辅助应用中，泊车是一项必不可少而又具有挑战性的任务。相对于行车，泊车是一种低速简单场景，因此更易于在低成本车型上实现；同时，泊车具有多任务的特点，需要同时关注可行驶区域、停车位检测、目标检测等任务，基于单任务的方案会产生大量无效的算力需求，同时没有充分利用各任务间的关联信息，无法挖掘出潜在的精度提升能力。
56.本技术实施例公开了一种泊车规划方法、装置、电子设备及存储介质，能够提高泊车规划的准确性，并且，减少泊车规划过程中的计算资源。以下分别进行详细说明。
57.请参阅图1，图1是本技术实施例公开的一种泊车规划方法的应用场景示意图。车辆10包括车载终端20和摄像头30，车载终端20对车辆10的泊车进行规划，以使车载终端20可以泊车至停车位40。
58.请参阅图2，图2是本技术实施例公开的一种泊车规划方法的流程示意图。其中，图2所描述的泊车规划方法适用于车载终端，车载终端可以包括车载控制器等车载电子设备，本技术实施例不做限定。如图2所示，该泊车规划方法可以包括以下步骤：
59.201、获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息。
60.车载终端可通过车辆的车载摄像头获取车辆的环视图像，当前帧环视图像可指的是最新获取的环视图像的当前帧。可选的，车辆可设置有四个车载摄像头，四个车载摄像头分别设置在车辆的四个区域，其中，摄像头可包括鱼眼摄像头、广角摄像头等，但不限于此，摄像头可用于采集车辆的周围环境图像，比如采集包含有车辆周围的物体、行人、车道线等内容的图像，广角摄像头和鱼眼摄像头可具有超过180度的视野范围。
61.环视图像可以是车载终端将四个广角摄像头分别获取的图像进行融合，得到的车辆周围的全景图像，也可以是车载终端将四个鱼眼摄像头分别获取的图像进行融合，得到的车辆周围的四路鱼眼图像。在另一些实施例中，环视图像也可以是由若干广角摄像头与若干鱼眼摄像头所分别获取的图像进行融合得到。
62.航迹推算信息可以是车载终端根据车载传感器采集的数据，运用运动学算法或者滤波算法，对车辆的运动状态进行估计、推算得到的车辆位置、速度、加速度和朝向等车辆
信息。其中，车载传感器采集的数据可包括gps采集的车辆在世界坐标系的位置信息，惯性测量单元(imu)采集的车辆加速度和角速度信息和车速传感器采集的车辆速度信息等数据；运动学算法可将车辆看作是一段时间内沿着一条直线或者曲线运动，通过计算车辆的速度和加速度等信息，推算车辆在下一个时间点的位置和朝向；滤波算法可包括卡尔曼滤波和扩展卡尔曼滤波等算法。航迹推算信息通常是描述车辆相对于世界坐标系的运动状态，可以用于对车辆的运动轨迹进行预测和规划。
63.车身位姿信息可以是车载终端基于车辆的摄像头或者激光雷达传感器等车载传感器采集的车辆周围的环境图像，处理得到的车辆的位置、姿态等信息。
64.需要说明的是，车载终端获取的车辆的环视图像是多帧的，车载终端获取的航迹推算信息及车身位姿信息也是多帧的，因此，可以按照每一帧对应的时刻，将车辆的环视图像与航迹推算信息及车身位姿信息对应起来；因此，车辆的当前帧环视图像是车载传感器在当前帧时刻采集的，车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息也是车载传感器在当前帧时刻采集的。
65.202、根据当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域。
66.运动补偿，可以是对上一帧环视图像中车辆对应的像素点进行调整，以使上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐。
67.车载终端可以根据车辆的航迹推算信息及车身位姿信息，确定车辆的位姿和航向角。车辆的位姿可以包括车辆的位置、姿态和方向；车辆的航向角可以是车辆前进方向与某个参考方向之间的夹角，航向角用于描述车辆在平面上的朝向，可选的，参考方向可以是北方向。
68.因此，车载终端根据当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿的方式，可以包括：根据当前帧环视图像对应的航迹推算信息及车身位姿信息，确定车辆的当前位姿以及当前航向角；根据上一帧环视图像对应的航迹推算信息及车身位姿信息，确定车辆的历史位姿以及历史航向角；计算当前位姿以及历史位姿之间的差值，得到车辆在上一帧环视图像和当前帧环视图像之间的位移差值；计算当前航向角以及历史航向角之间的差值，得到车辆在上一帧环视图像和当前帧环视图像之间的航向角差值；根据位移差值和航向角差值，对上一帧环视图像进行运动补偿。可以理解的，上一帧环视图像是指最近获取的环视图像的上一帧。
69.其中，当前位姿是车辆在当前帧环视图像对应的位姿，当前航向角是车辆在当前帧环视图像对应的位姿；历史位姿是车辆在上一帧环视图像对应的位姿，历史航向角是车辆在上一帧环视图像对应的航向角。
70.需要说明的是，车载终端根据位移差值和航向角差值，对上一帧环视图像进行运动补偿，可以是根据位移差值和航向角差值对上一帧环视图像中车辆对应的像素点进行调整，以使上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐。
71.作为一种可选的实施方式，车载终端根据当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，然后可以通过帧差算法，根据当前帧环视
图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域。进一步地，可以将当前帧环视图像及运动补偿后的上一帧环视图像分别转换为灰度图像，得到当前帧环视图像对应的第一灰度图像以及运动补偿后的上一帧环视图像对应的第二灰度图像，对第一灰度图像及第二灰度图像进行像素级差分，即计算对应相同图像位置的第一灰度图像及第二灰度图像之间的像素差值，得到差分图像，并对差分图像进行二值化处理，将像素差值大于像素阈值的区域确定为动态区域。
72.在本技术实施例中，通过当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，以及根据当前帧环视图像及运动补偿后的上一帧环视图像，能够准确确定当前帧环视图像中的动态区域，可以更好区分车辆周围的静止目标和移动目标，因为移动目标对车辆泊车的安全性影响更大，因此确定出动态区域，有助于车辆在泊车过程中提高对移动目标的避让能力，有助于提高泊车规划的安全性和准确性。
73.203、对当前帧环视图像进行特征提取，以得到一张或多张目标特征图。
74.车载终端对当前帧环视图像进行特征提取，以得到一张或多张目标特征图。可选地，可对当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图，每张目标特征图的尺度不同。
75.需要说明的是，特征图的尺度可以是特征图在空间维度上的大小或尺寸。比如，原始图像的尺度为224*224(像素)，经过卷积处理等特征提取步骤之后，得到与该原始图像对应的特征图，该原始图像对应的特征图的尺度可能缩小为112*112(像素)。
76.特征提取可以是指从当前帧环视图像中提取具有代表性的特征，得到当前帧环视图像对应的特征图，且当前帧环视图像对应的特征图的尺度小于当前帧环视图像的尺度。因为车载终端直接获取的环视图像的尺度一般较大，若车载终端直接处理这些环视图像，会导致计算量过大以及存储空间占用过多的问题。特征提取可以保留当前帧环视图像中的主要信息，降低数据的维度，减少数据处理的复杂度和存储空间占用量。
77.在一些实施例中，车载终端对当前帧环视图像进行特征提取，可以是将当前帧环视图像输入至特征提取网络中，通过特征提取网络输出一张或多张目标特征图。示例性的，特征提取网络可包括但不限于共享特征提取网络、并行特征提取网络和融合特征提取网络等中的任一种。其中，共享特征提取网络可基于一个共享的卷积神经网络(convolutional neural networks，cnn)或循环神经网络(recurrent neural network，rnn)对输入图像进行特征提取，得到用于多个任务的一张或多张目标特征图，每个任务都有对应的输出层，通过共享特征提取网络，可以将多任务之间的信息进行共享，提高特征提取网络的泛化能力。共享特征提取网络可以包括shufflenet网络、vggnet网络、resnet网络等。
78.204、将目标特征图输入至多任务模型，通过多任务模型根据目标特征图确定多个任务分别对应的输出结果。
79.车载终端将目标特征图输入至多任务模型，通过多任务模型根据目标特征图确定多个任务分别对应的输出结果，多个任务包括车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务。多任务模型可以包括多个对应于不同任务类别的任务检测网络，该任务类别包括分类任务、检测任务及分割任务，多个对应于不同任务类别的任务检测网络包括分类头网络、检测头网络和分割头网络。
80.多任务模型可用于基于目标特征图分离出各个任务分别对应的特征，从而根据各
个任务分别对应的特征，得到各个任务分别对应的输出结果。
81.具体地，分类头网络可以用于执行分类任务，分类任务可包括库位分类任务等。分类头网络可根据输入的目标特征图对当前帧环视图像中包含的目标进行分类，即将图像中的目标分为不同的类别。比如，分类头网络在执行库位分类任务时，可根据目标特征图中停车位的边缘、位置、结构、周边环境等特征，区分地面库位和机械库位，以及，以及区分需要倒车入库的车位和需要侧方停车的车位等。可选的，分类头网络可以由卷积层、池化层和全连接层组成，卷积层和池化层用于提取图像的特征，而全连接层将提取的特征映射到每个类别的概率上。
82.检测头网络可以用于执行检测任务，检测任务可包括停车位检测、移动目标检测、可泊车位异物检测以及开门预警任务等。检测头网络可根据输入的目标特征图检测当前帧环视图像中是否存在目标；比如，检测头在执行停车位检测任务时，可根据目标特征图中停车位的车位线和角点等特征，确定当前帧环视图像中是否存在停车位。可选的，检测头网络可以由两个子网络组成：一个用于生成候选框，另一个用于对每个候选框进行分类和位置回归；检测头网络可以使用不同的架构，如单阶段检测器和双阶段检测器等。
83.分割头网络可以用于执行分割任务，分割任务可包括可行使区域分割任务等。分割头网络可根据输入的目标特征图对当前环视图像进行像素级别的分割。比如，分割头网络在执行可行驶区域分割任务时，可将可行驶区域从当前环视图像中精准分割出来；分割头网络可以由编码器和解码器组成，其中编码器用于提取图像特征，解码器将特征映射到像素级别的分割结果上。分割头网络可以使用的架构可包括全卷积网络和u-net等。
84.因此，根据上述多个任务的结果车辆在泊车过程中可首先确定可行驶区域，规划行驶路径，并开始搜寻停车位，过程中需要识别人、车等障碍物，尤其对可能发生碰撞风险的移动目标进行报警，当搜索到停车位时需要对目标车位上的地锁等异物进行检测，确定车位满足泊车条件后开始控制泊车，待泊车完成后开门预警功能可以防止开门时侧后方靠近的人或车可能导致的碰撞风险，至此完成整个泊车过程。
85.205、将各个任务对应的输出结果和动态区域进行融合，并映射到三维空间中，得到融合结果。
86.在一些实施例中，车载终端将各个任务对应的输出结果和动态区域进行融合，可以是根据相机标定数据将车辆周围的停车位、车辆周围的移动目标、车辆周围的可行驶区域和动态区域统一转换并映射到同一个三维空间中，得到可视化的融合结果。其中，映射到同一个三维空间可以是转换至同一个坐标系上，可选的，该坐标系可以是以车辆的某个固定位置作为原点，比如车辆的中心点，该坐标系可以是笛卡尔坐标系，包括x轴、y轴、z轴三个轴，分别表示水平方向、垂直方向和前后方向。
87.请参阅图3，图3是本技术实施例公开的一种可视化的融合结果示意图；如图3所示，车辆10周围的目标包括行人50，行人50落入动态区域60中，因此，可判断行人50为动态的移动目标，图中可见停车位40。将各个任务对应的输出结果和动态区域进行融合，并映射到同一个三维空间中，得到如图3所示的可视化的融合结果，有助于提高泊车规划的准确度。
88.206、根据融合结果对车辆在三维空间中的泊车路径进行规划。
89.需要说明的是，在同一个三维空间中若车辆周围的目标落入动态区域中，则确定
该目标为动态的移动目标，有助于车载终端在考虑动态的移动目标对车辆泊车带来的安全隐患的情况下规划更安全合理的泊车路径。因此，车载终端根据融合结果，可以在可行驶区域中规划在避开动态的移动目标的情况下行驶至停车位的泊车路径。
90.本技术实施例根据航迹推算信息及车身位姿信息确定当前帧环视图像中的动态区域，并对当前帧环视图像进行特征提取以及多任务检测得到多个任务对应的结果，从而基于对动态区域和多个任务对应的结果进行融合的结果对车辆进行泊车规划，可以在泊车过程中基于环境中的移动目标进行泊车规划，使得车辆可以有效地避障，提高泊车规划的安全性。
91.请进一步参阅图4，图4是本技术实施例公开的另一种泊车规划方法的流程示意图。其中，图4所描述的泊车规划方法适用于车载终端。如图4所示，该泊车规划方法可以包括以下步骤：
92.401、获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息。
93.作为一种可选的实施方式，车载终端获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息，可以包括如下步骤：获取与车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息；根据车辆的车辆坐标系与世界坐标系之间的转换关系，将原始航迹推算信息及原始车身位姿信息从车辆坐标系转换至世界坐标系，得到转换至世界坐标系下的航迹推算信息及车身位姿信息。其中，原始航迹推算信息和原始车身位姿信息是车辆的车载传感器直接获取的车辆坐标系下的信息。
94.具体地，车载终端获取车辆的当前帧环视图像、车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息、以及车辆的原始相机标定数据等数据，将上述数据以帧为单位进行映射，通过航迹推算以及相机标定，解算出当前帧图像对应的世界坐标系下的航迹推算信息、车身位姿信息以及相机标定数据，有利于动态地构建相机坐标系到世界坐标系地映射关系，保证上述数据的时空一致性。
95.如图5a所示，图5a是本技术实施例公开的一种航迹推算参数计算原理示意图。
96.图5a中，a、b、c和d四点分别表示前左、前右、后左和后右四个车轮，点o表示车辆后轴中心，l表示o到前轴中心距离，w表示轴长，r
fl
、r
fr
、r
rl
、r
rr
和rc分别表示图中所示行驶状态下前左、前右、后左、后右四个车轮和车辆后轴中心的转弯半径。
97.其中，车辆后轴中心是车辆后轮所在的轴线上的中心点。
98.1.航迹推算解算过程如下：
99.(1)计算航向角增量
100.a.从方向盘转角计算车轮偏转角
101.方向盘转角和车轮偏转角之间的关系式为：
102.θ
wheel
＝k*θ
steer
+b公式(1)
103.其中，θ
wheel
是车轮偏转角，θ
steer
是方向盘转角，k斜率，b是截距。
104.车轮偏转角可以根据方向盘转角以及参数k、b确定。
105.根据车辆行驶方向和方向盘转角大小，k、b取值不同，具体如表1所示：
[0106][0107]
b.计算车辆转弯半径
[0108]
从图5a中可知，车轮后轴中心点o行驶的圆心角β等于航向角增量α，α可通过方向盘转角和车轮偏转角之间的关系计算得到。最终，得到如下转弯半径计算公式：
[0109][0110]
式中，l、w分别为车辆轴距和轴长。r
fl
、r
fr
、r
rl
、r
rr
和rc分别表示图5a中所示行驶状态下前左、前右、后左、后右四个车轮和车辆后轴中心的转弯半径。
[0111]
(2)计算车辆后轴中心世界坐标
[0112]
a.计算单位时间内车辆行驶的距离
[0113]
假设单位时间内方向盘转角保持不变，基于四个车轮的轮脉冲参数，可以计算出单位时间内轮子各自行驶的距离，公式如下：
[0114][0115]
其中，l
rr
是后右车轮的行驶距离，l
rl
是后左车轮的行驶距离，l
fr
是前右车轮的行驶距离，l
fl
是前左车轮的行驶距离。最终，车辆在单位时间内的行驶距离为：
[0116][0117]
b.计算单位时间内车辆世界坐标的增量
[0118]
newcarpos.x＝precarpos.x+l*cosβ公式(5)
[0119]
newcarpos.y＝precarpos.y+l*sinβ公式(6)
[0120]
newcarangle＝precarangle+β公式(7)
[0121]
式中，precarpos的坐标(x，y)为车辆起始点的世界坐标，precarangle为车辆起始航向角；newcarpos的坐标(x，y)为车辆当前的世界坐标，newcarangle为车辆当前航向角。
[0122]
2.相机标定解算过程如下：
[0123]
(1)世界坐标和像素坐标之间的转换公式：
[0124][0125]
其中，(xw，yw，zw)为在世界坐标系下一点的物理坐标，(xc，yc，zc)为在相机坐标系下点的位置。如图5b所示，图5b是本技术实施例公开的一种相机坐标系向图像物理坐标系转换的示意图。
[0126]
(2)相机坐标系向图像物理坐标系转换
[0127]
相机坐标系向图像物理坐标系转换的公式如下：
[0128][0129]
其中，(u，v)为该点对应的像素坐标系下的像素坐标，z为尺度因子。
[0130][0131]
公式(10)的矩阵为相机的内参矩阵，内参矩阵取决于相机的内部参数。其中，f为焦距，dx,dy分别为x，y方向上的一个像素在相机感光板上的物理长度(即一个像素在感光板上是多少毫米)，u0，v0分别是相机感光板中心在像素坐标系下的坐标。
[0132]
矩阵为相机的外参矩阵，外参矩阵取决于相机坐标系和世界坐标系的相对位置，r表示旋转矩阵，t表示平移矢量。即在不考虑畸变的前提下，相机的成像模型如下：
[0133][0134]
在一个实施例中，车载终端可对摄像头获取的环视图像进行灰度化、均值滤波和缩放处理，目的是为了减少内存占用、噪声抑制和尺度标准化，一般鱼眼摄像头或者广角摄像头获取的环视图像为yuv格式，为了减少计算，直接取y通道数据来完成灰度化操作，均值滤波采用3*3滤波窗口，缩放处理的目的是为了适应多任务神经网络固定输入的要求，示例性的，可以采用640*640的图像尺寸。
[0135]
402、根据当前帧环视图像对应的航迹推算信息及车身位姿信息，确定车辆的当前位姿以及当前航向角。
[0136]
403、根据上一帧环视图像对应的航迹推算信息及车身位姿信息，确定车辆的历史位姿以及历史航向角。
[0137]
404、计算当前位姿以及历史位姿之间的差值，得到车辆在上一帧环视图像和当前帧环视图像之间的位移差值。
[0138]
405、计算当前航向角以及历史航向角之间的差值，得到车辆在上一帧环视图像和当前帧环视图像之间的航向角差值。
[0139]
406、根据位移差值和航向角差值，对上一帧环视图像进行运动补偿。
[0140]
具体地，车载终端基于航迹推算信息和车身位姿信息，对上一帧环视图像进行运动补偿的过程如下：
[0141]
运动补偿包括位移补偿和角度补偿两个过程；运动补偿量分为位移补偿量δs(δx,δy)和角度补偿量δφ，根据航迹推算解算得到的车辆的位姿carpose(x，y)和车辆的航向角thetaoffset，可以得出当前帧环视图像与上一帧环视图像之间位移差值δx、δy与航向角差值
[0142]
δx＝carpose.x
current-carpose.x
previous
公式(12)
[0143]
δy＝carpose.y
current-carpose.y
previous
公式(13)
[0144][0145]
其中，carpose.x
current
、carpose.y
current
是车辆的当前位姿，carpose.x
previous
、carpose.y
previous
是车辆的历史位姿，thetaoffset是航向角差值。
[0146]
作为一种可选的实施方式，车载终端根据位移差值和航向角差值，对上一帧环视图像进行运动补偿，可以包括：根据位移差值和像素转换关系，确定上一帧环视图像中像素点的坐标平移量，像素转换关系用于表征像素点在世界坐标系下对应的尺寸信息，像素转换关系是根据相机标定数据确定的；根据航向角差值，确定上一帧环视图像中像素点的坐标旋转量；根据坐标平移量和坐标旋转量，对上一帧环视图像中车辆对应的像素点进行调整，以使上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐。可选的，基于位移差值和航向角差值，对车辆的上一帧环视图像进行运动补偿，分为图像位移补偿和图像角度补偿，具体计算如下：
[0147]
(1)位移补偿
[0148][0149][0150]
其中，等式左边是图像坐标平移量；xscale和yscale分别代表1个像素在世界坐标系下对应的真实宽度和真实长度，单位米。
[0151]
像素转换关系用于表征像素点在世界坐标系下对应的尺寸信息，可以代表1个像素在世界坐标系下对应的真实宽度和真实长度；车载终端可以根据相机标定数据将像素点在图像坐标系下对应的尺寸信息转换到世界坐标系下对应的尺寸。因此，根据图像坐标平移量对上一帧环视图像中的像素点进行调整，上一帧环视图像的像素点坐标变化如下：
[0152]
x
′
＝x0+δx_image公式(17)
[0153]y′
＝y0+δy_image公式(18)
[0154]
(2)角度补偿
[0155]
航向角差值可用于作为上一帧环视图像中像素点的坐标旋转量。
[0156]
角度补偿的中心点是车辆后轴中心的图像坐标o(xc,yc)，图像上一像素点p0(x0,y0)，p0绕o旋转后对应的点为p(x,y)。
[0157]
具体地，可先将图像坐标原点移动到点o，再绕点o旋转旋转完后再将坐标系原点移回原处。
[0158]
首先将图像坐标原点移动到点o，则有：
[0159]
x1＝x
0-xc公式(19)
[0160]
y1＝y
0-yc公式(20)
[0161]
写成矩阵形式为：
[0162][0163]
然后绕点o旋转则有：
[0164][0165][0166]
写成矩阵形式为：
[0167][0168]
最后再将坐标平移回来，则有：
[0169]
x＝x2+xc公式(25)
[0170]
y＝y2+yc公式(26)
[0171]
写成矩阵形式为：
[0172]
[0173]
所以，p＝cbap0公式(28)
[0174]
407、根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域。
[0175]
作为一种可选的实施方式，车载终端根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域，可以包括如下步骤：将当前帧环视图像中车辆对应的像素点以外的像素点作为第一背景像素点，以及，将运动补偿后的上一帧环视图像中车辆对应的像素点以外的像素点作为第二背景像素点；计算对应相同图像位置的第一背景像素点与第二背景像素点之间的像素值差值，并根据当前帧环视图像中对应像素值差值大于差值阈值的第一背景像素点确定为动态区域。
[0176]
像素值差值可以是对应相同图像位置的第一背景像素点与第二背景像素点之间的像素值的差值，示例性的，像素值的范围可以是0～255。比如，对应相同图像位置的第一背景像素点和第二背景像素点的像素值分别为120和250，则第一背景像素点与第二背景像素点之间的像素值的差值为130。
[0177]
需要说明的是，在对上一帧环视图像进行补偿之后，上一帧环视图像与当前环视图像中的车辆相当于在上一帧与当前帧之间保持静止，因此，可以根据车辆对应的像素点以外的像素点是否发生变化，确定车辆周围的目标是否是动态的。可选的，在计算像素值差值之前可以将上一帧环视图像和当前环视图像转换成灰度图像，有利于计算像素值差值和确定差值阈值。
[0178]
408、对当前帧环视图像进行特征提取，以得到一张或多张目标特征图。
[0179]
409、将目标特征图输入至多任务模型，通过多任务模型根据目标特征图确定多个任务分别对应的输出结果。
[0180]
410、将各个任务对应的输出结果和动态区域进行融合，并映射到三维空间中，得到融合结果。
[0181]
411、根据融合结果对车辆在三维空间中的泊车路径进行规划。
[0182]
本技术实施例可融合环视图像、航迹推算信息和相机标定数据等数据，实时建立车辆坐标系到世界坐标的三维空间转换关系，快速分离动静态目标，确定出动态区域，从而在泊车过程中对移动目标持续跟踪，提高了泊车规划的安全性。
[0183]
请参阅图6，图6是本技术实施例公开的另一种泊车规划方法的流程示意图。其中，图6所描述的泊车规划方法适用于车载终端。如图6所示，该泊车规划方法可以包括以下步骤：
[0184]
601、获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息。
[0185]
602、根据当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域。
[0186]
603、将当前帧环视图像输入至特征提取网络。
[0187]
车载终端将当前帧环视图像输入至特征提取网络，可以是通过特征提取网络对当前帧环视图像进行多任务联合特征计算，得到目标特征图。可选的，特征提取网络可基于多任务特征提取网络结构设计，分为主干网络和颈部网络，为了能降低计算量，适配低成本车型，主干网络可采用shufflenet网络，该网络的优势在于：使用平衡性的卷积和通道宽度、
谨慎使用分组卷积的数量、降低网络分支的数量、降低元素级操作次数、在实际使用也考虑操作平台影响；颈部网络可用于进行多特征融合，可采用加权双向特征金字塔网络。
[0188]
在一个实施例中，特征提取网络包括依次串联的p个第一特征提取模块及p个第二特征提取模块。第一特征提取模块输出的特征图的尺度等于输入的特征图的尺度，第二特征提取模块输出的特征图的尺度小于输入的特征图的尺度，p为大于1的整数。第一特征提取模块用于对输入的特征图进行步幅为1的深度分离卷积处理以及通道打乱处理，第二特征提取模块用于对输入的特征图进行步幅大于1的深度分离卷积处理以及通道打乱处理。需要说明的是，由于第一特征提取模块用于对输入的特征图进行步幅为1的深度分离卷积处理以及通道打乱处理，因此输入图像和输出图像的尺度不变；由于第二特征提取模块用于对输入的特征图进行步幅大于1的深度分离卷积处理以及通道打乱处理，因此输出图像的尺度小于输入图像的尺度。比如，若第二特征提取模块用于对输入的特征图进行步幅等于2的深度分离卷积处理以及通道打乱处理，则输出图像的尺度为输入图像的尺度的一半。
[0189]
如图7a所示，图7a是本技术实施例公开的一种第一特征提取模块的结构示意图；如图7b所示，图7b是本技术实施例公开的一种第二特征提取模块的结构示意图。
[0190]
第一特征提取模块用于对输入的特征图进行通道分离，得到第一特征图，并对第一特征图进行深度分离卷积处理，得到第二特征图，将第一特征图与第二特征图进行拼接，得到第三特征图，再对第三特征图进行通道打乱，并将通道打乱后的特征图输入至连接的第二特征提取模块。示例性的，对第一特征图进行深度分离卷积处理，可以是先进行1*1的卷积处理、再进行3*3的深度分离卷积处理、最后再进行1*1的卷积处理。
[0191]
第二特征提取模块，用于对输入的特征图分别进行第一深度分离卷积处理及第二深度分离卷积处理，得到第四特征图及第五特征图，将第四特征图及第五特征图进行拼接，得到第六特征图，再对第六特征图进行通道打乱，并输出通道打乱后的特征图。示例性的，对输入的特征图进行第一深度分离卷积处理，可以是先进行3*3的步幅为2的深度分离卷积处理、再进行1*1的卷积处理；对输入的特征图进行第二深度分离卷积处理，可以是先进行1*1的卷积处理、再进行3*3的步幅为2的深度分离卷积处理、最后再进行1*1的卷积处理。
[0192]
604、通过多个依次串联的第一特征提取模块及第二特征提取模块，对当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图。
[0193]
示例性的，“依次串联”的连接方式可以是第一特征提取模块——第二特征提取模块——第一特征提取模块——第二特征提取模块——第一特征提取模块
……
，或者，可以是第一特征提取模块——第一特征提取模块——第二特征提取模块——第二特征提取模块——第一特征提取模块
……
。
[0194]
在一个实施例中，第一特征提取模块和第二特征提取模块交替串联连接。可以理解的，“交替串联”的连接方式可以是第一特征提取模块——第二特征提取模块——第一特征提取模块——第二特征提取模块——第一特征提取模块
……
。
[0195]
可选的，车载终端通过多个依次串联的第一特征提取模块及第二特征提取模块，对当前帧环视图像进行特征提取，可以采用加权双向特征金字塔网络(bidirectional feature pyramid network,bifpn)完成多特征融合，以得到与多个尺度分别对应的目标特征图。加权双向特征金字塔网络(wbifpn)是一种用于目标检测的神经网络结构，其主要作用是融合来自不同尺度的特征图以提高检测精度。
[0196]
在一个实施例中，车载终端通过多个依次串联的第一特征提取模块及第二特征提取模块，对当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图，包括如下步骤：将第一个第二特征提取模块输出的特征图作为第一个第二特征提取模块对应的第一融合特征图；对第n个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第n+1个第二特征提取模块输出的特征图进行融合，得到与第n+1个第二特征提取模块对应的第一融合特征图。n为大于0且小于p的整数。下采样用于缩小特征图的尺度。对第m个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第m-1个第二特征提取模块对应的第一融合特征图进行融合，得到与第m-1个第二特征提取模块对应的第二融合特征图。m为小于或等于p，且大于1的整数。上采样用于扩大特征图的尺度。将每个第二特征提取模块对应的第二融合特征图作为目标特征图输出，以得到与多个尺度分别对应的目标特征图。
[0197]
具体地，上采样用于扩大第一融合特征图的尺度，从而增加第一融合特征图的空间分辨率。上采样有利于从较低分辨率的特征图中恢复更细节的信息。上采样通常通过插值操作实现，例如双线性插值、最近邻插值等。下采样用于缩小第一融合特征图的尺度，从而减少计算量并增加第一融合特征图的语义信息。下采样通常通过池化操作实现，例如最大池化、平均池化等。通过上采样和下采样，可以将不同尺度的特征图融合在一起，并生成具有更高分辨率和更丰富语义信息的目标特征图，以提高任务检测的精度和鲁棒性。
[0198]
需要说明的是，第二特征提取模块对应的第一融合特征图可以是该第二特征提取模块输出的特征图与其他第二特征提取模块输出的特征图进行下采样后的特征图融合之后得到的特征图。第二特征提取模块对应的第二融合特征图可以是该第二特征提取模块对应的第一融合特征图与其他第二特征提取模块对应的第一融合特征图进行上采样后的特征图融合之后得到的特征图。如图7c所示，图7c是本技术实施例公开的一种特征提取网络的结构示意图。第一融合特征图和第二融合特征图如图7c所示。
[0199]
如图7c所示，车载终端将当前帧环视图像输入至特征提取网络，该特征提取网络包括四个第一特征提取模块和四个第二特征提取模块，第一特征提取模块和第二特征提取模块交替串联，该特征提取网络可输出四种不同尺度的目标特征图，分别为目标特征图1、目标特征图2、目标特征图3和目标特征图4。首先对当前帧环视图像进行图像预处理，图像预处理包括3*3卷积处理和3*3池化处理，作用是从图像中提取特征并减小图像的尺寸，因此可以减少数据量以及提高计算效率。然后将图像预处理后的特征图输入至第一个第一特征提取模块，将第一个第二特征提取模块输出的特征图作为与第一个第二特征提取模块对应的第一融合特征图；对第一个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第二个第二特征提取模块输出的特征图进行融合，得到与第二个第二特征提取模块对应的第一融合特征图；对第二个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第三个第二特征提取模块输出的特征图进行融合，得到与第三个第二特征提取模块对应的第一融合特征图；对第三个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第四个第二特征提取模块输出的特征图进行融合，得到与第四个第二特征提取模块对应的第一融合特征图，第四个第二特征提取模块输出的特征图可以再经过5*5卷积处理后再与下采样后的特征图进行融合。
[0200]
将第四个第二特征提取模块对应的第一融合特征图作为第四个第二特征提取模块对应的第二融合特征图，作为目标特征图4；将第四个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第三个第二特征提取模块对应的第一融合特征图进行融合，得到与第三个第二特征提取模块对应的第二融合特征图，作为目标特征图3；将第三个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第二特征提取模块对应的第一融合特征图进行融合，得到与第二个第二特征提取模块对应的第二融合特征图，作为目标特征图2；将第二个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第一特征提取模块对应的第一融合特征图进行融合，得到与第一个第二特征提取模块对应的第二融合特征图，作为目标特征图1。
[0201]
605、将与多个尺度分别对应的目标特征图，分别输入至不同的任务类别的任务检测网络，通过各个任务检测网络根据输入的目标特征图，确定各个任务检测网络对应的一个或多个任务各自的输出结果。
[0202]
多任务模型包括多个对应于不同任务类别的任务检测网络，任务类别包括分类任务、检测任务及分割任务，多个对应于不同任务类别的任务检测网络包括分类头网络、检测头网络和分割头网络。
[0203]
作为一种可选的实施方式，车载终端将与多个尺度分别对应的目标特征图分别输入至对应于不同任务类别的任务检测网络，可包括：将第一尺度的目标特征图输入至分割头网络；将第二尺度的目标特征图输入至分类头网络；将第三尺度的目标特征图输入至检测头网络；第一尺度大于第二尺度，第二尺度大于第三尺度。
[0204]
进一步可选的，多个任务可包括可行驶区域分割任务、库位分类任务、停车位检测任务、移动目标检测任务、可泊车位异物检测任务、开门预警任务等任务。由于任务类别包括分类任务、检测任务及分割任务，因此，分类任务可包括库位分类任务，检测任务可包括停车位检测任务、移动目标检测任务、可泊车位异物检测任务和开门预警任务，分割任务可包括可行驶区域分割任务。因此，多个对应于不同任务类别的任务检测网络包括分类头网络、检测头网络和分割头网络。
[0205]
可以理解的，特征图的尺度，可用于指示特征图的分辨率。特征图的尺度越大，分辨率也越高。如图7c所示，目标特征图1的尺度》目标特征图2的尺度》目标特征图3的尺度》目标特征图4的尺度。由于分类任务用低分辨率特征图即可完成，因此可以将目标特征图4输入至分类头网络，用于分类任务；由于分割任务需要用高分辨率特征图，因此可以将目标特征图1输入至分割头网络；由于检测任务中检测的目标尺寸跨度较大，可将用于检测小目标的目标特征图2和用于检测大目标的目标特征图3输入至检测头网络。
[0206]
可选的，在车载终端的显示屏检测到驾驶员对软按键的点击操作，或者，语音识别到驾驶员的语音指令时，车载终端可生成泊车需求指令，根据泊车需求指令开启泊车功能，从而控制车辆进行泊车。
[0207]
606、将各个任务对应的输出结果和动态区域进行融合，并映射到三维空间中，得到融合结果。
[0208]
607、根据融合结果对车辆在三维空间中的泊车路径进行规划。
[0209]
因此，本技术实施例基于多任务神经网络技术，基于车辆的多源数据进行融合，从而实现车辆泊车规划，只需要进行一次计算就能够给出可行使区域、库位分类、停车位检
测、移动目标识别、可泊车位异物检测、开门预警等功能，显著降低硬件计算资源，可适用于低成本车型。并且，从车辆采集的环视图像中提取不同尺度的目标特征图，根据不同任务的需求输入对应尺度的目标特征图，有利于降低计算量，提高计算效率，同时有针对性地进行任务检测，提高了多任务检测的准确度。
[0210]
本技术实施例的特征提取网络和多任务模型是基于多任务神经网络的框架，融合了相机标定数据、航迹推算信息和车身位姿信息等数据，通过对上一帧环视图像进行运动补偿得到动态区域，基于多个任务的结果与动态区域的融合结果，得到准确的泊车规划的结果。各个任务同时在相同的输入条件下给出计算结果，保证了多任务之间在空间和时间维度上的解耦；基于深度学习的多任务神经网络在特征提取维度上各种任务可以互为补充，使得本技术实施例中的多任务模型能够获得任务间的关联特征，因此相对于单任务模型具有更高的检测精度和鲁棒性，提升泊车的成功率，同时避免了传统单任务分步执行带来的时间帧间不同步的问题，同时在硬件资源使用上做到最大化节约的效果。
[0211]
请参阅图8，图8是本技术实施例公开的一种泊车规划装置的结构示意图。该装置可应用于车载终端，其中，车载终端可以包括车载控制器等车载电子设备，本技术实施例不做限定。如图8所示，泊车规划装置800可包括：图像获取模块810、区域确定模块820、特征提取模块830、任务检测模块840、数据融合模块850、泊车规划模块860。
[0212]
图像获取模块810，用于获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息；
[0213]
区域确定模块820，用于根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域；
[0214]
特征提取模块830，用于对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图；
[0215]
任务检测模块840，用于将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，所述多个任务包括所述车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务；
[0216]
数据融合模块850，用于将各个所述任务对应的输出结果和所述动态区域进行融合，并映射到三维空间中，得到融合结果；
[0217]
泊车规划模块860，用于根据所述融合结果对所述车辆在所述三维空间中的泊车路径进行规划。
[0218]
在一个实施例中，图像获取模块810，还用于获取与车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息；根据所述车辆的车辆坐标系与世界坐标系之间的转换关系，将所述原始航迹推算信息及所述原始车身位姿信息从所述车辆坐标系转换至所述世界坐标系，得到转换至所述世界坐标系下的航迹推算信息及车身位姿信息。
[0219]
在一个实施例中，区域确定模块820，还用于根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的当前位姿以及当前航向角；根据上一帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的历史位姿以及历史航向角；计算所述当前位姿以及所述历史位姿之间的差值，得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的位移差值；计算所述当前航向角以及所述历史航向角之间的差值，
得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的航向角差值；根据所述位移差值和所述航向角差值，对所述上一帧环视图像进行运动补偿。
[0220]
在一个实施例中，区域确定模块820，还用于根据位移差值和像素转换关系，确定上一帧环视图像中像素点的坐标平移量，像素转换关系用于表征像素点在世界坐标系下对应的尺寸信息，像素转换关系是根据相机标定数据确定的；根据航向角差值，确定上一帧环视图像中像素点的坐标旋转量；根据坐标平移量和坐标旋转量，对上一帧环视图像中车辆对应的像素点进行调整，以使上一帧环视图像中调整后的车辆对应的像素点与当前帧环视图像中车辆对应的像素点对齐。
[0221]
在一个实施例中，区域确定模块820，还用于将当前帧环视图像中车辆对应的像素点以外的像素点作为第一背景像素点，以及，将运动补偿后的上一帧环视图像中车辆对应的像素点以外的像素点作为第二背景像素点；计算对应相同图像位置的第一背景像素点与第二背景像素点之间的像素值差值，并根据当前帧环视图像中对应像素值差值大于差值阈值的第一背景像素点确定为动态区域。
[0222]
在一个实施例中，特征提取模块830，还用于将所述当前帧环视图像输入至特征提取网络，所述特征提取网络包括依次串联的p个第一特征提取模块及p个第二特征提取模块，所述第一特征提取模块输出的特征图的尺度等于输入的特征图的尺度，所述第二特征提取模块输出的特征图的尺度小于输入的特征图的尺度，所述p为大于1的整数；所述第一特征提取模块用于对输入的特征图进行步幅为1的深度分离卷积处理以及通道打乱处理，所述第二特征提取模块用于对输入的特征图进行步幅大于1的深度分离卷积处理以及通道打乱处理；通过多个依次串联的第一特征提取模块及第二特征提取模块，对所述当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图。
[0223]
在一个实施例中，第一特征提取模块和第二特征提取模块交替串联连接；第一特征提取模块用于对输入的特征图进行通道分离，得到第一特征图，并对第一特征图进行深度分离卷积处理，得到第二特征图，将第一特征图与第二特征图进行拼接，得到第三特征图，再对第三特征图进行通道打乱，并将通道打乱后的特征图输入至连接的第二特征提取模块；第二特征提取模块，用于对输入的特征图分别进行第一深度分离卷积处理及第二深度分离卷积处理，得到第四特征图及第五特征图，将第四特征图及第五特征图进行拼接，得到第六特征图，再对第六特征图进行通道打乱，并输出通道打乱后的特征图。
[0224]
在一个实施例中，特征提取模块830，还用于将第一个第二特征提取模块输出的特征图作为所述第一个第二特征提取模块对应的第一融合特征图；对第n个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第n+1个第二特征提取模块输出的特征图进行融合，得到与所述第n+1个第二特征提取模块对应的第一融合特征图；所述n为大于0且小于所述p的整数；所述下采样用于缩小特征图的尺度；对第m个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第m-1个第二特征提取模块对应的第一融合特征图进行融合，得到与所述第m-1个第二特征提取模块对应的第二融合特征图；所述m为小于或等于所述p，且大于1的整数；所述上采样用于扩大特征图的尺度；将每个第二特征提取模块对应的第二融合特征图作为目标特征图输出。
[0225]
在一个实施例中，所述多任务模型包括多个对应于不同任务类别的任务检测网络，所述任务类别包括分类任务、检测任务及分割任务，所述多个对应于不同任务类别的任
务检测网络包括分类头网络、检测头网络和分割头网络；任务检测模块840，还用于将与多个尺度分别对应的目标特征图，分别输入至不同的任务类别的任务检测网络，通过各个所述任务检测网络根据输入的目标特征图，确定各个所述任务检测网络对应的一个或多个任务各自的输出结果。
[0226]
在一个实施例中，任务检测模块840，还用于将第一尺度的目标特征图输入至所述分割头网络；将第二尺度的目标特征图输入至所述分类头网络；将第三尺度的目标特征图输入至所述检测头网络；所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。
[0227]
请参阅图9，图9是本技术实施例公开的一种电子设备的结构示意图。如图9所示，该电子设备900可以包括：存储有可执行程序代码的存储器910；与存储器910耦合的处理器920；其中，处理器920调用存储器910中存储的可执行程序代码，执行本技术实施例公开的任一种泊车规划方法。
[0228]
本技术实施例公开一种计算机可读存储介质，其存储计算机程序，其中，计算机程序被所述处理器执行时，使得所述处理器实现本技术实施例公开的任意一种泊车规划方法。
[0229]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0230]
在本技术的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0231]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(read-only memory，rom)、随机存储器(random access memory，ram)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0232]
以上对本技术实施例公开的一种泊车规划方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想。同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。

技术特征：
1.一种泊车规划方法，其特征在于，应用于车载终端，所述方法包括：获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息；根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域；对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图；将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，所述多个任务包括所述车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务；将各个所述任务对应的输出结果和所述动态区域进行融合，并映射到三维空间中，得到融合结果；根据所述融合结果对所述车辆在所述三维空间中的泊车路径进行规划。2.根据权利要求1所述的方法，其特征在于，所述获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息，包括：获取与车辆的当前帧环视图像对应的原始航迹推算信息及原始车身位姿信息；根据所述车辆的车辆坐标系与世界坐标系之间的转换关系，将所述原始航迹推算信息及所述原始车身位姿信息从所述车辆坐标系转换至所述世界坐标系，得到转换至所述世界坐标系下的航迹推算信息及车身位姿信息。3.根据权利要求1所述的方法，其特征在于，所述根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，包括：根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的当前位姿以及当前航向角；根据上一帧环视图像对应的航迹推算信息及车身位姿信息，确定所述车辆的历史位姿以及历史航向角；计算所述当前位姿以及所述历史位姿之间的差值，得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的位移差值；计算所述当前航向角以及所述历史航向角之间的差值，得到所述车辆在所述上一帧环视图像和所述当前帧环视图像之间的航向角差值；根据所述位移差值和所述航向角差值，对所述上一帧环视图像进行运动补偿。4.根据权利要求3所述的方法，其特征在于，所述根据所述位移差值和所述航向角差值，对所述上一帧环视图像进行运动补偿，包括：根据所述位移差值和像素转换关系，确定所述上一帧环视图像中像素点的坐标平移量，所述像素转换关系用于表征像素点在世界坐标系下对应的尺寸信息，所述像素转换关系是根据相机标定数据确定的；根据所述航向角差值，确定所述上一帧环视图像中像素点的坐标旋转量；根据所述坐标平移量和所述坐标旋转量，对所述上一帧环视图像中所述车辆对应的像素点进行调整，以使所述上一帧环视图像中调整后的所述车辆对应的像素点与所述当前帧环视图像中所述车辆对应的像素点对齐。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据所述当前帧环视图像及
运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域，包括：将所述当前帧环视图像中所述车辆对应的像素点以外的像素点作为第一背景像素点，以及，将运动补偿后的所述上一帧环视图像中所述车辆对应的像素点以外的像素点作为第二背景像素点；计算对应相同图像位置的第一背景像素点与第二背景像素点之间的像素值差值，并根据所述当前帧环视图像中对应像素值差值大于差值阈值的第一背景像素点确定为动态区域。6.根据权利要求1所述的方法，其特征在于，所述对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图，包括：将所述当前帧环视图像输入至特征提取网络，所述特征提取网络包括依次串联的p个第一特征提取模块及p个第二特征提取模块，所述第一特征提取模块输出的特征图的尺度等于输入的特征图的尺度，所述第二特征提取模块输出的特征图的尺度小于输入的特征图的尺度，所述p为大于1的整数；所述第一特征提取模块用于对输入的特征图进行步幅为1的深度分离卷积处理以及通道打乱处理，所述第二特征提取模块用于对输入的特征图进行步幅大于1的深度分离卷积处理以及通道打乱处理；通过多个依次串联的所述第一特征提取模块及所述第二特征提取模块，对所述当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图。7.根据权利要求6所述的方法，其特征在于，所述第一特征提取模块和所述第二特征提取模块交替串联连接；所述第一特征提取模块用于对输入的特征图进行通道分离，得到第一特征图，并对第一特征图进行深度分离卷积处理，得到第二特征图，将所述第一特征图与所述第二特征图进行拼接，得到第三特征图，再对所述第三特征图进行通道打乱，并将通道打乱后的特征图输入至连接的第二特征提取模块；所述第二特征提取模块，用于对输入的特征图分别进行第一深度分离卷积处理及第二深度分离卷积处理，得到第四特征图及第五特征图，将所述第四特征图及第五特征图进行拼接，得到第六特征图，再对所述第六特征图进行通道打乱，并输出通道打乱后的特征图。8.根据权利要求6所述的方法，其特征在于，所述通过多个依次串联的所述第一特征提取模块及所述第二特征提取模块，对所述当前帧环视图像进行特征提取，以得到与多个尺度分别对应的目标特征图，包括：将第一个第二特征提取模块输出的特征图作为所述第一个第二特征提取模块对应的第一融合特征图；对第n个第二特征提取模块对应的第一融合特征图进行下采样，并将下采样后的特征图与第n+1个第二特征提取模块输出的特征图进行融合，得到与所述第n+1个第二特征提取模块对应的第一融合特征图，所述n为大于0且小于所述p的整数；所述下采样用于缩小特征图的尺度；对第m个第二特征提取模块对应的第一融合特征图进行上采样，并将上采样后的特征图与第m-1个第二特征提取模块对应的第一融合特征图进行融合，得到与所述第m-1个第二特征提取模块对应的第二融合特征图；所述m为小于或等于所述p，且大于1的整数；所述上采样用于扩大特征图的尺度；
将每个第二特征提取模块对应的第二融合特征图作为目标特征图输出。9.根据权利要求1所述的方法，其特征在于，所述多任务模型包括多个对应于不同任务类别的任务检测网络，所述任务类别包括分类任务、检测任务及分割任务，所述多个对应于不同任务类别的任务检测网络包括分类头网络、检测头网络和分割头网络；所述将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，包括：将与多个尺度分别对应的目标特征图，分别输入至不同的任务类别的任务检测网络，通过各个所述任务检测网络根据输入的目标特征图，确定各个所述任务检测网络对应的一个或多个任务各自的输出结果。10.根据权利要求9所述的方法，其特征在于，所述将与所述多个尺度分别对应的目标特征图分别输入至对应于不同任务类别的任务检测网络，包括：将第一尺度的目标特征图输入至所述分割头网络；将第二尺度的目标特征图输入至所述分类头网络；将第三尺度的目标特征图输入至所述检测头网络；所述第一尺度大于所述第二尺度，所述第二尺度大于所述第三尺度。11.一种泊车规划装置，其特征在于，应用于车载终端，所述装置包括：图像获取模块，用于获取与车辆的当前帧环视图像对应的航迹推算信息及车身位姿信息；区域确定模块，用于根据所述当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据所述当前帧环视图像及运动补偿后的上一帧环视图像，确定所述当前帧环视图像中的动态区域；特征提取模块，用于对所述当前帧环视图像进行特征提取，以得到一张或多张目标特征图；任务检测模块，用于将所述目标特征图输入至多任务模型，通过所述多任务模型根据所述目标特征图确定多个任务分别对应的输出结果，所述多个任务包括所述车辆在泊车过程中的可行驶区域分割任务、停车位检测任务、移动目标检测任务；数据融合模块，用于将各个所述任务对应的输出结果和所述动态区域进行融合，并映射到三维空间中，得到融合结果；泊车规划模块，用于根据所述融合结果对所述车辆在所述三维空间中的泊车路径进行规划。12.一种电子设备，其特征在于，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至10任一所述的方法。13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一所述的方法。

技术总结
本申请公开一种泊车规划方法、装置、电子设备及存储介质，该方法应用于车载终端，该方法包括：根据当前帧环视图像对应的航迹推算信息及车身位姿信息，对上一帧环视图像进行运动补偿，并根据当前帧环视图像及运动补偿后的上一帧环视图像，确定当前帧环视图像中的动态区域；对当前帧环视图像进行特征提取，以得到一张或多张目标特征图；将目标特征图输入至多任务模型，通过多任务模型根据目标特征图确定多个任务分别对应的输出结果；将各个任务对应的输出结果和动态区域进行融合，并映射到三维空间中，得到融合结果；根据融合结果对车辆在三维空间中的泊车路径进行规划。实施本申请实施例，能够提高泊车规划的安全性。能够提高泊车规划的安全性。能够提高泊车规划的安全性。


技术研发人员：童列树 曹新明 张然 史文静 柴玲宾 唐倩倩 王敏 张宏应
受保护的技术使用者：合肥欧菲智能车联科技有限公司
技术研发日：2023.05.23
技术公布日：2023/7/27