基于鱼眼相机的车位信息生成方法、装置、设备和介质与流程

1.本公开的实施例涉及计算机技术领域，具体涉及基于鱼眼相机的车位信息生成方法、装置、设备和介质。


背景技术：

2.随着计算机技术和自动驾驶技术的发展，自动车位检测和自动泊车技术日渐成熟。目前，在生成车位信息时，通常采用的方式为：采用通用车位检测模型（例如yolov5）对车位图片信息进行检测，得到车位检测结果，以对车辆进行泊车。
3.然而，发明人发现，当采用上述方式生成车位信息时，经常会存在如下技术问题：第一，在生成车位信息的过程中，未对车位图片进行多尺度的特征提取和多尺度的特征融合。导致车位图像中的车位较大或较小时提取的车位信息的完整度较低。从而导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低。
4.第二，在生成车位信息的过程中，未对预测的车位进行车位类型细分和车位区域条件判断，以及未基于判断的结果进行相关车位信息的筛选，导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低。
5.该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解，并因此，其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现要素：

6.本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
7.本公开的一些实施例提出了基于鱼眼相机的车位信息生成方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题中的一项或多项。
8.第一方面，本公开的一些实施例提供了一种基于鱼眼相机的车位信息生成方法，该方法包括：获取目标车位鱼眼图像，其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，上述车位检测模型还包括特征融合层和检测头层；将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合；将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合；根据上述车位检测信息集合，生成车位拓扑结构信息集合；根据上述车位拓扑结构信息集合，生成车位信息集合。
9.第二方面，本公开的一些实施例提供了一种基于鱼眼相机的车位信息生成装置，装置包括：获取单元，被配置成获取目标车位鱼眼图像，其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；第一输入单元，被配置成将上述目标车位鱼
眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，上述车位检测模型还包括特征融合层和检测头层；第二输入单元，被配置成将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合；第三输入单元，被配置成将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合；第一生成单元，被配置成根据上述车位检测信息集合，生成车位拓扑结构信息集合；第二生成单元，被配置成根据上述车位拓扑结构信息集合，生成车位信息集合。
10.第三方面，本公开的一些实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现上述第一方面任一实现方式所描述的方法。
11.第四方面，本公开的一些实施例提供了一种计算机可读介质，其上存储有计算机程序，其中，程序被处理器执行时实现上述第一方面任一实现方式所描述的方法。
12.本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于鱼眼相机的车位信息生成方法，提高了提取的车位信息的完整度，进而提高了生成的车位信息的准确率，减少了引发的停车事故的数量和提高了车辆停车时的安全性。具体来说，导致提取的车位信息的完整度较低，从而导致生成的车位信息的准确率较低的原因在于：在生成车位信息的过程中，未对车位图片进行多尺度的特征提取和多尺度的特征融合。导致车位图像中的车位较大或较小时提取的车位信息的完整度较低。从而导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低。基于此，本公开的一些实施例的基于鱼眼相机的车位信息生成方法，首先，获取目标车位鱼眼图像。其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像。由此，可以得到目标车位鱼眼图像，从而可以用于确定车位信息。其次，将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合。其中，上述车位检测模型还包括特征融合层和检测头层。由此，可以得到多尺度特征图集合，从而可以用于提高提取的车位信息的完整度。然后，将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合。由此，可以得到表征车位信息完整度较高的多尺度融合特征图集合。之后，将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合。由此，可以得到表征车位区分度的车位检测信息集合。随后，根据上述车位检测信息集合，生成车位拓扑结构信息集合。由此，可以得到表征各个车位区域的车位拓扑结构信息集合。最后，根据上述车位拓扑结构信息集合，生成车位信息集合。由此，可以得到准确性较高的车位信息集合。也因为通过将表征数据维度大小不同的多尺度特征图集合进行融合，可以提高提取的车位信息的完整度。从而可以提高生成的车位信息的准确率。进而减少了引发的停车事故的数量和提高了车辆停车时的安全性。
附图说明
13.结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，元件和元素不一定按照比例绘制。
14.图1是根据本公开的基于鱼眼相机的车位信息生成方法的一些实施例的流程图；图2是根据本公开的基于鱼眼相机的车位信息生成装置的一些实施例的结构示意
图；图3是适于用来实现本公开的一些实施例的电子设备的结构示意图。
具体实施方式
15.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
16.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
17.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
18.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
19.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
20.下面将参考附图并结合实施例来详细说明本公开。
21.图1示出了根据本公开的基于鱼眼相机的车位信息生成方法的一些实施例的流程100。该基于鱼眼相机的车位信息生成方法，包括以下步骤：步骤101，获取目标车位鱼眼图像。
22.在一些实施例中，基于鱼眼相机的车位信息生成方法的执行主体（例如计算设备）可以通过有线连接方式或者无线连接方式从图像采集设备获取目标车位鱼眼图像。其中，上述目标车位鱼眼图像可以是装载在目标车辆上的鱼眼相机拍摄的车位图像。上述图像采集设备可以是具有拍摄功能或截图功能的设备。例如，上述图像采集设备可以为安装在目标车辆上的任一鱼眼相机。上述目标车辆可以为安装有上述图像采集设备的车辆。需要指出的是，上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb（ultra wideband）连接、以及其他现在已知或将来开发的无线连接方式。
23.步骤102，将目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合。
24.在一些实施例中，上述执行主体可以将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合。其中，上述车位检测模型还可以包括特征融合层和检测头层。上述多尺度特征图集合可以包括第一尺度特征图、第二尺度特征图和第三尺度特征图。上述第一尺度特征图的数据维度大于上述第二尺度特征图的数据维度。上述第二尺度特征图的数据维度大于上述第三尺度特征图的数据维度。上述车位检测模型可以为以目标车位鱼眼图像为输入，以车位检测信息集合为输出的网络模型。上述骨干网络层可以为能够对输入的图像进行特征提取的网络层。具体地，上述骨干网络层可以包括四个模块：卷积块+1个残差卷积块，(卷积块+3个残差卷积块)*2，卷积块+spp（spatial pyramid pooling，空间金字塔池化）层+5个卷积块。每个卷积块可以由1*1卷积层、3*3卷积层、bn（batch normalization，归一化）层和silu激活函数层构成。残差卷积块
可以由1*1卷积层和残差层组成。上述特征融合层可以为对骨干网络层得到的特征图进行特征融合，使得多个尺度的特征得到更好的检测的网络层。上述检测头层可以为对不同的检测任务进行检测的网络层。上述检测头层可以包括全连接头（fc-head）和卷积头（conv-head）。上述检测任务可以包括：分类任务和定位任务。全连接头用于分类任务。上述卷积头用于定位任务。
25.实践中，上述执行主体可以将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合。
26.在一些实施例的一些可选的实现方式中，上述车位检测模型可以是通过以下方式训练得到的：第一步，获取样本集合。其中，上述样本集合中的样本包括样本车位鱼眼图像，以及与样本车位鱼眼图像对应的样本车位检测信息集合。其中，上述样本车位检测信息集合可以为对应上述样本车位鱼眼图像的样本标签。需要说明的是，训练上述车位检测模型的执行主体可以是上述执行主体，也可以是其他计算设备。
27.第二步，基于样本集合执行以下训练步骤：第一训练步骤，将样本集合中的至少一个样本的样本车位鱼眼图像分别输入至初始车位检测模型中，得到上述至少一个样本中的每个样本对应的车位检测信息集合。其中，上述车位检测模型可以是能够根据车位鱼眼图像得到车位检测信息集合的初始神经网络。上述初始神经网络可以为待训练的神经网络。具体地，上述初始神经网络可以为包括骨干网络层、特征融合层和检测头层的神经网络。
28.第二训练步骤，将上述至少一个样本中的每个样本对应的车位检测信息集合与对应的样本车位检测信息集合进行比较。这里，比较可以是上述至少一个样本中的每个样本对应的车位检测信息集合与对应的样本车位检测信息集合中的各个车位检测信息准确度的比较。
29.第三训练步骤，根据比较结果确定初始车位检测模型是否达到预设的优化目标。这里，上述优化目标可以是指上述待训练的初始车位检测模型的准确度大于等于预设阈值。上述预设阈值可以是0.95。
30.第四训练步骤，响应于确定初始车位检测模型达到上述优化目标，将初始车位检测模型确定为训练完成的车位检测模型。
31.可选地，训练得到上述车位检测模型的步骤还可以包括：第五训练步骤，响应于确定初始车位检测模型未达到上述优化目标，调整初始车位检测模型的网络参数，以及使用未用过的样本组成样本集合，使用调整后的初始车位检测模型作为初始车位检测模型，再次执行上述训练步骤。作为示例，可以采用反向传播算法（back propagation algorithm，bp算法）和梯度下降法（例如小批量梯度下降算法）对上述初始车位检测模型的网络参数进行调整。
32.步骤103，将多尺度特征图集合输入至特征融合层，得到多尺度融合特征图集合。
33.在一些实施例中，上述执行主体可以将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合。
34.在一些实施例的一些可选的实现方式中，上述执行主体可以通过以下步骤将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合：
第一步，对上述第一尺度特征图进行卷积处理，得到第二尺度卷积特征图。
35.第二步，对上述第二尺度卷积特征图与上述第二尺度特征图进行融合，得到第二尺度卷积融合特征图。这里，上述融合可以为拼接。
36.第三步，对上述第二尺度卷积融合特征图进行卷积处理，得到第三尺度卷积特征图。
37.第四步，对上述第三尺度卷积特征图与上述第三尺度特征图进行融合，得到第三尺度卷积融合特征图作为第三融合特征图。
38.第五步，对上述第三尺度特征图进行上采样处理，得到第二尺度上采样特征图。
39.第六步，对上述第二尺度上采样特征图、上述第二尺度特征图与上述第二尺度卷积特征图进行融合处理，得到第二融合特征图。
40.第七步，对上述第二尺度上采样特征图进行上采样处理，得到第一尺度上采样特征图。
41.第八步，对上述第一尺度上采样特征图与上述第一尺度特征图进行融合，得到第一融合特征图。
42.第九步，将上述第一融合特征图、上述第二融合特征图和上述第三融合特征图确定为多尺度融合特征图集合。
43.步骤104，将多尺度融合特征图集合输入至检测头层，得到车位检测信息集合。
44.在一些实施例中，上述执行主体可以将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合。其中，上述车位检测信息集合中的车位检测信息可以包括：车位中心网格点坐标信息、车位中心网格点坐标偏移信息、车位顶点网格坐标信息组、车位顶点网格坐标偏移信息组、车位顶点置信度信息组和车位顶点相对偏移信息组。上述车位中心网格点坐标信息可以为上述车位检测信息对应的车位区域包括的网格中最中心的网格左上角的顶点的坐标信息。上述车位中心网格点坐标偏移信息可以表征上述车位中心网格点坐标信息的偏移误差。上述车位顶点网格坐标信息组可以包括：左上角网格坐标信息、左下角网格坐标信息、右上角网格坐标信息和右下角网格坐标信息。上述左上角网格坐标信息可以为上述车位区域包括的网格中左上角的网格的左上角顶点的坐标信息。上述左下角网格坐标信息可以为上述车位区域包括的网格中左下角的网格的左上角顶点的坐标信息。上述右上角网格坐标信息可以为上述车位区域包括的网格中右上角的网格的左上角顶点的坐标信息。上述右下角网格坐标信息可以为上述车位区域包括的网格中右下角的网格的左上角顶点的坐标信息。例如，上述车位区域包括9个网格。上述左上角网格坐标信息可以为（0，3）。上述左下角网格坐标信息可以为（0，0）。上述右上角网格坐标信息可以为（2，3）。上述右下角网格坐标信息可以为（2，1）。上述车位中心网格点坐标信息可以为（1，2）。
45.上述车位顶点网格坐标偏移信息组可以包括：左上角网格坐标偏移信息、左下角网格坐标偏移信息、右上角网格坐标偏移信息和右下角网格坐标偏移信息。上述左下角网格坐标偏移信息可以表征上述左下角网格坐标信息的偏移误差。上述右上角网格坐标偏移信息可以表征上述右上角网格坐标信息的偏移误差。上述右下角网格坐标偏移信息可以表征上述右下角网格坐标信息的偏移误差。上述车位顶点相对偏移信息组可以包括：左上角相对偏移信息、左下角相对偏移信息、右上角相对偏移信息和右下角相对偏移信息。上述左
上角相对偏移信息可以表征左上角相对于车位中心网格点坐标信息的偏移量。上述左下角相对偏移信息可以表征左下角相对于车位中心网格点坐标信息的偏移量。上述右上角相对偏移信息可以表征右上角相对于车位中心网格点坐标信息的偏移量。上述右下角相对偏移信息可以表征右下角相对于车位中心网格点坐标信息的偏移量。上述车位顶点置信度信息组可以包括：左上角车位顶点置信度信息、左下角车位顶点置信度信息、右上角车位顶点置信度信息和右下角车位顶点置信度信息。左上角车位顶点置信度信息可以表征预测的左上角网格坐标信息的正确率。左下角车位顶点置信度信息可以表征预测的左下角网格坐标信息的正确率。右上角车位顶点置信度信息可以表征预测的右上角网格坐标信息的正确率。右下角车位顶点置信度信息可以表征预测的右下角网格坐标信息的正确率。
46.实践中，上述执行主体可以将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合。
47.步骤105，根据车位检测信息集合，生成车位拓扑结构信息集合。
48.在一些实施例中，根据上述车位检测信息集合，上述执行主体可以生成车位拓扑结构信息集合。
49.在一些实施例的一些可选的实现方式中，根据上述车位检测信息集合，上述执行主体可以通过以下步骤生成车位拓扑结构信息集合：第一步，对于上述车位检测信息集合中的每个车位检测信息，执行以下步骤：第一步骤，根据上述车位检测信息包括的车位中心网格点坐标信息和车位中心网格点坐标偏移信息，生成车位中心点坐标信息。实践中，上述执行主体可以将上述车位中心网格点坐标信息按照上述车位中心网格点坐标偏移信息进行偏移，将偏移后的坐标信息作为车位中心点坐标信息。
50.第二步骤，根据上述车位检测信息包括的车位顶点相对偏移信息组和上述车位中心点坐标信息，生成第一车位顶点信息组。这里，上述第一车位顶点信息组中的各个第一车位顶点信息的生成方式与上述车位中心点坐标信息的生成方式相同，在此不再赘述。
51.第三步骤，根据上述车位检测信息包括的车位顶点网格坐标信息组和车位顶点网格坐标偏移信息组，生成第二车位顶点信息组。其中，上述第二车位顶点信息组中的第二车位顶点信息与上述第一车位顶点信息组中的第一车位顶点信息一一对应。这里，第二车位顶点信息组的生成方式与上述第一车位顶点信息组的生成方式相同，在此不再赘述。
52.第四步骤，响应于确定上述车位检测信息包括的车位顶点置信度信息组中的至少一个车位顶点置信度信息小于预设置信度阈值，将上述第一车位顶点信息组确定为车位顶点信息组。其中，上述预设置信度阈值可以为预先设定的置信度阈值。例如，上述预设置信度阈值可以为0.3。
53.第五步骤，响应于确定上述车位顶点置信度信息组中的各个车位顶点置信度信息均大于等于上述预设置信度阈值，执行以下步骤：第一子步骤，根据上述第一车位顶点信息组，生成圆形区域集合。其中，上述第一车位顶点信息组中的第一车位顶点信息与上述圆形区域集合中的圆形区域一一对应。上述第二车位顶点信息组中的第二车位顶点信息与上述圆形区域集合中的圆形区域一一对应。实践中，对于上述第一车位顶点信息组中的每个第一车位顶点信息，上述执行主体可以以上述第一车位顶点信息为圆心，以预设距离阈值为半径划圆，得到圆形区域集合。
54.第二子步骤，将与上述第二车位顶点信息组中的各个第二车位顶点信息对应的坐标位置确定为第二车位顶点坐标位置组。其中，上述坐标位置可以为对应第二车位顶点信息的第二车位顶点在目标车位鱼眼图像中的坐标位置。上述坐标位置可以为二维坐标。例如，上述坐标位置可以为（2，5）。
55.第三子步骤，响应于确定上述第二车位顶点坐标位置组中的各个第二车位顶点坐标位置均在所对应的圆形区域内，将上述第二车位顶点信息组确定为车位顶点信息组。
56.第四子步骤，响应于确定上述第二车位顶点坐标位置组中的各个第二车位顶点坐标位置中至少有一个第二车位顶点坐标位置不在所对应的圆形区域内，将上述第一车位顶点信息组确定为车位顶点信息组。
57.第五子步骤，将所确定的车位顶点信息组包括的各个车位顶点信息对应的拓扑结构确定为车位拓扑结构。其中，上述各个车位顶点信息对应的拓扑结构可以为上述各个车位顶点信息确定的平面图形。例如，上述各个车位顶点信息对应的拓扑结构可以为矩形。
58.第二步，将所得到的各个车位拓扑结构确定为车位拓扑结构信息集合。
59.步骤106，根据车位拓扑结构信息集合，生成车位信息集合。
60.在一些实施例中，根据上述车位拓扑结构信息集合，上述执行主体可以生成车位信息集合。其中，上述车位检测信息集合中的车位检测信息还可以包括：车位类型信息、车位占用信息和车位顶点可见性信息组。上述车位顶点可见性信息组中的车位顶点可见性信息与上述车位顶点网格坐标信息组中的车位顶点网格坐标信息一一对应。上述车位类型信息可以包括以下任意一项：垂直类型、水平类型和斜向类型。上述车位占用信息可以表征车位占用信息对应的车位是否被占用的信息。上述车位顶点可见性信息组中的车位顶点可见性信息可以表征车位顶点可见性信息对应的车位顶点是否可见的信息。
61.在一些实施例的一些可选的实现方式中，根据车位拓扑结构信息集合，上述执行主体可以通过以下步骤生成车位信息集合：第一步，根据上述车位拓扑结构信息集合，确定车位拓扑结构区域集合。实践中，上述执行主体可以将上述车位拓扑结构信息集合中各个车位拓扑结构信息对应的区域确定为车位拓扑结构区域集合。这里，车位拓扑结构信息对应的区域可以为车位拓扑结构信息（即平面图形）围成的区域。例如，车位拓扑结构信息可以为矩形区域。
62.第二步，根据上述车位类型信息、预设车位区域条件和上述车位拓扑结构区域集合，生成车位拓扑区域集合。
63.在一些实施例的一些可选的实现方式中，上述根据上述车位类型信息、预设车位区域条件和上述车位拓扑结构区域集合，上述执行主体可以通过以下步骤生成车位拓扑区域集合。其中，上述预设车位区域条件可以包括预设垂直车位区域条件、预设水平车位区域条件和预设斜向车位区域条件：第一步骤，对于车位拓扑结构区域集合中的每个车位拓扑结构区域，执行以下步骤：第一子步骤，响应于确定上述车位拓扑结构区域对应的车位类型信息为垂直类型，将不满足上述预设垂直车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。其中，上述预设垂直车位区域条件可以为预先设定的满足垂直车位区域的条件。上述垂直车位区域可以为车位入口位置与目标车辆行驶的道路垂直的车位区域。上述车位入口
位置可以为车位对应的矩形框中短边所对应的位置。例如，上述预设垂直车位区域条件可以为车位区域对应的四个车位区域角均为直角且车位长度为5.5米，车位宽度为2.5米。这里，车位区域角可以为围成车位区域的相邻边组成的角。
64.第二子步骤，响应于确定上述车位拓扑结构区域对应的车位类型信息为水平类型，将不满足上述预设水平车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。其中，上述预设水平车位区域条件可以为预先设定的满足水平车位区域的条件。上述水平车位区域可以为车位入口位置与目标车辆行驶的道路平行的车位区域。例如，上述预设水平车位区域条件可以为车位区域对应的四个车位区域角均为直角且车位长度为6米，车位宽度为2.5米。
65.第三子步骤，响应于确定上述车位拓扑结构区域对应的车位类型信息为斜向类型，将不满足上述预设斜向车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。其中，上述预设斜向车位区域条件可以为预先设定的满足斜向车位区域的条件。上述斜向车位区域可以为车位入口位置与目标车辆行驶的道路满足预设角度条件的车位区域。上述预设角度条件可以为目标车辆行驶的道路与车位长度对应的车位区域边框线形成的角度大于等于30度且小于60度。例如，上述预设斜向车位区域条件可以为车位区域对应的四个车位区域角中两个车位区域角为锐角、另外两个车位区域角为钝角且车位长度为6米，车位宽度为2.8米。
66.第二步骤，将所确定的满足上述预设垂直车位区域条件、上述预设水平车位区域条件和上述预设斜向车位区域条件的各个车位拓扑结构区域确定为车位拓扑区域集合。
67.第三步，对上述车位拓扑区域集合中的各个车位拓扑区域进行畸变区域掩码处理，得到畸变区域掩码处理后的各个车位拓扑区域作为车位区域集合。实践中，上述执行主体可以按照预设掩码区域对上述车位拓扑区域集合中的各个车位拓扑区域进行畸变区域掩码处理，得到畸变区域掩码处理后的各个车位拓扑区域作为车位区域集合。其中，上述预设掩码区域可以为预先设定的对车位拓扑区域进行保存的区域。
68.第四步，对于上述车位区域集合中每个车位区域，将上述车位区域与上述车位区域对应的车位占用信息和车位顶点可见性信息组进行组合处理，得到车位信息集合。
69.上述第一步骤至第二步骤及其相关内容作为本公开的实施例的一个发明点，解决了背景技术提及的技术问题二“在生成车位信息的过程中，未对预测的车位进行车位类型细分和车位区域条件判断，以及未基于判断的结果进行相关车位信息的筛选，导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低”。导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低的因素往往如下：在生成车位信息的过程中，未对预测的车位进行车位类型细分和车位区域条件判断，以及未基于判断的结果进行相关车位信息的筛选，导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低。如果解决了上述因素，就能达到提高生成的车位信息的准确率、减少引发的停车事故数量和提高车辆停车时的安全性的效果。为了达到这一效果，首先，对于车位拓扑结构区域集合中的每个车位拓扑结构区域，执行以下步骤：其次，响应于确定上述车位拓扑结构区域对应的车位类型信息为垂直类型，将不满足上述预设垂直车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。由此，可以将车位类型中细分为垂直类型的不满足预设垂直车位
区域条件的车位拓扑结构区域筛选出来。然后，响应于确定上述车位拓扑结构区域对应的车位类型信息为水平类型，将不满足上述预设水平车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。由此，可以将车位类型中细分为水平类型的不满足预设水平车位区域条件的车位拓扑结构区域筛选出来。之后，响应于确定上述车位拓扑结构区域对应的车位类型信息为斜向类型，将不满足上述预设斜向车位区域条件的车位拓扑结构区域从车位拓扑结构区域集合中删除。由此，可以将车位类型中细分为斜向类型的不满足预设斜向车位区域条件的车位拓扑结构区域筛选出来。最后，将所确定的满足上述预设垂直车位区域条件、上述预设水平车位区域条件和上述预设斜向车位区域条件的各个车位拓扑结构区域确定为车位拓扑区域集合。由此，可以得到符合预设垂直车位区域条件、上述预设水平车位区域条件和上述预设斜向车位区域条件的车位拓扑区域集合。也因为通过对车位进行车位类型细分和车位区域条件判断，可以将不满足上述预设垂直车位区域条件、上述预设水平车位区域条件和上述预设斜向车位区域条件的各个车位拓扑结构区域筛选出来。从而可以提高生成的车位信息的准确率，进而可以减少引发的停车事故的数量，提高车辆停车时的安全性。
70.可选地，上述执行主体还可以执行以下步骤：将上述车位信息集合发送至上述目标车辆，使得上述目标车辆根据上述车位信息集合执行泊车操作。
71.实践中，上述执行主体可以将上述车位信息集合发送至上述目标车辆，使得上述目标车辆将上述车位信息集合中任一满足泊车条件的车位信息对应的车位区域作为目标车位区域，执行泊车操作。其中，上述泊车条件可以为车位占用信息表征车位未占用。
72.本公开的上述各个实施例具有如下有益效果：通过本公开的一些实施例的基于鱼眼相机的车位信息生成方法，提高了提取的车位信息的完整度，进而提高了生成的车位信息的准确率，减少了引发的停车事故的数量和提高了车辆停车时的安全性。具体来说，导致提取的车位信息的完整度较低，从而导致生成的车位信息的准确率较低的原因在于：在生成车位信息的过程中，未对车位图片进行多尺度的特征提取和多尺度的特征融合。导致车位图像中的车位较大或较小时提取的车位信息的完整度较低。从而导致生成的车位信息的准确率较低，进而导致引发的停车事故数量较多，车辆停车时的安全性较低。基于此，本公开的一些实施例的基于鱼眼相机的车位信息生成方法，首先，获取目标车位鱼眼图像。其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像。由此，可以得到目标车位鱼眼图像，从而可以用于确定车位信息。其次，将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合。其中，上述车位检测模型还包括特征融合层和检测头层。由此，可以得到多尺度特征图集合，从而可以用于提高提取的车位信息的完整度。然后，将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合。由此，可以得到表征车位信息完整度较高的多尺度融合特征图集合。之后，将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合。由此，可以得到表征车位区分度的车位检测信息集合。随后，根据上述车位检测信息集合，生成车位拓扑结构信息集合。由此，可以得到表征各个车位区域的车位拓扑结构信息集合。最后，根据上述车位拓扑结构信息集合，生成车位信息集合。由此，可以得到准确性较高的车位信息集合。也因为通过将表征数据维度大小不同的多尺度特征图集合进行融合，可以提高提取的车位信息的完整度。从而可以提高生成的车位信息的准确率。进而减少了引发的停车
事故的数量和提高了车辆停车时的安全性。
73.进一步参考图2，作为对上述各图所示方法的实现，本公开提供了一种基于鱼眼相机的车位信息生成装置的一些实施例，这些装置实施例与图1所示的那些方法实施例相对应，该装置具体可以应用于各种电子设备中。
74.如图2所示，一些实施例的基于鱼眼相机的车位信息生成装置200包括：获取单元201、第一输入单元202、第二输入单元203、第三输入单元204、第一生成单元205和第二生成单元206。其中，获取单元201被配置成获取目标车位鱼眼图像，其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；第一输入单元202被配置成将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，上述车位检测模型还包括特征融合层和检测头层；第二输入单元203被配置成将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合；第三输入单元204被配置成将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合；第一生成单元205被配置成根据上述车位检测信息集合，生成车位拓扑结构信息集合；第二生成单元206被配置成根据上述车位拓扑结构信息集合，生成车位信息集合。
75.可以理解的是，该基于鱼眼相机的车位信息生成装置200中记载的诸单元与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于基于鱼眼相机的车位信息生成装置200及其中包含的单元，在此不再赘述。
76.下面参考图3，其示出了适于用来实现本公开的一些实施例的电子设备300（例如计算设备）的结构示意图。本公开的一些实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图3示出的电子设备仅仅是一个示例，不应对本公开的实施例的功能和使用范围带来任何限制。
77.如图3所示，电子设备300可以包括处理装置301（例如中央处理器、图形处理器等），其可以根据存储在只读存储器302（rom）中的程序或者从存储装置308加载到随机访问存储器303（ram）中的程序而执行各种适当的动作和处理。在ram 303中，还存储有电子设备300操作所需的各种程序和数据。处理装置301、rom302以及ram 303通过总线304彼此相连。输入/输出（i/o）接口305也连接至总线304。
78.通常，以下装置可以连接至i/o接口305：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置306；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置307；包括例如磁带、硬盘等的存储装置308；以及通信装置309。通信装置309可以允许电子设备300与其他设备进行无线或有线通信以交换数据。虽然图3示出了具有各种装置的电子设备300，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图3中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
79.特别地，根据本公开的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在
这样的一些实施例中，该计算机程序可以通过通信装置309从网络上被下载和安装，或者从存储装置308被安装，或者从rom 302被安装。在该计算机程序被处理装置301执行时，执行本公开的一些实施例的方法中限定的上述功能。
80.需要说明的是，本公开的一些实施例中记载的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
81.在一些实施方式中，客户端、服务器可以利用诸如http（hyper text transfer protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“lan”），广域网（“wan”），网际网（例如，互联网）以及端对端网络（例如，adhoc端对端网络），以及任何当前已知或未来研发的网络。
82.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取目标车位鱼眼图像，其中，上述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；将上述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，上述车位检测模型还包括特征融合层和检测头层；将上述多尺度特征图集合输入至上述特征融合层，得到多尺度融合特征图集合；将上述多尺度融合特征图集合输入至上述检测头层，得到车位检测信息集合；根据上述车位检测信息集合，生成车位拓扑结构信息集合；根据上述车位拓扑结构信息集合，生成车位信息集合。
83.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的一些实施例的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网（lan）或广域网（wan）——连接到用户计算机，或者，可以连接到外部计算机（例如
利用因特网服务提供商来通过因特网连接）。
84.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
85.描述于本公开的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括获取单元、第一输入单元、第二输入单元、第三输入单元、第一生成单元和第二生成单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，获取单元还可以被描述为“获取目标车位鱼眼图像的单元”。
86.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
87.以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的（但不限于）具有类似功能的技术特征进行互相替换而形成的技术方案。

技术特征：
1.一种基于鱼眼相机的车位信息生成方法，包括：获取目标车位鱼眼图像，其中，所述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；将所述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，所述车位检测模型还包括特征融合层和检测头层；将所述多尺度特征图集合输入至所述特征融合层，得到多尺度融合特征图集合；将所述多尺度融合特征图集合输入至所述检测头层，得到车位检测信息集合；根据所述车位检测信息集合，生成车位拓扑结构信息集合；根据所述车位拓扑结构信息集合，生成车位信息集合。2.根据权利要求1所述的方法，其中，所述方法还包括：将所述车位信息集合发送至所述目标车辆，使得所述目标车辆根据所述车位信息集合执行泊车操作。3.根据权利要求1所述的方法，其中，所述车位检测模型是通过以下方式训练得到的：获取样本集合，其中，所述样本集合中的样本包括样本车位鱼眼图像，以及与样本车位鱼眼图像对应的样本车位检测信息集合；基于样本集合执行以下训练步骤：将样本集合中的至少一个样本的样本车位鱼眼图像分别输入至初始车位检测模型中，得到所述至少一个样本中的每个样本对应的车位检测信息集合；将所述至少一个样本中的每个样本对应的车位检测信息集合与对应的样本车位检测信息集合进行比较；根据比较结果确定初始车位检测模型是否达到预设的优化目标；响应于确定初始车位检测模型达到所述优化目标，将初始车位检测模型确定为训练完成的车位检测模型。4.根据权利要求3所述的方法，其中，训练得到所述车位检测模型的步骤还包括：响应于确定初始车位检测模型未达到所述优化目标，调整初始车位检测模型的网络参数，以及使用未用过的样本组成样本集合，使用调整后的初始车位检测模型作为初始车位检测模型，再次执行所述训练步骤。5.根据权利要求1所述的方法，其中，所述车位检测信息集合中的车位检测信息包括：车位中心网格点坐标信息、车位中心网格点坐标偏移信息、车位顶点网格坐标信息组、车位顶点网格坐标偏移信息组、车位顶点置信度信息组和车位顶点相对偏移信息组；以及所述根据所述车位检测信息集合，生成车位拓扑结构信息集合，包括：对于所述车位检测信息集合中的每个车位检测信息，执行以下步骤：根据所述车位检测信息包括的车位中心网格点坐标信息和车位中心网格点坐标偏移信息，生成车位中心点坐标信息；根据所述车位检测信息包括的车位顶点相对偏移信息组和所述车位中心点坐标信息，生成第一车位顶点信息组；根据所述车位检测信息包括的车位顶点网格坐标信息组和车位顶点网格坐标偏移信息组，生成第二车位顶点信息组，其中，所述第二车位顶点信息组中的第二车位顶点信息对应所述第一车位顶点信息组中的第一车位顶点信息；
响应于确定所述车位检测信息包括的车位顶点置信度信息组中的至少一个车位顶点置信度信息小于预设置信度阈值，将所述第一车位顶点信息组确定为车位顶点信息组；响应于确定所述车位顶点置信度信息组中的各个车位顶点置信度信息均大于等于所述预设置信度阈值，执行以下步骤：根据所述第一车位顶点信息组，生成圆形区域集合，其中，所述第一车位顶点信息组中的第一车位顶点信息对应所述圆形区域集合中的圆形区域，所述第二车位顶点信息组中的第二车位顶点信息对应所述圆形区域集合中的圆形区域；将与所述第二车位顶点信息组中的各个第二车位顶点信息对应的坐标位置确定为第二车位顶点坐标位置组；响应于确定所述第二车位顶点坐标位置组中的各个第二车位顶点坐标位置均在所对应的圆形区域内，将所述第二车位顶点信息组确定为车位顶点信息组；响应于确定所述第二车位顶点坐标位置组中的各个第二车位顶点坐标位置中至少有一个第二车位顶点坐标位置不在所对应的圆形区域内，将所述第一车位顶点信息组确定为车位顶点信息组；将所确定的车位顶点信息组包括的各个车位顶点信息对应的拓扑结构确定为车位拓扑结构；将所得到的各个车位拓扑结构确定为车位拓扑结构信息集合。6.根据权利要求5所述的方法，其中，所述车位检测信息集合中的车位检测信息还包括：车位类型信息、车位占用信息和车位顶点可见性信息组，所述车位顶点可见性信息组中的车位顶点可见性信息对应所述车位顶点网格坐标信息组中的车位顶点网格坐标信息；以及所述根据所述车位拓扑结构信息集合，生成车位信息集合，包括：根据所述车位拓扑结构信息集合，确定车位拓扑结构区域集合；根据所述车位类型信息、预设车位区域条件和所述车位拓扑结构区域集合，生成车位拓扑区域集合；对所述车位拓扑区域集合中的各个车位拓扑区域进行畸变区域掩码处理，得到畸变区域掩码处理后的各个车位拓扑区域作为车位区域集合；对于所述车位区域集合中每个车位区域，将所述车位区域与所述车位区域对应的车位占用信息和车位顶点可见性信息组进行组合处理，得到车位信息集合。7.根据权利要求1所述的方法，其中，所述多尺度特征图集合包括第一尺度特征图、第二尺度特征图和第三尺度特征图，所述第一尺度特征图的数据维度大于所述第二尺度特征图的数据维度，所述第二尺度特征图的数据维度大于所述第三尺度特征图的数据维度；以及所述将所述多尺度特征图集合输入至所述特征融合层，得到多尺度融合特征图集合，包括：对所述第一尺度特征图进行卷积处理，得到第二尺度卷积特征图；对所述第二尺度卷积特征图与所述第二尺度特征图进行融合，得到第二尺度卷积融合特征图；对所述第二尺度卷积融合特征图进行卷积处理，得到第三尺度卷积特征图；
对所述第三尺度卷积特征图与所述第三尺度特征图进行融合，得到第三尺度卷积融合特征图作为第三融合特征图；对所述第三尺度特征图进行上采样处理，得到第二尺度上采样特征图；对所述第二尺度上采样特征图、所述第二尺度特征图与所述第二尺度卷积特征图进行融合处理，得到第二融合特征图；对所述第二尺度上采样特征图进行上采样处理，得到第一尺度上采样特征图；对所述第一尺度上采样特征图与所述第一尺度特征图进行融合，得到第一融合特征图；将所述第一融合特征图、所述第二融合特征图和所述第三融合特征图确定为多尺度融合特征图集合。8.一种基于鱼眼相机的车位信息生成装置，包括：获取单元，被配置成获取目标车位鱼眼图像，其中，所述目标车位鱼眼图像是装载在目标车辆上的鱼眼相机拍摄的车位图像；第一输入单元，被配置成将所述目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合，其中，所述车位检测模型还包括特征融合层和检测头层；第二输入单元，被配置成将所述多尺度特征图集合输入至所述特征融合层，得到多尺度融合特征图集合；第三输入单元，被配置成将所述多尺度融合特征图集合输入至所述检测头层，得到车位检测信息集合；第一生成单元，被配置成根据所述车位检测信息集合，生成车位拓扑结构信息集合；第二生成单元，被配置成根据所述车位拓扑结构信息集合，生成车位信息集合。9.一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。

技术总结
本公开的实施例公开了基于鱼眼相机的车位信息生成方法、装置、设备和介质。该方法的一具体实施方式包括：获取目标车位鱼眼图像；将目标车位鱼眼图像输入至预先训练的车位检测模型包括的骨干网络层，得到多尺度特征图集合；将多尺度特征图集合输入至特征融合层，得到多尺度融合特征图集合；将多尺度融合特征图集合输入至检测头层，得到车位检测信息集合；根据车位检测信息集合，生成车位拓扑结构信息集合；根据车位拓扑结构信息集合，生成车位信息集合。该实施方式提高了提取的车位信息的完整度，从而提高了生成的车位信息的准确率，进而减少了引发的停车事故的数量和提高了车辆停车时的安全性。停车时的安全性。停车时的安全性。


技术研发人员：张洋
受保护的技术使用者：禾多科技（北京）有限公司
技术研发日：2023.04.13
技术公布日：2023/8/5