障碍物识别方法及自动驾驶车辆与流程

1.本技术涉及自动驾驶技术领域，特别涉及一种障碍物识别方法及自动驾驶车辆。


背景技术：

2.随着自动驾驶技术的快速发展，自动驾驶车辆可以对周围的环境进行识别，得到该自动驾驶车辆周围的障碍物，以便基于识别的障碍物进行路线规划，保证自动驾驶车辆避开产生阻碍的障碍物，提高自动驾驶车辆行驶的安全性，但是，目前提供的识别障碍物的方式准确性低。


技术实现要素：

3.本技术实施例提供了一种障碍物识别方法及自动驾驶车辆，对障碍物识别综合考虑了障碍物的细节特征和整体特征，提高了识别障碍物的准确性，进而提高自动驾驶车辆行驶的安全性。该技术方案如下：
4.一方面，提供了一种障碍物识别方法，所述方法包括：
5.获取自动驾驶车辆采集的点云数据，所述点云数据指示所述自动驾驶车辆周围的障碍物，所述点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个所述支柱的尺寸相同；
6.基于每个所述支柱，采用最大响应编码和注意力编码对所述支柱包括的至少一个数据点的特征进行编码处理，得到所述点云数据的第二编码特征，所述第二编码特征包括每个所述支柱的第一编码特征；
7.对所述第二编码特征进行障碍物识别，得到所述障碍物的障碍物信息。
8.一方面，提供了一种障碍物识别装置，所述装置包括：
9.获取模块，用于获取自动驾驶车辆采集的点云数据，所述点云数据指示所述自动驾驶车辆周围的障碍物，所述点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个所述支柱的尺寸相同；
10.编码模块，用于基于每个所述支柱，采用最大响应编码和注意力编码对所述支柱包括的至少一个数据点的特征进行编码处理，得到所述点云数据的第二编码特征，所述第二编码特征包括每个所述支柱的第一编码特征；
11.识别模块，用于对所述第二编码特征进行障碍物识别，得到所述障碍物的障碍物信息。
12.在一种可能的实现方式中，所述编码模块，包括：
13.提取单元，用于对于每个所述支柱，对所述支柱包括的至少一个数据点的特征进行特征提取，得到每个数据点的预设维度的特征和对应的权重；
14.所述提取单元，还用于从所述支柱包括的至少一个数据点的特征中，提取每个维度对应的最大特征；
15.编码单元，用于对所述预设维度的特征和对应的权重进行注意力编码，得到注意
力特征；
16.求和单元，用于对所述每个维度对应的最大特征和所述注意力特征中所述每个维度对应的特征进行求和，得到所述第二编码特征。
17.在一种可能的实现方式中，所述提取单元，用于：
18.对于每个所述支柱，对所述支柱的至少一个数据点的特征进行升维处理，得到升维特征；
19.对所述升维特征进行特征提取，得到所述至少一个数据点的预设维度的特征和对应的权重。
20.在一种可能的实现方式中，所述提取单元，用于：
21.对所述升维特征进行高维度特征提取，得到所述至少一个数据点的预设维度的特征，所述预设维度大于所述升维特征的维度；
22.对所述至少一个数据点的预设维度的特征进行归一化处理，得到所述至少一个数据点的预设维度的特征对应的权重。
23.在一种可能的实现方式中，所述编码单元，用于：
24.对所述预设维度的特征和对应的权重进行加权处理，得到加权特征；
25.对所述加权特征包括的所述至少一个数据点的特征进行加和，得到所述注意力特征。
26.在一种可能的实现方式中，所述识别模块，包括：
27.降维单元，用于对所述第二编码特征进行降维处理，得到降维特征；
28.识别单元，用于对所述降维特征进行障碍物识别，得到所述障碍物的障碍物信息。
29.在一种可能的实现方式中，所述降维单元，用于：
30.采用第一卷积网络和第二卷积网络，分别对所述第二编码特征进行卷积处理，得到处理后的第一卷积特征和第二卷积特征；
31.对所述第一卷积特征和第二卷积特征进行级联，得到级联特征；
32.对所述级联特征进行卷积处理，得到所述降维特征。
33.在一种可能的实现方式中，所述第一卷积网络包括多个卷积层，所述降维单元，用于：
34.分别采用所述多个卷积层中的每个卷积层对所述第二编码特征进行卷积处理，得到多个子卷积特征；
35.对所述多个子卷积特征、所述第二编码特征进行归一化处理，得到归一化后的多个归一化特征；
36.对所述归一化特征进行加和，得到所述第一卷积特征。
37.在一种可能的实现方式中，所述降维特征包括多层子特征，每层子特征的维度不同，所述识别单元，用于：
38.对所述降维特征中包括的最后一层子特征进行反卷积，得到与倒第二层子特征的维度相同的反卷积特征；
39.将所述反卷积特征和所述最后一层子特征进行拼接，得到拼接特征；
40.对所述拼接特征进行障碍物识别，得到所述障碍物的障碍物信息。
41.在一种可能的实现方式中，所述障碍物识别方法由目标检测模型执行，所述装置
还包括：
42.所述获取模块，还用于获取样本点云数据和样本障碍物信息，所述样本点云数据指示所述自动驾驶车辆周围的样本障碍物，所述样本点云数据包括多个样本支柱，每个样本支柱包括至少一个数据点的特征，且每个样本支柱的尺寸相同；
43.所述识别模块，还用于调用所述目标检测模型，对所述样本点云数据中的每个所述样本支柱进行障碍物识别，得到预测障碍物信息；
44.所述装置还包括：训练模块，还用于基于所述样本障碍物信息和所述预测障碍物信息对所述目标检测模型进行训练，得到训练后的目标检测模型。
45.一方面，提供了一种自动驾驶车辆，所述自动驾驶车辆包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如上述任一种可能实现方式的障碍物识别方法所执行的操作。
46.一方面，提供了一种计算机可读存储介质，该存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现如上述任一种可能实现方式的障碍物识别方法所执行的操作。
47.一方面，提供了一种计算机程序或计算机程序产品，所述计算机程序或计算机程序产品包括：计算机程序代码，所述计算机程序代码被自动驾驶车辆执行时，使得所述自动驾驶车辆实现如上述任一种可能实现方式的障碍物识别方法所执行的操作。
48.本技术提供了一种识别障碍物的方案，自动驾驶车辆获取包括障碍物的点云数据后，通过最大响应编码和注意力编码，对点云数据中每个支柱的数据点的特征进行编码，该最大响应编码可以通过提取特征的最大值，以得到障碍物的局部特征，该局部特征用于描述障碍物的细节特征，该注意力编码可以通过对特征进行加权以得到障碍物的全局特征，该全局特征用于描述障碍物的整体特征，因此对障碍物识别综合考虑了障碍物的细节特征和整体特征，提高了识别障碍物的准确性，进而提高自动驾驶车辆行驶的安全性。
附图说明
49.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1是本技术实施例提供的一种实施环境的示意图；
51.图2是本技术实施例提供的一种障碍物识别方法的流程图；
52.图3是本技术实施例提供的一种障碍物识别方法的流程图；
53.图4是本技术实施例提供的一种对特征进行编码的流程图；
54.图5是本技术实施例提供的一种卷积网络的结构示意图；
55.图6是本技术实施例提供的另一种卷积网络的结构示意图；
56.图7是本技术实施例提供的另一种障碍物识别方法的流程图；
57.图8是本技术实施例提供的一种障碍物识别结果对比示意图；
58.图9是本技术实施例提供的一种障碍物识别装置的结构示意图；
59.图10是本技术实施例提供的另一种障碍物识别装置的结构示意图；
60.图11是本技术实施例提供的自动驾驶车辆的结构示意图；
61.图12是本技术实施例提供的服务器的结构示意图。
具体实施方式
62.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
63.可以理解，本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种概念，但除非特别说明，这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说，在不脱离本技术的范围的情况下，可以将第一编码特征称为第二编码特征，将第二编码特征称为第一编码特征。
64.本技术所使用的术语“至少一个”、“多个”、“每个”、“任一”，至少一个包括一个、两个或者两个以上，多个包括两个或者两个以上，而每个是指对应的多个中的每一个，任一是指多个中的任意一个，举例来说，多个支柱包括3个支柱，而每个是指这3个支柱中的每一个支柱，任一是指这3个支柱中的任意一个，可以是第一个，也可以是第二个，还可以是第三个。
65.需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的点云数据等都是在充分授权的情况下获取的。且上述信息、数据经过加工处理后使用于大数据应用场景，无法识别至任意自然人或与其产生特定关联。
66.在一些实施例中，本技术实施例提供的障碍物识别方法由自动驾驶车辆执行。该自动驾驶车辆可以是任一能够自动行驶的设备，例如，无人车、智能机器人等。在一些实施例中，该自动驾驶车辆包括在地面上行驶的车辆(例如，汽车、卡车、公交车等)，也可以包括在空中行驶的车辆(例如，无人机、飞机、直升机等)，也可以包括在水上或者水中行驶的车辆(例如，船、潜艇等)。该自动驾驶车辆可以容纳或者不容纳一个或者多个乘客。另外，该自动驾驶车辆可以应用于无人配送领域，例如，快递物流领域、外卖送餐领域等。
67.在另一些实施例中，本技术实施例提供的障碍物识别方法由自动驾驶车辆和服务器执行。该服务器可以为一台服务器，或者由若干服务器组成的服务器集群，或者是一个云计算服务中心。
68.需要说明的是，本技术实施例对障碍物识别方法的执行主体不做限定。
69.图1是本技术实施例提供的一种实施环境的示意图，如图1所示，该实施环境包括自动驾驶车辆101和服务器102，该自动驾驶车辆101与服务器102之间通过无线或者有线网络连接。
70.其中，服务器102是为自动驾驶车辆101提供与自动驾驶相关服务的服务器。在一些实施例中，自动驾驶车辆101采集点云数据，将采集的点云数据发送给服务器102，由服务器102基于点云数据包括的每个支柱，采用最大响应编码和注意力编码对支柱包括的至少一个数据点的特征进行编码处理，得到点云数据的第二编码特征，第二编码特征包括每个
支柱的第一编码特征，对第二编码特征进行障碍物识别，得到障碍物的障碍物信息，将识别的障碍物信息发送给自动驾驶车辆101，自动驾驶车辆101即可根据接收的障碍物信息规划路线。
71.图2是本技术实施例提供的一种障碍物识别方法的流程图。本技术实施例以执行主体为自动驾驶车辆为例进行示例性说明，该实施例包括：
72.201、自动驾驶车辆获取自动驾驶车辆采集的点云数据，点云数据指示自动驾驶车辆周围的障碍物，点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个支柱的尺寸相同。
73.其中，点云数据是指一个数据点集合，每个数据点具有不同维度的特征。在一些实施例中，该点云数据为三维点云数据，也就是说该点云数据中的每个数据点具有三个维度的特征。该障碍物是指自动驾驶车辆周围环境中的物体。在一些实施例中，该障碍物可以为汽车、公交、树木、灌木丛、灯杆或者其他类型，本技术实施例不做限定。在一些实施例中，该障碍物对自动驾驶车辆的行驶路线产生影响，或，该障碍物对自动驾驶车辆的行驶路线不产生影响，本技术实施例不做限定。支柱是按照点云数据的坐标系预先设置的。按照自动驾驶车辆采集的点云数据中的每个数据点的位置，可以将点云数据中的每个数据点划分至对应的支柱内，每个支柱内包括至少一个数据点的特征。本技术实施例在对点云数据进行编码时，以支柱为单位，对每个支柱内的数据点进行处理，后续可以得到编码特征。
74.在一些实施例中，按照预设尺寸对点云数据所在的坐标系进行划分，得到多个支柱，并且点云数据包括的数据点可以落在对应的支柱内，因此每个支柱可以包括至少一个数据点的特征。
75.在本技术实施例中，自动驾驶车辆采集该自动驾驶车辆周围的障碍物的点云数据，后续即可对采集的点云数据进行障碍物识别，进而基于识别到的障碍物信息规划路线，防止自动驾驶车辆与障碍物发生碰撞。
76.202、自动驾驶车辆基于每个支柱，采用最大响应编码和注意力编码对支柱包括的至少一个数据点的特征进行编码处理，得到点云数据的第二编码特征，第二编码特征包括每个支柱的第一编码特征。
77.其中，该最大响应编码用于提取每个支柱的局部关键特征，该局部关键特征是指提取的支柱内部分数据点的特征。例如该局部关键特征是指提取的支柱内特征最大的数据点的特征。该注意力编码用于提取每个支柱的全局关键特征，该全局关键特征是指对支柱内全部数据点的特征进行融合，得到的融合特征。
78.在本技术实施例中，自动驾驶车辆以每个支柱为单位，分别采用最大响应编码和注意力编码对支柱包括的数据点的特征进行编码处理，即可得到每个支柱的局部关键特征和全局关键特征，进而得到点云数据的第二编码特征，该第二编码特征包括多个支柱中每个支柱的第一编码特征。
79.203、自动驾驶车辆对第二编码特征进行障碍物识别，得到障碍物的障碍物信息。
80.其中，该障碍物信息用于指示障碍物。在一些实施例中，该障碍物信息包括障碍物的类别、尺寸、与自动驾驶车辆的距离、该障碍物的中心点、该障碍物的偏航角中的至少一项信息，或者该障碍物信息还包括其他类型的信息，本技术实施例不做限定。
81.在得到自动驾驶车辆采集的点云数据的第二编码特征后，可以基于该第二编码特
征进行识别，得到点云数据中障碍物的障碍物信息。
82.本技术提供了一种识别障碍物的方案，自动驾驶车辆获取包括障碍物的点云数据后，通过最大响应编码和注意力编码对点云数据中，每个支柱的数据点特征进行编码，该最大响应编码可以通过提取特征的最大值，以得到障碍物的局部特征，该局部特征用于描述障碍物的细节特征，该注意力编码可以通过对特征进行加权以得到障碍物的全局特征，该全局特征用于描述障碍物的整体特征，因此对障碍物进行识别时，综合考虑了障碍物的细节特征和整体特征，提高了识别障碍物的准确性，进而提高自动驾驶车辆行驶的安全性。
83.图3是本技术实施例提供的一种障碍物识别方法的流程图。本技术实施例以执行主体为自动驾驶车辆为例进行示例性说明，该实施例包括：
84.301、自动驾驶车辆获取自动驾驶车辆采集的点云数据，点云数据指示自动驾驶车辆周围的障碍物，点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个支柱的尺寸相同。
85.在一些实施例中，该自动驾驶车辆安装有雷达，通过安装的雷达对周围的障碍物进行检测，以采集到点云数据。可选地，该雷达包括激光雷达、毫米波雷达、超声波雷达或者其他雷达，本技术实施例不限定。
86.在另一些实施例中，该自动驾驶车辆上安装有摄像头，通过安装的摄像头对周围的障碍物进行拍摄，以采集到点云数据。可选地，该摄像头为深度摄像头、双目摄像头或者其他类型的摄像头，本技术实施例不做限定。
87.对于点云数据来说，该点云数据包括的数据点包括多个维度的特征。在一些实施例中，该数据点包括左右空间、前后空间、上下空间、反射强度和时间戳信息。可选地，左右空间、前后空间、上下空间可以分别采用x、y、z表示。
88.302、自动驾驶车辆对于每个支柱，对支柱包括的至少一个数据点的特征进行特征提取，得到每个数据点的预设维度的特征和对应的权重。
89.其中，预设维度的特征是指每个数据点的特征的维度均为预设维度。在一些实施例中，对于每个支柱中的每个数据点来说，可以对每个支柱中的每个数据点进行特征提取，得到个数据点的预设维度的特征，并且还可以得到每个数据点在预设维度的特征对应的权重。
90.在本技术实施例中，自动驾驶车辆获取到点云数据后，可以将点云数据的多个数据点划分为多个支柱，以每个支柱的方式对点云数据进行特征提取，以按照每个支柱提取点云数据的编码特征，进而基于得到的编码特征进行障碍物识别。
91.在一些实施例中，对于每个支柱，对支柱的至少一个数据点的特征进行升维处理，得到升维特征，对升维特征进行特征提取，得到至少一个数据点的预设维度的特征和对应的权重。
92.其中，升维处理是指将数据点的特征的维度进行增加，以得到升维特征。可选地，本技术实施例中基于每个支柱的至少一个数据点的原始特征进行处理，以得到升维特征。
93.在一些实施例中，点云数据包括的至少一个数据点的维度包括x绝对坐标、y绝对坐标、z绝对坐标、反射强度和时间戳信息，则根据至少一个数据点在各个维度上的特征，分别计算x绝对坐标、y绝对坐标、z绝对坐标维度上与对应支柱的中心坐标和最小坐标的差值，得到每个数据点在各个维度上差值，每个数据点在各个维度上的差值均可以作为一个
新的维度，因此实现了对每个数据点的维度进行升维，进而得到每个数据点的升维特征。
94.例如，获取每个支柱的中心坐标，以及点云数据的最小坐标，分别获取x绝对坐标、y绝对坐标、z绝对坐标与中心坐标的差值以及与最小坐标的差值，将x绝对坐标、y绝对坐标、z绝对坐标、反射强度、时间戳信息以及基于每个坐标得到的差值，确定11个维度的特征，实现对至少一个数据点的维度的升维处理。其中，x绝对坐标、y绝对坐标、z绝对坐标与中心坐标的差值包括x绝对坐标与中心坐标中x坐标的差值、y绝对坐标与中心坐标中y坐标的差值、z绝对坐标与中心坐标中z坐标的差值。x绝对坐标、y绝对坐标、z绝对坐标与最小坐标的差值x绝对坐标、y绝对坐标、z绝对坐标与中心坐标的差值包括x绝对坐标与最小坐标中x坐标的差值、y绝对坐标与最小坐标中y坐标的差值、z绝对坐标与最小坐标中z坐标的差值。
95.可选地，对升维特征进行高维度特征提取，得到至少一个数据点的预设维度的特征，预设维度大于升维特征的维度，对至少一个数据点的预设维度的特征进行归一化处理，得到至少一个数据点的预设维度的特征对应的权重。
96.在一些实施例中，自动驾驶车辆调用第一神经网络，对升维特征进行高维度特征处理，得到预设维度的特征。可选地，该第一神经网络需要预先训练，以使该第一神经网络具有进行高维度特征提取以得到预设维度的特征的能力。
97.例如，获取样本升维特征以及预设维度的样本高维特征，采用第一神经网络对样本升维特征进行高维度特征处理，得到预设维度的预测高维特征，基于样本高维特征与预测高维特征之间的差异对第一神经网络进行训练，进而得到训练后的第一神经网络。
98.在另一些实施例中，对至少一个数据点的预设维度的特征进行归一化处理的过程也可以通过第二神经网络实现，自动驾驶车辆调用第二神经网络，对预设维度的特征进行归一化处理处理，得到预设维度的特征对应的权重。可选地，该第二神经网络需要预先训练，以使该第二神经网络具有进行归一化处理的能力。
99.例如，获取预设维度的样本特征以及预设维度的样本特征对应的样本权重，采用第二神经网络对预设维度的样本特征进行归一化处理，得到预设维度的样本特征对应的预测权重，基于预设维度的样本特征对应的样本权重与预测权重之间的差异对第二神经网络进行训练，进而得到训练后的第二神经网络。
100.需要说明的是，本技术实施例中的第一神经网络和第二神经网络属于一个模型中的两个网络，第一神经网络和第二神经网络同时进行训练，得到训练后的神经网络。
101.303、自动驾驶车辆从支柱包括的至少一个数据点的特征中，提取每个维度对应的最大特征。
102.其中，对于多个支柱中的每个支柱来说，每个支柱中包括的至少一个数据点均具有预设维度的特征，自动驾驶车辆可以从该支柱包括的至少一个数据点的特征中，按照每个维度提取对应维度上的最大特征。
103.304、自动驾驶车辆对预设维度的特征和对应的权重进行注意力编码，得到注意力特征。
104.在本技术实施例中，在获取到预设维度的特征和对应的权重后，该预设维度的特征可以表示点云数据中每个支柱的特征，通过对预设维度的特征和对应的权重进行注意力编码，得到的注意力特征综合考虑了点云数据中每个数据点的特征，以便于在进行障碍物
识别时考虑点云数据中的全局特征。
105.在一些实施例中，对预设维度的特征和对应的权重进行加权处理，得到加权特征，对加权特征包括的至少一个数据点的特征进行加和，得到注意力特征。
106.需要说明的是，本技术实施例中加权处理以及得到注意力特征均是以支柱为单位所执行的操作，因此支柱内至少一个数据点的预设维度的特征和对应的权重进行加权处理，得到该支柱的加权特征，再对该支柱的加权特征包括的至少一个数据点在每个维度上的特征进行加和，以得到每个维度上的特征，进而多个维度上的特征构成该支柱的注意力特征。
107.需要说明的是，上述步骤303和步骤304可以同时执行，或者先执行步骤303，再执行步骤304，或者先执行步骤304，再执行步骤303，本技术实施例不做限定。
108.305、自动驾驶车辆对每个维度对应的最大特征和注意力特征中每个维度对应的特征进行求和，得到第二编码特征。
109.在本技术实施例中，自动驾驶车辆以每个支柱为单位，获取了每个支柱在每个维度上对应的最大特征和注意力特征，其中最大特征是指对应支柱在对应维度上的局部关键特征，注意力特征是指对应支柱在对应维度上的全局关键特征，因此对每个维度对应的最大特征和注意力特征中每个维度对应的特征值行求和，得到第二编码特征，得到的第二编码特征既包含了点云数据的局部关键特征，也包含了点云数据的全局关键特征。
110.在一些实施例中，最大特征是指每个维度上对应的特征中数值最大的特征。例如，在任一维度上的特征包括25、30、33、45，则该维度上的最大特征是指45。
111.需要说明的是，本技术实施例中步骤302-305由mape支柱编码组件执行，进而得到第二编码特征。
112.下面，采用举例方式对本技术如何获取第二编码特征进行说明。参见图4，获取第二编码特征的流程如下：
113.对于每个支柱来说，每个数据点均包括5个维度的特征，通过对每个支柱的数据点的特征进行升维处理，得到11个维度的特征，再对11个维度的特征进行高维度特征提取，得到d个维度的特征以及对应的权重，从支柱包括的至少一个数据点的特征中，提取每个维度对应的最大特征，得到1*d的特征，并且对d个维度的特征和对应的权重进行注意力编码，得到1*d的特征，再对两个1*d的特征进行加和，得到1*d的第二编码特征，该1*d的第二编码特征即为最后图示中的支柱。
114.需要说明的是，本技术实施例中的步骤302-305为上述步骤202的一种可能实现方式，本技术还可以不执行步骤302-305，直接执行步骤202即可。
115.306、自动驾驶车辆对第二编码特征进行降维处理，得到降维特征。
116.其中，降维处理是指在水平尺度上对第二编码特征进行降维。在一些实施例中，该第二编码特征为三维特征，对第二编码特征进行降维处理是指在二维角度上对第二编码特征进行降维处理，得到降维特征。例如，该第二编码特征包括三个维度的特征，分别为h、w、d三个维度，对第二编码特征进行降维是指在h*w两个维度构成的水平维度上对第二编码特征进行降维，以得到降维特征。
117.在一些实施例中，采用第一卷积网络和第二卷积网络，分别对第二编码特征进行卷积处理，得到处理后的第一卷积特征和第二卷积特征，对第一卷积特征和第二卷积特征
进行级联，得到级联特征，对级联特征进行卷积处理，得到降维特征。
118.其中，该第一卷积网络和第二卷积网络为不同的卷积网络。本技术实施例通过对第二编码特征分别进行卷积处理，即可实现对第二编码特征的降维处理，并且由于采用了两个卷积网络，在保证特征表达的能力的情况下，减少了第一卷积网络的参数量，进而降低网络容量。
119.可选地，该第一卷积网络实际上存在多个重复结构，也可以理解为该第一卷积网络会执行多次，以便于完成对第二编码特征的卷积处理。
120.例如，第一卷积网络为图5所示的repconv(一种卷积网络)，第二卷积网络为中间的1*1卷积网络，第二编码特征会先经过1*1卷积网络进行卷积处理，然后再经过repconv和1*1卷积网络分别进行卷积处理，得到第一卷积特征和第二卷积特征，然后再对第一卷积特征和第二卷积特征进行级联，得到级联特征，对级联特征进行卷积处理，得到降维特征。
121.可选地，分别采用多个卷积层中的每个卷积层对第二编码特征进行卷积处理，得到多个子卷积特征，对多个子卷积特征、第二编码特征进行归一化处理，得到归一化后的多个归一化特征，对归一化特征进行加和，得到第一卷积特征。
122.在一些实施例中，该第一卷积网络为重参数化网络，也就是说该第一卷积网络在训练时采用多个卷积层中的每个卷积层对第二编码特征进行卷积处理，得到多个子卷积特征，对多个子卷积特征、第二编码特征进行归一化处理，得到归一化后的多个归一化特征，对归一化特征进行加和，得到第一卷积特征，而在部署时，将多个卷积层进行合并处理，以得到一个卷积层，进而采用合并的卷积层对第二编码特征进行卷积处理。
123.例如，如图6所示，示出了本技术的第一卷积网络和第二卷积网络的具体结构。其中，d部分为整体的第一卷积网络和第二卷积网络的结构，也可以参见上述图5所示，进一步地，第一卷积网络由c部分的repconv和leaky-relu(一种激活函数)构成，进一步地，该c部分的repconv的具体结构为b部分所示，也就是包括1*1的卷积层，与1*1的卷积层连接的第一归一化层(bn1)、3*3的卷积层、与3*3的卷积层连接的第二归一化层(bn2)、和第三归一化层(bn3)构成。另外，b部分是指训练时的网络结构，而在部署时，部署的结构被合并为如a部分所示的结构，也就是3*3的卷积层、激活层等2层构成。
124.307、自动驾驶车辆对降维特征进行障碍物识别，得到障碍物的障碍物信息。
125.其中，该降维特征指示障碍物，因此在自动驾驶车辆得到该降维特征后，对该降维特征进行识别，即可得到该障碍物的类别、尺寸、与自动驾驶车辆的距离、该障碍物的中心点、该障碍物的偏航角中的至少一项，或者还可以得到障碍物的其他障碍物信息，本技术实施例不做限定。
126.在一些实施例中，该障碍物信息包括class hm(物体检测概率)、iou(intersection over union，重叠度)、loc(位置偏差)、dimen(尺寸)、orien(偏航角)，其中，class hm表示有没有物体，有物体的概率是多大，iou表示有物体的话和实际场景中的物体之间有多大重叠度，loc表示的是和实际场景中物体的位置之间的偏差，dimen表示的就是这个物体的尺寸信息，orien表示的就是物体的朝向。
127.在一些实施例中，降维特征包括多层子特征，每层子特征的维度不同，对降维特征进行障碍物识别，得到障碍物的障碍物信息，包括：对降维特征中包括的最后一层子特征进行反卷积，得到与倒第二层子特征的维度相同的反卷积特征，将反卷积特征和最后一层子
特征进行拼接，得到拼接特征，对拼接特征进行障碍物识别，得到障碍物的障碍物信息。
128.例如，参见图7，示出了本技术识别障碍物的原理，参见图7，在自动驾驶车辆输入点云数据后，通过识别网络对点云数据进行识别，即可得到识别网络的输出结果，该输出结果包括是否存在物体、物体与实际场景中的物体之间的重叠度、物体与实际场景中物体的位置之间的偏差、物体的尺寸、物体的朝向等五个输出，再基于五个输出结构确定最终识别的结果。具体的，识别网络在获取到点云数据后，将点云数据经过编码后，得到编码特征，再对编码特征进行卷积处理，得到如图crv net包括的5层子特征，对最后一层子特征进行反卷积，得到与倒第二层的尺寸相同的特征，再将得到的特征与倒第二层的子特征进行接连并卷积处理，得到输出结果。
129.需要说明的是，本技术实施例中步骤306-307为上述步骤203的一种可能实现方式，本技术实施例还可以直接执行203。
130.下面，对本技术所检测的效果进行举例说明。在一些实施例中，通过实际的标注数据、相关技术检测得到的标注数据以及本技术所提供的方案检测得到的标注数据进行对比说明。参见图8，第一列为三种实际的标注数据，第二列为相关技术对实际的点云数据进行检测得到的标注数据，其中方框内为相关技术未识别到的数据，第三列为本技术提供的方案进行检测得到的标注数据，与第一列的实际的标注数据相同，因此也表示了本技术进行障碍物识别的准确性。
131.需要说明的是，本技术实施例中的方法还可以有目标检测模型执行，该目标检测模型的训练过程包括：获取样本点云数据和样本障碍物信息，样本点云数据指示自动驾驶车辆周围的样本障碍物，样本点云数据包括多个样本支柱，每个样本支柱包括至少一个数据点的特征，且每个样本支柱的尺寸相同，调用目标检测模型，对样本点云数据中的每个样本支柱进行障碍物识别，得到预测障碍物信息，基于样本障碍物信息和预测障碍物信息对目标检测模型进行训练，得到训练后的目标检测模型。
132.在一些实施例中，该目标检测模型为strongpillars(一种检测模型结构)模型，其中，methed为网络格式，stages为网络训练次数，view为点云处理角度，nds为指示网络性能的指标，map(mean average precision，全类平均正确率)，car(汽车)、truck(卡车)、bus(公交车)、trailer(拖车)、cv(construction vehicle，施工车辆)、ped(pedestrian，行人)、motor(motorcycle，摩托车)、bc(bicycle，自行车)、tc(traffic cone，锥形交通路标)、barrier(可跨越的障碍)。
133.参见表1，示出了每个网络对应的数据情况。
134.表1
135.136.[0137][0138]
另外，本技术还提出了对于不同网络，在检测速度上也存在优势。参见表2，示出了不同网络的速度，其中，检测速度采用帧率表示：
[0139]
表2
[0140]
methodsspconv帧率nds(％)map(％)pointpillars(0.2m)否3160.2250.26pointpillars(0.075m)否959.5148.63pointpillars(0.075m)是1467.2159.67pllarnet-34(0.075m)是1267.5560.16strongpillars-s(0.15m)否2467.2260.00strongpillars-m(0.15m)否1668.1961.72
[0141]
本技术实施例提供的障碍物识别方法，自动驾驶车辆获取包括障碍物的点云数据后，通过最大响应编码和注意力编码，对点云数据中每个支柱的数据点特征进行编码，该最大响应编码可以通过提取特征的最大值，以得到障碍物的局部特征，该局部特征用于描述障碍物的细节特征，该注意力编码可以通过对特征进行加权以得到障碍物的全局特征，该
全局特征用于描述障碍物的整体特征，在对障碍物进行识别时，综合考虑了障碍物的细节特征和整体特征，提高了识别障碍物的准确性，进而提高自动驾驶车辆行驶的安全性。
[0142]
并且，自动驾驶车辆通过降维的方式可以简化识别障碍物的数据量消耗，提高识别速度。另外，避免了在自动驾驶车辆部署时网络结构过大而导致自动驾驶车辆无法正常运行的问题，实现了在自动驾驶车辆上部署量化的效果，进而保证自动驾驶车辆可以正常识别障碍物。
[0143]
图9是本技术实施例提供的一种障碍物识别装置的结构示意图，参见图9，该装置包括：
[0144]
获取模块901，用于获取自动驾驶车辆采集的点云数据，所述点云数据指示所述自动驾驶车辆周围的障碍物，所述点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个所述支柱的尺寸相同；
[0145]
编码模块902，用于基于每个所述支柱，采用最大响应编码和注意力编码对所述支柱包括的至少一个数据点的特征进行编码处理，得到所述点云数据的第二编码特征，所述第二编码特征包括每个所述支柱的第一编码特征；
[0146]
识别模块903，用于对所述第二编码特征进行障碍物识别，得到所述障碍物的障碍物信息。
[0147]
在一种可能的实现方式中，所述编码模块902，包括：
[0148]
提取单元9021，用于对于每个所述支柱，对所述支柱包括的至少一个数据点的特征进行特征提取，得到每个数据点的预设维度的特征和对应的权重；
[0149]
所述提取单元9021，还用于从所述支柱包括的至少一个数据点的特征中，提取每个维度对应的最大特征；
[0150]
编码单元9022，用于对所述预设维度的特征和对应的权重进行注意力编码，得到注意力特征；
[0151]
求和单元9023，用于对所述每个维度对应的最大特征和所述注意力特征中所述每个维度对应的特征进行求和，得到所述第二编码特征。
[0152]
在一种可能的实现方式中，所述提取单元9021，用于：
[0153]
对于每个所述支柱，对所述支柱的至少一个数据点的特征进行升维处理，得到升维特征；
[0154]
对所述升维特征进行特征提取，得到所述至少一个数据点的预设维度的特征和对应的权重。
[0155]
在一种可能的实现方式中，所述提取单元9021，用于：
[0156]
对所述升维特征进行高维度特征提取，得到所述至少一个数据点的预设维度的特征，所述预设维度大于所述升维特征的维度；
[0157]
对所述至少一个数据点的预设维度的特征进行归一化处理，得到所述至少一个数据点的预设维度的特征对应的权重。
[0158]
在一种可能的实现方式中，所述编码单元9022，用于：
[0159]
对所述预设维度的特征和对应的权重进行加权处理，得到加权特征；
[0160]
对所述加权特征包括的所述至少一个数据点的特征进行加和，得到所述注意力特征。
[0161]
在一种可能的实现方式中，所述识别模块903，包括：
[0162]
降维单元9031，用于对所述第二编码特征进行降维处理，得到降维特征；
[0163]
识别单元9032，用于对所述降维特征进行障碍物识别，得到所述障碍物的障碍物信息。
[0164]
在一种可能的实现方式中，所述降维单元9031，用于：
[0165]
采用第一卷积网络和第二卷积网络，分别对所述第二编码特征进行卷积处理，得到处理后的第一卷积特征和第二卷积特征；
[0166]
对所述第一卷积特征和第二卷积特征进行级联，得到级联特征；
[0167]
对所述级联特征进行卷积处理，得到所述降维特征。
[0168]
在一种可能的实现方式中，所述第一卷积网络包括多个卷积层，所述降维单元9031，用于：
[0169]
分别采用所述多个卷积层中的每个卷积层对所述第二编码特征进行卷积处理，得到多个子卷积特征；
[0170]
对所述多个子卷积特征、所述第二编码特征进行归一化处理，得到归一化后的多个归一化特征；
[0171]
对所述归一化特征进行加和，得到所述第一卷积特征。
[0172]
在一种可能的实现方式中，所述降维特征包括多层子特征，每层子特征的维度不同，所述识别单元9032，用于：
[0173]
对所述降维特征中包括的最后一层子特征进行反卷积，得到与倒第二层子特征的维度相同的反卷积特征；
[0174]
将所述反卷积特征和所述最后一层子特征进行拼接，得到拼接特征；
[0175]
对所述拼接特征进行障碍物识别，得到所述障碍物的障碍物信息。
[0176]
在一种可能的实现方式中，所述障碍物识别方法由目标检测模型执行，所述获取模块901，还用于获取样本点云数据和样本障碍物信息，所述样本点云数据指示所述自动驾驶车辆周围的样本障碍物，所述样本点云数据包括多个样本支柱，每个样本支柱包括至少一个数据点的特征，且每个样本支柱的尺寸相同；
[0177]
所述识别模块903，还用于调用所述目标检测模型，对所述样本点云数据中的每个所述样本支柱进行障碍物识别，得到预测障碍物信息；
[0178]
所述装置还包括：训练模块904，还用于基于所述样本障碍物信息和所述预测障碍物信息对所述目标检测模型进行训练，得到训练后的目标检测模型。
[0179]
需要说明的是：上述实施例提供的障碍物识别装置在识别障碍物时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将自动驾驶车辆的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的障碍物识别装置与障碍物识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0180]
图11示出了本技术一个示例性实施例提供的自动驾驶车辆1100的结构框图。自动驾驶车辆1100包括有：处理器1101，该处理器1101可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。在一些实施例中，处理器1101中的非暂态的计算机可读存储介质用于存储至少一条程序代码，该至少一条程序代码用于被处理器1101所
执行以实现本技术中方法实施例提供的障碍物识别方法中自动驾驶车辆所执行的操作。
[0181]
本领域技术人员可以理解，图11中示出的结构并不构成对自动驾驶车辆1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0182]
图12是本技术实施例提供的一种服务器的结构示意图，该服务器1200可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)1201和一个或一个以上的存储器1202，其中，该存储器1202中存储有至少一条程序代码，该至少一条程序代码由该处理器1201加载并执行以实现上述各个方法实施例提供的方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0183]
该服务器1200用于执行上述方法实施例中服务器所执行的步骤。
[0184]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由计算机设备中的处理器执行以完成上述实施例中的障碍物识别方法。例如，该计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0185]
在示例性实施例中，还提供了一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括计算机程序代码，该计算机程序代码被计算机执行时，使得计算机实现上述实施例中的障碍物识别方法。
[0186]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0187]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种障碍物识别方法，其特征在于，所述方法包括：获取自动驾驶车辆采集的点云数据，所述点云数据指示所述自动驾驶车辆周围的障碍物，所述点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个所述支柱的尺寸相同；基于每个所述支柱，采用最大响应编码和注意力编码对所述支柱包括的至少一个数据点的特征进行编码处理，得到所述点云数据的第二编码特征，所述第二编码特征包括每个所述支柱的第一编码特征；对所述第二编码特征进行障碍物识别，得到所述障碍物的障碍物信息。2.根据权利要求1所述的方法，其特征在于，所述基于每个所述支柱，采用最大响应编码和注意力编码对所述支柱包括的至少一个数据点的特征进行编码处理，得到所述点云数据的第二编码特征，包括：对于每个所述支柱，对所述支柱包括的至少一个数据点的特征进行特征提取，得到每个数据点的预设维度的特征和对应的权重；从所述支柱包括的至少一个数据点的特征中，提取每个维度对应的最大特征；对所述预设维度的特征和对应的权重进行注意力编码，得到注意力特征；对所述每个维度对应的最大特征和所述注意力特征中所述每个维度对应的特征进行求和，得到所述第二编码特征。3.根据权利要求2所述的方法，其特征在于，所述对于每个所述支柱，对所述支柱包括的至少一个数据点的特征进行特征提取，得到每个数据点的预设维度的特征和对应的权重，包括：对于每个所述支柱，对所述支柱的至少一个数据点的特征进行升维处理，得到升维特征；对所述升维特征进行特征提取，得到所述至少一个数据点的预设维度的特征和对应的权重。4.根据权利要求3所述的方法，其特征在于，所述对所述升维特征进行特征提取，得到所述至少一个数据点的预设维度的特征和对应的权重，包括：对所述升维特征进行高维度特征提取，得到所述至少一个数据点的预设维度的特征，所述预设维度大于所述升维特征的维度；对所述至少一个数据点的预设维度的特征进行归一化处理，得到所述至少一个数据点的预设维度的特征对应的权重。5.根据权利要求2所述的方法，其特征在于，所述对所述预设维度的特征和对应的权重进行注意力编码，得到注意力特征，包括：对所述预设维度的特征和对应的权重进行加权处理，得到加权特征；对所述加权特征包括的所述至少一个数据点的特征进行加和，得到所述注意力特征。6.根据权利要求1所述的方法，其特征在于，所述对所述第二编码特征进行障碍物识别，得到所述障碍物的障碍物信息，包括：对所述第二编码特征进行降维处理，得到降维特征；对所述降维特征进行障碍物识别，得到所述障碍物的障碍物信息。7.根据权利要求6所述的方法，其特征在于，所述对所述第二编码特征进行降维处理，
得到降维特征，包括：采用第一卷积网络和第二卷积网络，分别对所述第二编码特征进行卷积处理，得到处理后的第一卷积特征和第二卷积特征；对所述第一卷积特征和第二卷积特征进行级联，得到级联特征；对所述级联特征进行卷积处理，得到所述降维特征。8.根据权利要求7所述的方法，其特征在于，所述第一卷积网络包括多个卷积层，所述第一卷积特征的获取过程包括：分别采用所述多个卷积层中的每个卷积层对所述第二编码特征进行卷积处理，得到多个子卷积特征；对所述多个子卷积特征、所述第二编码特征进行归一化处理，得到归一化后的多个归一化特征；对所述归一化特征进行加和，得到所述第一卷积特征。9.根据权利要求6所述的方法，其特征在于，所述降维特征包括多层子特征，每层子特征的维度不同，所述对所述降维特征进行障碍物识别，得到所述障碍物的障碍物信息，包括：对所述降维特征中包括的最后一层子特征进行反卷积，得到与倒第二层子特征的维度相同的反卷积特征；将所述反卷积特征和所述最后一层子特征进行拼接，得到拼接特征；对所述拼接特征进行障碍物识别，得到所述障碍物的障碍物信息。10.一种自动驾驶车辆，其特征在于，所述自动驾驶车辆包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至9任一项所述的障碍物识别方法所执行的操作。

技术总结
本申请公开了一种障碍物识别方法及自动驾驶车辆，属于自动驾驶技术领域。方法包括：获取自动驾驶车辆采集的点云数据，点云数据指示自动驾驶车辆周围的障碍物，点云数据包括多个支柱，每个支柱包括至少一个数据点的特征，且每个支柱的尺寸相同；基于每个支柱，采用最大响应编码和注意力编码对支柱包括的至少一个数据点的特征进行编码处理，得到点云数据的第二编码特征，第二编码特征包括每个支柱的第一编码特征；对第二编码特征进行障碍物识别，得到障碍物的障碍物信息。本申请提供的方案在对障碍物进行识别时，综合考虑了障碍物的细节特征和整体特征，提高了识别障碍物的准确性，进而提高自动驾驶车辆行驶的安全性。而提高自动驾驶车辆行驶的安全性。而提高自动驾驶车辆行驶的安全性。


技术研发人员：周思帆 张新雨 初祥祥 田值 张勃
受保护的技术使用者：北京三快在线科技有限公司
技术研发日：2023.03.13
技术公布日：2023/6/28