适用于恶劣环境的低功耗自动驾驶点云分割方法及装置

1.本技术涉及自动驾驶技术领域，尤其是涉及适用于恶劣环境的低功耗自动驾驶点云分割方法及装置。


背景技术：

2.pointnet作为将深度学习技术可用于3d点云的分类和分割任务，通过多层感知器提取出每个点的特征；图卷积作为常用的处理不规则空间结构数据的手段，可以生成与点顺序无关的特征，尽管这些网络能够提取点云的局部特征，但它们在提取点云的空间特征时往往会遇到困难。提取点云空间特征最普遍的方法是通过将3d点云数据体素化后使用三维卷积，虽然三维卷积可以高质量地提取出点云数据的空间特征，但是它需要大量的计算成本，这很大程度上限制了其应用范围。


技术实现要素：

3.有鉴于此，本技术提供了适用于恶劣环境的低功耗自动驾驶点云分割方法及装置，以解决上述技术问题。
4.第一方面，本技术实施例提供一种适用于恶劣环境的低功耗自动驾驶点云分割方法，包括：
5.对原始点云数据进行对齐处理，得到对齐后的点云数据；
6.对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；
7.对最终的特征图进行点云分割处理，得到点云分割结果。
8.进一步地，对原始点云数据进行对齐处理，得到对齐后的点云数据，包括：
9.原始点云数据表示为：pi为第i个点，n为点云数据中点的个数；第i个点pi的三维坐标为(xi，yi，zi)；
10.利用预先训练完成的多层感知机对第i个点pi进行处理，得到点其三维坐标为：
[0011][0012]
其中，所述多层感知机为3
×
3变换矩阵martix
t
；对齐后的点云数据表示为
[0013]
进一步地，对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；包括：
[0014]
利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特
征图；所述特征提取模型包括并行的第一分支和第二分支以及加法单元，第一分支包括连接的卷积核大小为1
×
1的卷积层和最大池化层；第二分支包括：正则化单元、三个并联的xy二维特征提取子分支、yz二维特征提取子分支和xz二维特征提取子分支以及通道融合单元；xy二维特征提取子分支包括xy二维投影变换单元、第一卷积层和第一fcn-vgg16网络，yz二维投影子分支包括yz二维投影变换单元、第二卷积层和第二fcn-vgg16网络，xz二维特征提取子分支包括xz二维投影变换单元、第三卷积层和第三fcn-vgg16网络。
[0015]
进一步地，利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特征图；包括：
[0016]
利用正则化单元对对齐后的点云数据的第i个点进行softmax归一化处理，得到点点的三维坐标值均小于1
[0017]
利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
；
[0018]
利用第一卷积层对xy二维特征图i
xy
进行处理，得到特征图
[0019]
利用第一fcn-vgg16网络对特征图进行处理，得到特征图f
xy
；
[0020]
利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
；
[0021]
利用第二卷积层对yz二维特征图i
yz
进行处理，得到特征图
[0022]
利用第二fcn-vgg16网络对特征图进行处理，得到特征图f
yz
；
[0023]
利用xz二维投影变换单元对所有点进行处理，得到xz二维特征图i
xz
；
[0024]
利用第三卷积层对xz二维特征图i
xz
进行处理，得到特征图
[0025]
利用第三fcn-vgg16网络对特征图进行处理，得到特征图f
xz
：
[0026]
利用通道融合单元对特征图f
xy
、特征图f
yz
和特征图f
xz
进行拼接处理，得到融合后的特征图f
concat
；
[0027]
利用第一分支对对齐后的点云数据进行处理，得到特征图f1，特征图f1的维度和f
concat
相同；
[0028]
利用加法单元对特征图f
concat
和特征图f1进行相加，得到最终的特征图。
[0029]
进一步地，利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
，包括：
[0030]
将对所有点在x-y平面上进行投影变化，在x-y平面的设定区域的网格点处的特征向量为：
[0031][0032][0033][0034]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；
[0035]
则xy二维特征图i
xy
的第(p，q)个像素的特征向量为i
xy
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0036]
进一步地，利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
，包括：
[0037]
将对所有点在y-z平面上进行投影变化，在y-z平面的设定区域的网格点处的特征向量为：
[0038][0039][0040][0041]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；
[0042]
则yz二维特征图i
yz
的第(p，q)个像素的特征向量为i
yz
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0043]
进一步地，利用xz二维投影变换单元对所有点进行处理，得到xz二维特征图i
xz
；包括：
[0044]
将对所有点在x-z平面上进行投影变化，在x-z平面的设定区域的网格点处的特征向量为：
[0045][0046][0047][0048]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量；
i和j为特征图的长和宽；
[0049]
则xz二维特征图i
xz
的第(p，q)个像素的特征向量为i
xz
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0050]
进一步地，对最终的特征图进行点云分割处理，得到点云分割结果；包括：
[0051]
利用预先训练完成的全连接层对最终的特征图进行点云分割处理，得到点云分割结果。
[0052]
进一步地，所述方法还包括：对多层感知机、特征提取模型和全连接层进行联合训练的步骤；具体包括：
[0053]
获取训练数据集，包括多个标注点云分割结果的点云数据样本；
[0054]
利用多层感知机对点云数据样本进行处理，得到对齐后的点云数据样本；
[0055]
利用特征提取模型对对齐后的点云数据样本进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的样本特征图；
[0056]
利用全连接层对最终的样本特征图进行处理，得到预测的点云分割结果；
[0057]
利用预测的点云分割结果和真实的点云分割结果，利用交叉熵计算损失函数：
[0058]
基于损失函数，更新多层感知机、特征提取模型和全连接层的参数。
[0059]
第二方面，本技术实施例提供一种适用于恶劣环境的低功耗自动驾驶点云分割装置，包括：
[0060]
预处理单元，用于对原始点云数据进行对齐处理，得到对齐后的点云数据；
[0061]
二维投影变换单元，用于对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；
[0062]
点云分割单元，用于对最终的特征图进行点云分割处理，得到点云分割结果。
[0063]
第三方面，本技术实施例提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本技术实施例的方法。
[0064]
第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令被处理器执行时实现本技术实施例的方法。
[0065]
本技术的方法计算量小，能够提高恶劣环境下采集的点云数据的分割精度。
附图说明
[0066]
为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0067]
图1为本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割方法的流程图；
[0068]
图2为本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割装置的功能结构图；
[0069]
图3为本技术实施例提供的电子设备的功能结构图。
具体实施方式
[0070]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。
[0071]
因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0072]
首先对本技术实施例的设计思想进行简单介绍。
[0073]
近年来，随着自动驾驶技术的飞速发展，越来越多的自动驾驶设备步入大众的视野，如何在这些设备上部署低功耗、高效率的计算机视觉任务一直是自动驾驶领域的热点问题之一。3d点云数据由于其准确性以及对恶劣环境的鲁棒性，已被大家广泛利用，将深度学习技术用于3d点云数据的处理更是当下自动驾驶界的热点技术之一。
[0074]
pointnet作为将深度学习技术可用于3d点云的分类和分割任务，通过多层感知器提取出每个点的特征；图卷积作为常用的处理不规则空间结构数据的手段，可以生成与点顺序无关的特征，尽管这些网络能够提取点云的局部特征，但它们在提取点云的空间特征时往往会遇到困难。提取点云空间特征最普遍的方法是通过将3d点云数据体素化后使用三维卷积，虽然三维卷积可以高质量地提取出点云数据的空间特征，但是它需要大量的计算成本，这很大程度上限制了其应用范围。
[0075]
考虑到二维卷积在各种计算机视觉任务中表现出的良好性能，当前的二维卷积技术可以高效地获得图像中的全局和局部特征，并且具有良好的泛化能力，但是由于分割任务需要对每个点进行预测，而点云中的每个点都携带着大量信息，如三维坐标、颜色、法向量等，因此需要对点云中的信息进行有效提取和利用，以获得更准确的分割结果。
[0076]
为解决上述技术问题，本技术提出了适用于恶劣环境的低功耗自动驾驶点云分割方法，该方法通过将3d点云数据投影到二维平面上，然后用二维卷积的方法进行特征提取。考虑到计算和内存的需求，本技术采用双线性插值方法进行投影，由于映射过程没有方向相关的特征提取，所以至少采用三个平面才可以保证每个点获取区别的特征；二维平面由x-y，y-z，x-z三个正交平面组成。此外，本技术中的t-net矩阵变换可以使得当前点云转动一定角度从而与数据集中的点云数据尽量一致，可以增加对环境的鲁棒性；此外，相比于直接处理带有大量噪声的点云数据，将其投影成二维特征图之后使用卷积可以提取更加鲁棒的高维特征，提高点云数据的检测精度，尤其是恶劣环境下采集的点云数据的检测精度。
[0077]
在介绍了本技术实施例的应用场景和设计思想之后，下面对本技术实施例提供的技术方案进行说明。
[0078]
如图1所示，本技术实施提供一种适用于恶劣环境的低功耗自动驾驶点云分割方法，包括：
[0079]
步骤101：对原始点云数据进行对齐处理，得到对齐后的点云数据；
[0080]
给定由n个点组成的原始点云数据首先通过t-net模块输出的3
×
3变换矩阵进行点云数据(x-y-z)的对齐，t-net由pointnet中提出，即通过一个小网络预测出一个变换矩阵，具体操作可以通过多层感知机(mlp)实现，公式如下：
[0081][0082]
其中，为对齐后的点云数据，记为pn。
[0083]
步骤102：对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；
[0084]
在本实施例中，该步骤包括：
[0085]
利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特征图；所述特征提取模型包括并行的第一分支和第二分支以及加法单元，第一分支包括连接的卷积核大小为1
×
1的卷积层和最大池化层；第二分支包括：正则化单元、三个并联的xy二维特征提取子分支、yz二维特征提取子分支和xz二维特征提取子分支以及通道融合单元；xy二维特征提取子分支包括xy二维投影变换单元、第一卷积层和第一fcn-vgg16网络，yz二维投影子分支包括yz二维投影变换单元、第二卷积层和第二fcn-vgg16网络，xz二维特征提取子分支包括xz二维投影变换单元、第三卷积层和第三fcn-vgg16网络；
[0086]
其中，利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特征图；包括：
[0087]
利用正则化单元对对齐后的点云数据的第i个点进行soffmax归一化处理，得到点点的三维坐标值均小于1；
[0088]
利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
，
[0089]
利用第一卷积层对xy二维特征图i
xy
进行处理，得到特征图
[0090]
利用第一fcn-vgg16网络对特征图进行处理，得到特征图f
xy
；
[0091]
利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
，
[0092]
利用第二卷积层对yz二维特征图i
yz
进行处理，得到特征图
[0093]
利用第二fcn-vgg16网络对特征图进行处理，得到特征图f
yz
；
[0094]
利用xz二维投影变换单元对所有点进行处理，得到xz二维特征图i
xz
；
[0095]
利用第三卷积层对xz二维特征图i
xz
进行处理，得到特征图
[0096]
利用第三fcn-vgg16网络对特征图进行处理，得到特征图f
xz
：
[0097]
利用通道融合单元对特征图f
xy
、特征图f
yz
和特征图f
xz
进行拼接处理，得到融合后的特征图f
concat
；
[0098]
利用第一分支对对齐后的点云数据进行处理，得到特征图f1，特征图f1的维度和f
concat
相同；
[0099]
利用加法单元对特征图f
concat
和特征图f1进行相加，得到最终的特征图。
[0100]
其中，利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
，包括：
[0101]
将对所有点在x-y平面上进行投影变化，在x-y平面的设定区域的网格点处的特征向量为：
[0102][0103][0104][0105]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量，包括法向量和rgb三个颜色值等；向量和rgb三个颜色值等；i和j为特征图的长和宽；
[0106]
则xy二维特征图i
xy
的第(p，q)个像素的特征向量为i
xy
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0107]
其中，利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
，包括：
[0108]
将对所有点在y-z平面上进行投影变化，在y-z平面的设定区域的网格点处的特征向量为：
[0109][0110][0111][0112]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；
[0113]
则yz二维特征图i
yz
的第(p，q)个像素的特征向量为i
yz
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0114]
其中，利用xz二维投影变换单元对所有点进行处理，得到xz二维特
征图i
xz
；包括：
[0115]
将对所有点在x-z平面上进行投影变化，在x-z平面的设定区域的网格点处的特征向量为：
[0116][0117][0118][0119]
其中，g(
·
，
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；
[0120]
则xz二维特征图i
xz
的第(p，q)个像素的特征向量为i
xz
(p/i，q/j)，1≤p≤i，1≤q≤j。
[0121]
步骤103：对最终的特征图进行点云分割处理，得到点云分割结果。
[0122]
在本实施例中，利用预先训练完成的全连接层对最终的特征图进行点云分割处理，得到点云分割结果。
[0123]
此外，所述方法还包括：对多层感知机、特征提取模型和全连接层进行联合训练的步骤；具体包括：
[0124]
获取训练数据集，包括多个标注点云分割结果的点云数据样本；
[0125]
获取训练数据集，包括多个标注点云分割结果的点云数据样本；
[0126]
利用多层感知机对点云数据样本进行处理，得到对齐后的点云数据样本；
[0127]
利用特征提取模型对对齐后的点云数据样本进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的样本特征图；
[0128]
利用全连接层对最终的样本特征图进行处理，得到预测的点云分割结果；
[0129]
利用预测的点云分割结果和真实的点云分割结果，利用交叉熵计算损失函数；
[0130]
采用交叉熵(crosss-entropy)计算损失函数ce为：
[0131][0132]
其中k
n，i
和q
n，i
分别代表了预测结果和真值，n和m分别代表点和类别的序号；
[0133]
基于损失函数，更新多层感知机、特征提取模型和全连接层的参数。
[0134]
基于上述实施例，本技术实施例提供了一种适用于恶劣环境的低功耗自动驾驶点云分割装置，参阅图2所示，本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割装置200至少包括：
[0135]
预处理单元201，用于对原始点云数据进行对齐处理，得到对齐后的点云数据；
[0136]
二维投影变换单元202，用于对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维
特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；
[0137]
点云分割单元203，用于对最终的特征图进行点云分割处理，得到点云分割结果。
[0138]
需要说明的是，本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割装置200解决技术问题的原理与本技术实施例提供的方法相似，因此，本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割装置200的实施可以参见本技术实施例提供的方法的实施，重复之处不再赘述。
[0139]
基于上述实施例，本技术实施例还提供了一种电子设备，参阅图3所示，本技术实施例提供的电子设备300至少包括：处理器301、存储器302和存储在存储器302上并可在处理器301上运行的计算机程序，处理器301执行计算机程序时实现本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割方法。
[0140]
本技术实施例提供的电子设备300还可以包括连接不同组件(包括处理器301和存储器302)的总线303。其中，总线303表示几类总线结构中的一种或多种，包括存储器总线、外围总线、局域总线等。
[0141]
存储器302可以包括易失性存储器形式的可读介质，例如随机存储器(random access memory，ram)3021和/或高速缓存存储器3022，还可以进一步包括只读存储器(read only memory，rom)3023。
[0142]
存储器302还可以包括具有一组(至少一个)程序模块3024的程序工具3025，程序模块3024包括但不限于：操作子系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0143]
电子设备300也可以与一个或多个外部设备304(例如键盘、遥控器等)通信，还可以与一个或者多个使得用户能与电子设备300交互的设备通信(例如手机、电脑等)，和/或，与使得电子设备300与一个或多个其它电子设备300进行通信的任何设备(例如路由器、调制解调器等)通信。这种通信可以通过输入/输出(input/output，i/o)接口305进行。并且，电子设备300还可以通过网络适配器306与一个或者多个网络(例如局域网(local area network，lan)，广域网(wide area network，wan)和/或公共网络，例如因特网)通信。如图3所示，网络适配器306通过总线303与电子设备300的其它模块通信。应当理解，尽管图3中未示出，可以结合电子设备300使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(redundant arrays of independent disks，raid)子系统、磁带驱动器以及数据备份存储子系统等。
[0144]
需要说明的是，图3所示的电子设备300仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0145]
本技术实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机指令，该计算机指令被处理器执行时实现本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割方法。具体地，该可执行程序可以内置或者安装在电子设备300中，这样，电子设备300就可以通过执行内置或者安装的可执行程序实现本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割方法。
[0146]
本技术实施例提供的适用于恶劣环境的低功耗自动驾驶点云分割方法还可以实现为一种程序产品，该程序产品包括程序代码，当该程序产品可以在电子设备300上运行时，该程序代码用于使电子设备300执行本技术实施例提供的适用于恶劣环境的低功耗自
动驾驶点云分割方法。
[0147]
本技术实施例提供的程序产品可以采用一个或多个可读介质的任意组合，其中，可读介质可以是可读信号介质或者可读存储介质，而可读存储介质可以是但不限于是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合，具体地，可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、ram、rom、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、光纤、便携式紧凑盘只读存储器(compact disc read-only memory，cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0148]
本技术实施例提供的程序产品可以采用cd-rom并包括程序代码，还可以在计算设备上运行。然而，本技术实施例提供的程序产品不限于此，在本技术实施例中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0149]
应当注意，尽管在上文详细描述中提及了装置的若干单元或子单元，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多单元的特征和功能可以在一个单元中具体化。反之，上文描述的一个单元的特征和功能可以进一步划分为由多个单元来具体化。
[0150]
此外，尽管在附图中以特定顺序描述了本技术方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0151]
最后所应说明的是，以上实施例仅用以说明本技术的技术方案而非限制。尽管参照实施例对本技术进行了详细说明，本领域的普通技术人员应当理解，对本技术的技术方案进行修改或者等同替换，都不脱离本技术技术方案的精神和范围，其均应涵盖在本技术的权利要求范围当中。

技术特征：
1.一种适用于恶劣环境的低功耗自动驾驶点云分割方法，其特征在于，包括：对原始点云数据进行对齐处理，得到对齐后的点云数据；对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；对最终的特征图进行点云分割处理，得到点云分割结果。2.根据权利要求1所述的方法，其特征在于，对原始点云数据进行对齐处理，得到对齐后的点云数据，包括：原始点云数据表示为：p
i
为第i个点，n为点云数据中点的个数；第i个点p
i
的三维坐标为(x
i
,y
i
,z
i
)；利用预先训练完成的多层感知机对第i个点p
i
进行处理，得到点其三维坐标为：其中，所述多层感知机为3
×
3变换矩阵martix
t
；对齐后的点云数据表示为3.根据权利要求2所述的方法，其特征在于，对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；包括：利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特征图；所述特征提取模型包括并行的第一分支和第二分支以及加法单元，第一分支包括连接的卷积核大小为1
×
1的卷积层和最大池化层；第二分支包括：正则化单元、三个并联的xy二维特征提取子分支、yz二维特征提取子分支和xz二维特征提取子分支以及通道融合单元；xy二维特征提取子分支包括xy二维投影变换单元、第一卷积层和第一fcn-vgg16网络，yz二维投影子分支包括yz二维投影变换单元、第二卷积层和第二fcn-vgg16网络，xz二维特征提取子分支包括xz二维投影变换单元、第三卷积层和第三fcn-vgg16网络。4.根据权利要求3所述的方法，其特征在于，利用预先训练完成的特征提取模型对对齐后的点云数据进行处理，得到最终的特征图；包括：利用正则化单元对对齐后的点云数据的第i个点进行softmax归一化处理，得到点点的三维坐标值均小于1利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
；利用第一卷积层对xy二维特征图i
xy
进行处理，得到特征图利用第一fcn-vgg16网络对特征图进行处理，得到特征图f
xy
；利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
；利用第二卷积层对yz二维特征图i
yz
进行处理，得到特征图
利用第二fcn-vgg16网络对特征图进行处理，得到特征图f
yz
；利用xz二维投影变换单元对所有点进行处理，得到xz二维特征图i
xz
；利用第三卷积层对xz二维特征图i
xz
进行处理，得到特征图利用第三fcn-vgg16网络对特征图进行处理，得到特征图f
xz
：利用通道融合单元对特征图f
xy
、特征图f
yz
和特征图f
xz
进行拼接处理，得到融合后的特征图f
concat
；利用第一分支对对齐后的点云数据进行处理，得到特征图f1，特征图f1的维度和f
concat
相同；利用加法单元对特征图f
concat
和特征图f1进行相加，得到最终的特征图。5.根据权利要求4所述的方法，其特征在于，利用xy二维投影变换单元对所有点进行处理，得到xy二维特征图i
xy
，包括：将对所有点在x-y平面上进行投影变化，在x-y平面的设定区域的网格点处的特征向量为：为：为：其中，g(
·
,
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；则xy二维特征图i
xy
的第(p,q)个像素的特征向量为i
xy
(p/i,q/j)，1≤p≤i，1≤g≤j。6.根据权利要求4所述的方法，其特征在于，利用yz二维投影变换单元对所有点进行处理，得到yz二维特征图i
yz
，包括：将对所有点在y-z平面上进行投影变化，在y-z平面的设定区域的网格点处的特征向量为：为：为：其中，g(
·
,
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；则yz二维特征图i
yz
的第(p,q)个像素的特征向量为i
yz
(p/i,q/j)，1≤p≤i，1≤q≤j。
7.根据权利要求4所述的方法，其特征在于，利用xz二维投影变换单元对所有点进行处理，得到xz二维特征图i
xz
；包括：将对所有点在x-z平面上进行投影变化，在x-z平面的设定区域的网格点处的特征向量为：为：为：其中，g(
·
,
·
)为线性插值权重函数，表示点的特征向量；的特征向量；i和j为特征图的长和宽；则xz二维特征图i
xz
的第(p,q)个像素的特征向量为i
xz
(p/i,q/j)，1≤p≤i，1≤q≤j。8.根据权利要求4所述的方法，其特征在于，对最终的特征图进行点云分割处理，得到点云分割结果；包括：利用预先训练完成的全连接层对最终的特征图进行点云分割处理，得到点云分割结果。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：对多层感知机、特征提取模型和全连接层进行联合训练的步骤；具体包括：获取训练数据集，包括多个标注点云分割结果的点云数据样本；利用多层感知机对点云数据样本进行处理，得到对齐后的点云数据样本；利用特征提取模型对对齐后的点云数据样本进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的样本特征图；利用全连接层对最终的样本特征图进行处理，得到预测的点云分割结果；利用预测的点云分割结果和真实的点云分割结果，利用交叉熵计算损失函数；基于损失函数，更新多层感知机、特征提取模型和全连接层的参数。10.一种适用于恶劣环境的低功耗自动驾驶点云分割装置，其特征在于，包括：预处理单元，用于对原始点云数据进行对齐处理，得到对齐后的点云数据；二维投影变换单元，用于对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；点云分割单元，用于对最终的特征图进行点云分割处理，得到点云分割结果。

技术总结
本申请提供适用于恶劣环境的低功耗自动驾驶点云分割方法及装置，涉及自动驾驶技术领域，所述方法包括：对原始点云数据进行对齐处理，得到对齐后的点云数据；对对齐后的点云数据进行三个正交平面的二维投影变换，得到三个正交平面的二维特征图，拼接后得到融合后的二维特征图，将融合后的二维特征图和相同尺寸的原始特征图进行相加，得到最终的特征图；对最终的特征图进行点云分割处理，得到点云分割结果。本申请的方法计算量小，能够提高恶劣环境下采集的点云数据的分割精度。下采集的点云数据的分割精度。下采集的点云数据的分割精度。


技术研发人员：张新钰 谢涛 王力 戴崑 蒋志强 吴新刚
受保护的技术使用者：清华大学
技术研发日：2023.06.02
技术公布日：2023/8/21