一种激光雷达点云分割方法、系统、设备及存储介质与流程

1.本技术实施例涉及深度学习与自动驾驶感知技术领域，特别涉及一种激光雷达点云分割方法、系统、设备及存储介质。


背景技术：

2.激光雷达点云分割是自动驾驶感知中的重要任务之一。近年来，基于不同表征的激光雷达点云分割算法被相继提出。其中，基于距离视图的表征是激光雷达点云分割中常见且实用的表征之一。该表征将三维空间中的点投影至排列紧凑的二维的距离视图图像上，以实现三维到二维的栅格化。如此一来，能够将三维的激光雷达点云分割问题转化为二维的距离视图图像分割问题，从而提升了点云表征的紧凑性，并降低了计算复杂度。
3.现有的基于距离视图表征的激光雷达点云分割算法，即rangenet++、fidnet和cenet，均由全卷积网络所构成。由于卷积操作本身受限于较小感受野，难以建模长距离范围下的特征表征。基于距离视图表征的激光雷达点云分割将三维空间中的点栅格化至二维空间，该转化过程受距离视图图像分辨率等的制约，导致了一系列可能出现的转化问题。然而，基于全卷积网络的分割模型由于不具备全局感受野和长距离范围下的特征建模等特性，难以缓解上述问题。


技术实现要素：

4.本技术实施例提供一种激光雷达点云分割方法、系统、设备及存储介质，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。
5.为解决上述技术问题，第一方面，本技术实施例提供一种激光雷达点云分割方法，包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。
6.在一些示例性实施例中，在将栅格化后的距离视图图像送至分割网络之前，包括：对栅格化后的距离视图图像进行数据增强处理。
7.在一些示例性实施例中，在将栅格化后的距离视图图像送至分割网络之前，还包括：将栅格化后的距离视图图像进行切割，得到若干个子距离视图图像；以所述子距离视图图像作为分割网络的输入。
8.在一些示例性实施例中，所述栅格化后的距离视图图像通过对激光雷达点云进行栅格化处理得到，所述栅格化处理包括：将激光雷达点云中的每个点投影至距离视图图像的栅格中，得到点云输入；所述点云输入由二维距离视图图像表征；且所述点云输入包括以下特征：点的坐标、深度、反射强度和掩码；其中，掩码用于表征所述点云输入中每一个栅格
位置是否包含有效的点。
9.在一些示例性实施例中，通过公式(1)对所述特征图进行注意力计算，所述公式(1)如下所示：
10.o＝multi(q，k，v)＝concat(head1，...，headh)woꢀꢀꢀꢀ
(1)
11.其中，o为多头注意力模块的输出；为自注意力机制；为注意力计算公式；σ表示归一化指数函数，d
head
表示头的维度；wq、wk、wv、wo分别为自注意力机制中的查询q、键值k、值项v和输出o的权重矩阵。
12.第二方面，本技术实施例还提供了一种激光雷达点云分割系统，包括：分割网络以及与所述分割网络连接的投影模块，所述分割网络的输入为栅格化后的距离视图图像，所述分割网络的输出为距离视图图像中每个栅格位置对于不同语义类别的概率分布；分割网络用于将所述栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对所述特征图进行注意力计算，得到与所述特征图对应的特征；并对所述特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；投影模块用于将所述网络输出投影至三维空间，完成对激光雷达点云的语义分割。
13.在一些示例性实施例中，所述分割网络包括依次相连的距离嵌入模块、分割模块以及语义分割头模块；所述距离嵌入模块、所述语义分割头模块均包括若干层多层感知机；所述分割模块包括多个依次相连的子分割模块，每个所述子分割模块包括块嵌入模块、加与归一化模块、前向模块、多头注意力模块以及块聚合模块；所述距离嵌入模块用于将所述距离视图图像映射至高维嵌入中，得到特征图；所述分割模块用于将所述特征图送入所述子分割模块中进行注意力计算，以进行特征提取，得到每个阶段的特征；所述阶段与所述子分割模块一一对应；所述语义分割头模块用于利用每个阶段的特征进行语义类别预测。
14.在一些示例性实施例中，所述前向模块包括若干层多层感知机和激活函数；所述前向模块通过公式(2)表征：
[0015][0016]
其中，ffn(
·
)表示前向模块；linear(
·
)表示线性层；表示残差连接。
[0017]
另外，本技术还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述激光雷达点云分割方法。
[0018]
另外，本技术还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述激光雷达点云分割方法。
[0019]
本技术实施例提供的技术方案至少具有以下优点：
[0020]
本技术实施例提供一种激光雷达点云分割方法、系统、设备及存储介质，该方法包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。
[0021]
本技术提供的激光雷达点云分割方法，是基于自注意力机制的激光雷达点云分割算法；该算法使用距离视图表征，在保证高推理速度的同时，追求相较现有算法更优的分割性能，以在性能与速度之间实现更好的权衡。本技术提供的激光雷达点云分割方法，不同于以往由全卷积网络所构成的分割算法，本技术所提出的算法由自注意力机制搭建，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。
附图说明
[0022]
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。
[0023]
图1为一种基于距离视图表征的激光雷达点云分割流程示意图；
[0024]
图2为本技术一实施例提供的一种激光雷达点云分割方法的流程示意图；
[0025]
图3为本技术一实施例提供的scpnet的框架图；
[0026]
图4为本技术一实施例提供的一种激光雷达点云分割系统的结构示意图；
[0027]
图5为本技术一实施例提供的分割网络的结构示意图；
[0028]
图6为本技术另一实施例提供的分割网络的结构示意图；
[0029]
图7为本技术一实施例提供的子分割模块的结构示意图；
[0030]
图8为本技术一实施例提供的激光雷达点云分割方法在semantickitti数据集中的激光雷达点云分割性能表现及与以往方法的数据比较图；
[0031]
图9为本技术一实施例提供的一种电子设备的结构示意图。
具体实施方式
[0032]
由背景技术可知，现有的激光雷达点云分割算法由于卷积操作本身受限于较小感受野，难以建模长距离范围下的特征表征。基于距离视图表征的激光雷达点云分割将三维空间中的点栅格化至二维空间，该转化过程受距离视图图像分辨率等的制约，导致了一系列可能出现的转化问题。
[0033]
激光雷达点云分割是自动驾驶感知中的重要任务之一。近年来，基于不同表征的激光雷达点云分割算法被相继提出，包括：基于点的分割算法、基于体素的分割算法、基于距离视图的分割算法、基于鸟瞰视图的分割算法，以及基于多表征融合的分割算法。在上述方法中，基于点、体素和多表征融合的算法往往受到邻域搜索、三维算子或多分支网络结构等的限制，难以达到较快甚至实时的推理速度。得益于紧凑的排列和高效的二维算子(2doperator)的优势，基于距离视图和鸟瞰视图的算法往往具有较快的推理速度。然而，现有的基于距离视图和鸟瞰视图的算法的分割性能明显落后于基于体素和多表征融合的算法。
[0034]
目前，在激光雷达点云分割算法中，基于距离视图的表征是常见且实用的表征之一。该表征通过将三维空间中的点投影至排列紧凑的二维的距离视图图像上，以实现三维到二维的栅格化。具体地，安装在自动驾驶车车顶的旋转式激光雷达按照预设角度向外发出激光射线，激光射线在接触到物体后返回，其空间位置可由发射-收回的时间差计算所得。由激光射线收集得到的激光雷达点云由n个三维空间中的点组成，每个点记录着三维坐
标信息p
x
、py、pz与激光射线反射强度pi。距离视图由宽为w高为h的距离视图图像所表征，其将在三维空间中的点按照三维坐标信息排列并投影至距离视图图像中。
[0035]
一个完整的基于距离视图表征的激光雷达点云分割流程如图1所示。基于距离视图表征的激光雷达点云分割任务以距离视图图像为网络输入，经由神经网络模型进行输入数据特征提取，以实现对距离视图图像中每一个栅格的语义类别的预测。预测后的距离视图图像中的栅格将从二维投影回三维，从而实现对激光雷达点云的分割。
[0036]
现有的基于距离视图表征的激光雷达点云分割算法由全卷积网络构成，其中有代表性的方案包括：rangenet++、fidnet和cenet。rangenet++提出了一个由全卷积网络组成的激光雷达点云分割网络结构，该结构以三维到二维栅格化后的距离视图图像为输入，通过使用卷积操作进行特征提取，在对特征进行反卷积操作后进行预测，并将预测后的距离视图图像中的栅格重新投影到三维空间，以实现对激光雷达点云的语义类别分割。fidnet在rangenet++的基础上进行了改进。前者使用了标准的残差网络resnet作为激光雷达点云分割网络的骨干，并将反卷积操作替换为双线性插值，实现了对点云分割精度的提升。cenet进一步改进了fidnet中的网络结构，其使用了更大感受野的卷积操作，以在特征提取时聚合更大范围内的信息。
[0037]
现有的基于距离视图表征的激光雷达点云分割算法，即rangenet++、fidnet和cenet，均由全卷积网络所构成。由于卷积操作本身受限于较小感受野，难以建模长距离范围下的特征表征。基于距离视图表征的激光雷达点云分割将三维空间中的点栅格化至二维空间，该转化过程受距离视图图像分辨率等的制约，导致了一系列可能出现的转化问题。然而，基于全卷积网络的分割模型由于不具备全局感受野和长距离范围下的特征建模等特性，难以缓解上述问题。
[0038]
为解决上述技术问题，本技术实施例提供一种激光雷达点云分割方法，包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。本技术实施例提供的激光雷达点云分割方法，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。
[0039]
下面将结合附图对本技术的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施例中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本技术所要求保护的技术方案。
[0040]
参看图1，本技术实施例提供了一种激光雷达点云分割方法，包括以下步骤：
[0041]
步骤s1、以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图。
[0042]
步骤s2、对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布。
[0043]
步骤s3、以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。
[0044]
本技术提供的激光雷达点云分割方法，是基于自注意力机制的激光雷达点云分割算法，该算法使用距离视图表征，在保证高推理速度的同时，追求相较现有算法更优的分割性能，以在性能与速度之间实现更好的权衡。本技术能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。与此同时，为了使模型在训练时学习到更通用的表征和降低内存占用，本技术还提出了适合于距离视图图像的激光雷达点云分割数据增强方法和切分视角的激光雷达点云分割方法。上述数据增强方法和激光雷达点云分割方法在大规模激光雷达点云分割数据集上实现了更优的点云分割性能和更小的训练内存开销。
[0045]
在一些实施例中，在将栅格化后的距离视图图像送至分割网络之前，本技术提供的激光雷达点云分割方法包括：对栅格化后的距离视图图像进行数据增强处理。本技术通过提出一种新颖的可应用于基于距离视图表征的激光雷达点云分割算法的数据增强方法，将栅格化后的距离视图图像作为训练数据，在使用已有数据和标注的前提下生成新的训练数据，以增强训练数据的多样性，并最终有效地提升激光雷达点云分割的准确率。
[0046]
下面对本技术提供的可应用于基于距离视图表征的激光雷达点云分割算法的数据增强方法进行详细说明。
[0047]
数据增强往往可以增加训练数据的多样性，进而帮助分割网络学习到更通用和有效的表征。以往的基于激光雷达点云的数据增强方法主要集中在点的层面，即全局旋转、抖动、翻转和随机去除等。本技术提出一种新颖的可应用于基于距离视图表征的激光雷达点云分割算法的数据增强方法。该方法由四种数据增强方式组成，即：将两帧被栅格化为距离视图图像的点云进行混合(简称rangemix)、将两帧被栅格化为距离视图图像的点云进行并集(简称rangeunion)、将两帧被栅格化为距离视图图像的点云进行粘贴(简称rangepaste)以及在单帧被栅格化为距离视图图像的点云上对点云进行滑动(简称rangeshift)。该方法在使用已有数据和标注的前提下生成新的训练数据，以增强训练数据的多样性，并最终有效地提升激光雷达点云分割的准确率。
[0048]
具体的，rangemix操作将两帧被栅格化为距离视图图像的点云进行混合。该混合过程首先按照点云中每个点的倾角进行分组，其中p
x
、py、pz为前述的点云中点在三维空间中的坐标。随后，两帧点云在对应位置上的组以交织(interweave)的方式进行混合，形成两帧新的被混合的点云，从而实现对训练数据的增强。
[0049]
具体的，rangeunion操作将两帧被栅格化为距离视图图像的点云进行并集。如前文所述，由于点云的空间稀疏性，大部分的距离视图图像栅格中不包含有效点，这些位置被掩码pe表征。本技术使用pe对一帧点云中空的栅格进行索引，并在对应位置上补入另一帧点云中的有效点，从而实现对训练数据的增强。
[0050]
具体的，rangepaste操作将两帧被栅格化为距离视图图像的点云进行粘贴。本技术使用点云的语义标注对数据集中存在数量较小的语义类别进行索引。具体地，给定一帧点云，其中包含的存在数量较小的语义类别的点可由语义标注获得；本技术将这些点粘贴到随机采样的另一帧点云中，以实现对训练数据的增强。
[0051]
具体的，rangeshift操作在单帧被栅格化为距离视图图像的点云上进行。该操作
沿着方位角方向对点云进行滑动，其中方位角被表征为
[0052]
在一些实施例中，在将栅格化后的距离视图图像送至分割网络之前，本技术提供的激光雷达点云分割方法还包括：将栅格化后的距离视图图像进行切割，得到若干个子距离视图图像；以子距离视图图像作为分割网络的输入。也就是说，以切分后的子距离视图图像(子点云)作为分割网络(模型)的输入，并在分别被预测后重新拼接成为完整的点云。
[0053]
下面对本技术提供的适合于距离视图图像的切分视角的激光雷达点云分割方法进行具体说明。
[0054]
现有的激光雷达点云分割算法使用整个点云或距离视图图像进行训练。受限于计算器件的内存限制，以往算法往往对点云的栅格化分辨率进行了限制，如在激光雷达点云栅格化过程中使用较小的宽度w。这一操作在节省内存开销的同时带来了诸如“多对一”冲突、形变和语义不连贯等问题，进而影响了激光雷达点云分割的性能。
[0055]
本技术提出一种新颖的基于视角切分的激光雷达点云分割训练方式(简称str)。该方式如图3所示。str将点云或距离视图图像切割为等间隔的子点云或子距离视图图像，并用其进行训练，大大降低了模型训练时的内存占用。具体地，本技术将一帧完整的宽w高为h的被栅格化为距离视图图像的点云按照自车视角以等间隔的方式划分为若干个子点云；其中，每个子点云的宽为w
train
高为h。该操作在模型训练前进行；切分后的子点云作为模型的输入，并在分别被预测后重新拼接成为完整的点云。
[0056]
子点云以点的方位角为基准进行划分。该方式将一帧完整的涵盖360度视角的点云划分成为互不重叠的z个子点云，即：该操作保证了在点云的栅格化过程中使用高分辨率(即大的宽w的值)的可行性，从而缓解了因分辨率不足所造成的“多对一”冲突、形变和语义不连贯等问题。
[0057]
在训练过程中，对每一帧点云，本技术随机选取其z个子点云中的一个进行训练。在推理过程中，本技术对每一帧点云中的所有子点云进行预测，并在预测完成后按照与划分相同的操作进行拼接，从而得到对一帧完整点云的预测。str训练方式大大降低了激光雷达点云分割模型在训练时的内存占用，即以这种方式进行训练时，内存开销可变为原来的由此，本技术提出一种新颖的切分视角的激光雷达点云分割方法，与以往使用整个点云或距离视图图像进行训练不同，所提出的切分视角方式将点云或距离视图图像切割为等间隔的子点云或子距离视图图像，并用其进行训练，大大降低了模型训练时的内存占用。
[0058]
在一些实施例中，栅格化后的距离视图图像通过对激光雷达点云进行栅格化处理得到，栅格化处理包括：
[0059]
将激光雷达点云中的每个点投影至距离视图图像的栅格中，得到点云输入。
[0060]
所述点云输入由二维距离视图图像表征；且所述点云输入包括以下特征：点的坐标(p
x
、py、pz)、深度反射强度pi和掩码pe；其中，掩码pe用于表征点云输入中每一个栅格位置是否包含有效的点。
[0061]
具体的，由激光射线收集得到的激光雷达点云由n个存在于三维空间中的点组成，每个点记录着三维坐标信息p
x
、py、pz与激光射线反射强度pi。具体地，对于某点云中的某个
点pn而言，本技术将其投影至宽为w高为h的距离视图图像的栅格中，该栅格化过程可由如下公式描述：
[0062][0063]
其中，(un，vn)为点pn在距离视图图像中的坐标；为点pn到激光雷达传感器之间的深度；ξ＝|φ
up
|+|φ
down
|为激光雷达传感器在垂直方向(即z-方向)上的视角范围，其中φ
up
和φ
down
分别为传感器朝上和朝下方向的倾角(inclination)。一般而言，距离视图图像的高度h由激光雷达传感器本身参数配置所设定，如64线传感器收集的点云通常将高度设置为h＝64。距离视图图像的宽度w可根据自身需求进行设置。
[0064]
对激光雷达点云中的每个点按照上述公式进行处理，可以得到一个由二维距离视图图像表征的点云输入其由六个通道的特征所组成，包括：点的坐标(p
x
、py、pz)、深度反射强度pi和掩码pe。其中掩码pe用于表征中每一个栅格位置是否包含有效的点。
[0065]
参看图4，本技术实施例还提供了一种激光雷达点云分割系统，包括：分割网络101以及与分割网络101连接的投影模块102，分割网络101的输入为栅格化后的距离视图图像，分割网络101的输出为距离视图图像中每个栅格位置对于不同语义类别的概率分布；分割网络101用于将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；并对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；投影模块102用于将网络输出投影至三维空间，完成对激光雷达点云的语义分割。
[0066]
参看图4，在一些实施例中，分割网络101包括依次相连的距离嵌入模块1011、分割模块1012以及语义分割头模块1013；其中，如图5所示，距离嵌入模块1011、语义分割头模块1013均包括若干层多层感知机；分割模块1012包括多个依次相连的子分割模块。图6示出了分割网络的整体结构示意图。如图7所示，每个子分割模块包括块嵌入模块121、加与归一化模块122、前向模块123、多头注意力模块124以及块聚合模块125；距离嵌入模块1011用于将距离视图图像映射至高维嵌入中，得到特征图；分割模块1012用于将特征图送入子分割模块中进行注意力计算，以进行特征提取，得到每个阶段的特征；其中，阶段与子分割模块一一对应，例如四个子分割模块分别对应四个阶段；语义分割头模块1013用于利用每个阶段的特征进行语义类别预测。
[0067]
在一些实施例中，前向模块123包括若干层多层感知机和激活函数(activation function)；前向模块123可以通过如下公式进行表征：
[0068][0069]
其中，ffn(
·
)表示前向模块；linear(
·
)表示线性层；表示残差连接。
[0070]
需要说明的是，前向模块123可以由三层多层感知机mlp和激活函数组成。
[0071]
为了实现全局感受野和长距离范围特征建模，本技术提出了一个新颖的基于自注意力机制的激光雷达点云分割算法。该算法的网络结构(分割网络)部分如图6所示。具体地，给定一个批次(batch)的栅格化后的宽为w高为h的距离视图图像作为网络输入，其经由距离嵌入模块(range embedding module,rem)和4个阶段(stage)组成的分割骨干进行特征提取，然后由四个分割头(head)进行语义预测。每个阶段(stage)由如图7所示的子分割模块(transformer block)组成，其中，每个子分割模块包含了块嵌入(patch embedding)模块、多头注意力(multi-head attention)模块、加与归一化(add&normalization)模块、前向(feed forward)模块、加与归一化(add&normalization)模块和块聚合(patch merge)模块等模块组成。
[0072]
如图5所示，距离嵌入模块1011可以由三层多层感知机(multi-layer perceptron,mlp)组成。距离嵌入模块将距离视图图像映射到高维嵌入中，以得到的特征图(feature map)。随后，在第1个子分割模块(分割骨干阶段stage)中进行注意力计算。具体地，宽为w高为h特征图被分割为尺寸为3
×
3的块(patch)，作为子分割模块(transformer block)的输入。每一个阶段(stage)中的子分割模块均采用相同的块(patch)划分方式，并送入其中各个模块进行特征提取，以得到每个阶段(stage)的特征其空间尺寸分别为：h
×
w、和
[0073]
多头注意力模块124作为子分割模块中主要的计算模块，在一些实施例中，通过如下公式对所述特征图进行注意力计算：
[0074]
o＝multi(q，k，v)＝concat(head1，...，headh)wo[0075]
其中，o为多头注意力模块的输出；为自注意力机制；为注意力计算公式；σ表示归一化指数函数，d
head
表示头的维度；wq、wk、wv、wo分别为自注意力机制中的查询(query)q、键值(key)k、值项(value)v和输出o的权重矩阵。
[0076]
语义分割头模块1013利用由各阶段的子分割模块组成的分割骨干所生成的特征进行语义类别预测。为了避免过于繁杂的计算，本技术采用简单的多层感知机mlp作为分割头。如图5所示，语义分割头模块1013可以由四个依次相连的多层感知机组成。首先，由四个阶段输出的空间尺寸分别为h
×
w、和的特征图经由一层线性层进行通道数统一；然后，通道数统一后的特征图经由双线性插值被统一到相同的空间尺寸，即h
×
w。对于第i个阶段(stage)，i＝1,2,3,4，上述过程可由如下公式表征：
[0077][0078]
其中，bi-interpolate(
·
)表示双线性插值；linear(
·
)表示线性层，即多层感知机。最后，统一了通道数和空间尺寸的四个特征图，即被按通道维度拼接到一起，并通过两层线性层分别将通道数映射到d
cls
，即数据集中的语义类别数，从而组成距离视图图像中每个栅格位置对于不同语义类别的概率分布。该概率分布即为本专利提出
的于自注意力机制的激光雷达点云分割网络的输出，其可被重栅格化到三维空间中，从而完成对激光雷达点云的语义分割。
[0079]
相较于现有技术，一方面，本技术提出的基于自注意力机制的激光雷达点云分割算法实现了更优的点云分割性能；另一方面，本专利中提出的基于自注意力机制的激光雷达点云分割算法大大减少了在训练过程中所需的内存占用及开销。
[0080]
本技术提出的基于自注意力机制的激光雷达点云分割算法的可行性在三个标准的激光雷达点云分割数据集上进行了详尽的实验与分析。具体地，本技术使用了semantickitti，一个采用64线激光雷达收集点云数据的大型数据集，以符合标准的数据集划分方式，即对应的训练、验证和测试划分，对本专利所提出的算法进行了性能验证。实验结果如附图中图8所示。
[0081]
参考图9，本技术另一实施例提供了一种电子设备，包括：至少一个处理器110；以及，与至少一个处理器通信连接的存储器111；其中，存储器111存储有可被至少一个处理器110执行的指令，指令被至少一个处理器110执行，以使至少一个处理器110能够执行上述任一方法实施例。
[0082]
其中，存储器111和处理器110采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器110和存储器111的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器110处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器110。
[0083]
处理器110负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器111可以被用于存储处理器110在执行操作时所使用的数据。
[0084]
本技术另一实施例涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
[0085]
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0086]
由以上技术方案，本技术实施例提供一种激光雷达点云分割方法、系统、设备及存储介质，该方法包括以下步骤：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。
[0087]
本技术提供的激光雷达点云分割方法，是基于自注意力机制的激光雷达点云分割
算法；该算法使用距离视图表征，在保证高推理速度的同时，追求相较现有算法更优的分割性能，以在性能与速度之间实现更好的权衡。本技术提供的激光雷达点云分割方法，不同于以往由全卷积网络所构成的分割算法，本技术所提出的算法由自注意力机制搭建，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。
[0088]
本领域的普通技术人员可以理解，上述各实施方式是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。任何本领域技术人员，在不脱离本技术的精神和范围内，均可作各自更动与修改，因此本技术的保护范围应当以权利要求限定的范围为准。

技术特征：
1.一种激光雷达点云分割方法，其特征在于，包括：以栅格化后的距离视图图像作为分割网络的输入，将所述栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对所述特征图进行注意力计算，得到与所述特征图对应的特征；对所述特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以所述概率分布作为分割网络的输出，并将所述网络输出投影至三维空间，完成对激光雷达点云的语义分割。2.根据权利要求1所述的激光雷达点云分割方法，其特征在于，在将栅格化后的距离视图图像送至分割网络之前，包括：对所述栅格化后的距离视图图像进行数据增强处理。3.根据权利要求1所述的激光雷达点云分割方法，其特征在于，在将栅格化后的距离视图图像送至分割网络之前，还包括：将栅格化后的距离视图图像进行切割，得到若干个子距离视图图像；以所述子距离视图图像作为分割网络的输入。4.根据权利要求1所述的激光雷达点云分割方法，其特征在于，所述栅格化后的距离视图图像通过对激光雷达点云进行栅格化处理得到，所述栅格化处理包括：将激光雷达点云中的每个点投影至距离视图图像的栅格中，得到点云输入；所述点云输入由二维距离视图图像表征；且所述点云输入包括以下特征：点的坐标、深度、反射强度和掩码；其中，掩码用于表征所述点云输入中每一个栅格位置是否包含有效的点。5.根据权利要求1所述的激光雷达点云分割方法，其特征在于，通过公式(1)对所述特征图进行注意力计算，所述公式(1)如下所示：o＝multi(q，k，v)＝concat(head1，...，head
h
)w
o
ꢀꢀꢀꢀ
(1)其中，o为多头注意力模块的输出；为自注意力机制；为注意力计算公式；σ表示归一化指数函数，d
head
表示头的维度；w
q
、w
k
、wv、w
o
分别为自注意力机制中的查询q、键值k、值项v和输出o的权重矩阵。6.一种激光雷达点云分割系统，其特征在于，包括：分割网络以及与所述分割网络连接的投影模块，所述分割网络的输入为栅格化后的距离视图图像，所述分割网络的输出为距离视图图像中每个栅格位置对于不同语义类别的概率分布；所述分割网络用于将所述栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对所述特征图进行注意力计算，得到与所述特征图对应的特征；并对所述特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；所述投影模块用于将所述网络输出投影至三维空间，完成对激光雷达点云的语义分割。7.根据权利要求6所述的激光雷达点云分割系统，其特征在于，所述分割网络包括依次相连的距离嵌入模块、分割模块以及语义分割头模块；
所述距离嵌入模块、所述语义分割头模块均包括若干层多层感知机；所述分割模块包括多个依次相连的子分割模块，每个所述子分割模块包括块嵌入模块、加与归一化模块、前向模块、多头注意力模块以及块聚合模块；所述距离嵌入模块用于将所述距离视图图像映射至高维嵌入中，得到特征图；所述分割模块用于将所述特征图送入所述子分割模块中进行注意力计算，以进行特征提取，得到每个阶段的特征；所述阶段与所述子分割模块一一对应；所述语义分割头模块用于利用每个阶段的特征进行语义类别预测。8.根据权利要求7所述的激光雷达点云分割系统，其特征在于，所述前向模块包括若干层多层感知机和激活函数；所述前向模块通过公式(2)表征：其中，ffn(
·
)表示前向模块；linear(
·
)表示线性层；表示残差连接。9.一种电子设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一所述的激光雷达点云分割方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一所述的激光雷达点云分割方法。

技术总结
本申请实施例涉及三维场景补全技术领域，特别涉及一种激光雷达点云分割方法、系统、设备及存储介质，该方法包括：以栅格化后的距离视图图像作为分割网络的输入，将栅格化后的距离视图图像映射至高维嵌入中，得到特征图；对特征图进行注意力计算，得到与特征图对应的特征；对特征进行语义类别预测，得到距离视图图像中每个栅格位置对于不同语义类别的概率分布；以概率分布作为分割网络的输出，并将网络输出投影至三维空间，完成对激光雷达点云的语义分割。本申请提供的激光雷达点云分割方法，能够在全局感受野下建模长距离范围特征，以更好地解决基于距离视图表征的激光雷达点云分割中存在的问题。割中存在的问题。割中存在的问题。


技术研发人员：侯跃南 孔令东 刘有权 陈润楠 祝新革 马月昕 李怡康 乔宇 刘子纬
受保护的技术使用者：上海人工智能创新中心
技术研发日：2023.03.16
技术公布日：2023/7/11