一种基于关键点点云局部特征的三维目标检测方法

1.本发明属于计算机视觉技术领域，具体是一种基于关键点点云局部特征的三维目标检测方法。


背景技术：

2.三维目标检测中常用的有两种方法，基于点的方法和基于体素的方法。基于点的方法：这种方法将三维点云数据看作一系列散点，直接对每个点进行处理。其优点在于具有较高的几何灵活性和可扩展性，同时也能够准确地捕捉点云数据的细节和局部特征。但是，由于点云数据的稀疏性和无序性，基于点的方法在处理大型场景时会存在效率和准确度方面的问题。这方面代表性的研究有pointnet和pointnet++。fpointnet首先提出将pointnet应用于基于2d图像边界框的裁剪点云的3d检测。pointrcnn直接从整个点云生成3d候选框，而不是仅使用点云进行3d检测的2d图像。
3.基于体素的方法：这种方法将三维点云数据划分为一系列规则的体素(即三维像素)，然后对每个体素进行处理。相比于基于点的方法，基于体素的方法具有更高的计算效率和稳定性，且容易集成卷积神经网络(cnn)等深度学习技术。但是，基于体素的方法也存在着数据维度较高、信息损失严重等问题。相关研究有voxelnet和second算法。
4.现有近似方案中，基于点的关键点采样和点集特征提取方法，主要是pointnet++的最远点采样算法进行关键点采样，获得均匀的全局关键点，然后经过特征抽象层进行特征提取。pointnet++和pointrcnn使用集合抽象层(sa)进行下采样得到关键点以获得更高的效率和扩大感受野，得到关键点邻域的局部特征。集合抽象层利用最远点采样算法来进行降采样获得关键点的子集作为下采样的代表点。但是这种抽样方法只考虑了点之间的相对位置，由于我们所感兴趣的点数量没有背景点数量那么巨大，且由于激光雷达点云的不均匀性，近处的点稠密，远处稀疏，远处物体上可能只有几个点。这样再用这种方法，被采样到的关键点实际上是背景点，远处物体的点就被过滤掉了，使它们不会被检测到。大多数现有方法在下采样过程中应用特征传播层(fp)来召回那些被放弃的有用点，但它们必须付出更长的推理时间的计算开销。


技术实现要素：

5.针对上述现有技术的缺点，本发明提出一种基于关键点点云局部特征的三维目标检测方法，通过采样空间距离的最远点、特征距离的最远点，以及点到中心的距离，三种采样方式获得各三分之一关键点，并通过多维特征融合生成最终的关键点点云。
6.本发明的技术解决方案如下：
7.一种基于关键点点云局部特征的三维目标检测方法，包括：获取当前时刻待检测的点云数据；将获取的点云数据输入到训练好的多维特征融合的特征编码网中，得到目标检测结果，其特点在于，所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码，得到关键点点云局部特征，具体步骤如下：
8.s1.获取n个原始点云数据；
9.s2.通过空间距离最远点采样法，从n个点中采样n’/3个点，作为关键点；
10.s3.通过特征距离最远点采样法，从n个点中采样n’/3个点，作为关键点；
11.s4.将点云坐标系转换为以激光雷达为原点的坐标系，计算逐点距离坐标原点的相对距离，根据点到坐标原点的距离设置不同的采样概率，点被随机采样的概率与点到原点的距离成正比，从n个点中采样n’/3个点；
12.s5.将步骤s2、步骤s3和步骤s4分别采样得到的点云重新组合成一个n’个点的关键点云集合，并通过点集抽象模块(sa)进行特征提取，生成关键点点云局部特征。
13.进一步，所述步骤s2.通过空间距离最远点采样法，从n个点中采样n’/3个点，具体步骤如下：
14.步骤s2.1输入点云有n个点，从点云中选取点p0作为起始点，得到采样点集合s＝{p0}；
15.步骤s2.2计算所有点到点p0的距离，构成n维数组l，并选择最大值对应的点作为点p1，更新采样点集合s＝{p0，p1}；
16.步骤s2.3计算所有点到点p1的距离，对于每一个点pi，其距离p1的距离如果小于l[i]，则更新l[i]＝d(pi,p1)，即数组l中存储是每一个点到采样点集合s的最近距离；
[0017]
步骤s2.4选取数组l中最大值对应的点作为点p2，更新采样点集合s＝{p0，p1，p2}；
[0018]
步骤s2.5重复步骤s2.2-s2.4，直至采样到n’/3个目标采样点。
[0019]
进一步，所述步骤s3.通过特征距离最远点采样法，从n个点中采样n’/3个点，具体步骤如下：
[0020]
步骤s3.1随机选取一个点作为第一个采样点，添加到采样点集合中；
[0021]
步骤s3.2对于剩余点，计算它们到采样点集合中所有点的特征距离，选取距离最远且特征距离最大的点作为下一个采样点，添加到采样点集合中；
[0022]
步骤s3.3重复步骤s3.2，直到采样点集合中点的数量达到指定数量为止。
[0023]
进一步，所述的步骤s4，基于点到中心距离的不同采样概率，具体步骤如下：
[0024]
步骤s4.1以激光雷达为坐标原点即中心点，计算每个点到中心点的欧式距离d；
[0025]
步骤s4.2对原始点云进行采样，一个点被采样的概率与点的欧式距离成正比，概率p＝d/d，其中，d为点到中心的最远距离；
[0026]
步骤s4.3重复步骤步骤s4.2，直到采样到指定数量的点为止。
[0027]
进一步，所述通过点集抽象模块(sa)进行特征提取，具体步骤如下：
[0028]
步骤s5.1对输入点云进行区域分割：点集抽象模块层首先将输入点云数据按空间位置进行分割，将每个区域内的点看作一个集合，对于每个区域，点集抽象模块层使用一个可学习的神经网络来确定该区域的中心点，这些中心点用于表示该区域的整体特征；
[0029]
步骤s5.2提取区域的局部特征，将局部特征聚合到中心点：使用最大池化的方法将局部特征聚合到中心点，即将每个局部特征向量与该区域的中心点的特征向量进行比较，选择其中的最大值作为该区域的最终特征向量；
[0030]
步骤s5.3将每个区域的特征向量合并：将每个区域的最终特征向量连接起来，形成整个点云的全局特征向量，该全局特征向量可以传递到后续的网络层进行分类或者回归
等任务。
[0031]
与现有技术相比，本发明的有益效果是：
[0032]
1)利用特征距离作为最远点采样中的标准，许多类似的无用背景点将被大部分移除，如大量的地面点。即使对于远处对象的有效点，它们也可以保留下来，因为来自不同对象的点的语义特征彼此不同。这样获得的关键点既考虑了空间距离，又考虑了点的语义信息。
[0033]
2)根据点距离坐标中心的距离改变采样概率，适当增加远处物体点被采样到的概率，使得远处物体增加采样到的关键点，丰富点云特征，改善sa(点集合抽象)层的特征提取性能。这样在sa(点集合抽象)层期间应用f-fps、d-fps和基于点到中心距离的采样概率算法以保留更多用于定位的有效点并且也保留足够的用于分类的对照点。
[0034]
3)本发明提取的点云特征对于目标物体来说，由于使用三种方式融合采样物体的关键点，使提取的物体的局部特征更准确，更能表达物体的语义信息。使用此特征进行后续的物体检测和物体的分类更准确。
附图说明
[0035]
图1是本发明基于关键点点云局部特征的三维目标检测方法的流程图；
[0036]
图2是在kitti数据集上的目标检测结果图。
具体实施方式
[0037]
下面结合附图和实施例对本发明进一步限定，但不应以此限制本发明的保护范围。
[0038]
请参阅图1，图1是本发明基于关键点点云局部特征的三维目标检测方法的流程图，如图所示，一种基于关键点点云局部特征的三维目标检测方法，该方法包括：获取当前时刻待检测的点云数据；将获取的点云数据输入到训练好的多维特征融合的特征编码网中，得到目标检测结果。所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码，得到逐点的特征向量，具体步骤如下：
[0039]
(1a)将点云输入基于距离的最远点采样算法模块，实现从n个点中采样n’/3个点。
[0040]
(1b)将点云输入基于特征距离的最远点采样算法模块，实现从n个点中采样n’/3个点.基于特征距离的最远点采样算法是将以上的最远点采样算法过程中，根据输入点集计算距离的部分，替换成已经计算好的特征空间的距离即可，就是计算两个张量[b n c]和[b s c]之间的距离，实际上这个算法的输入是融合了xyz以及特征的点云特征张量。这里的距离都是l2范数距离。
[0041]
(1c)将点云坐标系转换为以激光雷达为原点的坐标系，计算逐点距离坐标原点的相对距离。根据点到坐标原点的距离设置不同的采样概率，点被随机采样的概率与点到原点的距离成正比，实现从n个点中采样n’/3个点。
[0042]
(1d)将三种方式采样的点云重新组合成一个关键点云集合。将关键点集合输入集合抽象模块(sa)进行特征提取输出为[n’,cm]的特征向量。
[0043]
检测效果如图2所示，红色的点为原始点云经过多维特征融合采样即三种方式采样后得到的关键点集，对于图中具有较少点的物体采样到的关键点较多，基本覆盖了物体
的轮廓，较远处的物体，虽然本身物体的点云较少，但经过所述的关键点采样后，仍保留了相当多数量的包含物体重要信息的关键点。经过检测网络后，包含较少点云的物体和较远处本身比较稀疏的物体也准确的检测出来。

技术特征：
1.一种基于关键点点云局部特征的三维目标检测方法，包括：获取当前时刻待检测的点云数据；将获取的点云数据输入到训练好的多维特征融合的特征编码网中，得到目标检测结果，其特征在于，所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码，得到关键点点云局部特征，具体步骤如下：s1.获取n个原始点云数据；s2.通过空间距离最远点采样法，从n个点中采样n’/3个点，作为关键点；s3.通过特征距离最远点采样法，从n个点中采样n’/3个点，作为关键点；s4.将点云坐标系转换为以激光雷达为原点的坐标系，计算逐点距离坐标原点的相对距离，根据点到坐标原点的距离设置不同的采样概率，点被随机采样的概率与点到原点的距离成正比，从n个点中采样n’/3个点；s5.将步骤s2、步骤s3和步骤s4分别采样得到的点云重新组合成一个n’个点的关键点云集合，并通过点集抽象模块(sa)进行特征提取，生成关键点点云局部特征。2.根据权利要求1所述的基于关键点点云局部特征的三维目标检测方法，其特征在于，所述步骤s2.通过空间距离最远点采样法，从n个点中采样n’/3个点，具体步骤如下：步骤s2.1输入点云有n个点，从点云中选取点p0作为起始点，得到采样点集合s＝{p0}；步骤s2.2计算所有点到点p0的距离，构成n维数组l，并选择最大值对应的点作为点p1，更新采样点集合s＝{p0，p1}；步骤s2.3计算所有点到点p1的距离，对于每一个点pi，其距离p1的距离如果小于l[i]，则更新l[i]＝d(pi,p1)，即数组l中存储是每一个点到采样点集合s的最近距离；步骤s2.4选取数组l中最大值对应的点作为点p2，更新采样点集合s＝{p0，p1，p2}；步骤s2.5重复步骤s2.2-s2.4，直至采样到n’/3个目标采样点。3.根据权利要求1所述的基于关键点点云局部特征的三维目标检测方法，其特征在于，所述步骤s3.通过特征距离最远点采样法，从n个点中采样n’/3个点，具体步骤如下：步骤s3.1随机选取一个点作为第一个采样点，添加到采样点集合中；步骤s3.2对于剩余点，计算它们到采样点集合中所有点的特征距离，选取距离最远且特征距离最大的点作为下一个采样点，添加到采样点集合中；步骤s3.3重复步骤s3.2，直到采样点集合中点的数量达到指定数量为止。4.根据权利要求1所述的基于关键点点云局部特征的三维目标检测方法，其特征在于,所述的步骤s4，基于点到中心距离的不同采样概率，具体步骤如下：步骤s4.1以激光雷达为坐标原点即中心点，计算每个点到中心点的欧式距离d；步骤s4.2对原始点云进行采样，一个点被采样的概率与点的欧式距离成正比，概率p＝d/d，其中，d为点到中心的最远距离；步骤s4.3重复步骤步骤s4.2，直到采样到指定数量的点为止。5.根据权利要求1所述的基于关键点点云局部特征的三维目标检测方法，其特征在于，所述通过点集抽象模块(sa)进行特征提取，具体步骤如下：步骤s5.1对输入点云进行区域分割：点集抽象模块层首先将输入点云数据按空间位置进行分割，将每个区域内的点看作一个集合，对于每个区域，点集抽象模块层使用一个可学习的神经网络来确定该区域的中心点，这些中心点用于表示该区域的整体特征；步骤s5.2提取区域的局部特征，将局部特征聚合到中心点：使用最大池化的方法将局
部特征聚合到中心点，即将每个局部特征向量与该区域的中心点的特征向量进行比较，选择其中的最大值作为该区域的最终特征向量；步骤s5.3将每个区域的特征向量合并：将每个区域的最终特征向量连接起来，形成整个点云的全局特征向量，该全局特征向量可以传递到后续的网络层进行分类或者回归等任务。

技术总结
一种基于关键点点云局部特征的三维目标检测方法，包括：获取当前时刻待检测的点云数据；将获取的点云数据输入到训练好的多维特征融合的特征编码网中，得到目标检测结果，所述多维特征融合的特征编码网对训练样本中点云数据进行关键点采样和特征编码，得到关键点点云局部特征，具体获取N个原始点云数据；通过空间距离最远点采样法，从N个点中采样N’/3个点，作为关键点；通过特征距离最远点采样法，从N个点中采样N’/3个点；从N个点中采样N’/3个点；S5.通过点集抽象模块进行特征提取，生成关键点点云局部特征。本发明关使提取的物体的局部特征更准确，更能表达物体的语义信息，使用此特征进行后续的物体检测和物体的分类更准确。特征进行后续的物体检测和物体的分类更准确。特征进行后续的物体检测和物体的分类更准确。


技术研发人员：杨庆华 倪金虎 童彦
受保护的技术使用者：上海大学
技术研发日：2023.03.31
技术公布日：2023/7/12