一种基于三维交并比的点云目标检测方法及装置

1.本发明涉及计算机视觉技术领域，具体涉及一种基于三维交并比的点云目标检测方法及装置。


背景技术：

2.目标检测作为计算机视觉的重要研究方向，在自动驾驶、三维建模、异物入侵检测、车道线识别等应用场景下具有非常重要的作用；激光雷达作为一种抗干扰能力强，能全天候工作的传感器，在目标检测的领域受到广泛的应用。因此，实现对激光雷达所采集的点云数据的目标检测，成为了当下十分热门的研究与应用方向。但是，相比二维的图像数据检测，三维点云数据的无序性和分散性等三维特性，导致其目标检测准确率难以提升，影响实际落地应用，所以十分需要一种适应点云三维特征的目标检测方法。


技术实现要素：

3.本发明的目的在于提供一种基于三维交并比的点云目标检测方法及装置，优化原有基于二维图像数据的目标检测头，使其更适应三维点云数据，提升点云目标检测的准确性。
4.为实现上述发明目的，采用如下技术方案：第一方面，本发明提供一种基于三维交并比的点云目标检测方法，包括：
5.使用激光雷达传感器采集三维点云数据，对采集点云数据进行处理，获得原始点云数据；
6.对原始点云数据进行数据预处理，并进行多种适应场景的数据增强，得到初始点云；
7.将初始点云数据输入点云特征提取网络，使用柱状体素化点云采样模块编码将三维点云采样提取成二维特征信息；使用bevbackbone进行特征信息的深层提取；
8.将深层特征信息输入进设计的使用三维交并比损失函数的检测头模块，通过计算目标框与真值框之间的偏差，反向传播回归目标框，框定目标点云；
9.在计算机设备上可视化场景及框定的目标点云。
10.第二方面，本发明提供一种基于三维交并比的点云目标检测装置，主要由激光雷达传感器、目标检测系统和计算机可视化设备组成；所述目标检测系统包括数据处理模块、特征提取模块和三维目标检测头模块；
11.所述数据处理模块，根据点云坐标数据设定点云场景的范围阈值，进而区分离散点，进行离散点剔除处理；将整体点云数据进行掉点处理，即对于每一帧点云场景，随机删除部分点云数据，使得点云场景略有残缺；对预处理的点云数据再进行全局旋转，全局放缩和天花板增强处理；
12.所述特征提取模块，基于bevbackbone网络实现深层点云特征信息的提取；bevbackbone网络主要包括三组，第一组包含3层卷积层，第二、三组包含5层卷积层；每组最
后一层会使用3*3卷积核进行下采样，提取不同尺度的特征信息；
13.所述三维目标检测头模块，基于单锚框检测头和三维交并比损失函数计算神经网络前向传播的损失；人工设置锚框，放置在深层高维特征信息图中；对于锚框与目标真值框有交汇的区域，将此部分的锚框保留，其余没有交汇区域的全部剔除；将该部分二维锚框信息解码生成三维目标预测框，与三维真值框进行交并比求差，取得到交并比损失函数进行神经网络反向传播调整三维目标预测框，最终生成预测点云目标。
14.与现有技术相比，本发明的有益效果为：相比传统使用的l1范数用作损失函数计算损失，三维交并比损失函数对三维点云数据的适用性更强，能达到更高的准确率，尤其是对于行人等高度信息更明显的目标，相比优化前准确率提高了1.9％。
附图说明
15.图1为基于三维交并比的点云目标检测装置图。
16.图2是基于三维交并比的点云目标检测方法工作流程图。
17.图3是三维点云场景示意图。
18.图4是点云目标检测效果图。
具体实施方式
19.本发明提供一种基于三维交并比的点云目标检测方法及装置，目的是为了优化原有基于二维图像数据的目标检测头，使其更适应三维点云数据，提升点云目标检测的准确性。主要通过对激光雷达采集到的点云数据进行数据预处理、数据增强，输入进体素特征提取网络，将取得的高维特征信息输入三维交并比检测头，得到损失函数回传调整检测框尺寸，最终通过人机交互界面可视化点云目标的检测效果。
20.结合图1、图2，基于三维交并比的点云目标检测方法，提出一种使用三维交并比损失函数的目标检测网络，并使用装置应用该网络进行实际操作，共包括五个步骤：
21.使用激光雷达传感器采集三维点云数据，应用cad制图工具对采集点云数据进行处理，取得原始点云数据；
22.对原始点云数据进行数据预处理，并进行多种适应场景的数据增强，得到初始点云；
23.将初始点云数据输入点云特征提取网络，本发明使用柱状体素化点云采样模块编码将三维点云采样提取成二维特征信息；随后使用bevbackbone进行特征信息的深层提取；
24.将深层特征信息输入进设计的使用三维交并比损失函数的检测头模块，通过计算目标框与真值框之间的偏差，反向传播回归目标框，准确框定目标点云。
25.在计算机设备上可视化场景及框定的目标点云。
26.进一步的，对原始点云数据进行数据预处理，包括：
27.对点云数据进行离散点剔除处理。查询所述三维点云数据中每个点云的坐标值，根据所述坐标值，设置点云对应的点云阈值，计算所述点云坐标值与所述点云阈值的差值，根据所述差值，得到所述点云图像中的离散点，对所述离散点进行剔除处理，可以通过下述公式对所述离散点进行剔除处理：
[0028][0029]
其中，xi′
表示初始点云图像的映射值，x
median
表示点云图像中所有点云的中位值，mad表示中位值与均值的绝对偏差，n表示偏差系数，xk表示所有点云的均值，x
median-nmad表示偏差值的最小值，x
median
+nmad表示偏差值的最大值，eliminate()表示剔除函数。
[0030]
对上述步骤取得的点云数据进行随机掉点处理。即对于每一帧点云场景，随机删除其中一小部分点云数据，使得点云场景略有残缺，取得到数据预处理好的点云数据；
[0031]
进一步的，进行多种适应场景的数据增强，包括：
[0032]
使用全局旋转函数，将上述数据预处理好的点云进行数据增强。以坐标系z轴为旋转轴，将预处理取得的点云数据在人工设定的旋转范围内随机旋转一定的角度，绕z轴的旋转矩阵如下述公式：
[0033][0034]
其中，x'、y'、z'代表旋转后点云的三维坐标，x、y、z代表旋转前点云的三维坐标，θ代表旋转角度；
[0035]
对全局场景下的点云数据进行整体放缩处理，即将所有点云的坐标值乘以一个设定范围内的值；根据上述步骤所得到的点云阈值，设计天花板增强函数。从z轴最大值向下一定范围内，随机生成小部分点云数据，模拟存在上方遮挡物体的场景；经过三种数据增强函数，最终取得到初始点云数据；
[0036]
进一步的，点云特征提取网络，包括：
[0037]
使用柱状体素化点云采样模块进行体素化特征编码，将初始三维点云数据转换为二维的体素特征信息；将二维体素特征信息输入bevbackbone，进行更深层次的特征提取，取得二维深层特征信息；
[0038]
进一步的，所述柱状体素化点云采样模块，柱状的体素化方式及体素特征编码，包括：
[0039]
设定柱状体素长宽高尺寸，长宽参数要求相等且远小于场景长宽范围，高度参数要求与场景的高度范围一致，以此参数对整个点云场景进行柱状体素化划分，将散乱无序的点云场景划分成规则有序的体素场景；此时，每个柱状体素内会包含数个点云数据信息，求取每个体素内的所有点云坐标的均值，取得一个数据来代表该体素的特征信息，通过如下述公式求取点云坐标均值：
[0040][0041]
其中，p[a，b，c]表示点云平均值，[a，b，c]表示体素化点云图像中每个点云的坐标均值，m表示体素化点云图像中点云的数量，ai、bi、ci表示第i个体素化点云图像的点云三维坐标。
[0042]
进一步的，所述的通过bevbackbone提取更深层次的点云特征信息，一种二维的特
征提取网络，包括：
[0043]
bevbackbone由三组、每组又包含三至五层不等的卷积网络组成，每层卷积网络由一个2dcnn，一个bn层和一个rule激活函数组成。将上述取得的体素特征信息输入该bevbackbone，通过卷积不断下采样的同时提升维度信息，最终取得稀疏高维的深层特征信息；
[0044]
进一步的，设计使用三维交并比的检测头，包括：
[0045]
人工设置与目标尺寸相似的锚框，放置在上述取得的深层高维特征信息图中；此时会出现锚框与目标真值框有交汇的区域，将此部分的锚框保留，其余没有交汇区域的全部剔除；将该部分二维锚框信息解码生成三维目标预测框，与三维真值框进行交并比求差，取得到交并比损失函数(iou loss)进行神经网络反向传播调整三维目标预测框，最终生成准确的预测点云目标；
[0046]
进一步的，可视化场景及框定的目标点云，包括：
[0047]
将上述训练得出的点云目标检测结果，使用open3d库将点云坐标及框定目标的检测框在三维场景中成像出来，可以观测到设定的目标在点云场景中的具体位置。
[0048]
本发明还提供一种基于三维交并比的点云目标检测装置，主要由激光雷达传感器、目标检测系统和计算机可视化设备组成；所述激光雷达传感器包括扫描式激光雷达、固定用三脚架和连接网线；所述目标检测系统包括数据处理模块、特征提取模块和三维目标检测头；计算机可视化设备包括控制与显示子模块；
[0049]
所述目标检测系统由计算机编程设计上传到服务器集群，对采集整理好的点云数据进行训练，然后将推理模型下载至本机对测试数据进行可视化显示；
[0050]
进一步的，所述数据处理模块，根据点云坐标数据设定点云场景的范围阈值，进而区分离散点，进行离散点剔除处理；将整体点云数据进行掉点处理，即对于每一帧点云场景，随机删除其中一小部分点云数据，使得点云场景略有残缺；对预处理的点云数据再进行全局旋转，全局放缩和天花板增强处理，进一步增强点云数据的拟合性和鲁棒性；
[0051]
进一步的，所述特征提取模块，基于bevbackbone网络实现深层点云特征信息的提取。bevbackbone网络主要包括三组，第一组包含3层卷积层，第2,3组包含5层卷积层；每组最后一层会使用3*3卷积核进行下采样，能够提取不同尺度的特征信息；
[0052]
进一步的，所述三维目标检测头模块，基于单锚框检测头和三维交并比损失函数计算神经网络前向传播的损失。人工设置与目标尺寸相似的锚框，放置在上述取得的深层高维特征信息图中；此时会出现锚框与目标真值框有交汇的区域，将此部分的锚框保留，其余没有交汇区域的全部剔除；将该部分二维锚框信息解码生成三维目标预测框，与三维真值框进行交并比求差，取得到交并比损失函数进行神经网络反向传播调整三维目标预测框，最终生成准确的预测点云目标。
[0053]
所述激光雷达设备使用型号是大疆livox的avia扫描式，输出波长905nm，扫描功率9w，非重复扫描时fov为70.4
°
(水平)
×
77.2
°
(竖直)。
[0054]
所述服务器集群计算设备主要是geforce rtx 2080ti工作卡，11gb显存。
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅是本发明的一部分实施例。
[0056]
实施例
[0057]
如图1所示，为本发明提出的一种基于三维交并比的点云目标检测装置图；如图2所示，为本发明提出的基于三维交并比的点云目标检测方法流程图。首先对激光雷达传感器采集整理的原始点云数据进行数据处理，包括数据预处理和数据增强：根据点云坐标数据设置点云范围阈值为[-6.7,-11.3,-3.5,14.1,11.1,2.5](分别指代[-x,-y,-z,x,y,z]的坐标)，根据上述范围阈值剔除以外的全部离散点；随后随机删除全局点云5％的数据进行掉点处理；数据增强中，全局旋转的角度从[-0.25,0.25]中随机选取；全局放缩增强的范围是[0.95,1.05]；天花板增强是在[1.5,2.5]的z轴范围内随机生成全部点云数量1％的点。
[0058]
将上述数据处理后的点云数据输入特征提取模块。在特征柱状体素化编码过程中，设置每个小柱状体尺寸为[0.1,0.1,6]进行划分；bevbackbone网络中分为三组，第一组包括3层卷积层，输出维度为64维，第二组包括5层卷积层，输出维度为128维，第三组包括5层卷积层，输出维度256维；最终，将三组卷积网络的输出进行维度调成，统一成128维后进行特征聚合，合并成一组384维的高维特征信息输出。
[0059]
将上述高维特征信息输入三维交并比检测头。人工设置行人类别初始锚框的尺寸为[0.7,0.7,1,7]，放置在高维信息特征图上与真值框进行比对，设置大于0.5交并比的为正例样本，其余的锚框全部删除；将正例样本解码成三维预测框与三维真值进行交并比计算，得出三维交并比损失函数，差值用于神经网络反向传播的回传，回归设置初始的锚框成为最终的三维预测框。
[0060]
最终，使用open3d库对点云全局场景以及预测框进行可视化显示，如图3、图4所示，达到三维点云目标检测的效果。
[0061]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于三维交并比的点云目标检测方法，其特征在于，包括：使用激光雷达传感器采集三维点云数据，对采集点云数据进行处理，获得原始点云数据；对原始点云数据进行数据预处理，并进行多种适应场景的数据增强，得到初始点云；将初始点云数据输入点云特征提取网络，使用柱状体素化点云采样模块编码将三维点云采样提取成二维特征信息；使用bevbackbone进行特征信息的深层提取；将深层特征信息输入进设计的使用三维交并比损失函数的检测头模块，通过计算目标框与真值框之间的偏差，反向传播回归目标框，框定目标点云；在计算机设备上可视化场景及框定的目标点云。2.根据权利要求1所述的方法，其特征在于，应用cad制图工具对采集点云数据进行处理，取得原始点云数据。3.根据权利要求1所述的方法，其特征在于，对原始点云数据进行数据预处理，包括：对点云数据进行离散点剔除处理；查询所述三维点云数据中每个点云的坐标值，根据所述坐标值，设置点云对应的点云阈值，计算所述点云坐标值与所述点云阈值的差值，根据所述差值，得到所述点云图像中的离散点，对所述离散点进行剔除处理，可以通过下述公式对所述离散点进行剔除处理：其中，x
′
i
表示初始点云图像的映射值，x
median
表示点云图像中所有点云的中位值，mad表示中位值与均值的绝对偏差，n表示偏差系数，x
k
表示所有点云的均值，x
median-nmad表示偏差值的最小值，x
median
+nmad表示偏差值的最大值，eliminate()表示剔除函数；对上述步骤取得的点云数据进行随机掉点处理。4.根据权利要求1所述的方法，其特征在于，进行多种适应场景的数据增强，包括：使用全局旋转函数，将数据预处理好的点云进行数据增强；以坐标系z轴为旋转轴，将预处理取得的点云数据在人工设定的旋转范围内随机旋转一定的角度，绕z轴的旋转矩阵如下述公式：其中，x'、y'、z'代表旋转后点云的三维坐标，x、y、z代表旋转前点云的三维坐标，θ代表旋转角度；对全局场景下的点云数据进行整体放缩处理，即将所有点云的坐标值乘以一个设定范围内的值；根据点云阈值，设计天花板增强函数；从z轴最大值向下一定范围内，随机生成点云数据，模拟存在上方遮挡物体的场景；经过三种数据增强函数，最终取得到初始点云数据。5.根据权利要求1所述的方法，其特征在于，点云特征提取网络，包括：使用柱状体素化点云采样模块进行体素化特征编码，将初始三维点云数据转换为二维
的体素特征信息；将二维体素特征信息输入bevbackbone，进行更深层次的特征提取，取得二维深层特征信息。6.根据权利要求5所述的方法，其特征在于，所述的使用柱状体素化点云采样模块进行体素化特征编码，具体为：设定柱状体素长宽高尺寸，长宽参数要求相等且远小于场景长宽范围，高度参数要求与场景的高度范围一致，以此参数对整个点云场景进行柱状体素化划分，将散乱无序的点云场景划分成规则有序的体素场景；此时，每个柱状体素内会包含数个点云数据信息，求取每个体素内的所有点云坐标的均值，取得一个数据来代表该体素的特征信息，通过如下述公式求取点云坐标均值：其中，p[a，b，c]表示点云平均值，[a，b，c]表示体素化点云图像中每个点云的坐标均值，m表示体素化点云图像中点云的数量，a
i
、b
i
、c
i
表示第i个体素化点云图像的点云三维坐标。7.根据权利要求5所述的的方法，其特征在于，通过bevbackbone提取更深层次的点云特征信息，具体为：bevbackbone由三组、每组又包含三至五层的卷积网络组成，每层卷积网络由一个2dcnn，一个bn层和一个rule激活函数组成；将上述取得的体素特征信息输入该bevbackbone，通过卷积不断下采样的同时提升维度信息，最终取得稀疏高维的深层特征信息。8.根据权利要求1所述的方法，其特征在于，设计使用三维交并比的检测头，具体为：人工设置锚框，放置在上述取得的深层高维特征信息图中；此时会出现锚框与目标真值框有交汇的区域，将此部分的锚框保留，其余没有交汇区域的全部剔除；将该部分二维锚框信息解码生成三维目标预测框，与三维真值框进行交并比求差，取得到交并比损失函数进行神经网络反向传播调整三维目标预测框，最终生成预测点云目标。9.根据权利要求1所述的方法，其特征在于，可视化场景及框定的目标点云，包括：将上述训练得出的点云目标检测结果，使用open3d库将点云坐标及框定目标的检测框在三维场景中成像出来，能够观测到设定的目标在点云场景中的具体位置。10.一种基于三维交并比的点云目标检测装置，其特征在于，主要由激光雷达传感器、目标检测系统和计算机可视化设备组成；所述目标检测系统包括数据处理模块、特征提取模块和三维目标检测头模块；所述数据处理模块，根据点云坐标数据设定点云场景的范围阈值，进而区分离散点，进行离散点剔除处理；将整体点云数据进行掉点处理，即对于每一帧点云场景，随机删除部分点云数据，使得点云场景略有残缺；对预处理的点云数据再进行全局旋转，全局放缩和天花板增强处理；所述特征提取模块，基于bevbackbone网络实现深层点云特征信息的提取；bevbackbone网络主要包括三组，第一组包含3层卷积层，第二、三组包含5层卷积层；每组最后一层会使用3*3卷积核进行下采样，提取不同尺度的特征信息；所述三维目标检测头模块，基于单锚框检测头和三维交并比损失函数计算神经网络前向传播的损失；人工设置锚框，放置在深层高维特征信息图中；对于锚框与目标真值框有交
汇的区域，将此部分的锚框保留，其余没有交汇区域的全部剔除；将该部分二维锚框信息解码生成三维目标预测框，与三维真值框进行交并比求差，取得到交并比损失函数进行神经网络反向传播调整三维目标预测框，最终生成预测点云目标。

技术总结
本发明涉及一种基于三维交并比的点云目标检测方法及装置，该方法使用激光雷达传感器采集三维点云数据；对原始采集点云进行初步数据处理及数据增强；将处理后的点云数据输入三维点云特征提取网络，取得深层次的点云特征信息；设计一种使用三维交并比损失函数的检测头，该方法所得到的差值通过神经网络的反向传播进行回传，对检测框进行优化调整，从而达到准确检测点云目标的效果。相比传统使用的L1范数用作损失函数计算损失，本发明的三维交并比损失函数对三维点云数据的适用性更强，能达到更高的准确率。更高的准确率。更高的准确率。


技术研发人员：李振华 孙天翼 来建成 严伟 王春勇 纪运景 赵艳 吴志祥
受保护的技术使用者：南京理工大学
技术研发日：2023.05.23
技术公布日：2023/9/12