一种基于激光雷达点云的目标检测前跟踪算法及设备

1.本发明属于计算机视觉技术技术领域，涉及一种基于激光雷达点云的目标检测前跟踪算法及设备。


背景技术：

2.目前，目标跟踪的相关工作多通过设计复杂的目标建模算法或数据关联算法，以寻求提高多目标跟踪系统的鲁棒性。基于三维激光雷达的目标检测与跟踪算法是无人驾驶系统的一个重要组成部分,对于路径规划和决策控制等高级任务具有重要意义。
3.现有技术中实现目标检测前跟踪包括基于图像的方法和基于神经网络的处理方法。其中，基于图像的方法有mono3d，3dop等，但是图像数据没有深度信息，需要手动设计三维特征，并且手动设计获取三维特征一般所消耗的时间周期过长，进展速度慢。基于神经网络的处理方法主要有pointnet++、frustum pointnet、3d-gan等，但是此类方法处理点云数据需要大量的计算资源，尤其是在3d-gan等生成模型开销较大的情况下，对计算性能要求较高；由于点云数据源自于传感器采集，可能存在数据噪声和缺失，这会影响网络性能并导致过拟合等问题；同时由于点云数据具有高维度和低密度的特点，这对网络的设计和训练带来了挑战。


技术实现要素：

4.为实现上述目的，本发明提供一种基于激光雷达点云的目标检测前跟踪算法及设备，解决了点云的处理效率低，处理的复杂度和时间消耗，多目标跟踪的鲁棒性以及多目标跟踪精度的问题。
5.本发明所采用的技术方案是：
6.本发明实施例的第一方面提供了一种基于激光雷达点云的目标检测前跟踪算法，包括：
7.步骤一，通过激光雷达采集点云数据，将点云数据投影到鸟瞰视角的图像上；
8.步骤二，对图像的数据进行形态学膨胀；
9.步骤三，对图像的数据进行滤波处理；
10.步骤四，将图像中低于阈值的像素设置为黑色；
11.步骤五，计算ni和n
i+m
的差异，将差异图像转换为二值图；
12.步骤六，设置像素数阈值为x，移除二值图像中面积小于此阈值的连通区域，保留面积较大的区域，得到目标的轨迹图。
13.进一步的，步骤一通过点云坐标(x，y，z，i)映射图像坐标(u，v)和像素值；
14.点云坐标(x，y，z，i)包括：
15.{z}k＝{(xi，yi，zi，ii)|i＝1，
…
，|(z}k|}
16.其中，{z}k代表第k帧点云数据，每帧点云数据包括(x，y，z，i)，其中i代表强度；
17.并使用连续多帧的点云数据：
18.{z}
k:k+n
＝{z}k∪{z}
k+1
∪
…
∪{z}
k+n
19.其中，{z}
k:k+n
代表从第k帧开始、第k+n帧结束的连续n+1帧点云数据。
20.进一步的，步骤一还通过点云到图像的映射变换为u＝x/每个像素的实际尺寸、v＝y/每个像素的实际尺寸，并将点云的强度值映射到0-255得到图像的像素值。
21.进一步的，步骤二对图像进行形态学膨胀处理；在形态学运算中，结构元素通过与待处理图像的每个像素区域重叠来进行计算，具体表现为：在某个特定像素周围的局部区域内检查该像素是否符合该结构元素，在接下来的操作中可以将该像素或某个新的值赋值到输出图像中。结构元素都比原始的待处理图像小很多，而且一般情况下都是由非0元素组成的，这些非0元素的位置是相对于结构元素中心点的偏移量。
22.进一步的，步骤三包括使用滤波算法对图像进行处理。
23.进一步的，步骤四包括设置图像的阈值，其中图像的背景为黑色(像素值为0)，图像上的物体为白色(像素值为255)。
24.进一步的，步骤五包括将n
i+m
与ni相减，得到差异图像，将差异图像上大于所设阈值x的像素点保留下来得到二值图像；其中，ni代表第i张图片,n1由{z}
1:n+1
得到，n2由{z}
2:n+2
得到，ni由{z}
i:i+n
得到。
25.进一步的，步骤六包括设置目标为移动的行人或车辆，使用多帧连续的数据显示行人或车辆的轨迹，相差m帧的图像数据相减得到行人或车辆在其方向所得到的位移差，此位移差即所跟踪到的目标。
26.本发明实施例的第二方面提供了一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述实施例中的任一项的方法。
27.本发明的有益效果是：步骤一，通过激光雷达采集点云数据，将点云数据投影到鸟瞰视角的图像上；步骤二，对图像的数据进行形态学膨胀；步骤三，对图像的数据进行滤波处理；步骤四，将图像中低于阈值的像素设置为黑色；步骤五，计算ni和n
i+m
的差异，将差异图像转换为二值图；步骤六，设置像素数阈值为x，移除二值图像中面积小于此阈值的连通区域，保留面积较大的区域，得到目标的轨迹图。极大的提高了点云的处理效率，减少了处理的复杂度和时间消耗，提高了多目标跟踪的鲁棒性以及多目标跟踪精度。
附图说明
28.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
29.图1是本发明一实施例提供的一种基于激光雷达点云的目标检测前跟踪算法流程图；
30.图2是本发明一实施例提供的一种基于激光雷达点云的目标检测前跟踪算法电子设备的示意图；
31.图3是本发明一实施例提供的结构元素se膨胀灰度图像；
32.图4是本发明一实施例提供的点云坐标示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.参阅图1，图1是本发明一实施例提供的一种基于激光雷达点云的目标检测前跟踪算法流程图。
35.本发明实施例的第一方面提供了一种基于激光雷达点云的目标检测前跟踪算法，包括：
36.步骤一，通过激光雷达采集点云数据，将点云数据投影到鸟瞰视角的图像上；
37.步骤二，对图像的数据进行形态学膨胀，包括使用结构元素膨胀灰度图像；
38.参阅图3，图3是本发明一实施例提供的结构元素膨胀灰度图像；在本实施例中，结构元素是一个包含操作区域(也称作附器)和一个中心点的二维矩阵或向量。结构元素的大小通常是奇数尺寸，这样就可以确定中心点，例如3
×
3、5
×
5等，该元素是形态学膨胀和腐蚀运算的重要部分。其中，平面结构元素是一个二维或多维的二值邻域，true像素包括在形态学运算中，false像素不包括在内；结构元素的中心像素称为原点，用于标识图像中正在处理的像素。
39.步骤三，对图像的数据进行滤波处理；
40.步骤四，将图像中低于阈值的像素设置为黑色；
41.在本实施例中，图像的背景为黑色(像素值为0)，图像上的物体为白色(像素值为255)
42.步骤五，计算ni和n
i+m
的差异，将差异图像转换为二值图；
43.步骤六，设置像素数阈值为x，移除二值图像中面积小于此阈值的连通区域，保留面积较大的区域，得到目标的轨迹图。
44.在本实施例中，从二值图像bw中删除少于p个像素的所有连通分量(对象)，并生成另一个二值图像bw2；根据像素的连通性，如果像素的边缘或角相互接触，则这些像素具有连通性；如果两个相邻像素在水平、垂直或对角线方向上连通，则它们是同一对象的一部分。
45.在本实施例中，点云从传感器获取的实际场景数据，不存在噪声和缺失数据，点云数据质量良好，不影响后续跟踪和检测。
46.在本实施例中，点云数据的维度适配算法，处理效率高，不需要额外对点云数据进行降维和特征提取等操作，不会出现信息损失以及处理时间增加的情况。
47.在本实施例中，目标形状和尺寸差异得到合适算法的适配。
48.在本实施例中，对不同的目标进行区分和跟踪，也不会额外增加处理难度和时间消耗。
49.进一步的，步骤一通过点云坐标(x，y，z，i)映射图像坐标(u，v)和像素值；
50.在本实施例中，每个点云包含坐标和目标反射率；
51.参阅图4，图4是本发明一实施例提供的点云坐标示意图；
52.点云坐标(x，y，z，i)包括：
53.{z}k＝{(xi，yi，zi，ii)|i＝1，
…
，|{z}k|}
ꢀꢀ
(1)
54.其中，{z}k代表第k帧点云数据，每帧点云数据包括(x，y，z，i)，其中i代表强度；
55.并使用连续多帧的点云数据：
56.{z}
k:k+n
＝{z}k∪{z}
k+1
∪
…
∪{z}
k+n
ꢀꢀꢀ
(2)
57.其中，{z}
k:k+n
代表从第k帧开始、第k+n帧结束的连续n+1帧点云数据。
58.可选的，步骤一中通过输入包含点云数据和图像数据的相邻两关键帧可代替多帧点云数据投影到鸟瞰视角的图像上。
59.优选的，步骤一还通过点云到图像的映射变换为u＝x/每个像素的实际尺寸、v＝y/每个像素的实际尺寸，并将点云的强度值映射到0-255得到图像的像素值。
60.进一步的，步骤二包括使用结构元素膨胀灰度图像：
61.在形态学运算中，结构元素通过与待处理图像的每个像素区域重叠来进行计算，具体表现为：在某个特定像素周围的局部区域内检查该像素是否符合该结构元素，在接下来的操作中可以将该像素或某个新的值赋值到输出图像中。结构元素都比原始的待处理图像小很多，而且一般情况下都是由非0元素组成的，这些非0元素的位置是相对于结构元素中心点的偏移量。
62.需要说明的是，平面结构元素是一个二维或多维的二值邻域，其中true像素包括在形态学运算中，false像素不包括在内。结构元素的中心像素称为原点，用于标识图像中正在处理的像素。
63.进一步的，步骤三包括使用滤波算法对图像进行处理。通过去除或降低图像中的噪声、增强图像细节等方式来改善和优化图像质量。
64.进一步的，步骤四包括设置阈值为x，其中图像的背景为黑色(像素值为0)，图像上的物体为白色(像素值为255)。
65.进一步的，步骤五包括将n
i+m
与ni相减，得到差异图像，将差异图像上大于所设阈值的像素点保留下来得到二值图像；其中，ni代表第i张图片,n1由{z}
1:n+1
得到，n2由{z}
2:n+2
得到，ni由{z}
i:i+n
得到。
66.可选的，步骤五中计算物体三维框在两关键帧的偏移量可替代n
i+m
与ni相减。
67.进一步的，步骤六包括使用多帧连续的数据显示行人或车辆的轨迹，相差m帧的图像数据相减得到行人或车辆在其方向所得到的位移差，此位移差即所跟踪到的目标图像。
68.参阅图2，图2是本发明一实施例提供的基于激光雷达点云的目标检测前跟踪算法电子设备5的示意图。
69.本发明实施例的第二方面提供了一种电子设备5，包括存储器502、处理器501以及存储在存储器502中并可在处理器501上运行的计算机程序503，其特征在于，处理器501执行计算机程序503时实现上述实施例的方法。
70.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单
元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
71.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者外部设备软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
72.在本技术所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
73.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
74.上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序503来指令相关联的硬件来完成，上述的计算机程序503可存储于一计算机可读存储介质中，该计算机程序503在被处理器501执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序503包括计算机程序503代码，上述计算机程序503代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读存储介质可以包括：能够携带上述计算机程序503代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机可读存储器502、只读存储器502(rom，read-only memory)、随机存取存储器502(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读存储介质不包括是电载波信号和电信信号。
75.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于激光雷达点云的目标检测前跟踪算法，其特征在于，包括：步骤一，通过激光雷达采集点云数据，将点云数据投影到鸟瞰视角的图像上；步骤二，对图像的数据进行形态学膨胀；步骤三，对图像的数据进行滤波处理；步骤四，将图像中低于阈值的像素设置为黑色；步骤五，计算n
i
和n
i+m
的差异，将差异图像转换为二值图；步骤六，设置像素数阈值为x，移除二值图像中面积小于此阈值的连通区域，保留面积较大的区域，得到目标的轨迹图。2.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤一通过点云坐标(x,y,z,i)映射图像坐标(u,v)和像素值；点云坐标(x,y,z,i)包括：{z}
k
＝{(x
i
,y
i
,z
i
,i
i
)|i＝1,
…
,|{z}
k
|}其中，{z}k代表第k帧点云数据，每帧点云数据包括(x,y,z,i),其中i代表强度；并使用连续多帧的点云数据：{z}
k:k+n
＝{z}
k
∪{z}
k+1
∪
…
∪{z}
k+n
其中，{z}
k:k+n
代表从第k帧开始、第k+n帧结束的连续n+1帧点云数据。3.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤一还通过点云到图像的映射变换为u＝x/每个像素的实际尺寸、v＝y/每个像素的实际尺寸，并将点云的强度值映射到0-255得到图像的像素值。4.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤二对图像进行形态学膨胀处理；在形态学运算中，结构元素通过与待处理图像的每个像素区域重叠来进行计算，具体表现为：在某个特定像素周围的局部区域内检查该像素是否符合该结构元素，在接下来的操作中可以将该像素或某个新的值赋值到输出图像中。结构元素都比原始的待处理图像小很多，而且一般情况下都是由非0元素组成的，这些非0元素的位置是相对于结构元素中心点的偏移量。5.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤三包括使用滤波算法对图像进行处理。6.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤四包括设置图像的阈值，其中图像的背景为黑色(像素值为0)，图像上的物体为白色(像素值为255)。7.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤五包括将n
i+m
与n
i
相减，得到差异图像，将差异图像上大于所设阈值x的像素点保留下来得到二值图像；其中，n
i
代表第i张图片,n1由{z}
1:1+n
得到，n2由{z}
2:2+n
得到，n
i
由{z}
i:i+n
得到,m和n可以取不同的值。8.如权利要求1所述的目标检测前跟踪算法，其特征在于，步骤六包括设置目标为移动的行人或车辆，使用多帧连续的数据显示行人或车辆的轨迹，相差m帧的图像数据相减得到行人或车辆在其方向所得到的位移差，此位移差即所跟踪到的目标。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

技术总结
一种基于激光雷达点云的目标检测前跟踪算法及设备，属于计算机视觉技术领域，包括：步骤一，通过激光雷达采集点云数据，将点云数据投影到鸟瞰视角的图像上；步骤二，对图像的数据进行形态学膨胀；步骤三，对图像的数据进行滤波处理；步骤四，将图像中低于阈值的像素设置为黑色；步骤五，计算N


技术研发人员：易可夫 谢纯林 郝威
受保护的技术使用者：长沙理工大学
技术研发日：2023.06.15
技术公布日：2023/9/14