一种激光雷达点云提取方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及数据处理技术领域，尤其涉及一种激光雷达点云提取方法、装置、电子设备及存储介质。


背景技术：

2.在无人驾驶领域，相机与激光雷达的融合感知是越来越普遍的现象，多传感器融合系统可以提供更加精确和丰富的环境信息，完成更高级别的任务，如目标检测、自主定位和路径规划等。
3.目前技术中，单目相机与激光雷达的融合感知是基于已知相机的内参、相机与激光雷达的外参的前提下，遍历所有激光雷达点云，根据激光雷达坐标系转换为相机像素坐标系的公式将激光雷达点云坐标转换为相机像素点坐标，判断相机像素点坐标是否在图像感兴趣区域内，若在，则保留该像素点。
4.但是，上述方案由于需要进行大量的矩阵运算，对于一帧激光雷达点云来说，计算量相对较大，耗时较多，尤其激光雷达点云数量越多会导致算法耗时越多，在算法处理过程中很难做到实时处理与应用，尤其是在车端处理器下很难实时处理得到处理结果，无法保证车辆无人状态下及时获得结果，进而会影响车辆安全行驶。


技术实现要素：

5.本发明提供了一种激光雷达点云提取方法、装置、电子设备及存储介质，以解决现有技术算法计算量较大、耗时较大的问题，大大缩短了算法时间，从而可以实时的将点云与图像进行融合感知。
6.根据本发明的一方面，提供了一种激光雷达点云提取方法，包括：
7.确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；
8.基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；
9.根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；
10.遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；
11.基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。
12.根据本发明的另一方面，提供了一种激光雷达点云提取装置，包括：
13.第一确定模块，用于确定第一公式，所述第一公式用于将相机像素坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；
14.第二确定模块，用于基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；
15.转换模块，用于根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；
16.遍历模块，用于遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；
17.提取模块，用于基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。
18.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
19.至少一个处理器；以及
20.与所述至少一个处理器通信连接的存储器；其中，
21.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的激光雷达点云提取方法。
22.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的激光雷达点云提取方法。
23.本发明实施例提供的一种激光雷达点云提取方法，包括：确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。该方法解决了现有技术算法计算量较大、耗时较大的问题，大大缩短了算法时间，从而可以实时的将点云与图像进行融合感知。
24.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
25.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例一提供的一种激光雷达点云提取方法的流程示意图；
27.图2为本发明实施例提供的一种角度定义的示意图；
28.图3为本发明实施例提供的一种坐标系平移的示意图；
29.图4为本发明实施例二提供的一种激光雷达点云提取方法的流程示意图；
30.图5为本发明示例实施例提供的一种激光雷达点云提取方法的流程示意图；
31.图6为本发明实施例三提供的一种激光雷达点云提取装置的结构示意图；
32.图7为本发明实施例的激光雷达点云提取方法的电子设备的结构示意图。
具体实施方式
33.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。应当理解，本发明的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本发明的范围在此方面不受限制。
34.本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
35.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
36.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
37.本发明实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
38.实施例一
39.图1为本发明实施例一提供的一种激光雷达点云提取方法的流程示意图，该方法可适用于单目相机与激光雷达进行融合感知的情况，该方法可以由激光雷达点云提取装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上，在本实施例中电子设备包括但不限于：无人机、无人挖掘机、无人装载机、无人压路机、自动行驶车辆、机器人等无人设备。
40.如图1所示，本发明实施例一提供的一种激光雷达点云提取方法，包括如下步骤：
41.s110、确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系。
42.其中，通过第一公式可以将相机坐标系转换到激光雷达坐标系。相机坐标系可以是以相机为原点建立的坐标系，为了从相机的角度描述物体的位置而定义，作为沟通世界坐标系和图像/像素坐标系的中间一环。激光雷达坐标系可以是世界坐标系。世界坐标系是用户定义的三维世界坐标系，以某个点为原点，为描述目标在真实世界里的位置而被引入。
43.其中，第一公式可以基于激光雷达坐标系转换为相机坐标系的公式确定。在将激
光雷达坐标系中的点坐标转换到相机坐标系中的坐标时，由于相机内参矩阵是3行4列矩阵，不能求解逆矩阵，因此无法根据相机坐标系中的点坐标求出该点在激光雷达坐标系中的坐标，故需要对激光雷达坐标系转换为相机坐标系的公式进行分解转换得到第一公式。
44.在本实施例中，通过第一公式将相机坐标系转换到激光雷达坐标系。示例性的，在空间中的某一点在相机坐标系中的坐标可以为(u、v)，通过第一公式可以将某一点的坐标(u、v)转换到激光雷达坐标系中，该点在激光雷达坐标系中的坐标可以为(x、y、z)。
45.其中，虚拟坐标系可以是虚拟存在的坐标系，通过虚拟坐标系可以将相机坐标系中的点与激光雷达坐标系中的点联系起来。虚拟坐标系可以基于激光雷达坐标系与相机坐标系构建。
46.在本实施例中，在确定第一公式后，可以基于激光雷达坐标系与相机坐标系构建一个虚拟坐标系。由于相机坐标系中的相机像素点坐标(u、v)是二维平面上的点，为了消除相机坐标系下的深度z1值对转换坐标的影响，在构建虚拟坐标系时，需要找到一个转换公式，使虚拟坐标系与激光雷达坐标系和相机坐标系都具有对应的关系。
47.s120、基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系。
48.其中，角度可以包括α
′
和β
′
。图像像素点坐标可以是某个点在相机坐标系下的坐标。
49.在本实施例中，基于激光雷达点云在虚拟坐标系下的坐标与图像像素点坐标的转换公式构建好虚拟坐标系后，可以在虚拟坐标系下推导出激光雷达点云在激光雷达点云坐标系下的夹角与在虚拟坐标系下的夹角的对应关系，基于该对应关系可以将激光雷达点云坐标转换为虚拟坐标系下的角度；基于激光雷达点云在虚拟坐标系下的角度，可以进一步确定出图像像素点坐标与角度的对应关系。
50.s130、根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值。
51.其中，图像感兴趣区域可以是无人设备需要确定的人或物体对应位置所在的区域。图像感兴趣区域的坐标可以包括感兴趣区域边框顶点的坐标。第一角度可以是图像感兴趣区域边框顶点在虚拟坐标系下的角度。最大值可以是所有第一角度中的最大值，最小值可以是所有第一角度中的最小值。
52.在本实施例中，可以根据图像像素点坐标与角度的对应关系将图像感兴趣区域在相机像素坐标系下的坐标转换到虚拟坐标系下的角度。示例性的，若图像感兴趣区域的四个角点作为四个坐标点，可以将这四个坐标点根据对应关系转换为在虚拟坐标系下的角度，将四个角度中的最小角度作为最小值，将四个角度中的最大角度作为最大值。
53.s140、遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度。
54.其中，点云是指目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是一个点的集合，称之为点云。第二角度可以是激光雷达坐标系中的某一点在虚拟坐标系下的角度。
55.在本实施例中，激光雷达点云坐标系中存在多个激光雷达点云坐标，针对每一个激光雷达点云坐标，可以根据激光雷达点云坐标与虚拟坐标系之间的转换公式，将该激光雷达点云坐标转换到虚拟坐标系下得到对应的第二角度，直至所有的激光雷达点云坐标都
被遍历过后，才可以结束遍历。
56.s150、基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。
57.其中，激光雷达点云感兴趣区域可以是图像感兴趣区域内的点在激光雷达坐标系上的点构成的区域。
58.在本实施例中，当确定第一角度以及每个激光雷达点云对应的第二角度后，可以根据每个激光雷达点云对应的第二角度以及对角度中的最大值和最小值之间的关系，从图像感兴趣区域中提取出激光雷达点云感兴趣区域。示例性的，如果激光雷达点云对应的第二角度在第一角度中的最大值和最小值之间，可以认为该激光雷达点云对应的图像像素坐标所在的位置是图像感兴趣区域中的坐标，则确定该激光雷达点云是需要进行提取的；当每个激光雷达点云对应的第二角度都经过判断后，可以将符合条件的激光雷达点云提取出来，所有符合条件的激光雷达点云构成的区域作为激光雷达点云感兴趣区域。
59.本发明实施例提供的一种激光雷达点云提取方法，包括：确定第一公式，所述第一公式用于将相机像素坐标系转换到激光雷达坐标系；基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。该方法通过引入虚拟坐标系，解决了现有技术算法计算量较大、耗时较大的问题，大大缩短了算法时间，从而可以实时的将点云与图像进行融合感知。
60.在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
61.在一个实施例中，确定第一公式包括：将激光雷达坐标系转换为相机坐标系的公式进行分解转换得到第一公式。
62.其中，激光雷达坐标系转换为相机像素坐标系的变换公式如下：
[0063][0064]
在本实施例中可以通过反向推导，将激光雷达坐标系转换为相机像素坐标系的公式进行分解转换得到第一公式，具体的分解转换过程如下：
[0065]
[0066]
其中，f
x
，fy，c
x
，cy表示相机内参，r表示旋转矩阵，t表示平移矩阵，(u、v)表示该点在相机坐标系下的坐标，z1表示点在相机坐标系下的深度，即点在相机坐标系下z轴的坐标值。
[0067]
上述公式为激光雷达坐标系转换为相机坐标系的公式，将上述公式分解转换为以下公式：
[0068][0069]
其中，
[0070]
基于上述公式可以得到第一公式：
[0071][0072]
其中，表示激光雷达点云坐标，r和t表示相机外参矩阵，m表示相机内参矩阵，z1表示相机图像像素，(u、v)表示图像像素点坐标。
[0073]
根据上述第一公式可以将相机坐标系下的某个点(u，v)转换到激光雷达坐标系中得到该点坐标为(x，y，z)。
[0074]
本实施例在原有公式的基础上进行了公式改进优化，推导了从图像坐标系转换到激光雷达点云坐标的公式，从而在提取感兴趣区域的过程中不需要进行矩阵运算，大大减少了算法计算量，运算更简单。
[0075]
根据第一公式可以得出，其中所有的矩阵都为方阵，可以求逆矩阵，从而理论上可以将相机坐标系的图像像素点坐标(u、v)转换到激光雷达坐标系的激光雷达点云坐标(x、y、z)。然而，要想找到与图像像素点坐标(u、v)对应的激光雷达点云坐标(x、y、z)，还需要找到图像像素点坐标(u、v)对应的z1值。其中，z1值的大小与所拍摄物体(即感兴趣区域)的远近有关，所拍摄的物体越远，z1值越大，所拍摄的物体越近，z1值越小。因此，我们需要转换公式，找到一种消除z1值影响的图像像素点坐标与激光雷达点云坐标对应关系。可以根据
以下公式推导转换公式：
[0076][0077]
令该公式为激光雷达点云坐标系与虚拟坐标系的转换公式。根据以上公式可以得出：
[0078][0079]
因此可以在坐标系中找到一种关系：
[0080][0081][0082]
进一步的，图像像素点坐标与角度的对应关系如下：
[0083][0084][0085]
其中，α
′
和β
′
表示激光雷达点云与虚拟坐标系下原点的夹角，(x
′
、y
′
、z
′
)表示激光雷达点云在虚拟坐标系下的坐标，(u、v)表示图像像素点坐标。
[0086]
从公式可以看出，角度α'、β'不受z1值的影响。图2为本发明实施例提供的一种角度定义的示意图，如图2所示，激光雷达点云坐标(x、y、z)在坐标系中的角度α、β的定义如下：选择一点a(x、y、z)，将其投影到yz平面上得到点a
′
(0、y、z)，再将点a
′
做y轴的垂线与y轴相交于点a
″
(0、y、0)，直线oa
′
与坐标系z轴正方向的夹角为α，直线a”a与坐标系z轴正方向的夹角为β，因此，可以推导出
[0087]
通过上述推导过程可以得到激光雷达点云坐标和坐标系原点的夹角α、β角后，该α、β角会受到z1的影响，而α'、β'角不受z1值的影响。因此，我们需要推导出α、β角与α'、β'角之间的转换关系。另外，根据(x、y、z)与(x
′
、y
′
、z
′
)之间的转换公式
发现(x、y、z)与(x
′
、y
′
、z
′
)之间只存在平移关系，因此需要将坐标系进行平移。
[0088]
图3为本发明实施提供的一种坐标系平移的示意图，如图3所示，激光雷达坐标系原点o(0、0、0)经过平移转到新坐标系原点o
′
(tx、ty、tz)，而x
′
轴、y
′
轴、z
′
轴分别与x轴、y轴、z轴平行且正方向一致。同理，选择一点a(x、y、z)，其中(x、y、z)是在原始坐标系oxyz下的坐标，将其投影到o
′y′z′
平面上得到点a
′
，其在原始坐标系oxyz下的坐标为a
′
(tx、y、z)，然后再将点a
′
做o
′y′
轴的垂线并与o
′y′
轴相交于点a
″
，其在原始坐标系oxyz下的坐标为a
″
(tx、y、tz)，o
′a′
与o
′z′
之间的夹角为α
′
，a”a与a”a'之间的夹角为β
′
。
[0089]
根据图3中的新坐标系可以得到如下公式，通过如下公式将激光雷达点云坐标转换为所述虚拟坐标系下的角度：
[0090][0091][0092]
其中，α
′
和β
′
表示角度，x表示激光雷达坐标系下激光雷达点云在x轴的坐标值，y表示激光雷达坐标系下激光雷达点云在y轴的坐标值，z表示激光雷达坐标系下激光雷达点云在z轴的坐标值，(t
x
、ty、tz)表示虚拟坐标系中原点的坐标。
[0093]
而根据下列公式可以推导出tx、ty、tz的值：
[0094][0095][0096]
实施例二
[0097]
图4为本发明实施例二提供的一种激光雷达点云提取方法的流程示意图，本实施例二在上述各实施例的基础上进行优化。本实施例尚未详尽的内容请参考实施例一。如图4所示，本发明实施例二提供的一种激光雷达点云提取方法，包括如下步骤：
[0098]
s210、确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系。
[0099]
s220、基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系。
[0100]
s230、基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系。
[0101]
s240、根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值。
[0102]
示例性的，根据对应关系将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度的具体方法可以包括：
[0103]
设置z1等于一个常值，比如z1＝10，将图像提取的感兴趣区域roi中的像素坐标
(u、v)转换为激光雷达坐标系中的坐标(x、y、z)，计算该坐标(x、y、z)在相机坐标系下的角度α
′
和角度β
′
，并求得图像roi区域四个角点像素坐标(u、v)对应的角度α
′
和β
′
的最小值α
′
min
、β
′
min
以及最大值α
′
max
、β
′
max
。
[0104]
s250、遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度。
[0105]
s260、针对每个激光雷达点云，确定激光雷达点云对应的第二角度是否在所述第一角度中的最大值和最小值区间内。
[0106]
在本实施例中，每个激光雷达点云都对应有一个第二角度，在获得每个激光雷达点云对应的第二角度后，可以判断第二角度是否在第一角度的最大值和最小值区间内。
[0107]
示例性的，判断激光雷达点云对应的第二角度(α
″
,β
″
)是否在第一角度的最大值和最小值区间内的具体方法可以包括：
[0108]
具体的，判断激光雷达点云对应的第二角度(α
″
,β
″
)中的α
″
是否在α
′
min
和α
′
max
之间，判断第二角度(α
″
,β
″
)中的β
″
是否在β
′
min
和β
′
max
之间；若是，则保留该激光雷达点云；若否，则说明该激光点云不在感兴趣范围内，丢弃该激光雷达点云。判断完一个激光雷达点云后，则遍历到下一个激光雷达点云进行判断，直至遍历完整幅激光雷达点云，保留下来的所有激光雷达点云则为图像roi区域对应的激光点云。
[0109]
s270、若是，则从所述图像感兴趣区域中提取出激光雷达点云。
[0110]
在本实施例中，若激光雷达点云对应的第二角度在第一角度中的最大值和最小值区间内，则可以判断该激光雷达点云为需要提取的激光雷达点云，可以从图像感兴趣区域中提取出该激光雷达点云。
[0111]
s280、将提取出的所有激光雷达点云构成的区域作为激光雷达点云感兴趣区域。
[0112]
在本实施例中，当得到所有在第一角度中的最大值和最小值区间内的激光雷达点云对应的第二角度后，可以将所有激光雷达点云构成的区域作为激光雷达点云感兴趣区域。
[0113]
本发明实施例二提供的一种激光雷达点云提取方法，包括：确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系；基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；针对每个激光雷达点云，确定激光雷达点云对应的第二角度是否在所述第一角度中的最大值和最小值区间内；若是，则从所述图像感兴趣区域中提取出激光雷达点云；将提取出的所有激光雷达点云构成的区域作为激光雷达点云感兴趣区域。该方法通过引入虚拟坐标系，解决了现有技术算法计算量较大、耗时较大的问题，大大缩短了算法时间，从而可以实时的将点云与图像进行融合感知。
[0114]
本发明实施例在上述各实施例的技术方案的基础上，提供了一种具体的实施方式。
[0115]
图5为本发明示例实施例提供的一种激光雷达点云提取方法的流程示意图，作为本实施一种具体的实施方式，如图5所示，该方法包括如下步骤：
[0116]
步骤1、确定激光雷达坐标系转换为相机坐标系的公式。
[0117]
步骤2、进行公式分解转换推导。
[0118]
在激光雷达转图像的公式中，由于相机内参矩阵是3行4列矩阵，因此无法求逆。所以本技术将该公式进行分解转换，可以从相机坐标系来转换到激光雷达坐标系。
[0119]
步骤3、设计虚拟坐标系以及夹角去除相机深度z。
[0120]
本步骤中，从转换后的相机坐标系与激光雷达坐标系的关系可以发现，由于相机坐标系下的图像不同像素(u、v)所对应的深度z是不确定的，并且在相机图像像素的z是被丢弃的，因此，设计了一个虚拟坐标系，该坐标系的原点为相机坐标系的原点，而坐标轴则与激光雷达坐标轴一样，这样虚拟坐标系与相机坐标系只有旋转关系，而与激光坐标系只有平移关系。从而通过将激光雷达(x、y、z)转换为角度(α
′
、β
′
)，从而消除公式中的z，完成公式转换。
[0121]
步骤4、将相机坐标系转换到虚拟坐标系下求角度最大值最小值。
[0122]
本步骤中，将得到的图像坐标系的坐标(u、v)转换到虚拟坐标系下的角度(α
′
、β
′
)，并得到角度α
′
和β
′
的最大和最小值。
[0123]
步骤5、遍历激光雷达点云坐标，转换到虚拟坐标系下进行裁剪。
[0124]
遍历激光雷达的坐标(x、y、z)，同样转换到虚拟坐标系下的角度(α
″
、β
″
)，判断其是否在最大最小角度当中，若在，则保留该点，否则，则丢弃，从而实现从图像坐标系上提取点云的方法。
[0125]
本实施例进行了公式转换推导，设计了虚拟坐标系以及虚拟坐标系下的角度α
′
，β
′
，可以以一种新的算法来解决图像维度较低的问题，从图像坐标系提取点云坐标，大大提高了处理速度，减少了耗时时间，可以满足算法的实时处理，更多的应用到感知融合算法当中，具有更强的应用场景。
[0126]
实施例三
[0127]
图6为本发明实施例三提供的一种激光雷达点云提取装置的结构示意图，该装置可适用于相机与激光雷达进行融合感知的情况，其中该装置可由软件和/或硬件实现，并一般集成在电子设备上。如图6所示，该装置包括：
[0128]
第一确定模块310，用于确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；
[0129]
第二确定模块320，用于基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；
[0130]
转换模块330，用于根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；
[0131]
遍历模块340，用于遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；
[0132]
提取模块350，用于基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。
[0133]
本实施例三提供了一种激光雷达点云提取装置，首先通过第一确定模块310确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系；构建模块，用于基于所
述激光雷达坐标系与相机坐标系构建虚拟坐标系；其次通过第二确定模块320基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；然后通过转换模块330根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；之后通过遍历模块340遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；最后通过提取模块350基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。该装置解决了现有技术算法计算量较大、耗时较大的问题，大大缩短了算法时间，从而可以实时的将点云与图像进行融合感知。
[0134]
进一步的，第一确定模块310具体用于：将激光雷达坐标系转换为相机坐标系的公式进行分解转换得到第一公式。
[0135]
进一步的，所述第一公式如下：
[0136][0137]
其中，表示激光雷达点云坐标，r和t表示相机外参矩阵，m表示相机内参矩阵，z1表示相机图像像素，(u、v)表示图像像素点坐标。
[0138]
进一步的，图像像素点坐标与角度的对应关系如下：
[0139][0140][0141]
其中，α
′
和β
′
表示激光雷达点云与虚拟坐标系下原点的夹角，(x
′
、y
′
、z
′
)表示激光雷达点云在虚拟坐标系下的坐标，(u、v)表示图像像素点坐标。
[0142]
进一步的，所述虚拟坐标系的原点与所述相机坐标系的原点相同，所述虚拟坐标系的坐标轴与所述激光雷达坐标系的坐标轴相同。
[0143]
在本实施例中，当虚拟坐标系的原点与相机坐标系的原点相同时，可以确定虚拟坐标系与相机坐标系只有旋转关系；当虚拟坐标系的坐标轴与激光雷达坐标系的坐标轴相同时，可以确定虚拟坐标系与激光雷达坐标系只有平移关系。
[0144]
进一步的，通过如下公式将激光雷达点云坐标转换为所述虚拟坐标系下的角度：
[0145][0146]
[0147]
其中，α
′
和β
′
表示角度，x表示激光雷达坐标系下激光雷达点云在x轴的坐标值，y表示激光雷达坐标系下激光雷达点云在y轴的坐标值，z表示激光雷达坐标系下激光雷达点云在z轴的坐标值，(t
x
、ty、tz)表示虚拟坐标系中原点的坐标。
[0148]
进一步的，提取模块350，还包括：
[0149]
确定单元，用于针对每个激光雷达点云，确定激光雷达点云对应的第二角度是否在所述第一角度中的最大值和最小值区间内；
[0150]
提取单元，用于若是，则从所述图像感兴趣区域中提取出激光雷达点云；
[0151]
感兴趣确定单元，用于将提取出的所有激光雷达点云构成的区域作为激光雷达点云感兴趣区域。
[0152]
上述激光雷达点云提取装置可执行本发明任意实施例所提供的激光雷达点云提取方法，具备执行方法相应的功能模块和有益效果。
[0153]
实施例四
[0154]
图7示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0155]
如图7所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0156]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0157]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如激光雷达点云提取方法。
[0158]
在一些实施例中，激光雷达点云提取方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的激光雷达点云提取方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行激光雷达点云提取方法。
[0159]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0160]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0161]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0162]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0163]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0164]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0165]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0166]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种激光雷达点云提取方法，其特征在于，所述方法包括：确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。2.根据权利要求1所述的方法，其特征在于，确定第一公式包括：将激光雷达坐标系转换为相机坐标系的公式进行分解转换得到第一公式。3.根据权利要求2所述的方法，其特征在于，所述第一公式如下：其中，表示激光雷达点云坐标，r和t表示激光雷达到相机的外参矩阵，r表示旋转矩阵，t表示平移矩阵，m表示相机内参矩阵，z1表示点在相机坐标系下的深度，(u、v)表示图像像素点坐标。4.根据权利要求3所述的方法，其特征在于，图像像素点坐标与角度的对应关系如下：4.根据权利要求3所述的方法，其特征在于，图像像素点坐标与角度的对应关系如下：其中，α
′
和β
′
表示激光雷达点云与虚拟坐标系下原点的夹角，(x
′
、y
′
、z
′
)表示激光雷达点云在虚拟坐标系下的坐标，(u、v)表示图像像素点坐标。5.根据权利要求1所述的方法，其特征在于，所述虚拟坐标系的原点与所述相机坐标系的原点相同，所述虚拟坐标系的坐标轴与所述激光雷达坐标系的坐标轴相同。6.根据权利要求1所述的方法，其特征在于，通过如下公式将激光雷达点云坐标转换为所述虚拟坐标系下的角度：所述虚拟坐标系下的角度：
其中，α
′
和β
′
表示角度，x表示激光雷达坐标系下激光雷达点云在x轴的坐标值，y表示激光雷达坐标系下激光雷达点云在y轴的坐标值，z表示激光雷达坐标系下激光雷达点云在z轴的坐标值，(t
x
、t
y
、t
z
)表示激光雷达坐标系相对于虚拟坐标系的平移矩阵。7.根据权利要求1所述的方法，其特征在于，所述基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域，包括：针对每个激光雷达点云，确定激光雷达点云对应的第二角度是否在所述第一角度中的最大值和最小值区间内；若是，则从所述图像感兴趣区域中提取出激光雷达点云；将提取出的所有激光雷达点云构成的区域作为激光雷达点云感兴趣区域。8.一种激光雷达点云提取装置，其特征在于，所述装置包括：第一确定模块，用于确定第一公式，所述第一公式用于将相机坐标系转换到激光雷达坐标系，基于所述激光雷达坐标系与相机坐标系构建虚拟坐标系；第二确定模块，用于基于所述虚拟坐标系，确定出图像像素点坐标与角度的对应关系；转换模块，用于根据所述对应关系，将图像感兴趣区域的坐标转换到所述虚拟坐标系下得到所述图像感兴趣区域对应的第一角度，以及所述第一角度中的最大值和最小值；遍历模块，用于遍历激光雷达点云坐标，将激光雷达点云坐标转换到所述虚拟坐标系下得到每个激光雷达点云对应的第二角度；提取模块，用于基于所述每个激光雷达点云对应的第二角度以及所述第一角度中的最大值和最小值从所述图像感兴趣区域中提取出激光雷达点云感兴趣区域。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的激光雷达点云提取方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的激光雷达点云提取方法。

技术总结
本发明公开了一种激光雷达点云提取方法、装置、电子设备及存储介质。方法包括：确定第一公式，第一公式用于将相机坐标系转换到激光雷达坐标系，基于激光雷达与相机坐标系构建虚拟坐标系；基于虚拟坐标系，确定出图像像素点坐标与角度的对应关系；根据对应关系将图像感兴趣区域的坐标转换到虚拟坐标系下得到第一角度，以及第一角度中的最大值和最小值；遍历激光雷达点云坐标，将激光雷达点云坐标转换到虚拟坐标系下得到第二角度；基于每个激光雷达点云对应的第二角度以及第一角度中的最大值和最小值从图像感兴趣区域中提取出激光雷达点云感兴趣区域。该方法通过引入虚拟坐标系以及图像像素点坐标与角度的关系，能实时的将点云与图像进行融合感知。与图像进行融合感知。与图像进行融合感知。


技术研发人员：周文彬 李佳恒 蔡登胜 孙金泉 刘平 李逸岳
受保护的技术使用者：广西柳工机械股份有限公司
技术研发日：2023.01.17
技术公布日：2023/7/12