基于图神经网络和多传感器融合的车辆检测方法及系统与流程

1.本发明涉及车辆检测技术领域，具体是涉及一种基于图神经网络和多传感器融合的车辆检测方法、系统及设备。


背景技术：

2.车辆检测是智能驾驶汽车感知技术中的重要功能，其精度会影响到自动驾驶汽车预测、决策和控制的准确性，进而影响到智能驾驶汽车的行驶安全性。但目前基于激光雷达的车辆检测算法通常使用二维卷积或者三维卷积作为特征提取手段，无法充分挖掘点云特征，加上缺少图像语义信息来辅助分析，且背景点云特征的干扰较大，导致车辆检测精度较低。


技术实现要素：

3.本发明提供一种基于图神经网络和多传感器融合的车辆检测方法、系统及设备，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
4.第一方面，提供一种基于图神经网络和多传感器融合的车辆检测方法，所述方法包括：
5.获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；
6.从所述单帧图像数据中提取全局图像特征，再利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云；
7.利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像；
8.在所述深层特征图像中识别并获取所有目标车辆信息，再根据所述所有目标车辆信息在所述单帧点云和所述单帧图像数据中作出标记并进行可视化。
9.进一步地，所述获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据包括：
10.获取激光雷达采集的车辆前方的单帧原始点云，同时获取rgb相机采集的车辆前方的单帧原始图像数据；
11.激光雷达坐标系的原点与像素坐标系的原点重合，根据重合的原点构建感兴趣区域；
12.从所述单帧原始点云中提取落在所述感兴趣区域内的所有点云数据，形成单帧点云；
13.从所述单帧原始图像数据中截取落在所述感兴趣区域内的单帧图像数据。
14.进一步地，所述利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云包括：
15.将所述单帧点云中的每个点云数据转换到像素坐标系；
16.根据所述全局图像特征，对转换后的每个点云数据赋予对应的图像特征，再结合
注意力融合机制对转换后的每个点云数据进行特征增强，进而得到第一单帧点云。
17.进一步地，所述根据所述全局图像特征，对转换后的每个点云数据赋予对应的图像特征包括：
18.针对任意一个转换后的点云数据，判断所述全局图像特征中是否包含与所述转换后的点云数据的位置相对应的图像特征；
19.若是，对所述转换后的点云数据赋予所述图像特征；
20.若否，从转换后的单帧点云中选取与所述转换后的点云数据邻近的四个转换后的点云数据，并从所述全局图像特征中获取与所述四个转换后的点云数据的位置相对应的四个图像特征，再利用双线性插值算法对所述四个图像特征进行插值运算，最后对所述转换后的点云数据赋予插值运算得到的图像特征。
21.进一步地，所述结合注意力融合机制对转换后的每个点云数据进行特征增强包括：
22.针对任意一个转换后的点云数据，利用第一全连接层对所述转换后的点云数据进行特征提取，得到第一特征数据；
23.利用第二全连接层对所述转换后的点云数据对应的图像特征进行特征提取，得到第二特征数据；
24.将所述第一特征数据和所述第二特征数据调整至通道数相同之后进行特征相加，得到第三特征数据；
25.利用第三全连接层对所述第三特征数据进行特征提取，再利用激活函数将特征提取结果进行归一化，得到注意力权重；
26.将所述转换后的点云数据对应的图像特征与所述注意力权重进行相乘，再将相乘结果与所述转换后的点云数据进行拼接，得到增强后的点云数据。
27.进一步地，所述利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像包括：
28.将所述感兴趣区域划分成若干个体素，并且所述单帧点云分布在所述若干个体素内；
29.利用所述单帧点云和所述第一单帧点云，计算所述若干个体素对应的若干个体素特征，再利用k最近邻算法构建所述若干个体素对应的若干个子图；
30.利用图神经网络对所述若干个子图进行特征提取，再将特征提取结果转换为二维特征图像；
31.对所述二维特征图像进行卷积运算，得到深层特征图像。
32.进一步地，所述利用所述单帧点云和所述第一单帧点云，计算所述若干个体素对应的若干个体素特征包括：
33.针对任意一个体素，从所述单帧点云中获取分布在所述体素内的多个点云数据，从所述第一单帧点云中获取与所述多个点云数据关联的多个增强后的点云数据；
34.将所述多个增强后的点云数据转换到激光雷达坐标系，再与所述多个点云数据对应进行拼接，得到多个拼接点云数据；
35.将所述多个拼接点云数据进行均值化处理，得到所述体素对应的体素特征。
36.进一步地，所述利用k最近邻算法构建所述若干个体素对应的若干个子图包括：
37.针对任意一个体素，根据所述若干个体素对应的若干个体素特征，利用k最近邻算法从所述若干个体素中搜索与所述体素邻近的第一体素集合，再将所述体素与所述第一体素集合中的每个体素连接，得到第一边长集合；
38.利用k最近邻算法从所述若干个体素中搜索除所述第一体素集合之外与所述体素邻近的第二体素集合，再将所述体素与所述第二体素集合中的每个体素连接，得到第二边长集合；
39.利用k最近邻算法从所述若干个体素中搜索除所述第一体素集合和所述第二体素集合之外与所述体素邻近的第三体素集合，再将所述体素与所述第三体素集合中的每个体素连接，得到第三边长集合；
40.根据所述第一边长集合、所述第二边长集合和所述第三边长集合，构建所述体素对应的子图。
41.第二方面，提供一种基于图神经网络和多传感器融合的车辆检测系统，所述系统包括：
42.数据获取模块，用于获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；
43.点云增强模块，用于从所述单帧图像数据中提取全局图像特征，再利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云；
44.特征提取模块，用于利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像；
45.目标识别模块，用于在所述深层特征图像中识别并获取所有目标车辆信息，再根据所述所有目标车辆信息在所述单帧点云和所述单帧图像数据中作出标记并进行可视化。
46.第三方面，提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序以实现如第一方面所述的基于图神经网络和多传感器融合的车辆检测方法。
47.本发明至少具有以下有益效果：通过构建感兴趣区域以对采集到的原始点云和原始图像数据进行选择性提取，可以提高计算运行速度；通过为每个点云数据赋予关联的图像特征，再进一步结合注意力融合机制对点云数据执行特征增强操作，有助于解决点云数据可能存在的噪声干扰问题，最后通过采用图神经网络对增强后的点云执行多尺度特征提取操作，可以充分挖掘点云特征，从而提高车辆检测精度。
附图说明
48.附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
49.图1是本发明实施例中的一种基于图神经网络和多传感器融合的车辆检测方法的流程示意图；
50.图2是本发明实施例中的关于目标车辆标记的可视化效果示意图；
51.图3是本发明实施例中的一种基于图神经网络和多传感器融合的车辆检测系统的组成示意图；
52.图4是本公开实施例中的计算机设备的硬件结构示意图。
具体实施方式
53.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
54.需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程图中的顺序执行所示出或描述的步骤。本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序，应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或装置不必限定于清楚列出的那些步骤或单元，而是可以包含没有清楚列出的对于这些过程、方法、产品或装置固有的其他步骤或单元。
55.请参考图1，图1是本发明实施例提供的一种基于图神经网络和多传感器融合的车辆检测方法的流程示意图，所述方法包括如下：
56.步骤s110、获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；
57.步骤s120、从所述单帧图像数据中提取全局图像特征，再利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云；
58.步骤s130、利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像；
59.步骤s140、在所述深层特征图像中识别并获取所有目标车辆信息，再根据所述所有目标车辆信息在所述单帧点云和所述单帧图像数据中作出标记并进行可视化。
60.在本发明实施例中，在车辆上安装rgb相机和激光雷达，并且设置所述rgb相机和所述激光雷达仅朝向车辆前方进行数据采集，上述步骤s110的具体实施过程包括如下：
61.步骤s111、获取由所述rgb相机所采集到的单帧原始图像数据，并将所述单帧原始图像数据以h1
×
w1
×
3的数据格式进行存储，其中，h1为所述单帧原始图像数据的高度，w1为所述单帧原始图像数据的宽度，3指代所述单帧原始图像数据中的r(红色)通道数值、g(绿色)通道数值和b(蓝色)通道数值；
62.步骤s112、获取由所述激光雷达所采集到的单帧原始点云，并将所述单帧原始点云以n
×
4的数据格式进行存储，其中，n为所述单帧原始点云中所包含的所有点云数据的数量，4指代每个点云数据携带的在激光雷达坐标系下的x轴坐标值、y轴坐标值和z轴坐标值以及其所对应的反射强度；需要说明的是，所述单帧原始点云与所述单帧原始图像数据存在时间同步关系；
63.步骤s113、由于所述单帧原始图像数据所在的像素坐标系与所述单帧原始点云所在的激光雷达坐标系处于原点重合状态，以重合的原点为基准点来建立感兴趣区域，使得所述感兴趣区域在x轴方向上的分布范围为[0,70.4m]、在y轴方向上的分布范围为[-40m,40m]以及在z轴方向上的分布范围为[-3m,1m]，即所述感兴趣区域实际上是长度l为70.4米、宽度w为80米、高度h为4米的长方体；
[0064]
步骤s114、由于所述感兴趣区域是一个三维区域，从所述感兴趣区域中选取与所
述rgb相机的拍摄角度相对应的一个平面，再从数据涵盖范围更大的所述单帧原始图像数据中截取出该平面可以覆盖到的单帧图像数据；
[0065]
步骤s115、从数据分布范围更大的所述单帧原始点云中选择所述感兴趣区域可以覆盖到的所有点云数据，再将所述所有点云数据作为单帧点云输出。
[0066]
在本发明实施例中，上述步骤s120中所提及到的特征提取过程包括如下：
[0067]
步骤s121、调用提前训练好的卷积神经网络模型，所述卷积神经网络模型包括残差网络(即resnet-50网络)和特征金字塔网络；
[0068]
步骤s122、利用所述残差网络从所述单帧图像数据中提取出多个不同尺度下的低层图像特征，再利用所述特征金字塔网络将所述多个不同尺度下的低层图像特征进行融合得到全局图像特征，所述全局图像特征可以反映出所述单帧图像数据所包含的更加丰富的图像语义信息。
[0069]
需要说明的是，通过在所述卷积神经网络模型中搭建所述残差网络，可以解决随着网络层数在不断加深时出现的收敛困难和网络性能退化的问题。
[0070]
在此基础上，上述步骤s120中所提及到的特征增强过程包括如下：
[0071]
步骤s123、根据通过现有传感器标定方式所获取到的所述rgb相机的内参矩阵和外参矩阵，再将所述单帧点云中的每个点云数据由激光雷达坐标系映射到像素坐标系下进行表示，具体表现为：对于所述单帧点云中的任意一个点云数据，将该点云数据在激光雷达坐标系下的坐标信息记为第一坐标信息，首先将所述第一坐标信息与所述外参矩阵进行相乘，得到该点云数据在相机坐标系下的坐标信息并记为第二坐标信息，再将所述第二坐标信息与所述内参矩阵进行相乘，得到该点云数据在像素坐标系下的坐标信息；
[0072]
其中，所述内参矩阵描述的是与所述rgb相机自身特性相关的参数，比如所述rgb相机的像素大小和焦距等等，所述外参矩阵包含旋转矩阵和平移矩阵；
[0073]
步骤s124、基于所述全局图像特征，对经过映射后的每个点云数据赋予相关联的图像特征；
[0074]
步骤s125、结合经过映射后的每个点云数据所关联的图像特征，通过注意力融合机制对经过映射后的每个点云数据执行特征增强操作，由此得到增强后的第一单帧点云。
[0075]
在本发明实施例中，由于经过映射后的单帧点云所构成的栅格图可能与所述全局图像特征所构成的特征图存在尺寸不同的问题，上述步骤s124的具体实施过程包括如下：
[0076]
步骤s124.1、对于任意一个经过映射后的点云数据，识别所述全局图像特征中是否存在一个图像特征，所述图像特征所在位置与所述经过映射后的点云数据所在位置重合；若存在，则对所述经过映射后的点云数据直接赋予所述图像特征；若不存在，则执行步骤s124.2；
[0077]
步骤s124.2、在所述经过映射后的单帧点云中进行搜索，得到与所述经过映射后的点云数据更为邻近的四个经过映射后的点云数据，同时限定所述全局图像特征中应当存在四个图像特征，其中每个图像特征所在位置对应与搜索到的一个经过映射后的点云数据所在位置重合；
[0078]
步骤s124.3、通过双线性插值算法对搜索到的所述四个经过映射后的点云数据所关联的所述四个图像特征执行插值运算以得到新的图像特征，再对所述经过映射后的点云数据赋予所述新的图像特征；
[0079]
循环执行上述步骤s124.1至上述步骤s124.3，直至对所述经过映射后的单帧点云中所包含的每个经过映射后的点云数据均赋予关联的图像特征。
[0080]
更为具体的，优先设定所述四个经过映射后的点云数据在像素坐标系下的坐标信息分别为(u1,v1)、(u1,v2)、(u2,v1)和(u2,v2)，同时设定所述四个经过映射后的点云数据所关联的所述四个图像特征分别为f(u1,v1)、f(u1,v2)、f(u2,v1)和f(u2,v2)，上述步骤s124.3的实施过程包括如下：
[0081]
步骤s124.3.1、沿着像素坐标系的u轴方向进行线性插值，得到在(u',v1)位置处的图像特征f(u',v1)，相应的线性插值公式为：
[0082][0083]
步骤s124.3.2、沿着像素坐标系的u轴方向进行线性插值，得到在(u',v2)位置处的图像特征f(u',v2)，相应的线性插值公式为：
[0084][0085]
步骤s124.3.3、沿着像素坐标系的v轴方向进行线性插值，得到在(u0,v0)位置处的图像特征f(u0,v0)，相应的线性插值公式为：
[0086][0087]
其中，(u',v1)为落在v＝v1直线上的一点，(u',v2)为落在v＝v2直线上的一点，并且u1《u'《u2，(u0,v0)为所述经过映射后的点云数据在像素坐标系下的坐标信息，f(u0,v0)即为所述新的图像特征。
[0088]
在本发明实施例中，由于车辆在驾驶过程中存在物体遮挡、光照强度等环境影响，为了消除所述激光雷达所采集到的所述单帧原始点云中可能存在的噪声干扰问题，上述步骤s125的具体实施过程包括如下：
[0089]
步骤s125.1、对于任意一个经过映射后的点云数据，将所述经过映射后的点云数据输入至第一全连接层执行特征提取操作，得到第一特征数据；
[0090]
步骤s125.2、将所述经过映射后的点云数据所关联的图像特征输入至第二全连接层执行特征提取操作，得到第二特征数据；
[0091]
步骤s125.3、对所述第一特征数据和所述第二特征数据执行通道数调整操作，具体表现为：当判断所述第一特征数据的通道数大于所述第二特征数据的通道数时，仅将所述第二特征数据进行升维直至其通道数等于所述第一特征数据的通道数，再执行步骤s125.4；或者，当判断所述第一特征数据的通道数小于所述第二特征数据的通道数时，仅将所述第一特征数据进行升维直至其通道数等于所述第二特征数据的通道数，再执行步骤s125.4；或者，当判断所述第一特征数据的通道数等于所述第二特征数据的通道数时，直接执行步骤s125.4；
[0092]
步骤s125.4、将当前通道数相同的第一特征数据和第二特征数据执行特征相加操作，得到第三特征数据；
[0093]
步骤s125.5、将所述第三特征数据输入至第三全连接层执行特征提取操作，再通过激活函数(本发明优选sigmoid函数)对特征提取结果执行归一化操作，得到注意力权重；
[0094]
步骤s125.6、将所述注意力权重与所述经过映射后的点云数据所关联的图像特征执行相乘运算，再将相乘运算结果与所述经过映射后的点云数据执行拼接操作，进而得到增强后的点云数据；
[0095]
循环执行上述步骤s125.1至上述步骤s125.6，直至完成对所述经过映射后的单帧点云中所包含的每个经过映射后的点云数据的特征增强操作，由此得到增强后的第一单帧点云。
[0096]
在本发明实施例中，上述步骤s130的具体实施过程包括如下：
[0097]
步骤s131、将所述感兴趣区域沿着激光雷达坐标系的x轴方向、y轴方向和z轴方向进行划分，得到大小相等的若干个体素，相应的计算公式为：
[0098][0099]
其中，m为所述若干个体素的数量，v
l
为每个体素的长度，vw为每个体素的宽度，vh为每个体素的高度，并且本发明优选设置v
l
＝0.05m、vw＝0.05m和vh＝0.1m；需要说明的是，所述单帧点云中所包含的所有点云数据仍然落在所述若干个体素的内部；
[0100]
步骤s132、结合所述第一单帧点云和所述单帧点云，计算出所述若干个体素所对应的若干个体素特征；
[0101]
步骤s133、以所述若干个体素所对应的若干个体素特征为基础，通过k最近邻算法构建出所述若干个体素所对应的若干个子图；
[0102]
步骤s134、通过图神经网络对所述若干个子图执行特征提取操作，得到若干个特征数据；
[0103]
步骤s135、将所述若干个特征数据转换成在三维空间中表示的三维特征图像并记为[w',h',d',c']，再将所述三维特征图像经过维度相乘方式转换成二维特征图像并记为[w',h',d'
×
c']，最后对所述二维特征图像执行二维卷积操作，得到深层特征图像并记为[w',h',c”]；
[0104]
其中，w'为所述三维特征图像的宽度，并且所述三维特征图像、所述二维特征图像和所述深层特征图像的宽度相同，h'为所述三维特征图像的高度，并且所述三维特征图像、所述二维特征图像和所述深层特征图像的高度相同，d'为所述三维特征图像的深度，c'为所述三维特征图像的通道数，c”为所述深层特征图像的通道数。
[0105]
更为具体的，上述步骤s132的实施过程包括如下：
[0106]
步骤s132.1、对于所述若干个体素中的任意一个体素，从所述单帧点云中提取出落在所述体素内部的所有点云数据，记为n1个点云数据；
[0107]
步骤s132.2、从所述第一单帧点云中提取出与所述n1个点云数据直接关联的n个增强后的点云数据；
[0108]
步骤s132.3、根据上述步骤s123获取到的所述内参矩阵和所述外参矩阵，将所述n个增强后的点云数据由像素坐标系映射到激光雷达坐标系下进行表示，具体表现为：对于所述n个增强后的点云数据中的任意一个增强后的点云数据，将所述增强后的点云数据在
像素坐标系下的坐标信息记为第三坐标信息，首先将所述第三坐标信息与所述内参矩阵的逆矩阵进行相乘，得到所述增强后的点云数据在相机坐标下的坐标信息并记为第四坐标信息，再将所述第四坐标信息与所述外参矩阵的逆矩阵进行相乘，得到所述增强后的点云数据在激光雷达坐标系下的坐标信息；
[0109]
步骤s132.4、将经过映射后的n个增强后的点云数据对应与所述n1个点云数据执行拼接操作，得到n1个拼接点云数据；
[0110]
步骤s132.5、将所述n1个拼接点云数据执行均值化操作，得到所述体素所对应的体素特征，具体表现为：由于所述n1个拼接点云数据中的每个拼接点云数据携带在激光雷达坐标系下的x轴坐标值、y轴坐标值和z轴坐标值，将所述n1个拼接点云数据中所携带的n1个x轴坐标值进行求平均得到第一x轴坐标值，将所述n1个拼接点云数据中所携带的n1个y轴坐标值进行求平均得到第一y轴坐标值，将所述n1个拼接点云数据中所携带的n1个z轴坐标值进行求平均得到第一z轴坐标值，再将所述第一x轴坐标值、所述第一y轴坐标值和所述第一z轴坐标值作为所述体素特征输出；
[0111]
循环执行上述步骤s132.1至上述步骤s132.5，直至计算出所述若干个体素中的每个体素所对应的体素特征。
[0112]
更为具体的，上述步骤s133的实施过程包括如下：
[0113]
步骤s133.1、对于所述若干个体素中的任意一个体素，将所述体素定义为顶点体素，计算出所述顶点体素与所述若干个体素中的其他体素之间的体素特征距离；
[0114]
步骤s133.2、通过k最近邻算法在所述若干个体素中进行搜索，得到与所述顶点体素更为邻近的9个体素并作为第一尺度上的第一体素集合，再将所述9个体素中的每个体素分别与所述顶点体素进行连接，得到9个边长并作为第一边长集合；
[0115]
步骤s133.3、自动对所述9个体素进行忽略不计，通过k最近邻算法继续在所述若干个体素中进行搜索，得到与所述顶点体素更为邻近的14个体素并作为第二尺度上的第二体素集合，再将所述14个体素中的每个体素分别与所述顶点体素进行连接，得到14个边长并作为第二边长集合；
[0116]
步骤s133.4、自动对所述9个体素和所述14个体素进行忽略不计，通过k最近邻算法继续在所述若干个体素中进行搜索，得到与所述顶点体素更为邻近的20个体素并作为第三尺度上的第三体素集合，再将所述20个体素中的每个体素分别与所述顶点体素进行连接，得到20个边长并作为第三边长集合；
[0117]
步骤s133.5、结合所述第一边长集合、所述第二边长集合以及所述第三边长集合，可以构建出所述顶点体素所对应的子图；
[0118]
循环执行上述步骤s133.1至上述步骤s133.5，直至构建出所述若干个体素中的每个体素所对应的子图。
[0119]
更为具体的，上述步骤s134的实施过程包括如下：
[0120]
步骤s134.1、调用提前训练好的图神经网络，所述图神经网络包括特征提取网络和聚合函数，所述特征提取网络的内部设置有按照数据传输顺序依次连接的一维卷积层、relu(rectified linear unit，修正线性单元)层、bn(batch normalization，批归一化)层和自注意力层，所述聚合函数优选为最大值函数；
[0121]
步骤s134.2、对于所述若干个子图中的任意一个子图，获取与所述子图相关联的
顶点体素所对应的体素特征并记为顶点体素特征，获取在所述子图的第一尺度上的9个体素所对应的9个体素特征，获取在所述子图的第二尺度上的14个体素所对应的14个体素特征，以及获取在所述子图的第三尺度上的20个体素所对应的20个体素特征；
[0122]
步骤s134.3、将所述顶点体素特征和所述9个体素特征输入至所述特征提取网络中，得到所述顶点体素分别与所述9个体素进行连接后所产生的9个边特征，再通过所述聚合函数对所述9个边特征进行聚合处理，得到在所述子图的第一尺度上的第一顶点体素特征；
[0123]
步骤s134.4、将所述顶点体素特征和所述14个体素特征输入至所述特征提取网络中，得到所述顶点体素分别与所述14个体素进行连接后所产生的14个边特征，再通过所述聚合函数对所述14个边特征进行聚合处理，得到在所述子图的第二尺度上的第二顶点体素特征；
[0124]
步骤s134.5、将所述顶点体素特征和所述20个体素特征输入至所述特征提取网络中，得到所述顶点体素分别与所述20个体素进行连接后所产生的20个边特征，再通过所述聚合函数对所述20个边特征进行聚合处理，得到在所述子图的第三尺度上的第三顶点体素特征；
[0125]
步骤s134.6、将所述第一顶点体素特征、所述第二顶点体素特征和所述第三顶点体素特征作为所述子图所对应的特征数据输出；
[0126]
循环执行上述步骤s134.2至上述步骤s134.6，直至输出所述若干个子图中的每个子图所对应的特征数据。
[0127]
在本发明实施例中，上述步骤s140所提及到的目标车辆识别过程包括如下：
[0128]
步骤s141、调用提前训练好的目标识别网络，所述目标识别网络的内部设置有卷积核大小均为1
×
1的第一卷积层和第二卷积层，所述第一卷积层主要充当所述目标识别网络的类别预测分支，所述第二卷积层主要充当所述目标识别网络的参数回归分支；
[0129]
步骤s142、将所述深层特征图像输入至所述目标识别网络中，以对所述深层特征图像中的每个位置进行类别预测和参数回归，即通过所述第一卷积层预测出所有目标车辆位置并对应生成航向角为0的锚框或者航向角为0.5π的锚框，再通过所述第二卷积层预测出所有锚框的偏移量以对应生成所有候选框；
[0130]
步骤s143、采用非极大值抑制算法从所述所有候选框中提取出预测分数较高的候选框，并且提取出的每个候选框反映一个目标车辆信息，具体包括目标车辆的中心位置、尺寸和方向。
[0131]
针对上述步骤s140所提及到的图像可视化操作，可以参见图2所示，其中图(a)为以候选框形式标记出所有目标车辆的单帧图像数据，图(b)对应为以候选框形式标记出所有目标车辆的单帧点云。
[0132]
在本发明实施例中，通过构建感兴趣区域以对采集到的原始点云和原始图像数据进行选择性提取，可以提高计算运行速度；通过为每个点云数据赋予关联的图像特征，再进一步结合注意力融合机制对点云数据执行特征增强操作，有助于解决点云数据可能存在的噪声干扰问题，最后通过采用图神经网络对增强后的点云执行多尺度特征提取操作，可以充分挖掘点云特征，从而提高车辆检测精度。
[0133]
请参考图3，图3是本发明实施例提供的一种基于图神经网络和多传感器融合的车
辆检测系统的组成示意图，所述系统包括：
[0134]
数据获取模块210，用于获取车辆前方落在感兴趣区域内的单帧图像数据和单帧点云；
[0135]
点云增强模块220，用于获取所述单帧图像数据所对应的全局图像特征，再结合所述全局图像特征对所述单帧点云执行特征增强操作，得到第一单帧点云；
[0136]
特征提取模块230，用于通过图神经网络对所述第一单帧点云执行上下文特征提取操作，得到所述第一单帧点云所对应的深层特征图像；
[0137]
目标识别模块240，用于在所述深层特征图像中识别并获取所有目标车辆信息，再根据所述所有目标车辆信息在所述单帧图像数据和所述单帧点云中作出标记并进行可视化。
[0138]
上述方法实施例中的内容均适用于本系统实施例中，本系统实施例所实现的功能与上述方法实施例相同，并且所达到的有益效果与上述方法实施例相同，在此不再赘述。
[0139]
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中的基于图神经网络和多传感器融合的车辆检测方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、cd-rom、和磁光盘)、rom(read-only memory，只读存储器)、ram(random access memory，随即存储器)、eprom(erasable programmable read-only memory，可擦写可编程只读存储器)、eeprom(electrically erasable programmableread-only memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是说，存储设备包括由设备(例如计算机、手机等)以可读的形式存储或传输信息的任何介质，可以是只读存储器、磁盘或光盘等。
[0140]
此外，图4是本发明实施例提供的计算机设备的硬件结构示意图，所述计算机设备包括处理器320、存储器330、输入单元340和显示单元350等器件。本领域技术人员可以理解，图4示出的设备结构器件并不构成对所有设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器330可用于存储计算机程序310以及各功能模块，处理器320运行存储在存储器330的计算机程序310，从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器，或者包括内存储器和外存储器。内存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)、快闪存储器或者随机存储器。外存储器可以包括硬盘、软盘、zip盘、u盘、磁带等。本发明实施例所公开的存储器330包括但不限于上述这些类型的存储器。本发明实施例所公开的存储器330只作为例子而非作为限定。
[0141]
输入单元340用于接收信号的输入，以及接收用户输入的关键字。输入单元340可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户利用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元350可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元350可采用液晶显示器、有机发光二极管等形式。处理器320是终端设备的控制中心，利用各种接口和线路连接整个设备的各个部分，通过运行或执行存储在存储器320内的软件程序
和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。
[0142]
作为一个实施例，所述计算机设备包括处理器320、存储器330和计算机程序310，其中所述计算机程序310被存储在所述存储器330中并被配置为由所述处理器320所执行，所述计算机程序310被配置用于执行上述实施例中的基于图神经网络和多传感器融合的车辆检测方法。
[0143]
尽管本技术的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求，考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本技术的预定范围。此外，上文以发明人可预见的实施例对本技术进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本技术的非实质性改动仍可代表本技术的等效改动。

技术特征：
1.一种基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述方法包括：获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；从所述单帧图像数据中提取全局图像特征，再利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云；利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像；在所述深层特征图像中识别并获取所有目标车辆信息，再根据所述所有目标车辆信息在所述单帧点云和所述单帧图像数据中作出标记并进行可视化。2.根据权利要求1所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据包括：获取激光雷达采集的车辆前方的单帧原始点云，同时获取rgb相机采集的车辆前方的单帧原始图像数据；激光雷达坐标系的原点与像素坐标系的原点重合，根据重合的原点构建感兴趣区域；从所述单帧原始点云中提取落在所述感兴趣区域内的所有点云数据，形成单帧点云；从所述单帧原始图像数据中截取落在所述感兴趣区域内的单帧图像数据。3.根据权利要求1所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云包括：将所述单帧点云中的每个点云数据转换到像素坐标系；根据所述全局图像特征，对转换后的每个点云数据赋予对应的图像特征，再结合注意力融合机制对转换后的每个点云数据进行特征增强，进而得到第一单帧点云。4.根据权利要求3所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述根据所述全局图像特征，对转换后的每个点云数据赋予对应的图像特征包括：针对任意一个转换后的点云数据，判断所述全局图像特征中是否包含与所述转换后的点云数据的位置相对应的图像特征；若是，对所述转换后的点云数据赋予所述图像特征；若否，从转换后的单帧点云中选取与所述转换后的点云数据邻近的四个转换后的点云数据，并从所述全局图像特征中获取与所述四个转换后的点云数据的位置相对应的四个图像特征，再利用双线性插值算法对所述四个图像特征进行插值运算，最后对所述转换后的点云数据赋予插值运算得到的图像特征。5.根据权利要求3所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述结合注意力融合机制对转换后的每个点云数据进行特征增强包括：针对任意一个转换后的点云数据，利用第一全连接层对所述转换后的点云数据进行特征提取，得到第一特征数据；利用第二全连接层对所述转换后的点云数据对应的图像特征进行特征提取，得到第二特征数据；将所述第一特征数据和所述第二特征数据调整至通道数相同之后进行特征相加，得到第三特征数据；利用第三全连接层对所述第三特征数据进行特征提取，再利用激活函数将特征提取结果进行归一化，得到注意力权重；
将所述转换后的点云数据对应的图像特征与所述注意力权重进行相乘，再将相乘结果与所述转换后的点云数据进行拼接，得到增强后的点云数据。6.根据权利要求1所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像包括：将所述感兴趣区域划分成若干个体素，并且所述单帧点云分布在所述若干个体素内；利用所述单帧点云和所述第一单帧点云，计算所述若干个体素对应的若干个体素特征，再利用k最近邻算法构建所述若干个体素对应的若干个子图；利用图神经网络对所述若干个子图进行特征提取，再将特征提取结果转换为二维特征图像；对所述二维特征图像进行卷积运算，得到深层特征图像。7.根据权利要求6所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述利用所述单帧点云和所述第一单帧点云，计算所述若干个体素对应的若干个体素特征包括：针对任意一个体素，从所述单帧点云中获取分布在所述体素内的多个点云数据，从所述第一单帧点云中获取与所述多个点云数据关联的多个增强后的点云数据；将所述多个增强后的点云数据转换到激光雷达坐标系，再与所述多个点云数据对应进行拼接，得到多个拼接点云数据；将所述多个拼接点云数据进行均值化处理，得到所述体素对应的体素特征。8.根据权利要求6所述的基于图神经网络和多传感器融合的车辆检测方法，其特征在于，所述利用k最近邻算法构建所述若干个体素对应的若干个子图包括：针对任意一个体素，根据所述若干个体素对应的若干个体素特征，利用k最近邻算法从所述若干个体素中搜索与所述体素邻近的第一体素集合，再将所述体素与所述第一体素集合中的每个体素连接，得到第一边长集合；利用k最近邻算法从所述若干个体素中搜索除所述第一体素集合之外与所述体素邻近的第二体素集合，再将所述体素与所述第二体素集合中的每个体素连接，得到第二边长集合；利用k最近邻算法从所述若干个体素中搜索除所述第一体素集合和所述第二体素集合之外与所述体素邻近的第三体素集合，再将所述体素与所述第三体素集合中的每个体素连接，得到第三边长集合；根据所述第一边长集合、所述第二边长集合和所述第三边长集合，构建所述体素对应的子图。9.一种基于图神经网络和多传感器融合的车辆检测系统，其特征在于，所述系统包括：数据获取模块，用于获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；点云增强模块，用于从所述单帧图像数据中提取全局图像特征，再利用所述全局图像特征对所述单帧点云进行特征增强，得到第一单帧点云；特征提取模块，用于利用图神经网络对所述第一单帧点云进行上下文特征提取，得到对应的深层特征图像；目标识别模块，用于在所述深层特征图像中识别并获取所有目标车辆信息，再根据所
述所有目标车辆信息在所述单帧点云和所述单帧图像数据中作出标记并进行可视化。10.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序以实现如权利要求1至8任一项所述的基于图神经网络和多传感器融合的车辆检测方法。

技术总结
本发明公开了一种基于图神经网络和多传感器融合的车辆检测方法、系统及设备，其中所述方法包括：获取车辆前方落在感兴趣区域内的单帧点云和单帧图像数据；从单帧图像数据中提取全局图像特征，再利用全局图像特征对单帧点云进行特征增强，得到第一单帧点云；利用图神经网络对第一单帧点云进行上下文特征提取，得到对应的深层特征图像；在深层特征图像中识别并获取所有目标车辆信息，再根据所有目标车辆信息在单帧点云和单帧图像数据中作出标记并进行可视化。本发明通过结合全局图像特征和注意力融合机制来执行点云的特征增强操作，可以解决点云数据可能存在的噪声干扰问题，通过采用图神经网络来充分挖掘点云特征，可以提高车辆检测精度。辆检测精度。辆检测精度。


技术研发人员：尹智帅 秦国钰 颜伏伍
受保护的技术使用者：佛山仙湖实验室
技术研发日：2023.05.31
技术公布日：2023/9/12