一种图像与点云融合的方法及装置与流程

1.本发明涉及自动驾驶技术领域，具体涉及一种图像与点云融合的方法及装置。


背景技术：

2.在自动驾驶领域三维物体检测非常关键，在传统的车载感知系统中雷达和相机通常是提供周围世界精确点云数据和图像信息的关键传感器。为了可靠地进行物体检测，自动驾驶汽车上同时部署了雷达和相机，以提供点云数据和rgb图像，从而获得更强大的感知效果。
3.相关技术中，通常采用相机采集图像，雷达采集点云数据，然后对相机图像和激光雷达点云分别进行检测，再对检测结果进行像素级融合的方法检测目标，但是该方法不能有效，准确的检测出目标。


技术实现要素：

4.本发明的目的之一在于提供一种图像与点云融合的方法，以解决现有技术中对目标检测的精度低的问题；目的之二在于提供一种图像与点云融合的装置。
5.为了实现上述目的，本发明采用的技术方案如下：
6.一种图像与点云融合的方法，包括：将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；将所述融合特征输入到预先建立的目标检测网络，实现目标检测。
7.根据上述技术手段，本发明创新的提出使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合，从而提升了对目标检测的精度，同时，本发明并不高度依赖激光雷达的输入质量，具有更好的鲁棒性。
8.进一步，所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征包括：将所述图像网格化特征作为自注意力机制层的输入，通过自注意力机制层和残差连接，得到第一查询图；将所述点云网络化特征作为所述自注意力机制层的第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图进行处理，得到第二查询图；通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。
9.根据上述技术手段，通过多次迭代提高了目标检测的精度。
10.进一步，所述将所述图像网格化特征和所述点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征包括：将所述点云网格化特征作为自注意力机制层的
输入，通过自注意力机制层和残差连接，得到第三查询图；将所述图像网络化特征作为所述自注意力机制层的第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图；通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。
11.根据上述技术手段，通过多次迭代提高了目标检测的精度。
12.进一步，在所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征之前，还包括：获取各视角相机的图像；利用第一卷积网络对所述图像进行特征编码，得到图像编码特征；将所述图像编码特征转换为图像三维体素特征；通过坐标转换将所述图像三维体素特征转换为图像网格化特征。
13.根据上述技术手段，使用卷积网络对图像进行处理，能够有效保证整个网络互感器的感知性能。
14.进一步，在所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征之前，还包括：获取车载激光雷达的点云数据；利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征；将所述点云编码特征转换为点云网格化特征。
15.根据上述技术手段，使用卷积网络对图像进行处理，能够有效保证整个网络互感器的感知性能。
16.进一步，所述方法还包括：预先构建网络互感器；所述预先构建网络互感器包括：获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；通过多任务损失函数对所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重；根据所述最优网络权重对所述网络互感器进行训练，获得预先构建的所述网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。
17.根据上述技术手段，通过使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合，从而提升了对目标检测的精度。
18.一种图像与点云融合的装置，包括：第一处理模块，用于将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；第二处理模块，用于将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；迭代模块，用于使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；目标检测模块，用于将所述融合特征输入到预先建立的目标检测网络，实现目标检测。
19.进一步，所述第一处理模块包括：第一查询图单元，用于将所述图像网格化特征作为所述第一环节处理模块的输入，通过自注意力机制层和残差连接，得到第一查询图；第二查询图单元，用于将所述点云网络化特征作为第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图进行处理，得到第二查询图；第一融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。
20.进一步，所述第二处理模块包括：第三查询图单元，用于将所述点云网格化特征作为所述第二环节处理模块的输入，通过自注意力机制层和残差连接，得到第三查询图；第四查询图单元，用于将所述图像网络化特征作为第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图；第二融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。
21.进一步，所述装置，还包括：图像模块，用于获取各视角相机的图像；图像编码模块，用于利用第一卷积网络对所述图像进行特征编码，得到图像编码特征；转换模块，用于将所述图像编码特征转换为图像三维体素特征；图像网格化模块，用于通过坐标转换将所述图像三维体素特征转换为图像网格化特征。
22.进一步，所述装置，还包括：点云模块，用于获取车载激光雷达的点云数据；点云编码模块，用于利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征；点云网格化模块，用于将所述点云编码特征转换为点云网格化特征。
23.进一步，所述装置还包括：构建模块，用于预先构建网络互感器；所述构建模块包括：样本库单元，用于获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；构建单元，用于通过多任务损失函数对所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重；根据所述最优网络权重对所述网络互感器进行训练，获得预先构建的所述网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。本发明的有益效果：
24.本发明创新的提出使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合，从而提升了对目标检测的精度。同时，本发明并不高度依赖激光雷达的输入质量，具有更好的鲁棒性。
附图说明
25.图1为本发明一种图像与点云融合的网络架构示意图；
26.图2为本发明网络互感器的结构图；
27.图2-1为本发明网络互感器第一环节处理模块的内部结构图；
28.图2-2为本发明网络互感器第二环节处理模块的内部结构图；
29.图3为本发明一种图像与点云融合的方法的流程图；
30.图4为本发明一种图像与点云融合的方法的流程图；
31.图5为本发明一种图像与点云融合装置的结构示意图。
具体实施方式
32.以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围
33.参见图1，其示出了实现本发明一种图像与点云融合方法的网络架构示意图，具体包括：
34.图像传感器101、雷达传感器102、网络互感器103、3d目标检测解码器104和道路结构分割解码器105组成。
35.在自动驾驶场景下图像传感器可以是相机、雷达传感器可以是用于自动驾驶并满足感知精度要求的，可提供点云数据的任何雷达设备，例如：激光雷达传感器、机械式激光雷达、半固态激光雷达或固态激光雷达。
36.在具体应用中，自动驾驶车辆在道路上行驶，通过设置于该自动驾驶车辆上的各个视角的图像传感器获取车辆周围场景的图像，并利用雷达传感器获取对应的点云数据，进而能够得到用于描述车辆周围场景的点云和图像。网络互感器transformer，可以理解为基于自注意力机制的一个深度学习模型，因此适用于并行化计算和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的其他方法，为此本发明的发明人专门针对nuscenes数据集验证集采用不同的方法进行测试，测试的测试结果，如表1所示。
37.其中，nuscenes数据集验证集包括不同地点、天气条件、车辆类型、植被、道路标志和驾驶规则等等。
38.表1：
[0039][0040]
经过上述测试，网络互感器相对于其他方法，对目标检测的精度和综合指标的精度更高一些。
[0041]
其中，网络互感器具体的内部结构如图2所示，其中，网络互感器包括：第一环节处理模块(i2l模块)和第二环节处理模块(l2i模块)，图像网格化特征和点云网格化特征输入到i2l模块融合点云特征将和输入到l2i模块，得到融合图像特征将和输入到i2l模块，得到输入到i2l模块，得到和输入到l2i模块，得到循环反复，进行多次迭代，最终得到融合特征。
[0042]
其中，第一环节处理模块的内部结构如图2-1所示，第二环节处理模块的内部结构如图2-2所示，在网络互感器中，会首先进行i2l模块，使用图像bev特征与激光雷达bev特征，经过如上步骤得到融合点云特征；再进入l2i模块使用融合点云特征和图像bev特征，经过如上步骤得到融合图像特征，在使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征，这里面的一个i2l模块和一个l2i模块共同组成了一次迭代，迭代数目与精度的关系，如表2所示，由表2可知，迭代次数越多，网络互感器的精度越高。
[0043]
表2：
[0044]
迭代次数目标检测的精度map综合指标的精度nds0(仅激光雷达)65.170.1169.572.3269.772.5369.872.5469.972.6
[0045]
各个视角图像传感器采集的图像，分别经过2d主干卷积网络和特征金字塔fpn处理获得各个视角的图像特征，该图像特征经过深度分布估计、空间转换以及bev(鸟瞰图)编码器生成各个视角的图像网格化特征(图像bev特征)。
[0046]
各个雷达传感器采集的点云数据，分别经过3d主干卷积网络获得各个雷达传感器的点云特征，然后经过柱体池化生成各个雷达传感器的点云网格化特征(点云bev特征)。
[0047]
将图像网格化特征和点云网格化特征输入到网络互感器得到融合特征，然后将融合特征分别发送到不同的目标检测网络，实现目标检测。
[0048]
其中，目标检测网络包括：3d目标检测解码器或道路结构分割解码器，输入到不同的目标检测网络实现对不同目标的检测。
[0049]
基于上述架构，详细说明本发明的图像与点云融合方法处理过程，参见图3所示，为本发明实施例提供的一种图像与点云融合的方法的流程图，该方法包括：
[0050]
步骤301：获取图像网格化特征和点云网格化特征。
[0051]
在执行步骤301之前，还需要获取各视角相机的图像和雷达传感器的点云数据，点云数据在低分辨率下提供了必要的定位和几何信息，而图像在高分辨率下提供了丰富的色彩、纹理和语义信息，这样充分利用了点云和图像之间的互补优势实现图像与点云数据的融合。
[0052]
一种实现方式，步骤301，获取图像网格化特征具体包括如下子步骤：
[0053]
子步骤3011：获取各视角相机的图像。
[0054]
子步骤3012：利用第一卷积网络对所述图像进行编码，得到图像编码特征。
[0055]
子步骤3013：将所述图像编码特征转换为图像三维体素特征。
[0056]
子步骤3014：通过坐标转换将所述图像三维体素特征转换为图像网格化特征。
[0057]
其中，第一卷积网络为2d卷积主干网络，利用2d卷积主干网络encode
2d
，分别对各视角相机获取的2d视觉图像mi(i＝1,2,
…
,n)进行特征编码，获得各视角相机图像编码特征征然后，通过深度估计获得图像编码特征对应的每个图像像素点在一定深度离散区间内的置信度估计将每个像素的特征加权平均到对应各深度的离散格点中，最终得到各视角相机图像对应的三维体素特征利用柱体池化对三维体素特征中的图像编码特征进行平面化映射，获得bev平面图像编码特征
[0058]
结合各视角摄像机内参ii(i＝1,2,
…
,n)及相对车身坐标系外参,n)及相对车身坐标系外参通过坐标系转换，将各视角相机图像对应的三维体素特征变换至以本车坐标系原点为中心的统一bev视角3d图像网格化特征空间
[0059]
其中，内参一般是指相机x或y方向中心点及焦距，外参一般是指旋转矩阵或者平移矩阵。
[0060]
进一步的，2d卷积主干网络encode
2d
为输入的各视角摄像机2d视觉图像mi(i＝1,2,
…
,n)分配的权重相同，也就是说，各视角摄像机2d视觉图像的权重相同，在实际应用中，2d卷积主干网络可采用以下任意一种：resnet、efficientnet、swintransformer、vovnetv2、convnext，然后与cbnet组合主干网络架构以及特征金字塔(fpn)多尺度融合。
[0061]
具体的，对图像编码特征深度估计的方法，主要通过深度估计网络对各视角摄像机2d视觉图像特征图进行估计，预测结果可以为对每个图像像素点的离散点单独在[0,1]区间内的置信度进行估计，对应真值深度处为1、其他非真值深度格点为0的监督；也可以指定预测均值标准差为的高斯分布参数估计，对应真值深度对均值进行监督。
[0062]
进一步的，每个视角相机的图像深度估计的卷积层的输入，可以结合各视角摄像机内参ii(i＝1,2,
…
,n)及相对车身坐标系外参通过单应性变换将其他视角的图像特征图变换到当前视角平面，进行特征叠加；通过单应性变换将其他时间戳t∈{t
0-(k-1)t,
…
,t
0-2t,t
0-t,t0}的该视角图像特征图变换到当前视角平面，进行特征叠加；最终得到多视角相机特征通过卷积核为1
×
1的卷积网络，对每个像素的特征进行降维得到并输入深度估计网络，由此通过结合多目和多帧信息，使预测的深度更加准确。
[0063]
在实际应用中，深度估计网络的预测可以通过多次迭代提升预测精度，每次迭代会根据上一次预测的深度分布，计算其均值与标准差，若标准差小于给定阈值，说明深度预测较为集中，此时可以以均值为中心，将下一次深度预测的深度离散区间变窄、步长变小，进行更精细的深度预测；若标准差大于给定阈值，说明深度预测较为分散，深度真值可能落在了区间外，此时可以以均值为中心，将下一次深度预测的深度离散区间变窄、步长变小。
[0064]
另一种实现方式，步骤301，获取点云网格化特征具体包括如下子步骤：
[0065]
子步骤3015：获取车载激光雷达的点云数据。
[0066]
点云数据是指目标物体的点数据集合。
[0067]
子步骤3016：利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征。
[0068]
子步骤3017：将所述点云编码特征转换为点云网格化特征。
[0069]
第二卷积神经网络采用3d稀疏卷积主干网络encode
3d
，利用3d稀疏卷积主干网络encode
3d
，分别对各激光雷达获取的点云数据lj(j＝1,2,
…
,m)进行点云特征编码，获得各激光雷达3d点云编码特征3d稀疏卷积主干网络encode
3d
为输入的各激光雷达点云lj(j＝1,2,
…
,m)分配相同的权重，然后与特征金字塔(fpn)多尺度融合，利用柱体池化操作，对bev视角3d特征空间中的点云编码特征进行平面化映射，获得bev平面点云编码特征在结合各激光雷达相对车身坐标系外参
将点云数据lj(j＝1,2,
…
,m)坐标转换至以本车坐标系为中心的统一bev视角3d网格化特征然后，将图像网格化特征和点云网格化特征进行融合，获得视觉与激光雷达融合bev特征f
bev
∈rc×z×
x
。
[0070]
在对3d特征空间和的柱体池化操作方式，可考虑bev空间xy平面上各网格所沿z轴高度方向所对应柱体的所有体素特征向量的加和平均或维度堆叠，若为加和平均则新特征维度若为维度堆叠则新特征维度
[0071]
步骤302：将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征。
[0072]
在图2-1中，将所述图像网格化特征作为自注意力机制层的输入，即将图像网格化特征作为自注意力机制层的键值图k、值图v、查询图q，在通过自注意力机制层和残差连接，得到第一查询图q1；将所述点云网络化特征作为注意力机制的第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图q1进行处理，得到第二查询图q2；在通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征，即将第二查询图、所述第一键值和所述第一值图作为自注意力机制层的输入，通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。
[0073]
步骤303：将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同。
[0074]
在图2-2中，将所述点云网格化特征作为所述自注意力机制层的输入，即将点云网格化特征作为自注意力机制层的键值图k、值图v、查询图q，通过自注意力机制层和残差连接，得到第三查询图q3；将所述图像网络化特征作为注意力机制的第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图q4；通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征，即将第四查询图、所述第二键值和所述第二值图作为自注意力机制层的输入，通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。
[0075]
图像网格化特征与点云网格化特征融合是采用网络互感器进行多次迭代交互，设互感器网络为代表的含义在每轮迭代中有两个环节，第一处理环节模块，即i2l模块，用表示，第二处理环节模块，即l2i模块，用表示，i2l模块将图像网格化特征bev特征图和点云网格化特征bev特征图信息融合得到融合点云特征l2i模块将图像网格化特征bev和点云网格化特征bev融合得到融合图像特征，
[0076]
在在i2l模块，互感器网络首先将图像网格化特
征作为查询值和键值，通过自注意力机制层后，进行残差连接，生成查询q1，即在i2l模块，查询q1是由图像bev特征生成的，在i2l模块，查询图q2是由图像bev特征图初始化的查询，对激光雷达bev特征图经过自注意力层进行查询、进行残差连接得到的；在l2i模块，查询图q3是由激光雷达的融合点云特征bev生成的，然后将q3作为查询图、图像网络化特征作为键值，通过交叉注意力机制层后，进行残差连接，得到融合查询图q4；在i2l模块，融合查询会将图像bev作为第一键值和第一值图进行查询，得到的融合后点云bev特征图在l2i模块，查询图q3是由激光雷达bev特征图初始化的查询，对图像bev特征图经过自注意力层进行查询、进行残差连接得到的。最后将由图像bev特征和激光雷达bev特征融合生成的q3作为查询图，图像网格化特征作为第二键值图和第二值图，通过交叉注意力层、残差连接和前馈网络(ffn)，得到融合图像的bev特征图在l2i模块，融合查询会将激光雷达bev作为键值进行查询，得到的融合后图像bev特征图
[0077]
步骤304：使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征。
[0078]
具体应用中，融合图像特征作为第一环节处理模块的输入，通过自注意力机制层和残差连接，得到第五查询图；将所述融合点云特征作为第一环节模块的第五键值图和第五值图，并通过自注意力机制层和残差连接对所述第五键值图、所述第五值图和所述第五查询图进行处理，得到第六查询图；通过自注意力机制层、残差连接和前馈网络对所述第六查询图、所述第五键值和所述第五值图进行处理，得到融合点云特征。
[0079]
将所述融合点云特征作为所述第二环节处理模块的输入，通过自注意力机制层和残差连接，得到第七查询图；将所述融合图像特征作为第二环节模块的第六键值图和第六值图，并通过自注意力机制层和残差连接对所述第六键值图、所述第六值图和所述第七查询图进行处理，得到第八查询图；通过自注意力机制层、残差连接和前馈网络对所述第八查询图、所述第六键值和所述第六值图进行处理，得到融合特征。
[0080]
需要说明的是，本实施例是以两次迭代为例，说明了获得融合特征的过程，在实际应用中可以有多次迭代，具体的操作过程与上述过程一致，只是迭代的次数不同。
[0081]
步骤305：将所述融合特征输入到预先建立的目标检测网络，实现目标检测。
[0082]
目标检测网络包括但不限于：3d目标检测解码器和道路结构分割解码器，当融合图像特征输入到3d目标检测解码器，则实现对目标障碍物的检测，当融合图像特征输入到道路结构分割解码器则实现对车辆的车道线的检测。
[0083]
在实际应用中，网络互感器得到的融合图像特征连接适配的3d目标检测dthead和道路结构分割解码器rdhead等任务网络，输出相应目标检测及道路可通行区域、车道线分割任务结果。
[0084]
其中，3d目标检测dthead可以选择基于锚点的pointpillars等检测头，基于中心热力图预测的centerpoint等检测头，基于transformer的detr3d、transfusion等检测头中的任意一个；道路结构分割解码器rdhead采用多层卷积网络。
[0085]
本实施例，使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合。从而提升了对目标检测的精度，同时，本发明并不高度依赖激光雷达的输入质量，具有更好的鲁棒
性，并且本发明提供的基于图像和点云数据融合可以充分利用了点云和图像之间的互补优势，有效、准确的检测出目标。
[0086]
参见图4所示，为本发明实施例提供的一种图像与点云融合的方法的流程图，该方法包括：
[0087]
步骤401：预先构建网络互感器。
[0088]
所述预先构建网络互感器包括：获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；构建单元，用于通过多任务损失函数将所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重，根据所述最优网络权重对所述网络互感器进行训练，获得预先构建的所述网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。具体的针对网络互感器的训练，需要获取各时间戳t对应的车载各视角摄像机2d图像和激光雷达3d点云数据，在3d空间中进行所需3d目标类别及相应包围框信息标注，利用覆盖采集车辆行驶区域的高精度地图数据，在其图层上进行道路可通行区域及车道线等结构化信息标注，同时保存各时间戳车辆位姿信息，生成网络互感器训练样本库，通过多任务损失函数对图像数据、点云数据和道路信息进行处理获得训练样本的最优网络权重，根据最优网络权重对网络互感器进行训练，获得预先构建的网络互感器。
[0089]
损失函数l由3d目标检测损失l
det
和道路结构分割损失l
seg
加权构成，即l＝l
det
+γ
·
l
seg
，其中3d目标检测损失l
det
由分类focal损失l
cls
、3d框回归l1损失l
reg
、中心热力图回归l1损失l
heatmap
加权计算获得，道路结构分割损失l
seg
由道路可通行区域二值交叉熵l
road
和车道线二值交叉熵损失l
lane
加权计算获得。
[0090]
进一步的，还需要对各视角摄像机2d视觉图像、激光雷达3d点云数据需要进行时间戳对准，通常可将最近时间戳作为各传感器对应同组数据，各时间戳车辆位姿状态信息可用于必要的运动补偿。
[0091]
步骤402：获取图像网格化特征和点云网格化特征。
[0092]
步骤403：将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征。
[0093]
步骤404：将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同。
[0094]
步骤405：使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征。
[0095]
步骤406：将所述融合特征输入到预先建立的目标检测网络，实现目标检测。
[0096]
本实施例，通过使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合。从而提升了对目标检测的精度，同时，本发明并不高度依赖激光雷达的输入质量，具有更好的鲁棒性。
[0097]
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也
可能更为复杂。
[0098]
需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术所必需的。
[0099]
基于上述方法实施例的说明，本发明还提供了相应的装置实施例，来实现上述方法实施例所述的内容。
[0100]
参照图5，其示出了本发明实施例所述一种图像与点云融合装置的结构示意图，所述装置包括。
[0101]
第一处理模块501，用于将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；
[0102]
第二处理模块502，用于将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；
[0103]
迭代模块503，用于使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；
[0104]
目标检测模块504，用于将所述融合图像特征输入到预先建立的目标检测网络，实现目标检测。
[0105]
进一步的，所述第一处理模块包括：
[0106]
第一查询图单元，用于将所述图像网格化特征作为所述自注意力机制层的输入，通过自注意力机制层和残差连接，得到第一查询图；
[0107]
第二查询图单元，用于将所述点云网络化特征作为自注意力机制层的第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图进行处理，得到第二查询图；
[0108]
第一融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。
[0109]
进一步的，所述第二处理模块包括：
[0110]
第三查询图单元，用于将所述点云网格化特征作为自注意力机制层的输入，通过自注意力机制层和残差连接，得到第三查询图；
[0111]
第四查询图单元，用于将所述图像网络化特征作为自注意力机制层的第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图；
[0112]
第二融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。
[0113]
进一步的，所述装置，还包括：
[0114]
图像模块，用于获取各视角相机的图像；
[0115]
图像编码模块，用于利用第二卷积网络对所述图像进行特征编码，得到图像编码特征；
[0116]
转换模块，用于将所述图像编码特征转换为图像三维体素特征；
[0117]
图像网格化模块，用于通过坐标转换将所述图像三维体素特征转换为图像网格化特征。
[0118]
进一步的，所述装置，还包括：
[0119]
点云模块，用于获取车载激光雷达的点云数据；
[0120]
点云编码模块，用于利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征；
[0121]
点云网格化模块，用于将所述点云编码特征转换为点云网格化特征。
[0122]
进一步的，所述装置还包括：构建模块，用于预先构建网络互感器；
[0123]
所述构建模块包括：
[0124]
样本库单元，用于获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；
[0125]
构建单元，用于通过多任务损失函数将所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重，根据所述最优网络权重对所述网络互感器进行训练，获得预先构建的所述网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。
[0126]
本实施例，通过使用网络互感器来融合点云数据和图像两种不同模态特征，通过多次迭代进行两种模态的信息融合，更好地对不同尺度下的图像与点云数据进行融合。从而提升了对目标检测的精度，同时，本发明并不高度依赖激光雷达的输入质量，具有更好的鲁棒性。
[0127]
对于上述装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见所示方法实施例的部分说明即可。
[0128]
本领域技术人员易于想到的是：上述各个实施例的任意组合应用都是可行的，故上述各个实施例之间的任意组合都是本发明的实施方案，但是由于篇幅限制，本说明书在此就不一一详述了。
[0129]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。以上实施例仅是为充分说明本发明而所举的较佳的实施例，本发明的保护范围不限于此。本技术领域的技术人员在本发明基础上所作的等同替代或变换，均在本发明的保护范围之内。

技术特征：
1.一种图像与点云融合的方法，其特征在于，包括：将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；将所述融合特征输入到预先建立的目标检测网络，实现目标检测。2.根据权利要求1所述的方法，其特征在于，所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征包括：将所述图像网格化特征作为自注意力机制层的输入，通过所述自注意力机制层和残差连接，得到第一查询图；将所述点云网络化特征作为所述自注意力机制层的第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图进行处理，得到第二查询图；通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。3.根据权利要求1所述的方法，其特征在于，所述将所述图像网格化特征和所述点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征包括：将所述点云网格化特征作为自注意力机制层的输入，通过所述自注意力机制层和残差连接，得到第三查询图；将所述图像网络化特征作为所述自注意力机制层的第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图；通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。4.根据权利要求1所述的方法，其特征在于，在所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征之前，还包括：获取各视角相机的图像；利用第一卷积网络对所述图像进行特征编码，得到图像编码特征；将所述图像编码特征转换为图像三维体素特征；通过坐标转换将所述图像三维体素特征转换为图像网格化特征。5.根据权利要求1所述的方法，其特征在于，在所述将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征之前，还包括：获取车载激光雷达的点云数据；利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征；将所述点云编码特征转换为点云网格化特征。6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：预先构建网络
互感器；所述预先构建网络互感器包括：获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；通过多任务损失函数对所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重；根据所述最优网络权重对所述网络互感器进行训练，获得预先构建的所述网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。7.一种图像与点云融合的装置，其特征在于，包括：第一处理模块，用于将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；第二处理模块，用于将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；迭代模块，用于使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；目标检测模块，用于将所述融合特征输入到预先建立的目标检测网络，实现目标检测。8.根据权利要求7所述的装置，其特征在于，所述第一处理模块包括：第一查询图单元，用于将所述图像网格化特征作为自注意力机制层的输入，通过自注意力机制层和残差连接，得到第一查询图；第二查询图单元，用于将所述点云网络化特征作为所述自注意力机制层的第一键值图和第一值图，并通过自注意力机制层和残差连接对所述第一键值图、所述第一值图和所述第一查询图进行处理，得到第二查询图；第一融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第二查询图、所述第一键值和所述第一值图进行处理，得到融合点云特征。9.根据权利要求7所述的装置，其特征在于，所述第二处理模块包括：第三查询图单元，用于将所述点云网格化特征作为自注意力机制层的输入，通过自注意力机制层和残差连接，得到第三查询图；第四查询图单元，用于将所述图像网络化特征作为所述自注意力机制层的第二键值图和第二值图，并通过自注意力机制层和残差连接对所述第二键值图、所述第二值图和所述第三查询图进行处理，得到第四查询图；第二融合单元，用于通过自注意力机制层、残差连接和前馈网络对所述第四查询图、所述第二键值和所述第二值图进行处理，得到融合图像特征。10.根据权利要求7所述的装置，其特征在于，所述装置，还包括：图像模块，用于获取各视角相机的图像；图像编码模块，用于利用第一卷积网络对所述图像进行特征编码，得到图像编码特征；转换模块，用于将所述图像编码特征转换为图像三维体素特征；图像网格化模块，用于通过坐标转换将所述图像三维体素特征转换为图像网格化特征。11.根据权利要求7所述的装置，其特征在于，所述装置，还包括：
点云模块，用于获取车载激光雷达的点云数据；点云编码模块，用于利用第二卷积神经网络对所述点云数据进行特征编码，获得点云编码特征；点云网格化模块，用于将所述点云编码特征转换为点云网格化特征。12.根据权利要求7-11任一项所述的装置，其特征在于，所述装置还包括：构建模块，用于预先构建网络互感器；所述构建模块包括：样本库单元，用于获取训练样本库，所述训练样本库包括：图像数据、点云数据和道路信息；构建单元，用于通过多任务损失函数将所述图像数据、点云数据和道路信息进行处理，获得训练样本的最优网络权重；根据所述最优网络权重对所述网络互感器进行训练，获得所述预先构建的网络互感器，其中，所述多任务损失函数由目标检测损失和道路结构分割损失加权组成。

技术总结
本发明涉及一种图像与点云融合的方法及装置，包括：将图像网格化特征和点云网格化特征输入到网络互感器的第一环节处理模块，得到融合点云特征；将所述图像网格化特征和所述融合点云特征输入到所述网络互感器的第二环节处理模块，得到融合图像特征，其中，所述第一环节处理模块与所述第二环节处理模块的结构相同；使用所述第一环节处理模块和所述第二环节处理模块对所述融合图像特征和所述融合点云特征进行迭代，得到融合特征；将所述融合特征输入到预先建立的目标检测网络，实现目标检测，从而解决现有技术中图像与点云融合精度不高的问题。高的问题。高的问题。


技术研发人员：章秀秀 漆昇翔 董楠
受保护的技术使用者：重庆长安汽车股份有限公司
技术研发日：2023.06.20
技术公布日：2023/9/9