一种近景远景多维度融合的三维目标检测方法、系统及存储介质

1.本发明涉及图像处理技术领域，尤其涉及一种近景远景多维度融合的三维目标检测方法、系统及存储介质。


背景技术：

2.随着自动驾驶技术的发展，近年涌现许多目标检测的相关研究。传统的三维目标检测中基于相机的方法通过图像的语义信息来估计目标分类和位置。但由于图像难以获得深度信息，需要额外的算力估计目标的深度信息。基于激光雷达的检测方法大多使用体素或点云的投影来进行检测。尽管点云较完整地保留了目标的几何信息，但点云的稀疏性和无序性，降低了准确检测远处物体的能力。主流采用多种传感器的算法同时使用激光雷达和相机，利用互补优势来实现高精度的三维目标检测。然而，这种方法在面对远景和不利天气时，检测精度都会下降。此外，相机与激光雷达在很多情况下也无法直接获取关键速度数据来防止碰撞。除激光雷达和相机外，毫米波雷达也被广泛用于辅助驾驶。毫米波雷达与激光雷达和相机相比，穿透能力强，在恶劣环境中表现出了较好的鲁棒性。此外，毫米波雷达还可以精准检测目标的相对速度。但是毫米波雷达的点云十分稀疏，只能作为深度和速度的信息来源，导致采用毫米波雷达进行检测的算法较少。因此，为了减弱算法对单传感器的依赖，增强算法的鲁棒性，同时提升对近景和远景的检测精度。


技术实现要素：

3.为了解决现有技术中的问题，本发明提供了一种近景远景多维度数据融合的检测方法。
4.本发明提供了一种近景远景多维度融合的三维目标检测方法，包括：
5.步骤一：使用centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码-解码骨干网进行特征值的提取；
6.步骤二：使用估计的深度对目标进行三维感兴趣区域(roi)的划分，再将检测任务分为近景检测和远景检测。
7.本发明还公开了一种近景远景多维度融合的三维目标检测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的三维目标检测方法的步骤。
8.本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的三维目标检测方法的步骤。
9.本发明的有益效果是：本发明的三维目标检测方法融合了激光雷达、毫米波雷达和摄像头三种传感器的优势，实现自动驾驶领域中的3d目标检测的技术，能够对车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。
附图说明
10.图1是本发明的三维目标检测方法的框架图；
11.图2是本发明的三维目标检测方法的坐标变换示意图；
12.图3是本发明的三维目标检测方法的点云检测网络示意图；
13.图4是本发明三维目标检测方法的雷达与关键点间速度的关系示意图；
14.图5是本发明三维目标检测方法的旋转估计网络示意图。
具体实施方式
15.本发明公开了一种近景远景多维度数据融合的检测方法，在远景和近景分别采用不同的检测方案，将检测中心点和后期检测的数据共享，提高数据的利用率。并利用毫米波雷达的速度信息作为先验和特征融入检测网络，提高物体检测精度。
16.如图1-5所示，本发明公开了一种近景远景多维度数据融合的检测方法，包括：
17.步骤一：使用centernet(中心网络)对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码-解码骨干网进行特征值的提取；
18.所述步骤一具体为：
19.以i∈rw×h×3作为输入图像，其宽为w高为h，网络生成关于中心点的热图r为输出的尺寸缩放比例，c为中心点的类型，y
x，y，c
＝1代表点(x，y)为类型c下的关键点，而y
x，y，c
＝0则代表点(x，y)为类型c下的背景点。在训练关键点检测网络时，对于真值p∈r2进行降采样得通过构建如公式所示的高斯核函数：
[0020][0021]
将真值投影在热图上，并通过σ来对目标2d检测框的大小进行自适应，σ仅是一个调整2d检测框的大小参数。训练的目标函数：
[0022][0023]
其中n为目标的数量，为标定的真值热图，α和β为损失函数的超参数。对于检测到的每个中心点，网络预测了局部的偏移量，用来补偿骨干网中由于降采样而导致的离散化误差。网络对目标的2d尺寸、三维尺寸、目标深度和旋转角进行回归。这些值都是由如图1所示的主检测头进行回归，每个主检测头由一个3
×
3的卷积层和一个1
×
1的卷积层构成，前者作为输入后者作为输出。这个检测网络为后续检测人物提供了对目标中心点和2d检测框的精准检测，同时实现了对目标3d信息的初步检测。
[0024]
步骤二：使用估计的深度对目标进行三维感兴趣区域(roi)的划分，再将检测任务分为近景检测和远景检测。
[0025]
本发明的三维目标检测方法利用不同数据的不同优势来创建互补特征。
[0026]
在进行对于近景的检测任务时，使用视锥体内的rgb-d数据构建关于目标的特征，
并利用2d检测带来的语义信息作为先验信息。具体包括：
[0027]
步骤s1：首先，为了增强目标的旋转不变性，减轻网络的学习压力，对坐标轴进行沿y轴的旋转，使得旋转后的z轴穿过中心点热图中的峰值在y轴上的投影，然后通过构建旋转矩阵ry(θ
δy
)∈r3×3将全局坐标转化为局部坐标。
[0028]
步骤s2：为了滤去与目标无关的点云数据，在视锥体中本发明对点云数据进行分割。首先将转换为局部坐标的点云数据输入到共享的多个mlp感知机中进行升维处理，将点云数据中的每个点都升为1024维的特征向量，通过maxpooling层在保持点云无序性的前提下得到关于点云数据的全局特征。然后将全局特征和每一个点相连接并加入k维的one-hot vecter(独热编码)来保证分割网络可以充分利用2d检测带来的先验信息，通过相同的共享mlp(感知机)来生成n
×
1的向量来对点云数据进行分割，最后利用局部坐标y轴上与分割后的点云质心最近的点来初步的回归目标的中心。
[0029]
在进行点云数据分割时得到的初步目标中心与目标的真实中心有着较大的差异，为了准确的对目标中心进行回归，本发明使用了一种特殊的空间变换网络(t-net)并利用centernet回归到的二维目标中心与深度值之间的关系来对t-net进行降维处理，如公式所示：
[0030][0031]
其中，d为由于t空间变换网络(t-ne)回归的为初步目标中心深度和实际目标中心深度值之间的差值，所以在训练时本发明构建了如公式所示的基于残差的损失函数：
[0032]
l
box
＝c
box-c
mask-δc
t-net
ꢀꢀꢀ
(4)
[0033]
其中，c
box
表示预测框信息，c
mask
表示掩膜预测信息，c
t-net
表示t-net网络预测信息；
[0034]
在得到目标的中心点后，本发明将视锥体内分割后的点云投影到x-z轴来构成bev(鸟瞰视图)鸟瞰视角的点云图。
[0035]
在bev图中，本发明对投影后的点云数据进行栅格化处理，增强网络对不同传感器下点云密度不同带来的差异的适应能力。在对bev图提取特征时，本发明对bev图在不同高度进行均匀的切片处理以尽量保持点云数据的高度信息。
[0036]
由于bev特征对目标的全局描述能力较差，本发明将point-wise特征与bev特征进行融合，为了结合来自不同特征的信息，以前的工作通常使用早期融合或晚期融合。本发明将多视图特征分层融合。
[0037]
假设且那么可以得出：从(a，b)可知点云分割网络对点云中的噪声有较强鲁棒性，且point-wise(点级)特征携带的大多为关于目标关键点的信息，由于其对局部信息描述的缺失性，point-wise(点级)特征更多的表现为一种权重，所以本发
明利用element-wise(逐元素)相乘的融合方法进行特征融合，其融合方式如公式所示：
[0038][0039]
其中，f为特征，h表示感知机函数；
[0040]
且为了防止感知机的退化，本发明在两个感知线路融合的同时，本发明加入了对两个感知机的单独辅助损耗训练，融合训练与辅助损失训练之间共享权重。最后在训练时，由于回归任务具有一定的不可分割性，因此本发明对多任务进行联合优化，使用所示的联合损失函数：
[0041][0042]
其中，i，j，k表示变量，p表示指对应点。
[0043]
在进行远景的检测任务时，激光雷达产生的点云会随着距离的增加而逐渐稀疏，摄像头提供的rgb数据也变的十分模糊，而毫米波雷达可以在远距离保持高精度的检测，但毫米波雷达的点云数据也面临着点云数据过于稀疏的问题，所以本发明使用视觉结合毫米波雷达的方法，在视觉检测的基础上充分利用了毫米波雷达的非视觉特征，来为图像创建互补特征。对于视锥体内与目标相关联的每一次探测，都会生成一个单通道的热图。热图的大小与目标的2d检测框成比例，并有参数α控制其大小，热图的值为目标深度(d)的归一化值：其中m目标深度的归一化因子，为目标j的中心点坐标，wj和hj分别为目标2d检测框的长和宽，本发明将生成的特征图与目标的图像特征并联，利用特征图和目标中心点之间的对应关系来确定目标的中心点，并构建视锥体来划分roi。并利用将特征图输入辅助检测头来帮助主检测任务进行目标深度和旋转信息的回归。由于毫米波雷达只返回目标与主体间的相对径向速度，为了回归目标的绝对速度首先需要回归主体的绝对速度。通过划分roi将雷达点云分为目标关键点和背景点两部分，而背景点和主体速度的关系：
[0044][0045]
其中v
dn
为数据点n所携带的径向速度,θn为数据点n所携带的偏转角，vn为回归得到的目标主体速度大小，u为回归值和真值间的最小二乘误差值。在得到主体速度后，本发明对目标的绝对速度进行回归。
[0046]
对于体积较大的车辆目标，其检测框内可能包含多个雷达关键点。所以本发明使用不同关键点之间径向速度的角度差来回归目标的绝对速度：
[0047][0048]
其中v
dp
为目标关键点p所携带的速度信息，θ
pd
为目标关键点p所携带的角度信息，
θ
pt
为回归得到车辆目标的速度方向，v
tp
为回归得到车辆目标的大小。
[0049]
而对于目标尺度较小的人物目标，由于难以在视锥体内找到多处雷达关键点，本发明使用基于part-based的person-reid(行人重识别)算法对人物目标进行反向追踪，通过毫米波雷达提供的径向速度来划分roi，如公式所示：
[0050][0051]
其中x
t
、y
t
为当前帧的目标位置，x
t-1
、y
t-1
为上一帧待追踪目标的位置,cn为目标n的预测信息；v
t
为毫米波雷达提供的径向速度。本发明通过帧与帧之间目标的位置变化回归目标的速度，利用回归的目标速度方向来作为目标偏向角的初始值，训练时重点在于训练目标速度和目标偏向角之间的差值。并利用目标速度的大小和方向作为全局特征接入辅助回归网络。本发明利用残差构建损失函数，如公式所示：
[0052][0053]
其中，n为目标数目，θ
t
准确偏向角，θi预测偏向角，δθ准确与预测偏向角的差值。
[0054]
最后，本发明利用得到的目标偏向角作为先验信息对目标的尺寸进行修正，并利用语义信息来构建先验尺寸，构建的损失函数如公式所示：
[0055][0056]
其中，d
*
表示真实尺寸，表示预测尺寸，δ为一个残差值。
[0057]
本发明还公开了一种近景远景多维度融合的三维目标检测系统，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现本发明所述的三维目标检测方法的步骤。
[0058]
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现本发明所述的三维目标检测方法的步骤。
[0059]
本发明的有益效果是：本发明的三维目标检测方法融合了激光雷达、毫米波雷达和摄像头三种传感器的优势，实现自动驾驶领域中的3d目标检测的技术，能够对车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。
[0060]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：
1.一种近景远景多维度融合的三维目标检测方法，其特征在于，包括：步骤一：使用centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码-解码骨干网进行特征值的提取；步骤二：使用估计的深度对目标进行三维感兴趣区域划分，再将检测任务分为近景检测和远景检测。2.根据权利要求1所述的三维目标检测方法，其特征在于，所述步骤一具体为：以i作为输入图像，使用centernet生成关于中心点的热图对于检测到的每个中心点，centernet预测局部的偏移量，用来补偿全卷积的编码-解码骨干网中由于降采样而导致的离散化误差，centernet对目标的2d尺寸、三维尺寸、目标深度和旋转角进行回归。3.根据权利要求2所述的三维目标检测方法，其特征在于，在所述热图中，y
x，y，c
＝1代表点(x，y)为类型c下的关键点，y
x，y，c
＝0代表点(x，y)为类型c下的背景点，在训练关键点检测网络时，对于真值p进行降采样得通过构建高斯核函数将真值投影在热图上，并通过σ对目标2d检测框的大小进行自适应，其中，高斯核函数的公式如下：训练的目标函数公式如下：所述2d尺寸、三维尺寸、目标深度和旋转角由主检测头进行回归，每个主检测头由一个3
×
3的卷积层和一个1
×
1的卷积层构成，其中3
×
3的卷积层作为输入，1
×
1的卷积层作为输出。4.根据权利要求1所述的三维目标检测方法，其特征在于，所述步骤二中，对于近景检测任务，使用视锥体内的rgb-d数据构建关于目标的特征，并利用2d检测带来的语义信息作为先验信息，对于远景检测任务，使用视觉结合毫米波雷达的方法，在视觉检测的基础上充分利用毫米波雷达的非视觉特征为图像创建互补特征。5.根据权利要求4所述的三维目标检测方法，其特征在于，所述近景检测任务具体包括：步骤s1：首先对坐标轴进行沿y轴的旋转，使得旋转后的z轴穿过中心点热图中的峰值在y轴上的投影，然后通过构建旋转矩阵r
y
(θ
δy
)将全局坐标转化为局部坐标；步骤s2：在视锥体中对点云数据进行分割；首先将转换为局部坐标的点云数据输入到共享的多个感知机中进行升维处理，将点云数据中的每个点都升为1024维的特征向量，通过大池化层在保持点云无序性的前提下得到关于点云数据的全局特征,然后将全局特征和每一个点相连接并加入k维的one-hot vecter来保证分割网络充分利用2d检测带来的先验信息，通过相同的共享感知机来生成n
×
1的向量来对点云数据进行分割，最后利用局部坐标y轴上与分割后的点云质心最近的点初步的回归目标的中心。6.根据权利要求5所述的三维目标检测方法，其特征在于，在所述步骤s2中，为了准确
的对目标中心进行回归，利用centernet回归到的二维目标中心与深度值之间的关系对空间变换网络进行降维处理，具体公式下：其中，d为由于空间变换网络回归的为初步目标中心深度和实际目标中心深度值之间的差值；在训练时构建基于残差的损失函数：l
box
＝c
box-c
mask-δc
t-net
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，c
box
表示预测框信息，c
mask
表示掩膜预测信息，c
t-net
表示t-net网络预测信息；在得到目标的中心点后，将视锥体内分割后的点云投影到x-z轴来构成bev鸟瞰视角的点云图，并在bev图中，对投影后的点云数据进行栅格化处理；为了结合来自不同特征的信息，采用element-wise相乘的融合方法将point-wise特征与bev特征进行融合，其融合方式的公式如下：其中，f为特征，h表示感知机函数；为了防止感知机的退化，在两个感知线路融合的同时，加入对两个感知机的单独辅助损耗训练，融合训练与辅助损失训练之间共享权重；在训练时，对多任务进行联合优化，使用的联合损失函数公式如下：其中，i，j，k表示变量，p表示指对应点。7.根据权利要求4所述的三维目标检测方法，其特征在于，所述远景检测任务具体为：将生成的特征图与目标的图像特征并联，利用特征图和目标中心点之间的对应关系来确定目标的中心点，再构建视锥体来划分roi，并将特征图输入辅助检测头来帮助主检测任务进行目标深度和旋转信息的回归。8.根据权利要求7所述的三维目标检测方法，其特征在于，所述远景检测任务中，还包括：步骤a1，回归主体的绝对速度：通过划分roi将雷达点云分为目标关键点和背景点，背景点和主体速度的关系如下式：其中,v
dn
为数据点n所携带的径向速度,θ
n
为数据点n所携带的偏转角，v
n
为回归得到的
目标主体速度大小，u为回归值和真值间的最小二乘误差值；步骤a2，回归目标的绝对速度：对于体积较大的车辆目标，使用不同关键点之间径向速度的角度差来回归目标的绝对速度，其公式如下：其中，v
dp
为目标关键点p所携带的速度信息，θ
pd
为目标关键点p所携带的角度信息，θ
pt
为回归得到车辆目标的速度方向，v
tp
为回归得到车辆目标的大小；对于目标尺度较小的人物目标使用person-reid算法对人物目标进行反向追踪，通过毫米波雷达提供的径向速度来划分roi，其公式如下：其中x
t
、y
t
为当前帧的目标位置，x
t-1
、y
t-1
为上一帧待追踪目标的位置,c
n
为目标n的预测信息；v
t
为毫米波雷达提供的径向速度；所述远景检测任务中，利用残差构建损失函数，其公式如下：其中，n为目标数目，θ
t
准确偏向角，θ
i
预测偏向角，δθ准确与预测偏向角的差值；利用得到的目标偏向角作为先验信息对目标的尺寸进行修正，并利用语义信息来构建先验尺寸，构建的损失函数其公式如下：其中，d
*
表示真实尺寸，表示预测尺寸，δ为一个残差值。9.一种近景远景多维度融合的三维目标检测系统，其特征在于，包括：存储器、处理器以及存储在所述存储器上的计算机程序，所述计算机程序配置为由所述处理器调用时实现权利要求1－8中任一项所述的三维目标检测方法的步骤。10.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现权利要求1－8中任一项所述的三维目标检测方法的步骤。

技术总结
本发明提供了一种近景远景多维度融合的三维目标检测方法、系统及存储介质，三维目标检测方法包括：步骤一：使用Centernet对图像的中心点进行检测并对基础属性进行回归，通过全卷积的编码-解码骨干网进行特征值的提取；步骤二：使用估计的深度对目标进行三维ROI区域的划分，再将检测任务分为近景检测和远景检测。本发明的有益效果是：本发明的三维目标检测方法融合了激光雷达、毫米波雷达和摄像头三种传感器的优势，实现自动驾驶领域中的3D目标检测的技术，能够对车辆、行人、骑行的人等目标进行准确的识别和定位，能够应用在实际的场景中。中。中。


技术研发人员：方介泼 薛俊 刘仪婷 肖昊 李兴通 钱星铭 陶重犇
受保护的技术使用者：苏州科技大学
技术研发日：2023.06.15
技术公布日：2023/9/14