一种多源数据融合方法及装置

1.本技术涉及数据处理的技术领域，具体而言，涉及一种多源数据融合方法及装置。


背景技术：

2.雷达最初便是作为对远距离目标进行检测和跟踪的专业设备而发明创造的。随着对电磁特性、微波技术和现代信号处理技术等的研究以及计算机软硬件的发展，雷达的作用发生了极大的变化。在从传统的用于检测、测距和测角等坐标参数测量的米制测量雷达，发展为用于目标识别等目的特征测量雷达的过程中，雷达不仅能对目标的出现与否以及所处距离和方位进行检测，还能提供目标的形态及种类等细节信息，用以对目标进行更加准确地判断与识别。而光学图像也常用于目标识别，通常的方法是深度学习技术或者直方图等。
3.传统的雷达目标识别方法中，数据传输量大、识别结果不直观、目标与环境噪声分离不彻底。而过去多源传感器识别方法中，多源数据识别结果不能联合匹配、时空统一等方面也存在的缺陷。


技术实现要素：

4.本技术的目的在于：针对传统的雷达目标识别方法中，数据传输量大、识别结果不直观、目标与环境噪声分离不彻底。而过去多源传感器识别方法中，多源数据识别结果不能联合匹配、时空统一等方面存在的缺陷，提供一种多源数据融合方法。
5.第一方面，本技术提供了一种多源数据融合方法，方法包括：通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
6.上述任一项技术方案中，进一步地，所述根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行选择切出，得到目标切片，包括：
7.根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行提取，之后根据预设的取值，对包含目标在内的特定区域进行选择切出，得到目标切片。
8.上述任一项技术方案中，进一步地，所述通过对光学传感器获取的图像进行网格化处理之前，还包括：
9.对光学传感器获取的图像进行深度信息补全。
10.上述任一项技术方案中，进一步地，所述将目标的深度信息的坐标转换到世界坐标系下，包括：
11.将目标的深度信息从像素坐标系转换到图像坐标系下，再从图像坐标系转换到相机坐标系下，然后从相机坐标系转换到世界坐标系下。
12.上述任一项技术方案中，进一步地，所述通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准之前，还包括：
13.根据测量的雷达与光学传感器的外参，通过三维坐标旋转矩阵，将雷达与光学传感器的坐标系进行统一。
14.上述任一项技术方案中，进一步地，所述通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准，包括：
15.通过卡尔曼滤波方法，持续对所述目标切片与所述位置信息在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，通过所述最优的匹配关联方式进行关联配准。
16.第二方面，本技术还提供了一种多源数据融合装置，包括：第一处理模块，用于通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；第二处理模块，用于通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；第三处理模块，用于通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
17.第三方面，本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多源数据融合方法的步骤。
18.第四方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多源数据融合方法的步骤。
19.第五方面，本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述多源数据融合方法的步骤。
20.本技术的有益效果是：本技术中的技术方案，主要是通过在雷达一维距离像上对目标所在区域进行提取并切片，并通过对雷达以及光学传感器数据进行所在坐标系进行变换，将雷达一维距离像目标切片与光学传感器观测的结果进行统一，对各自的弱项加以补足，以达到更为理想的目标检测识别结果。
附图说明
21.本技术的上述和/或附加方面的优点在结合下面附图对实施例的描述中将变得明显和容易理解，其中：
22.图1是根据本技术的一个实施例的多源数据融合方法的示意流程图；
23.图2是根据本技术的一个雷达一维距离像与光学图像的实施例的示意框图；
24.图3是cfar算法基础的示意图；
25.图4是均值恒虚警率检测算法杂波水准估计值(z值)选取的一个应用场景的示意框图；
26.图5是光学目标深度估计流程的示意图；
27.图6是图像网格化的示意图；
28.图7是三维坐标旋转矩阵计算的示意图；
29.图8是相机坐标系转换图像坐标系的示意图；
30.图9是图像坐标系转换像素坐标系的示意图；
31.图10是雷达一维距离像及目标切片的示意图；
32.图11是根据本发明提供的多源数据融合装置的一些实施例的结构示意图；
33.图12是根据本发明提供的电子设备的结构示意图。
具体实施方式
34.雷达一维距离像目标切片与光学配准是海上目标检测、重点区域目标跟踪等任务必备的基础技术之一，其主要是通过在雷达一维距离像上对目标所在区域进行提取并切片，并通过对雷达以及光学传感器数据进行时间配准以及所在坐标系进行变换，将雷达一维距离像目标切片与光学传感器观测的结果进行时空统一，对各自的弱项加以补足，以达到更为理想的目标检测识别结果。如图2中，图(a)为雷达探测到的目标一维距离像示例图，(b)为光学设备探测到的目标示意图。
35.雷达目标识别技术作为探测系统中重要组成部份不可或缺的，因其广泛的军事和民用上的应用价值，始终是国内外关注的重点。雷达目标识别是指利用雷达回波带回的信息，对被雷达探测到的不同目标进行区分和识别的技术。该技术起源于战争，并随着战场环境的日益复杂以及对隐身技术、遮蔽干扰、反辐射导弹以及低空防御的迫切需求而快速迭代进步。相比于视、激光和红外等其他探测手段，雷达受环境状况限制更小，具有全天时、全气候下的远距离目标探测能力。根据不同雷达类型及应用场景，发展了多种相应的识别方法。目前雷达目标识别主要是根据非点目标在雷达散射回波上承载的目标特征信息对探测目标进行分辨识别，其本质是基于发射波与回波对目标特征进行反演的电磁逆散射过程。
36.常见的雷达目标识别方法主要可以分为两大类：
37.第一类可以归类为雷达图像识别。雷达图像识别即为对目标的回波信号进行成像，之后从图像上直接分辨目标。这类识别方法多利用高分辨率雷达或高分辨技术，使得目标不同部位的散射特征可以清晰分辨并体现其空间分布，从而对目标进行重现成像。其中基于合成孔径雷达(synthetic aperture radar，sar)的成像方式便是典型代表，其利用目标与雷达之间的相对侧向运动，对时域上的回波进行空间相差处理并累积来获取高分辨率的目标图像。
38.第二类则可归类为雷达特征识别。特征识别首先从各类目标雷达回波信号中提取的特征进行分类和存储以形成特征库，之后将从待识别目标雷达回波中提取的特征与特征库中存储的特征进行比对，并应用模式识别方法进行分类从而达到识别的目的。其中，通常会提取多种特征组合成为多维特征矩阵以提高分辨识别的可靠性，而特征的独特性和代表性通常是筛选的关键。
39.雷达目标识别方法本质上都是对雷达目标的特性进行研究，图像识别方法大多考虑目标的形状特性、运动特性等，而特征识别方法则着眼于目标的各类电磁特性。因此目标特性研究也是雷达目标识别的基础。
40.目标的有效散射截面积(rcs)是早期的使用的主要雷达目标特征，然而单次探测的rcs在描述形状、性质各异的各类目标时较为粗糙，难以胜任识别工作，因此现在通常通过分析目标行进中，rcs随视角变化的数据来获得目标的形体结构等物理特性。如弹头与助
推火箭和诱饵的雷达识别方法便是基于因为飞行时的姿态变化方式不同而导致的rcs变化趋势来有效区分目标的。
41.随后，基于目标运动回波起伏和调制谱特征的目标识别方法逐渐收到了关注。其中回波起伏特征，即回波的幅度与相位的变化过程，主要依托于从目标在时域一维回波波形序列中获得的特征信息对目标进行分类，判断目标形状；目标的调制谱特征则是依靠直升机旋翼和喷气式引擎的叶片的周期运动对雷达回波的周期性调制对目标进行识别。目前，针对旋翼飞机或者无人机的流行检测识别方法通常依据此类特征或由此总结衍生出的微动特征。
42.除此之外，blaricum等人率先提出基于极点分布的目标识别方法。他们使用prony法直接提取目标的极点作为特征，之后与目标库中的数据进行比对完成识别。极点的分布由于只与物体形状和固有特性决定，不受雷达影响，因而极大得提升了雷达目标识别的便利性。
43.极化特征，作为重要的电磁波描述矢量特征，因其与目标形状本质的密切联系，也被用作了雷达目标识别的特征之一。其主要方法分别依据极化散射矩阵、极化重构和瞬态极化响应等方式。其中极化散射矩阵是通过对比不同极化状态下目标的截面积、矩阵中提取的固定的极化参数和最佳极化来识别目标。极化重构是通过对目标回波中各散射中心的极化信息进行提取并分别进行形状判断之后加以组合来拟合出目标的整体形状用以识别。瞬态极化响应特征则是通过将极化信息与冲激响应结合的方式，对目标的结构进行分解并描述来作为整体特征的方式来识别。然而极化特征的使用由于需要对不同极化方向上的散射特性进行测量，较为复杂，因此实用性较差。
44.借助于如激光雷达、合成孔径(sar)和逆合成孔径(isar)等成像雷达，获取目标的二维成像为雷达目标的检测与识别开辟了新的道路。这些二维成像雷达，通过大范围对目标衍射场的观测和成像，可获得的距离与方位分辨力很高的二维图片，用以对目标类别进行识别。可解决复杂多干扰环境下对各类目标的检测识别问题。但由于雷达波长及成像机智限制，所成二维像通常表示为稀疏的目标散射中心分布，导致其图像分辨能力相较光学有明显差距，无法完全适用于普通图像处理识别方法。
45.雷达的一维距离成像获得的目标结构信息也被广泛应用于各类目标识别中，其获取较为简单且在对海上舰船目标、地面车辆和坦克等目标以及空中飞行目标的识别上都获得了较高的正确识别率。一维距离像的获取相比二维成像技术要容易得多，由于其径向距离分辨率远小于目标尺寸，目标在雷达回波中表现为一系列散射中心的集合，一维距离像则指这些散射中心在雷达径向距离上的分布情况。尽管针对单一目标的特征提取需要尽量多方位与角度的一维距离像已规避一维像对于目标姿态角变化的敏感性，但是一维距离像在一定姿态角范围内的相似性以及较大姿态角范围内的变化相关性仍使得其成为正确识别目标的关键所在。重点在于采用合适的特征提取方法以及目标分类方式。
46.本技术中，使用基于cell average constant false alarm rate(ca-cfar)技术的目标检测技术，对一维距离像中的目标部分进行切出，有效降低了处理和传输的数据总量，同时使用基于图像网格化与坐标转换的光学图像深度估计技术，可以将图像中的目标转换到世界坐标系下，之后利用基于卡尔曼滤波的匹配技术，将雷达一维距离像目标切片与光学图像目标进行配准，获取多源时空统一的目标数据。
47.为了能够更清楚地理解本技术的上述目的、特征和优点，下面结合附图和具体实施方式对本技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互结合。
48.在下面的描述中，阐述了很多具体细节以便于充分理解本技术，但是，本技术还可以采用其他不同于在此描述的其他方式来实施，因此，本技术的保护范围并不受下面公开的具体实施例的限制。
49.如图1所示，本实施例提供了一种多源数据融合方法，该方法包括：
50.步骤1，通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片。
51.在一些实施例中，可以根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行提取，之后a根据预设的取值，对包含目标在内的特定区域进行选择切出，得到目标切片。
52.在雷达检测过程中，有两类常见的错误，第一类是在实际场景中没有目标的情况下判断有目标出现，称为虚警；另一类是在实际有目标时判断为没有目标，称为漏警。两类错误出现的概率，则称为虚警概率和漏警概率。cfar算法便是用来维持虚警概率在可接受范围内的雷达处理方法。目前，已有许多高效的cfar检测算法可应用于各种杂波环境。cfar算法大体可分为两类：一类是均值类cfar(ca-cfar)算法，以假设背景杂波是均匀分布为前提；另一类是有序统计类cfar(os-cfar)算法，主要针对邻域内多目标情况使用的。各类cfar检测算法针对具体情况各有优劣。
53.cfar算法的基础架构如图3所示，其中检测单元y和检测单元左右两侧的共计2n个参考单元为输入。在单目标情况下还会加入保护单元，用于防止目标能量泄漏到参考单元影响检测效果。z为总的杂波功率水平的估计，t为门限因子，则当y》t
·
z时，认为有目标，即h1；反之，则认为没有目标，记为h0。
54.通常情况中，杂波与噪声相互独立，且在平方律检波之后都满足指数分布，则有参考单元的概率密度函数为：
[0055][0056]
p
fa
即为恒虚警概率，而其表达式如下：
[0057][0058]
式中，μ代表噪声功率；z为随机变量，其分布取决于cfar算法的类型以及参考单元的分布。
[0059]
不同类型cfar算法的主要差异体现在对参考单元的处理上，即z值选取的差别上，并通过确定在背景噪声独立同分布时常数t的取值来达成目标的恒定虚警概率mz(u)|
u＝t/2μ
为矩母函数。
[0060]
本技术使用的主要是基于均值恒虚警率(ca-cfar)检测算法，其z值选取方法如图4所示，在ca-cfar算法中z值通常参照前后参考单元的杂波值的均值进行取值，此时考虑伽
玛分布的概率密度函数为：
[0061]
f(x)＝β-α
x
α-1
e-x/β
/γ(α),x≥0,α≥0,β≥0
ꢀꢀꢀꢀ
(公式3)
[0062]
设g(α,β)为伽马分布的概率分布函数，若x为服从伽马分布的随机变量，则有x～g(α,β)。此时x的矩母函数为m
x
(u)＝(1+βu)-α
。若输入信号中的杂波与噪声满足独立同分布的条件，则对于2n个随机变量之和的矩母函数则有z～g(2n,2μ)。此时，将以及u＝t/2μ代入m
x
(u)可得，
[0063]
p
fa
＝mz(t/2μ)＝(1+β
·
(t/2μ))-α
＝(1+t)-2n
ꢀꢀꢀꢀ
(公式4)
[0064]
此即为虚警概率p
fa
与门限因子t的关系：
[0065][0066]
本技术便是使用此类方法对雷达一维距离像中的可能目标区域进行提取，之后根据选定取值，对包含目标在内的特定区域进行选择切出，作为目标切片用于后续处理。作为示例，可以选定5倍于目标区域范围的量程的数据，确保其涵盖目标以及充足的环境场景信息，将其作为目标及其所处环境的切片数据进行切出及保存(图10(a)展示了雷达一维距离像的示意图，图10(b)展示了目标切片的示意图)。
[0067]
步骤2，通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息。
[0068]
在一些实施例中，通过对光学传感器获取的图像进行网格化处理之前，还可以对光学传感器获取的图像进行深度信息补全。
[0069]
在一些实施例中，可以将目标的深度信息从像素坐标系转换到图像坐标系下，再从图像坐标系转换到相机坐标系下，然后从相机坐标系转换到世界坐标系下。
[0070]
在一些实施例中，要将雷达一维距离像与光学图像进行配准的首要前提是保证两种方式所采集的数据是统一时空下的相同目标的数据，因此需要对两种设备进行时空统一化处理。时间统一相对比较简单，通常可以通过设置软硬时间戳的方式进行统一。然而在空间统一上，通常需要多源探测结果可以转到统一坐标系下，而单独的光学图像受限于其成像原理，通常缺失深度信息，因此无法转换到世界坐标系下与雷达一维距离像信息进行统一，因此将光学图像中目标的深度信息补全便是雷达-光学配准的首要前提。
[0071]
1、光学目标深度估计
[0072]
光学传感器的成像结果通常位为二维像素平面坐标系，其上的目标转换到三维世界坐标系中需要对目标的深度有所估计，现有的方法大多是通过多个不同已知位置的光学传感器对同一目标进行观测，再通过各传感器的相对位置以及目标观测结果的成像区别对目标的深度进行计算，进而计算目标在三维世界坐标的位置。
[0073]
如图5所示，可以通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，使得其上的目标根据所在网格位置获取其深度信息。本技术可适用于稳定的海陆平视单体光学传感器设备，根据目标的探测结果，对目标在三维坐标系下的位置进行估计，并将其与雷达探测识别结果进行匹配。
[0074]
网格化图像的示例效果如图6所示，其中图6(a)为光学获取的图像原图，图6(b)为网格可视化之后的示例图，其中图6(b)中的点代表网格的顶点。
[0075]
2、光学目标坐标转换
[0076]
获取到目标在光学图像上的对应网格点及其深度后，可以通过对光学设备成像进程进行逆推的方式获取目标的世界坐标，然后与雷达切片进行配准关联。光学设备的成像流程通常是由世界坐标系-相机坐标系-图像坐标系-像素坐标系这一进程实现的，其具体方式如下所述。
[0077]
(2.1)世界坐标系到相机坐标系
[0078]
从世界坐标系到相机坐标系，属于刚体变换：即物体不发生形变，只需要进行旋转和平移，而旋转矩阵r与平移矩阵t则通常用来表示其中的变化关系。r和t与监视摄像设备本身无关，所以称这两个参数为摄像设备的外参数(extrinsic parameter)。其中t表示两个坐标原点之间的距离，受xyz三个方向上的分量共同控制，具有三个自由度。r则代表坐标系分别绕xyz三轴旋转后的最终综合结果。坐标系绕xyz各轴旋转的表达方法如图7所示，其中[xc，yc，zc]表示相机坐标系，[xw，yw，zw]表示世界坐标系。
[0079]
最终旋转矩阵r＝r1*r2*r3，加入平移矩阵t＝[t1，t2，t3]，则获得最终世界坐标系到相机坐标系转换矩阵：
[0080][0081]
xc＝r11*xw+r12*yw+r13*zw+t1
[0082]
yc＝r21*xw+r22*yw+r23*zw+t2
[0083]
zc＝r31*xw+r13*yw+r33*zw+t3
[0084]
(公式6)
[0085]
(2.2)相机坐标系到图像坐标系
[0086]
从相机坐标系到图像坐标系，是通过投影的方式进行转换，即从3维坐标系转换到2维坐标系的过程。转换完成之后的坐标单位依旧是以实际尺寸(mm)为基本单位，其转换过程如图8所示，图8中，图像坐标系下的点p(x,y)为相机坐标系下的点p(xc,yc,zc)在图像坐标系下的显示，即为点p在图像坐标系上的投影。相机坐标系原点oc到图像坐标系原点o的距离为监视摄像设备的焦距f。其中的转换关系如图8中右侧公式所示，是基于投影计算方式得出的。
[0087]
(2.3)图像坐标系到像素坐标系
[0088]
像素坐标系与图像坐标系同样是基于成像平面的，区别在于原点的位置和基础度量单位。图像坐标系的原点如图9所示，为相机光轴(zc轴)与成像平面的交点，其单位是物理单位，毫米(mm)。而像素坐标系的原点通常处于成像平面的左上角，单位是像素(pixel)，一般使用行数与列数来描述一个像素点在图像中的位置。二个坐标系之间的单位转换如图9中公式所示，其中dx和dy用来表示每一列和每一行分别代表的实际物理长度，即多少mm，可表达为1pixel＝dx
·
mm。
[0089]
综合上述转换过程，则可得到最终从世界坐标系转换到像素坐标系的转换公式：
[0090][0091]
其中，也被称为相机内参，可通过对监视摄像设备标定获得；[rt]也被称为相机外参，是根据监视摄像设备在世界坐标系中的位置计算获得。
[0092]
而把像素坐标系中的目标转换到世界坐标系下，只需要进行上述步骤的逆运算，即可取得。在将光学图像中的目标转到世界坐标系下后，即可通过测量雷达与光学设备的外参，来对两者的坐标系通过三维坐标旋转矩阵进行统一。
[0093]
步骤3，通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
[0094]
在一些实施例中，可以通过卡尔曼滤波方法，持续对所述目标切片与所述位置信息在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，通过所述最优的匹配关联方式进行关联配准。
[0095]
在一些实施例中，通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准之前，还可以根据测量的雷达与光学传感器的外参，通过三维坐标旋转矩阵，将雷达与光学传感器的坐标系进行统一。
[0096]
在一些实施例中，可以通过卡尔曼滤波方法，持续对所述目标切片与所述位置信息在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，通过所述最优的匹配关联方式进行关联配准。
[0097]
在获取了目标在雷达一维距离像的切片以及图像目标在世界坐标下的位置信息后，还需要对两者进行关联配准，从而实现多源融合识别，达到提高识别性能的目的。然而由于不过传感器作用机制的差异性，来自不同传感器的相同目标在统一坐标系下的位置信息会有所偏差，因此需要使用关联配准方法对其进行关联，使其能正确匹配。
[0098]
作为示例，可以使用了基于卡尔曼滤波(kalman filter,kf)的目标位置匹配方法，其公式原理如下，
[0099][0100]
p
′k＝ap
k-1at
+q
ꢀꢀ
(公式8-2)
[0101]
校正：
[0102][0103]kk
＝p
′
kht
(hp
′
kht
+r)-1
ꢀꢀ
(公式8-4)
[0104]
[0105]
更新协方差估计：
[0106]
pk＝(i-kkh)p
′kꢀꢀ
(公式8-6)
[0107]
其中公式(公式8-1)中，x
′k表示预测量，为上一次的预测量，uk为控制量a和b为对应的系数。公式(公式8-2)中，p
′kk为预测协方差矩阵，由公式(公式8-1)中预测量x
′k与真值xk计算获得，q为预测值和测量值所占的权重的影响因子，用来调控p
′k的变化。公式(公式8-3)中，是我们处理以后的测量值，zk是我们传感器返回的数值，h为转换矩阵。公式(公式8-4)中，kk便是要迭代更新的卡尔曼增益。公式(公式8-5)中，即为计算的估计值。公式(公式8-6)中，pk便是需要更新的协方差矩阵，也是用来进行下一轮迭代更新的关键。
[0108]
通过卡尔曼滤波持续对雷达一维距离像目标切片与光学图像目标在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，进而实现雷达一维距离像切片与光学图像下的目标配准关联。
[0109]
雷达得益于其运作机理，在目标检测与识别上，有着其独特的优势。雷达探测距离较远，在大带宽的加成下，对径向目标的距离分辨能力极强。且大多数雷达受雨雾等天气影响小，可在恶劣天气下依旧完成对目标的探测任务。根据雷达探测波形的不同，有些雷达可以在探测过程中较为方便得对目标的速度进行检测。但是大多数雷达在角分辨能力上较差，且雷达的探测结果较为抽象，不利于直接性的进行判断。而光学传感器则与雷达相反，其效果依赖于使用时的光照条件，且难以在单传感器的情况下对目标进行距离测算。但是，光学图像获取的目标细节通常更为丰富且直观，较为易于目标的分辨识别。
[0110]
本技术中的步骤可根据实际需求进行顺序调整、合并和删减。
[0111]
本技术中的技术方案，将两种传感器相结合的融合目标识别检测方法可以弥补双方的缺点，凸显两方的优势，达到更好的识别精度与识别效果。然而由于其各自探测方式的不同，导致雷达探测结果与光学检测结果难以进行准确的一对一匹配，而本技术则基于雷达一维距离像目标切片，光学图像目标深度估计以及基于卡尔曼滤波的雷达-光学目标配准融合的雷达-光学目标配准融合识别技术，将传统的雷达一维距离像数据在保证其有效性的情况下进行轻量化，并使其连携光学结果，更为直观地予以显示的目标检测识别技术，实现了对获取的一维距离像目标切片与光学探测到的目标的配准融合，从而更加有效准确地完成识别任务。
[0112]
请参阅图11，图11是根据本发明提供的多源数据融合装置的一些实施例的结构示意图，作为对上述各图所示方法的实现，本发明还提供了一种多源数据融合装置的一些实施例，这些装置实施例与图1所示的一些方法的实施例相对应，且该装置可以应用于各种电子设备中。
[0113]
如图11所示，一些实施例的多源数据融合装置，包括第一处理模块1101、第二处理模块1102，第三处理模块1103：第一处理模块1101，用于通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；第二处理模块1102，用于通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，
将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；第三处理模块1103，用于通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
[0114]
在一些实施例的可选实现方式中，第一处理模块，还用于：根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行提取，之后根据预设的取值，对包含目标在内的特定区域进行选择切出，得到目标切片。
[0115]
在一些实施例的可选实现方式中，装置还包括第四处理模块，用于：对光学传感器获取的图像进行深度信息补全。
[0116]
在一些实施例的可选实现方式中，第二处理模块，还用于：将目标的深度信息从像素坐标系转换到图像坐标系下，再从图像坐标系转换到相机坐标系下，然后从相机坐标系转换到世界坐标系下。
[0117]
在一些实施例的可选实现方式中，装置还包括第五处理模块，用于：根据测量的雷达与光学传感器的外参，通过三维坐标旋转矩阵，将雷达与光学传感器的坐标系进行统一。
[0118]
在一些实施例的可选实现方式中，第三处理模块，还用于：通过卡尔曼滤波方法，持续对所述目标切片与所述位置信息在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，通过所述最优的匹配关联方式进行关联配准。
[0119]
可以理解的是，该装置中记载的各模块与参考图1描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作、特征以及产生的有益效果同样适用于装置及其中包含的模块、单元，在此不再赘述。
[0120]
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行多源数据融合方法，该方法包括：通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
[0121]
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例上述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0122]
另一方面，本发明还提供一种计算机程序产品，上述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，上述计算机程序包括程序指令，当上述程序
指令被计算机执行时，计算机能够执行上述各方法所提供的多源数据融合方法，该方法包括：通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
[0123]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的多源数据融合方法，该方法包括：通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。
[0124]
以上所描述的装置实施例仅仅是示意性的，其中上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0125]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分上述的方法。
[0126]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种多源数据融合方法，其特征在于，所述方法包括：通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。2.如权利要求1所述的多源数据融合方法，其特征在于，所述根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行选择切出，得到目标切片，包括：根据均值恒虚警率检测算法对雷达一维距离像中包含目标的区域进行提取，之后根据预设的取值，对包含目标在内的特定区域进行选择切出，得到目标切片。3.如权利要求1所述的多源数据融合方法，其特征在于，所述通过对光学传感器获取的图像进行网格化处理之前，还包括：对光学传感器获取的图像进行深度信息补全。4.如权利要求1所述的多源数据融合方法，其特征在于，所述将目标的深度信息的坐标转换到世界坐标系下，包括：将目标的深度信息从像素坐标系转换到图像坐标系下，再从图像坐标系转换到相机坐标系下，然后从相机坐标系转换到世界坐标系下。5.如权利要求1所述的多源数据融合方法，其特征在于，所述通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准之前，还包括：根据测量的雷达与光学传感器的外参，通过三维坐标旋转矩阵，将雷达与光学传感器的坐标系进行统一。6.如权利要求1所述的多源数据融合方法，其特征在于，所述通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准，包括：通过卡尔曼滤波方法，持续对所述目标切片与所述位置信息在世界坐标系下的位置关联方式进行迭代，最终获取最优的匹配关联方式，通过所述最优的匹配关联方式进行关联配准。7.一种多源数据融合装置，其特征在于，包括：第一处理模块，用于通过雷达传感器获取雷达一维距离像，根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；第二处理模块，用于通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；第三处理模块，用于通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的多源数据融合方法的步骤。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机
程序被处理器执行时实现如权利要求1至6任一项所述的多源数据融合方法的步骤。

技术总结
本申请公开了一种多源数据融合方法及装置，涉及的技术领域为数据处理技术领域。该方法包括：根据均值恒虚警率检测算法对所述雷达一维距离像中包含目标的区域进行选择切出，得到目标切片；通过对光学传感器获取的图像进行网格化处理，将图像上的平面按实际探测深度进行分割，根据所在网格位置获取图像上目标的深度信息，将目标的深度信息的坐标转换到世界坐标系下，得到目标在世界坐标系下的位置信息；通过卡尔曼滤波方法，将所述目标切片和所述位置信息进行关联配准。该方法将两种传感器的数据相结合，可以弥补双方的缺点，凸显两方的优势，提高了后续的识别效果。提高了后续的识别效果。提高了后续的识别效果。


技术研发人员：张静 王涛 郁文贤 江映辉 李东瀛
受保护的技术使用者：上海交通大学
技术研发日：2023.03.13
技术公布日：2023/8/21