一种雷达成像与视频图像相融合的设备及方法

1.本发明涉及多传感数据融合领域，特别是涉及一种雷达成像与视频图像相融合的设备及方法。


背景技术：

2.目前，对于户外监控，特别是边境、海防等领域，必须同时采用光学摄像机和微波雷达这两种技术手段。光学摄像机和毫米波雷达在监控方面各有优缺点。光学成像直观易识别，但受制于户外环境的影响大，成像质量不稳定。户外环境多变，如：光照、温度、湿度、雨水、雾等。微波雷达成像弥补了光学成像的不足，可以在任何时间任何气候下工作，不受户外环境变化的影响，成像质量稳定。但雷达成像是电磁波的图像表示，不够直观，不易于目标识别。
3.在同时采用光学摄像机和微波雷达时，光学摄像机的监控画面和微波雷达的成像画面不完全重合，存在一定的偏差，造成监控系统判断准确性下降，甚至后续监控算法错误。因此，必须采用合适的装置和方法把视频图像和毫米波雷达成像有效的准确的融合在一起。
4.目前，视频图像和毫米波雷达成像融合方法主要包括如下几种：
5.(1)采用纯图像配准算法。这种方法的原理是：首先，把摄像头和毫米波雷达安装好，两者的方向基本一致。其次，对准某一个地方拍摄图像和进行毫米波雷达成像。然后，分别提取图像和雷达成像中的特征点。最后，采用图像配准算法进行调校。该方法摄像头提取n个特征点，毫米波雷达成像提取m个特征点，通常n和m不相等，图像配准存在特征点的选择问题，在很多的情况下，还是人工选择特征点，配准算法较为复杂。
6.(2)采用配准算法，同时借助校正装置。例如，专利cn113239948b借助白色的木棍实现。该专利的校正装置，包括：白色木棍和黑色屏幕。该校正装置的特点是：木棍是静态的，木棍反映的特征是一条线。因此，对于摄像头，拍摄的视频是静态的；对于毫米波雷达，反射的雷达回波信号也是静态的，毫米波雷达还是静态的。对于摄像头拍摄的图像，提取的特征是直线，其采用的算法是提取直线的算法；对于毫米波雷达成像，提取的特征是直线，其采用的算法是提取直线的算法。同时，对于雷达回波信号的预处理算法是静态回波信号的滤波和增强。该专利在校正装置方面，除了白色木棍之外，还需要黑色的幕布，装置较为复杂。在毫米波雷达成像及特征线提取方面，对于静态回波信号的滤波，算法更复杂，准确性更差。


技术实现要素：

7.基于此，本发明实施例提供一种雷达成像与视频图像相融合的设备及方法，以降低计算的复杂度，提高计算的准确性，从而高效准确的实现配准。
8.为实现上述目的，本发明实施例提供了如下方案：
9.一种雷达成像与视频图像相融合的设备，包括：校正装置、检测装置和处理器；所
述校正装置布设在目标监控区域内；所述检测装置与所述处理器连接；
10.所述校正装置，包括：至少三个旋转结构；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；
11.所述检测装置，包括：视频拍摄装置和检测雷达；
12.所述视频拍摄装置，用于：
13.对所述目标监控区域内转动的旋转结构进行拍摄，得到视频图像；
14.所述检测雷达，用于：
15.向所述目标监控区域内转动的旋转结构发射雷达信号，并接收所述旋转结构反射的雷达回波信号；
16.所述处理器，用于：
17.采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；
18.采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；
19.对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。
20.可选地，所述叶片的颜色为白色。
21.可选地，所述旋转结构，还包括：旋转电机；
22.所述旋转电机用于带动两个所述叶片旋转。
23.可选地，所述校正装置，包括：四个旋转结构；四个旋转结构能够围成一个封闭的方形区域。
24.可选地，所述处理器，在根据所述目标信号生成雷达回波图像方面，具体用于：
25.根据所述目标信号，采用时频分析方法生成雷达回波图像。
26.可选地，所述处理器，在对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准的方面，具体用于：
27.获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；
28.采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；
29.所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。
30.可选地，所述雷达成像与视频图像相融合的设备，还包括：显示器；所述显示器用于显示所述视频特征点围成的封闭区域和所述雷达特征点围成的封闭区域。
31.本发明还提供了一种雷达成像与视频图像相融合的方法，包括：
32.获取视频图像和雷达回波信号；其中，所述视频图像是对目标监控区域内转动的
旋转结构进行拍摄得到的；所述雷达回波信号是向目标监控区域内转动的旋转结构发射雷达信号，所述旋转结构反射的雷达回波信号；所述旋转结构至少为三个；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；
33.采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；
34.采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；
35.对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。
36.可选地，对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准，具体包括：
37.获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；
38.采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；
39.根据所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。
40.可选地，根据所述目标信号生成雷达回波图像，具体包括：
41.根据所述目标信号，采用时频分析方法生成雷达回波图像。
42.根据本发明提供的具体实施例，本发明公开了以下技术效果：
43.本发明实施例提出了一种雷达成像与视频图像相融合的设备及方法，该设备中的校正装置的叶片是可旋转的，既可提供动态的视频图像，也可提供动态的雷达回波信号，因此可以采用的自适应背景相减算法进行滤波，算法效率高，准确性好；校正装置的叶片是球面的，可反射不同角度的毫米波雷达信号，简化了安装要求；采用霍夫变换算法提取特征点，准确性高。因此，本发明实施例能降低在雷达成像与视频图像相融合过中计算的复杂度，提高计算的准确性，从而高效准确的实现配准。
附图说明
44.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1为本发明实施例提供的雷达成像与视频图像相融合的设备的结构图；
46.图2为本发明实施例提供的梯度法检测圆心的示意图；
47.图3为本发明实施例提供的旋转结构的结构图；
48.图4为本发明实施例提供的四个旋转结构的位置示意图；
49.图5为本发明实施例提供的第一组特征点的示意图；
50.图6为本发明实施例提供的第二组特征点的示意图；
51.图7为本发明实施例提供的手动校正的校正结果示意图；
52.图8为本发明实施例提供的精配准的结果示意图。
53.符号说明：
54.视频拍摄装置—1，检测雷达—2，检测装置—3，处理器—4，检测支架—5，叶片—6，校正支架—7。
具体实施方式
55.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
56.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
57.实施例一
58.参见图1，本实施例的雷达成像与视频图像相融合的设备，包括：校正装置、检测装置3和处理器4；所述校正装置布设在目标监控区域内；所述检测装置3与所述处理器4连接。
59.所述校正装置，包括：至少三个旋转结构；所有的旋转结构能够围成一个封闭区域。参见图2，所述旋转结构，包括：两个叶片6；所述叶片6为球面结构。
60.所述检测装置3，包括：视频拍摄装置1和检测雷达2。检测雷达2的方向如箭头a所示，视频拍摄装置1的方向如箭头b所示。
61.所述视频拍摄装置1，用于：对所述目标监控区域内转动的旋转结构进行拍摄，得到视频图像。
62.所述检测雷达2，用于：向所述目标监控区域内转动的旋转结构发射雷达信号，并接收所述旋转结构反射的雷达回波信号。
63.所述处理器4，用于：采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点。采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点。对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置1和所述检测雷达2的位置，以实现所述视频图像和所述雷达回波信号的配准。
64.其中，采用自适应相减算法对视频图像进行滤波，具体包括：
65.(1)提取视频帧图像。
66.视频图像由一系列的连续拍摄的图像组成。视频帧图像即为从视频图像中抽取的某一张或某一些图像。
67.该步骤按照视频时间顺序，抽取t-1时刻的视频帧图像为前一帧图像，抽取t时刻
的视频图像帧为当前帧图像。
68.(2)进行帧图像差分运算，即相邻两个时刻的视频帧图像相减。
69.将当前帧图像与前一帧图像相减，即图像差分运算，得到视频帧图像差分结果。由于摄像头和毫米波传感器在t时刻和t-1时刻没有移动，对着同一个地方同一些目标进行拍摄或毫米波成像，并且t时刻和t-1时刻时间差很小，因此当前帧图像和前一帧图像大部分相同，只在旋转检测装置的部分的图像有差异。图像差分的结果抵消了图像的大部分区域，仅仅保留了旋转检测装置部分的图像。
70.(3)视频帧图像差分结果增强处理。
71.视频帧图像差分后结果即为图像动态的变化部分。由于t时刻和t-1时刻时间差很小，动态变化部分的数值也很小。通过图像增强处理，把小变化放大，使图像的差值更大更明显，增强处理后的图像作为t时刻的目标图像。
72.其中，霍夫变换检测圆心的方法有多种，本实施例中采用梯度法检测圆心。本实施例中采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，具体包括：
73.(1)把目标图像做一次canny边缘检测，得到边缘检测的二值图。
74.(2)对目标图像执行一次sobel算子，计算出所有像素的邻域梯度值。
75.(3)初始化圆心空间n(a,b)，令所有的n(a,b)＝0。
76.(4)遍历canny边缘检测的二值图中的所有非零像素点，沿着梯度方向(切线的垂直方向)画线，将线段经过的所有累加器中的点(a,b)的n(a,b)+＝1。
77.(5)统计排序n(a,b)，统计的序列中的最大值对应的点即为是圆心，从而得到中心坐标。
78.例如，对于图2的(a)部分所示的目标图像，目标图像中包括圆形、三角形、长方形，经过霍夫变换后，圆心空间中的值越大越白，值越小越黑，统计排序最大对应的点(最白的)，即图2的(b)部分中最白的点为圆心。每个图像的圆心坐标即为该图像的中心坐标。
79.在一个示例中，所述叶片6的颜色可以为白色，以增加叶片6的反光性能，方便夜间安装操作。
80.在一个示例中，所述检测雷达2可以是毫米波检测雷达；所述视频拍摄装置1可以是摄像机；所述处理器4可以是计算机。
81.在一个示例中，所述旋转结构，还包括：旋转电机；所述旋转电机用于带动两个所述叶片6旋转。
82.在一个示例中，所述旋转结构，还包括：校正支架7；两个叶片6和旋转电机均安装在旋转支架上，所述叶片6通过连接件转动连接在所述校正支架7上，连接件可以是连接杆，例如，叶片6的上下两个端部分别通过有一个连接杆转动连接在校正支架7的顶端，如图3所示，图3中的箭头表示旋转方向。
83.在一个示例中，仍请参见图1，所述雷达成像与视频图像相融合的设备，还包括：显示器；所述显示器用于显示所述视频特征点围成的封闭区域和所述雷达特征点围成的封闭区域。
84.在一个示例中，仍请参见图1，所述检测装置3，还包括：检测支架5；所述检测支架5用于放置视频拍摄装置1和检测雷达2。例如，视频拍摄装置1和检测雷达2采用可调螺栓安装，安装完成可以对检测雷达2和视频拍摄装置1的方向进行微调，确保两者的检测区域高
度重合。
85.在一个示例中，所述处理器4，在根据所述目标信号生成雷达回波图像方面，具体用于：根据所述目标信号，采用时频分析方法生成雷达回波图像。
86.在一个示例中，所述处理器4在对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置1和所述检测雷达2的位置，以实现所述视频图像和所述雷达回波信号的配准的方面，具体用于：
87.(1)获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置1和所述检测雷达2的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度。具体的：
88.固定视频拍摄装置1不动，微调检测雷达2的方向，使视频特征点和雷达特征点的重合度达到设定的粗配准重合度，此时视频特征点和雷达特征点还未完全重合。
89.(2)采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系。所述映射关系用于再次调整所述视频拍摄装置1和所述检测雷达2的位置，以实现所述视频图像和所述雷达回波信号的配准。具体的：
90.以手动校正结果中的视频特征点为基准，采用平移、旋转、缩放等图像配准算法，使手动校正结果中的雷达特征点与手动校正结果中的视频特征点完全配准，记录、保存从雷达特征点到视频特征点的映射关系，系统正常工作时，根据该映射关系，实现视频图像和雷达回波信号的配准。
91.在一个示例中，所述校正装置，包括：四个旋转结构；四个旋转结构能够围成一个封闭的方形区域，如图4所示。
92.下面以四个旋转结构为例，对上述雷达成像与视频图像相融合的设备的工作过程进行进一步详细说明。
93.步骤1：选择监控区域，安装检测装置3。
94.检测装置3的主要功能是返回监控区域内的视频图像信号和毫米波雷达成像信号，它由毫米波检测雷达、摄像头、支架组成。毫米波雷达和摄像头安装在同一个支架上。毫米波雷达和摄像头采用可调螺栓安装，安装完成可以对毫米波雷达和摄像头的方向进行微调，确保两者的检测区域高度重合。把摄像机和毫米波检测雷达与计算机相连。
95.计算机采用双网口通信；毫米波雷达和计算机之间采用网口通信；摄像头和计算机之间采用网口通信。计算机的其他配件包括主机、显示器、键盘、鼠标等。
96.步骤2：
97.在监控区域安装校正装置，校正装置的主要功能是为整个系统提供4个特征点，本实施例中校正装置包括4个旋转结构，仍请参见图4，一个旋转结构类似一个“风车”。
98.校正装置由2块叶片、1个电机、1个支架组成。叶片的形状为白色球面，电机采用减速电机，带动叶片缓慢旋转。
99.当标定视频图像的特征点时，白色叶片可以充分反射光线，球面形状可以反射不同方向的光线。
100.当标定雷达成像的特征点时，球面形状可以反射不同方向的毫米波信号，旋转的
叶片反射回动态变化的毫米波雷达信号，使该装置不仅适用于动态捕捉毫米波雷达，也适用于静态毫米波雷达。
101.计算机的主要功能是对检测回传的视频图像信号和毫米波雷达成像信号进行处理。在进行系统校正时，提取校正装置视频图像的4个特征点，形成第一组特征点。提取校正装置毫米波雷达成像的4个特征点，形成第二组特征点。以第一组特征点为基准，用第二组特征点去配置第一组特征点，建立视频图像和毫米波雷达成像直接的映射关系，具体如步骤3-步骤8所示。
102.步骤3：
103.启动校正装置的电机，旋转叶片；通过摄像头对监控区进行拍摄，采用自适应相减算法对拍摄的视频图像进行滤波；然后通过霍夫变换算法，提取4个“风车”的坐标点(xp1，yp1)、(xp2，yp2)、(xp3，yp3)、(xp4，yp4)，作为第一组特征点，如图5所示。
104.步骤4：
105.启动校正装置的电机，旋转叶片；通过毫米波雷达对监控区检测成像，采用自适应背景相减算法对雷达回波信号进行滤波；对滤波后的信号，采用时频分析方法生成雷达回波图像；对于雷达回波图像，通过霍夫变换算法，提取4个“风车”的坐标点(xw1，yw1)、(xw2，yw2)、(xw3，yw3)、(xw4，yw4)，作为第二组特征点，如图6所示，
106.步骤5：
107.手动校正。固定摄像头不动，微调毫米波雷达的方向，使(xp1，yp1)、(xp2，yp2)、(xp3，yp3)、(xp4，yp4)和(xw1，yw1)、(xw2，yw2)、(xw3，yw3)、(xw4，yw4)尽可能重合，如图7所示。
108.步骤6：
109.软件精调，采用图像配准算法。以第一组特征点为基准，采用平移、旋转、缩放等图像配准算法，使第二组特征点与第一组特征点完全配准，如图8所示。
110.步骤7：
111.记录、保存从第二组特征到第一组特征的映射关系。
112.步骤8：
113.系统正常工作时，根据步骤7的映射关系，实现毫米波雷达成像与视频图像的配准。
114.上述实施例的雷达成像与视频图像相融合的设备，具有如下优点：
115.(1)检测装置，具有手动调节功能，能减小配准误差。
116.(2)校正装置的叶片是旋转的，可提供动态视频信号，也可以提供动态的毫米波雷达回波信号，因此可以采用的自适应背景相减算法，滤波效果好。停止叶片旋转，提供静态信号，相当于现行的方法。
117.(3)校正装置的叶片是球面的，可反射不同角度的毫米波雷达信号，简化了安装要求。
118.(4)校正装置的叶片是白色的，增加了叶片的反光性能，方便夜间安装操作。
119.(5)在信号滤波方面，采用自适应背景相减算法，算法效率高，准确性好。特别是对于毫米波雷达回波信号的处理，采用自适应背景相减算法，具有很大的优势。而专利cn113239948b的雷达回波信号是静态的，不能采用此算法。在特征点提取方面，采用霍夫变
换算法提取旋转中心点，准确性高。采用4个特征点，在保证图像配准准确性的同时，可以简化配准算法，使软件运行更流畅。
120.实施例二
121.为了实现上述实施例一对应的设备，以具有相应的功能和技术效果，下面提供一种雷达成像与视频图像相融合的方法。
122.所述方法，包括：
123.(1)获取视频图像和雷达回波信号；其中，所述视频图像是对目标监控区域内转动的旋转结构进行拍摄得到的；所述雷达回波信号是向目标监控区域内转动的旋转结构发射雷达信号，所述旋转结构反射的雷达回波信号；所述旋转结构至少为三个；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构。
124.(2)采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点。
125.(3)采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点。
126.其中，生成雷达回波图像的具体过程为：根据所述目标信号，采用时频分析方法生成雷达回波图像。
127.(4)对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。具体的：
128.获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度。
129.采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系。
130.根据所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。
131.本实施例的雷达成像与视频图像相融合的方法，校正装置采用了旋转叶片，产生动态图像(视频)和毫米波雷达成像；对于动态图像，采用自适应背景相减算法，滤除背景信号，提取动态信号；对应动态信号，采用霍夫变换算法，提取各旋转叶片的中心，作为图像的特征点；根据特征点，采用图像配准算法实现视频图像与毫米波雷达成像相互配准，建立两种图像之间的对应关系，实现视频图像与毫米波雷达成像的相互配准。
132.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的设备相对应，所以描述的比较简单，相关之处参见设备部分说明即可。
133.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据
本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种雷达成像与视频图像相融合的设备，其特征在于，包括：校正装置、检测装置和处理器；所述校正装置布设在目标监控区域内；所述检测装置与所述处理器连接；所述校正装置，包括：至少三个旋转结构；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；所述检测装置，包括：视频拍摄装置和检测雷达；所述视频拍摄装置，用于：对所述目标监控区域内转动的旋转结构进行拍摄，得到视频图像；所述检测雷达，用于：向所述目标监控区域内转动的旋转结构发射雷达信号，并接收所述旋转结构反射的雷达回波信号；所述处理器，用于：采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。2.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，所述叶片的颜色为白色。3.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，所述旋转结构，还包括：旋转电机；所述旋转电机用于带动两个所述叶片旋转。4.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，所述校正装置，包括：四个旋转结构；四个旋转结构能够围成一个封闭的方形区域。5.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，所述处理器，在根据所述目标信号生成雷达回波图像方面，具体用于：根据所述目标信号，采用时频分析方法生成雷达回波图像。6.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，所述处理器，在对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准的方面，具体用于：获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视
频图像和所述雷达回波信号的配准。7.根据权利要求1所述的一种雷达成像与视频图像相融合的设备，其特征在于，还包括：显示器；所述显示器用于显示所述视频特征点围成的封闭区域和所述雷达特征点围成的封闭区域。8.一种雷达成像与视频图像相融合的方法，其特征在于，包括：获取视频图像和雷达回波信号；其中，所述视频图像是对目标监控区域内转动的旋转结构进行拍摄得到的；所述雷达回波信号是向目标监控区域内转动的旋转结构发射雷达信号，所述旋转结构反射的雷达回波信号；所述旋转结构至少为三个；所有的旋转结构能够围成一个封闭区域；所述旋转结构，包括：两个叶片；所述叶片为球面结构；采用自适应相减算法对所述视频图像进行滤波，得到目标图像，并采用霍夫变换算法提取所述目标图像中各个旋转结构的中心坐标，得到视频特征点；采用自适应相减算法对所述雷达回波信号进行滤波，得到目标信号，并根据所述目标信号生成雷达回波图像，采用霍夫变换算法提取所述雷达回波图像中各个旋转结构的中心坐标，得到雷达特征点；对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。9.根据权利要求8所述的一种雷达成像与视频图像相融合的方法，其特征在于，对所述视频特征点和所述雷达特征点进行匹配，根据匹配结果调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准，具体包括：获取手动校正结果；所述手动校正结果是采用手动的方式，以所述视频特征点和所述雷达特征点重合为目标，调整所述视频拍摄装置和所述检测雷达的位置得到的；所述手动校正结果中所述视频特征点和所述雷达特征点的重合度达到设定的粗配准重合度；采用图像配准算法对所述手动校正结果中的所述视频特征点和所述雷达特征点进行再次配准，使所述视频特征点和所述雷达特征点完全重合，从而确定所述视频特征点和所述雷达特征点的映射关系；根据所述映射关系用于再次调整所述视频拍摄装置和所述检测雷达的位置，以实现所述视频图像和所述雷达回波信号的配准。10.根据权利要求8所述的一种雷达成像与视频图像相融合的方法，其特征在于，根据所述目标信号生成雷达回波图像，具体包括：根据所述目标信号，采用时频分析方法生成雷达回波图像。

技术总结
本发明公开了一种雷达成像与视频图像相融合的设备及方法，涉及多传感数据融合领域。该设备中的校正装置包括至少三个旋转结构；所有的旋转结构能够围成一个封闭区域；旋转结构包括：两个球面结构的叶片；视频拍摄装置对目标监控区域内转动的旋转结构进行拍摄得到视频图像；检测雷达向目标监控区域内转动的旋转结构发射雷达信号，并接收反射的雷达回波信号；处理器采用自适应相减算法对视频图像和雷达回波信号进行滤波，采用霍夫变换算法提取滤波后的目标图像和目标信号中各个旋转结构的中心坐标，得到视频特征点和雷达特征点，对视频特征点和雷达特征点进行匹配，以实现雷达成像与视频图像的配准。本发明能高效准确的实现配准。配准。配准。


技术研发人员：赖联有 许伟坚 程隆双 秦德兴
受保护的技术使用者：集美大学
技术研发日：2023.05.11
技术公布日：2023/8/24