一种基于毫米波雷达和单目相机的联合标定方法与流程

1.本发明属于高级辅助驾驶领域(adas)，尤其涉及一种基于毫米波雷达和单目相机的联合标定方法。


背景技术：

2.实现adas的技术主要有三类，分别是基于视觉传感器、毫米波雷达和激光雷达。由于成本限制因素，国内主要使用前两种方式。视觉传感器和毫米波雷达实现对adas功能的原理不同：毫米波雷达主要是通过对目标物发送电磁波并接收回波来获得目标物体的距离、速度和角度。视觉方案稍复杂，以单目视觉方案为例，它需要先进行目标识别，然后根据目标在图像中的像素大小来估算目标的距离。这两类技术各有优劣。总体来讲，摄像头方案成本低，可以识别不同的物体，在物体高度与宽度测量精度、车道线识别、行人识别准确度等方面有优势，是实现车道偏离预警、交通标志识别等功能不可缺少的传感器，但作用距离和测距精度不如毫米波雷达，并且容易受光照、天气等因素的影响。毫米波雷达受光照和天气因素影响较小，测距精度高，但难以识别车道线、交通标志等元素。另外，毫米波雷达通过多普勒偏移的原理能够实现更高精度的目标速度探测。于是就有了第三种方案，将摄像头和雷达进行融合，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的adas功能。而毫米波雷达与相机的联合标定是毫米波雷达与相机数据融合的重要保证。由于毫米波雷达数据点具有稀疏，噪声较多的特性，因此毫米波雷达和相机的联合标定在工业上显得尤为重要，因此急需研究一种毫米波雷达与相机联合标定的方法。


技术实现要素：

3.发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种基于毫米波雷达和单目相机的联合标定方法，提高了摄像头和雷达采样目标点的匹配、融合、多目标的关联，通过建立精确的毫米波雷达坐标系、三维世界坐标系、摄像机坐标系、图像坐标系和像素坐标系之间的坐标转换关系完成标定。
4.所述方法包括如下步骤：
5.步骤1，对毫米波雷达的数据进行解析；
6.步骤2，对毫米波雷达的数据进行处理；
7.步骤3，进行毫米波雷达与相机在线标定。
8.步骤1包括：计算机接收的毫米波雷达信号通过can-bus网络完成，(can-bus总线技术，全称为“控制器局域网总线技术”)，通过usbcan接口卡，将雷达信号通过usb总线连接到计算机，再根据can协议接收到的每一个can标准帧进行解析，所述can标准帧包括目标与雷达的距离、角度、相对速度、信号的反射强度以及每个目标的id号。
9.步骤1中，计算机接收到的每个目标信号数据是unsigned cha类型的数组data[8][8]，每个雷达目标信息存储在data[0]～data[7]中，用lsb表示最低有效位，msb表示最高有效位；角度信息由data[1]的低5位与data[2]的高5位组成；距离信息由data[2]的低3位
data[2]组成；相对速度信息由data[6]的低6位与data[7]组成；将从最低有效位到最高有效位的数据组合成一个完整的二进制数，然后转化为融合所需的十进制信息。
[0010]
步骤2包括：第一步，确定毫米波雷达的检测范围，确定以毫米波雷达为中心横轴x方向和纵轴y方向的距离，滤去无效目标点；第二步，选用探测有效目标生命目标周期的方法来确定受金属障碍物干扰，或系统噪声原因产生的空目标，使用出现、持续、消失三个阶段表示，当目标出现和持续的时间过短时(一般小于2秒则判定为时间过短)，将目标滤去；完成以上两步后，毫米波雷达数据点只剩下有效的目标物，选用dbscan聚类算法对数据进行降维，最终每一个目标物仅由一个点代表。
[0011]
步骤3包括：同时启动相机和毫米波雷达采集数据，并每隔y1(一般取值为20)秒触发一次标定过程，通过手动标定和筛选完成标定，如果当前帧数据未检测到目标点，选择遗弃，进行下一y1秒的标定，在这y1秒内用户能够在毫米波雷达与相机视野里摆放目标物，或者使目标物运动来增加标定的精确性。
[0012]
步骤3中，令相机坐标系为oxcyczc，毫米波雷达坐标系为oxryrzr；
[0013]
相机x轴正方向向右，y轴正方向竖直向下，z轴正方向为相机中心向前；
[0014]
雷达x轴正方向延雷达中心向前，y轴正方向向左，z轴正方向竖直向上；
[0015]
设定相机坐标系原点与毫米波雷达坐标原点的距离分别为x
offsetyoffsetzoffset
，oxryrzr坐标系在oxcyczc坐标系下的姿态为(α,β,λ)，α,β,λ分别表示俯仰角pitch，航向角yaw，翻滚角roll；在xc轴的旋转矩阵为r
x
，在yc轴的旋转矩阵为ry，在zc轴的旋转矩阵为rz，则由毫米波雷达坐标系转换为相机坐标系的关系式为：
[0016]
pc＝r*pr+t(1)
[0017]
其中pc表示点p在相机坐标系下的坐标，pr表示点p在雷达坐标系的坐标,pr表示统一朝向后雷达点的坐标，r表示从雷达坐标系转换到相机坐标系下的旋转矩阵，t表示雷达坐标系到相机坐标系的平移矩阵，其中：
[0018]
r＝rz*ry*r
x
(2)
[0019][0020][0021][0022][0023]
由于毫米波的zr为0，也就是相机坐标系的yc为0，所以旋转能够退化为平面xoz绕y轴旋转，将(1)式写成矩阵形式：
[0024][0025]
将相机坐标系下的坐标投影到像素坐标系，如下式：
[0026][0027]
其中zc为尺度因子，f
x
,fy,c
x
,cy为相机内参，通过相机标定得出，再通过手动调节参数，使雷达点与目标物体中心重叠，生成标定的变换矩阵。
[0028]
本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现所述一种基于毫米波雷达和单目相机的联合标定方法。
[0029]
本发明主要采用以下技术方案：
[0030]
毫米波雷达数据解析，计算机接收的毫米波雷达信号通过can-bus网络完成，通过usbcan接口卡，将雷达信号通过usb总线连接到计算机，再根据can协议接收到的每一个can标准帧包括目标与雷达的距离、角度、相对速度、信号的反射强度以及每个目标的id号等信息进行解析。
[0031]
毫米波雷达数据处理技术，在实际测量结果中，毫米波雷达信号目标中有很大一部分是干扰信号目标，包括空目标、无效信号目标和静止目标，本发明通过设定算法可有效滤去以上干扰信号目标。经过有效数据选取后，当自然环境出存在一个体积较大的目标标或者目标保持运动状态且各部位姿势不一致时，雷达检测结果中会呈现出是一堆距离、速度、方位都十分相近的目标点，因此，在选取有效目标信息的过程中，使用dbscan聚类算法对检测结果进行初步处理，根据距离、速度的相似度将检测结果中一堆相近的小目标点聚集成一个目标整体，过滤整合一部分无效信息。
[0032]
毫米波雷达与相机在线标定技术，本发明通过实时获得雷达数据和图片数据，并通过手动调节参数，实现目标的匹配与融合从而实现标定。
[0033]
本发明方法具有如下有益效果：
[0034]
(1)无需制作标定物体，单人就可完成标定，简单快捷。
[0035]
(2)通过调整触发程序时间，可以对不同位置的运动物体进行标定，达到不同精度要求的标定效果。
[0036]
(3)标定不受制于环境的限制，不受自然光影响，特征通过人为识别，精度好
[0037]
(4)雷达数据和图像数据同步对齐，实时性好。
附图说明
[0038]
下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。
[0039]
图1是毫米波雷达的数据解析流程。
[0040]
图2是毫米波雷达数据处理流程图。
[0041]
图3是毫米波雷达与相机在线标定流程图。
[0042]
图4是在线标定示意图。
具体实施方式
[0043]
图1是毫米波雷达的数据解析流程，接收到的每个目标信号数据是unsigned char类型的数组data[8][8]，每个雷达目标信息存储在data[0]～data[7]中。其中，lsb表示最低有效位，msb表示最高有效位。黄色区域表示角度信息，由data[1]的低5位与data[2]的高5位组成；绿色区域表示距离信息，由data[2]的低3位与data[2]组成；蓝色区域表示相对速度信息，由data[6]的低6位与data[7]组成。将从最低有效位到最高有效位的数据组合成一个完整的二进制数，然后转化为融合所需的十进制信息。解析过程以角度为例，角度的二进制信息为a＝(data[1])《《5&(data[2]》》3)，若a的首位为1，则表示角度为负数，需要先求原码的反码，补码，再转化为十进制数，最后乘以相应的比例，得到雷达数据的解析值。同理，其余指标也由该种方式计算出。
[0044]
图2是毫米波雷达数据处理流程图，首先确定毫米波雷达的检测范围，即确定以毫米波雷达为中心x方向和y方向的距离，以此来滤去大部分无效目标点；其次滤去受金属障碍物干扰，或系统噪声原因产生的空目标，此处选用探测有效目标生命目标周期的方法来确定，使用出现、持续、消失三个阶段表示，当目标出现和持续的时间过短时，将其滤去；完成以上两步后，毫米波雷达数据点只剩下有效的目标物，但因对同一目标物毫米波雷达可能会返回多个目标点，此时多个目标点表示为一个物体，为提高标定效率选用dbscan聚类算法对数据进行降维，最终每一个目标物仅由一个点代表。
[0045]
图3是毫米波雷达与相机在线标定流程图，首先同时启动相机和毫米波雷达采集数据；并每隔20s触发一次标定程序，通过手动标定和筛选完成标定，若该帧数据未检测到目标点，选择遗弃，进行下一20秒的标定，在这20秒内用户可在毫米波雷达与相机视野里摆放目标物，或者使目标物运动来增加标定的精确性，20秒的设定是便于当标定人员只有一人时且需要模拟运动目标物标定的需求。标定次数可随用户决定，所有标定数据会以日志的形式保存。
[0046]
图4是在线标定示意图，通过手动调节滑动窗口参数，使左边的毫米波数据点到达相机中目标物的中心位置，完成标定。
[0047]
以下为标定参数理论说明。
[0048]
令相机坐标系为oxcyczc，毫米波雷达坐标系为oxryrzr。相机x轴正方向向右，y轴正方向竖直向下，z轴正方向为相机中心向前。雷达x轴正方向延雷达中心向前，y轴正方向向左，z轴正方向竖直向上。
[0049]
设定相机坐标系原点与毫米波雷达坐标原点的距离分别为x
offsetyoffsetzoffset
，oxryrzr坐标系在oxcyczc坐标系下的姿态为(α,β,λ)，α,β,λ分别表示俯仰角pitch，航向角yaw，翻滚角roll；在xc轴的旋转矩阵为r
x
，在yc轴的旋转矩阵为ry，在zc轴的旋转矩阵为rz，则由毫米波雷达坐标系转换为相机坐标系的关系式为：
[0050]
pc＝r*pr+t
ꢀꢀꢀ
(1)
[0051]
其中pc表示点p在相机坐标系下的坐标，pr表示点p在雷达坐标系的坐标,pr表示统一朝向后雷达点的坐标，r表示从雷达坐标系转换到相机坐标系下的旋转矩阵，t表示雷达坐标系到相机坐标系的平移矩阵，其中：
[0052]
r＝rz*ry*r
x
ꢀꢀꢀ
(2)
[0053][0054][0055][0056][0057]
由于毫米波的zr为0，也就是相机坐标系的yc为0，所以旋转可以退化为平面xoz绕y轴旋转，将(1)式写成矩阵形式：
[0058][0059]
将相机坐标系下的坐标投影到像素坐标系，如下式：
[0060][0061]
其中zc为尺度因子，f
x
,fy,c
x
,cy为相机内参，通过相机标定得出，综上通过手动调节参数，使雷达点与目标物体中心重叠，可以生成标定的变换矩阵。
[0062]
具体实现中，本技术提供计算机存储介质以及对应的数据处理单元，其中，该计算机存储介质能够存储计算机程序，所述计算机程序通过数据处理单元执行时可运行本发明提供的一种基于毫米波雷达和单目相机的联合标定方法的发明内容以及各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0063]
本领域的技术人员可以清楚地了解到本发明实施例中的技术方案可借助计算机程序以及其对应的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机程序即软件产品的形式体现出来，该计算机程序软件产品可以存储在存储介质中，包括若干指令用以使得一台包含数据处理单元的设备(可以是个人计算机，服务器，单片机。muu或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
[0064]
本发明提供了一种基于毫米波雷达和单目相机的联合标定方法，具体实现该技术
方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

技术特征：
1.一种基于毫米波雷达和单目相机的联合标定方法，其特征在于，包括以下步骤：步骤1，对毫米波雷达的数据进行解析；步骤2，对毫米波雷达的数据进行处理；步骤3，进行毫米波雷达与相机在线标定。2.根据权利要求1所述的方法，其特征在于，步骤1包括：计算机接收的毫米波雷达信号通过can-bus网络完成，通过usbcan接口卡，将雷达信号通过usb总线连接到计算机，再根据can协议接收到的每一个can标准帧进行解析，所述can标准帧包括目标与雷达的距离、角度、相对速度、信号的反射强度以及每个目标的id号。3.根据权利要求2所述的方法，其特征在于，步骤1中，计算机接收到的每个目标信号数据是unsigned cha类型的数组data[8][8]，每个雷达目标信息存储在data[0]～data[7]中，用lsb表示最低有效位，msb表示最高有效位；角度信息由data[1]的低5位与data[2]的高5位组成；距离信息由data[2]的低3位data[2]组成；相对速度信息由data[6]的低6位与data[7]组成；将从最低有效位到最高有效位的数据组合成一个完整的二进制数，然后转化为融合所需的十进制信息。4.根据权利要求3所述的方法，其特征在于，步骤2包括：第一步，确定毫米波雷达的检测范围，确定以毫米波雷达为中心横轴x方向和纵轴y方向的距离，滤去无效目标点；第二步，选用探测有效目标生命目标周期的方法来确定受金属障碍物干扰，或系统噪声原因产生的空目标，使用出现、持续、消失三个阶段表示，当目标出现和持续的时间过短时，将目标滤去；完成以上两步后，毫米波雷达数据点只剩下有效的目标物，选用dbscan聚类算法对数据进行降维，最终每一个目标物仅由一个点代表。5.根据权利要求4所述的方法，其特征在于，步骤3包括：同时启动相机和毫米波雷达采集数据，并每隔y1秒触发一次标定过程，通过手动标定和筛选完成标定，如果当前帧数据未检测到目标点，选择遗弃，进行下一y1秒的标定，在这y1秒内用户能够在毫米波雷达与相机视野里摆放目标物，或者使目标物运动来增加标定的精确性。6.根据权利要求5所述的方法，其特征在于，步骤3中，令相机坐标系为ox
c
y
c
z
c
，毫米波雷达坐标系为ox
r
y
r
z
r
；相机x轴正方向向右，y轴正方向竖直向下，z轴正方向为相机中心向前；雷达x轴正方向延雷达中心向前，y轴正方向向左，z轴正方向竖直向上；设定相机坐标系原点与毫米波雷达坐标原点的距离分别为x
offset
y
offset
z
offset
，ox
r
y
r
z
r
坐标系在ox
c
y
c
z
c
坐标系下的姿态为(α,β,λ)，α,β,λ分别表示俯仰角pitch，航向角yaw，翻滚角roll；在x
c
轴的旋转矩阵为r
x
，在y
c
轴的旋转矩阵为r
y
，在z
c
轴的旋转矩阵为r
z
，则由毫米波雷达坐标系转换为相机坐标系的关系式为：p
c
＝r*p
r
+t
ꢀꢀꢀꢀ
(1)其中p
c
表示点p在相机坐标系下的坐标，p
r
表示点p在雷达坐标系的坐标,p
r
表示统一朝向后雷达点的坐标，r表示从雷达坐标系转换到相机坐标系下的旋转矩阵，t表示雷达坐标系到相机坐标系的平移矩阵，其中：r＝r
z
*r
y
*r
x
ꢀꢀꢀꢀ
(2)
由于毫米波的z
r
为0，也就是相机坐标系的y
c
为0，所以旋转能够退化为平面xoz绕y轴旋转，将(1)式写成矩阵形式：将相机坐标系下的坐标投影到像素坐标系，如下式：其中z
c
为尺度因子，f
x
,f
y
,c
x
,c
y
为相机内参，通过相机标定得出，再通过调节参数，使雷达点与目标物体中心重叠，生成标定的变换矩阵。7.一种存储介质，其特征在于，存储有计算机程序或指令，当所述计算机程序或指令被运行时，实现如权利要求1至6中任一项所述的方法。

技术总结
本发明提供了一种基于毫米波雷达和单目相机的联合标定方法，包括以下步骤：步骤1，对毫米波雷达的数据进行解析；步骤2，对毫米波雷达的数据进行处理；步骤3，进行毫米波雷达与相机在线标定。本发明方法无需制作标定物体，单人就可完成标定，简单快捷，通过调整触发程序时间，可以对不同位置的运动物体进行标定，达到不同精度要求的标定效果，同时标定不受制于环境的限制，不受自然光影响，特征通过人为识别，精度好，雷达数据和图像数据同步对齐，实时性好。性好。性好。


技术研发人员：甘欣辉 姚连喜 宋亮 郭贺 储俊 周锴 张雅杰 汪文 丁美杰 李俊林
受保护的技术使用者：江苏和正特种装备有限公司
技术研发日：2023.04.18
技术公布日：2023/7/28