多传感器联合标定的激励判断与参数自调节方法及系统与流程

1.本发明属于自动驾驶技术领域，特别涉及一种多传感器联合标定的激励判断与参数自调节方法及系统。


背景技术：

2.随着自动驾驶技术的发展，多传感器融合技术在自动驾驶领域中变的非常重要。自动驾驶需要精准、实时地感知周围环境并做出决策，而多传感器融合可以提供丰富、多样化的信息来支持这一任务。多传感器融合技术中常用的传感器有激光雷达、imu（惯性传感器，inertial measurement unit）与相机，通过融合激光雷达观测到的几何信息、相机观测到的图像信息、imu观测到的运动信息，可以利用不同传感器的优势克服其他传感器的缺陷来提高状态估计算法在不同场景中的适用性。传感器标定在多传感器融合中扮演着非常重要的角色，它可以提高数据融合的精度和可靠性，为多传感器融合应用提供更加准确的测量结果。
3.但目前不依赖于标定板的多传感器标定技术依靠人为判断旋转和平移激励是否充分，启动与结束标定数据采集，如果采集数据的过程没有充分激励传感器的各自由度，会极大地影响最终的标定结果。现有的一些激光雷达与imu的标定方法使用pcl库中的voxelgrid对点云进行体素化，使用正态分布变换（ndt）进行点云配准，需要人为根据标定场景设置voxelgrid降采样时的体素大小，点云配准时的网格体素分辨率大小，影响标定算法的便捷性与效率。


技术实现要素：

4.针对上述问题，本发明提供一种多传感器联合标定的激励判断与参数自调节方法及系统，采用以下技术方案：一种多传感器联合标定的激励判断与参数自调节方法，包括以下步骤：通过场景识别模型确定采集的场景类型；根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集；开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息；基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集；在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。
5.进一步的，通过场景识别模型确定采集的场景类型，包括以下步骤：获取室内目标数据集和室外目标数据集；建立yolov8场景识别模型，并通过室内目标数据集和室外目标数据集对yolov8识别模型进行训练；
已训练的yolov8识别模型根据识别的每一帧图像中的室内室外目标个数确定采集的场景类型。
6.进一步的，根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集，包括以下步骤：获取imu坐标系某一轴上电运行时刻的姿态欧拉角和当前时刻的姿态欧拉角；确定imu坐标系某一轴当前时刻相对于上电运行时刻的姿态欧拉角变化值；对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集。
7.进一步的，通过奇异值分解进行旋转激励评估，包括以下步骤：获取激光雷达和相机运动信息，其中，激光雷达和相机运动信息包括相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵；根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式；通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，完成奇异值分解评估。
8.进一步的，奇异值分解评估完成后，通过imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，包括以下步骤：根据采集场景类型确定姿态欧拉角变化阈值α；根据imu坐标系某一轴最终姿态欧拉角变化值和姿态欧拉角变化阈值α确定imu坐标系某一轴激励是否充分，确定imu三轴均激励充分后，完成旋转激励评估。
9.进一步的，基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，包括以下步骤：根据激光雷达-imu-相机系统里程计信息，确定根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离；基于采集场景类型，根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离以及与地面的位置关系，进行平移激励评估。
10.进一步的，在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数，包括以下步骤：确定标定数据采集场景属于室外场景，将对点云进行降采样时的体素参数设置为0.5m
×
0.5m
×
0.5m，将进行点云配准的网格体素分辨率参数设置为1.0m；如果标定数据采集场景属于室内场景，对点云进行降采样时的体素参数设置为0.2m
×
0.2m
×
0.2m，将进行点云配准的网格体素分辨率参数设置为0.5m。
11.进一步的，已训练的yolov8识别模型根据识别的每一帧图像中的室内室外目标个数确定采集的场景类型，包括以下步骤：开始识别时设置室内室外识别结果标志变量；通过已训练的yolov8识别模型每一帧图像中的室内室外目标个数，根据每一帧图像中的室内室外目标个数，确定当前时刻室内室外识别结果标志变量；如果当前时刻室内室外识别结果标志变量》0，则当前采集的场景属于室外，否则
属于室内。
12.进一步的，对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集，包括以下步骤：如果当前时刻某一轴的姿态角变化相比上一时刻的姿态角变化小于设定值a，记当前时刻的姿态欧拉角变化为0
°
，否则确定当前时刻的姿态欧拉角为最终姿态欧拉角变化值；若任一个最终姿态欧拉角变化值大于设定值b，则启动标定数据采集。
13.进一步的，根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式，包括以下步骤：建立相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵之间的第一关系式；将第一关系式转化为四元数形式的第二关系式；将第二关系式中的激光雷达在两帧激光数据之间的旋转矩阵转换为四元数左乘矩阵，将第二关系式中的相机在两帧激光数据之间的旋转矩阵转化为四元数右乘矩阵，获得第三关系式；根据第三关系式构建两帧激光数据的超定方程式。
14.进一步的，基于采集场景类型，根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离以及与地面的位置关系，进行平移激励评估，包括以下步骤：在激光雷达坐标系、imu坐标系和相机坐标系中，当与地面垂直的轴平移的距离大于阈值c，或小于-c的次数达到设定次数时，确认该轴平移激励充分；当识别到采集场景为室内时，当两个与地面平行的轴平移的距离大于阈值d，或小于-d的次数达到设定次数时，则确定两个与地面平行的轴平移激励充分；当识别到采集场景为室外时，当两个与地面平行的轴平移的距离大于阈值e，或小于阈值-e的次数达到设定次数时，则确定两个与地面平行的轴平移激励充分。
15.进一步的，阈值e》阈值d》阈值c。
16.进一步的，通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，包括以下步骤：当两帧激光数据的超定方程式中的矩阵行数大于设定值时，开始对每一时刻的超定方程式进行奇异值分解，最小奇异值对应的右奇异向量为超定方程式的最优解，最小奇异值对应的右奇异向量为激光雷达和相机间旋转外参的初值。
17.本发明还提供一种多传感器联合标定的激励判断与参数自调节系统，包括：场景识别模块，用于通过场景识别模型确定采集的场景类型；计算模块，用于根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集；第一评估模块，用于开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息；第二评估模块，用于基于激光雷达-imu-相机系统里程计信息和采集场景类型，进
行平移激励评估，平移激励完成后结束标定数据采集；数据调节模块，用于在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。
18.进一步的，计算模块具体用于：获取imu坐标系某一轴上电运行时刻的姿态欧拉角和当前时刻的姿态欧拉角；确定imu坐标系某一轴当前时刻相对于上电运行时刻的姿态欧拉角变化值；对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集。
19.进一步的，第一评估模块具体用于：获取激光雷达和相机运动信息，其中，激光雷达和相机运动信息包括相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵；根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式；通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，完成奇异值分解评估。
20.进一步的，第一评估模块还具体用于：根据采集场景类型确定姿态欧拉角变化阈值α；根据imu坐标系某一轴最终姿态欧拉角变化值和姿态欧拉角变化阈值α确定imu坐标系某一轴激励是否充分，确定imu三轴均激励充分后，完成旋转激励评估。
21.本发明的有益效果：1、本发明与人为判断激励是否充分的方法相比，不需要人主观地去判断坐标轴的旋转平移激励是否充分，可以客观准确地评价激励程度，进而提高标定算法的成功率，避免无效的标定数据采集。
22.2、本发明同时借助imu姿态角的变化，检测传感器是否开始运动，从而自动启动数据采集，通过激励程度的判断自动结束数据采集，减少人在数据采集时的工作量，降低不同人的激励手法对标定效果的影响。
23.3、本发明基于yolov8实现室内室外场景识别，更加合理地评估平移激励，同时借助识别结果自动调节相应参数，配置简单，可以很方便地应用于一些开源标定方法，提高联合标定的成功率与效率。
24.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书以及附图中所指出的结构来实现和获得。
附图说明
25.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1示出了根据本发明实施例的一种多传感器联合标定的激励判断与参数自调节方法流程示意图；图2示出了根据本发明实施例的一种多传感器联合标定的激励判断与参数自调节系统的结构示意图。
27.图中：1、场景识别模块；2、计算模块；3、第一评估模块；4、第二评估模块；5、数据调节模块。
具体实施方式
28.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.需要说明的是，本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
30.本发明实施例提供一种多传感器联合标定的激励判断与参数自调节方法及系统，判断标定数据采集过程的激励程度，可以智能地启动与结束数据采集，通过识别标定场景调节相关参数，可以与现有标定方法结合从而提高多传感器联合标定的效率与便捷性，同时也确保了传感器各自由度被充分激励。
31.如图1所示，一种多传感器联合标定的激励判断与参数自调节方法，包括以下步骤：s1、激光雷达-imu-相机数据发布，包括：搭建三维激光雷达-imu-相机系统，建立3维激光雷达坐标系、imu坐标系和相机坐标系，基于ros1发布ros标准数据类型的激光雷达点云话题，imu数据话题和相机图像话题。
32.s2、确定室内室外场景识别策略，即通过场景识别模型确定采集的场景类型，包括以下步骤：s21、获取室内目标数据集和室外目标数据集，依据可能出现在室内室外的概率大小，选取coco数据集中的典型室内目标和室外目标。
33.例如，室内目标包括：瓶子、酒杯、杯子、叉子、刀、勺子、碗、香蕉、苹果、三明治、橙子、西兰花、胡萝卜、热狗、披萨、甜甜圈、蛋糕、椅子、沙发、盆栽、床，餐桌、电视、笔记本电脑、鼠标、遥控器、键盘、手机、微波炉、盆栽、冰箱、书、时钟、花瓶、剪刀、吹风机、牙刷等。
34.例如，室外目标：自行车、汽车、摩托车、飞机、公共汽车、火车、卡车、船、红绿灯、消防栓、停车标志、长凳、鸟、大象、熊、斑马、长颈鹿、滑雪板、风筝、棒球棒、滑板、冲浪板、网球拍等。
35.s22、建立yolov8场景识别模型，并通过室内目标数据集和室外目标数据集对yolov8识别模型进行训练。
36.基于yolov8网络训练上述所有目标的场景识别模型，由于上述分类依据概率大小，所有目标都有可能出现在室内或者室外，因此设计室内室外场景识别策略。
37.s23、已训练的yolov8识别模型根据识别的每一帧图像中的室内室外目标个数确定采集的场景类型，包括以下步骤：
s231、开始识别时设置室内室外识别结果标志变量flag为0。
38.s232、通过已训练的yolov8识别模型每一帧图像中的室内室外目标个数，室内目标个数计为indoor，室外目标个数记为outdoor；根据每一帧图像中的室内室外目标个数，确定当前时刻室内室外识别结果标志变量，其中，接收一帧图像识别结果标志变量flag的计算公式为：flag=flag+outdoor-indoors233、如果当前时刻室内室外识别结果标志变量flag》0，则当前采集的场景属于室外，否则属于室内。
39.s3、根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集，包括以下步骤：s31、获取imu坐标系某一轴上电运行时刻的姿态欧拉角和当前时刻的姿态欧拉角。
40.其中，直接输出姿态欧拉角的imu直接使用其输出的姿态欧拉角，对于不能直接输出姿态欧拉角的imu通过基于卡尔曼滤波器的姿态解算算法解算姿态欧拉角。
41.s32、确定imu坐标系某一轴当前时刻相对于上电运行时刻的姿态欧拉角变化值。
42.例如，imu上电运行时刻的姿态欧拉角初值记为，当前时刻姿态欧拉角记为，当前时刻相对于上电运行时刻的姿态欧拉角变化值记为，具体如下：
43.s33、对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集。
44.需要说明的是，由于imu静止时的姿态欧拉角会有累积误差，且累积误差会一直增大，因此对得到的姿态欧拉角变化进行滤波。
45.其中，s33具体包括以下步骤：s331、imu坐标系某一轴当前时刻的上一时刻姿态欧拉角变化记为，如果当前时刻某一轴的姿态角变化相比上一时刻的姿态角变化小于设定值a，记当前时刻的姿态欧拉角变化为0
°
，否则确定当前时刻的姿态欧拉角为最终姿态欧拉角变化值。
46.例如，设定值a可以为0.1
°
，不同型号imu的偏置不同，设置为0.1
°
可消除大多数型号imu偏置的影响。
47.s332、若任一个最终姿态欧拉角变化值大于设定值b，则启动标定数据采集。
48.例如，设定值b可以为5
°
，可确定不是由于imu误差，零飘等引起的姿态角变化，程序自动启动标定数据采集。
49.s4、开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息。
50.其中，通过奇异值分解进行旋转激励评估，包括以下步骤：
s41、获取激光雷达和相机运动信息，其中，激光雷达和相机运动信息包括相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵。
51.例如，对于机械扫描式激光雷达，通过loam 3d激光slam获取激光雷达运动信息；对于固态激光雷达，通过loam livox获取激光雷达运动信息，通过orb-slam获取相机运动信息。相机与激光雷达之间坐标系相对旋转量为，通过激光slam获取激光雷达在两帧激光数据之间的旋转矩阵为;通过视觉slam获取相机在两帧激光数据之间的旋转矩阵为。
52.s42、根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式，包括以下步骤：s421、建立相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵之间的第一关系式，具体如下：
53.式中，t表示当前时刻，t+1为上一时刻。
54.s422、将第一关系式转化为四元数形式的第二关系式，具体如下：
55.式中，、分别为、的四元数形式表示，表示两个四元数相乘。
56.s423、将第二关系式中的激光雷达在两帧激光数据之间的旋转矩阵转换为四元数左乘矩阵，将第二关系式中的相机在两帧激光数据之间的旋转矩阵转化为四元数右乘矩阵，获得第三关系式，具体如下：
57.式中，表示转化为左乘矩阵与相乘，即，表示转化为右乘矩阵与相乘，即。
58.s423、根据第三关系式构建两帧激光数据的超定方程式，两帧激光数据可以得到一个方程，每个方程构成一个约束，可构建以下超定方程，并且随着数据采集累积，超定方程约束越来越多。
59.其中，两帧激光数据的超定方程式，具体如下：
60.式中，表示不同时刻依据第三关系式构建的方程。
61.s43、通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，完成奇异值分解评估。
62.当qn矩阵行数大于设定值（例如，10行）时，开始对每一时刻的超定方程式进行奇异值分解，最小奇异值对应的右奇异向量为超定方程式的最优解，最小奇异值对应的右奇异向量为激光雷达和相机间旋转外参的初值。
63.例如，将奇异值从大到小排列，其倒数三个奇异值为，通过对倒数第二小奇异值与倒数第三小奇异值大小进行判断来限定最小奇异值大小，因此可间接通过倒数第二小与倒数第三小的奇异值来评估激励程度，当并且时，可通过该超定方程式求解出相对精确的激光相机间旋转外参的初值，奇异值分解评估完成。
64.奇异值分解评估完成后，通过采集的数据构建超定方程已足够求解旋转参数初值，但某些轴仍可能存在退化运动，因此进一步通过imu实现旋转激励评估，判断标定过程imu各个自由度的激励程度，具体如下：s44、根据采集场景类型确定姿态欧拉角变化阈值α。
65.例如，根据场景设置角度变化阈值α，α设置范围可以为45
°‑
90
°
；在使用手持设备采集数据时，设备旋转90
°
以内时数据采集者可以以相对舒服的姿态进行旋转操作，由于室内场景是一个相对封闭的几何体，因此每个轴都存在约束，角度变化阈值α设置为90
°
；而室外场景比较空旷，由于非封闭结构，即与地面垂直的轴某一方向为天空，视觉和激光无法提取到有效特征，因此角度变化阈值α设置为45
°
，通过基于yolov8的室内室外场景识别自适应调节该阈值。
66.s45、根据imu坐标系某一轴最终姿态欧拉角变化值和姿态欧拉角变化阈值α确定imu坐标系某一轴激励是否充分，确定imu三轴均激励充分后，完成旋转激励评估。
67.例如，imu坐标系某一轴最终姿态欧拉角变化值中任意一个值变化大于阈值α，或小于-α各4次，认为该轴旋转激励充分。
68.其中，旋转激励评估完成后，计算激光雷达-imu-相机系统的里程计信息包括以下步骤：完成旋转激励评估后，此时vins-mono已经完成初始化，开始使用vins-mono算法发布里程计信息，可输出相对于激光雷达-imu-相机系统初始时的位置[x,y,z]。
[0069]
s5、基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集，包括以下步骤：根据激光雷达-imu-相机系统里程计信息，确定根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离，基于采集场景类型，根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离以及与地面的位置关系，进行平移激励评估，具体如下：s51、在激光雷达坐标系、imu坐标系和相机坐标系中，对于与地面垂直的轴，由于进行大范围平移运动难度较大，设置阈值c，根据激光雷达-imu-相机系统里程计信息确定与地面垂直的轴平移的距离，当与地面垂直的轴平移的距离大于阈值c，或小于-c的次数达到设定次数时（例如，3次），确认该轴平移激励充分，例如，阈值c为0.5m，大于阈值0.5m，小于-0.5m各3次，则认为该轴平移激励充分。
[0070]
s52、在激光雷达坐标系、imu坐标系和相机坐标系中，对于另外两个与地面平行的
轴，根据激光雷达-imu-相机系统里程计信息确定两个与地面平行的轴平移的距离，当识别到采集场景为室内时，由于大多数室内房间空间有限，设置阈值d为4m可满足大多数室内空间运动范围限制，当两个与地面平行的轴平移的距离大于阈值d，或小于-d的次数达到设定次数时（例如，3次），则确定两个与地面平行的轴平移激励充分；当识别到采集场景为属于室外时，设置阈值e为10m，同样地，当两个与地面平行的轴平移的距离大于阈值e，或小于阈值-e的次数达到设定次数时（例如，3次），则确定两个与地面平行的轴平移激励充分。
[0071]
本发明可以判断标定数据采集过程的激励程度，可以智能地启动与结束数据采集，通过识别标定场景调节相关参数，可以与现有标定方法结合从而提高激光-imu-相机联合标定的效率与便捷性，同时也确保了传感器各自由度被充分激励。
[0072]
s6、在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数，具体如下：如果在标定数据采集时，确定标定数据采集场景属于室外场景，使用pcl库中的voxelgrid对点云进行降采样时的体素参数设置为0.5m
×
0.5m
×
0.5m，使用正态分布变换（ndt）进行点云配准的网格体素分辨率参数设置为1.0m；如果标定数据采集场景属于室内场景，对点云进行降采样时的体素参数设置为0.2m
×
0.2m
×
0.2m，进行点云配准的网格体素分辨率参数设置为0.5m。
[0073]
基于上述多传感器联合标定的激励判断与参数自调节方法，如图2所示，本发明实施例还提供一种多传感器联合标定的激励判断与参数自调节系统，包括：场景识别模块1、计算模块2、第一评估模块3、第二评估模块4和数据调节模块5。
[0074]
其中，场景识别模块1，用于通过场景识别模型确定采集的场景类型；计算模块2，用于根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集；第一评估模块3，用于开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息；第二评估模块4，用于基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集；数据调节模块5，用于在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。
[0075]
本发明与人为判断激励是否充分的方法相比，不需要人主观地去判断绕3个坐标轴的旋转平移激励是否充分，系统可以客观准确地评价激励程度，进而提高标定算法的成功率，避免无效的标定数据采集。同时借助imu姿态角的变化，检测传感器是否开始运动，从而自动启动数据采集，通过激励程度的判断自动结束数据采集，减少人在数据采集时的工作量，降低不同人的激励手法对标定效果的影响。基于yolov8实现室内室外场景识别，更加合理地评估平移激励，同时借助识别结果自动调节相应参数。该方法配置简单，可以很方便地应用于一些开源标定方法，提高联合标定的成功率与效率。
[0076]
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种多传感器联合标定的激励判断与参数自调节方法，其特征在于，包括以下步骤：通过场景识别模型确定采集的场景类型；根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集；开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息；基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集；在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。2.根据权利要求1所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，通过场景识别模型确定采集的场景类型，包括以下步骤：获取室内目标数据集和室外目标数据集；建立yolov8场景识别模型，并通过室内目标数据集和室外目标数据集对yolov8识别模型进行训练；已训练的yolov8识别模型根据识别的每一帧图像中的室内室外目标个数确定采集的场景类型。3.根据权利要求1所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集，包括以下步骤：获取imu坐标系某一轴上电运行时刻的姿态欧拉角和当前时刻的姿态欧拉角；确定imu坐标系某一轴当前时刻相对于上电运行时刻的姿态欧拉角变化值；对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集。4.根据权利要求1所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，通过奇异值分解进行旋转激励评估，包括以下步骤：获取激光雷达和相机运动信息，其中，激光雷达和相机运动信息包括相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵；根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式；通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，完成奇异值分解评估。5.根据权利要求1所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，奇异值分解评估完成后，通过imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，包括以下步骤：根据采集场景类型确定姿态欧拉角变化阈值α；根据imu坐标系某一轴最终姿态欧拉角变化值和姿态欧拉角变化阈值α确定imu坐标系某一轴激励是否充分，确定imu三轴均激励充分后，完成旋转激励评估。6.根据权利要求1所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，包括以
下步骤：根据激光雷达-imu-相机系统里程计信息，确定根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离；基于采集场景类型，根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离以及与地面的位置关系，进行平移激励评估。7.根据权利要求1-6任一所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数，包括以下步骤：确定标定数据采集场景属于室外场景，将对点云进行降采样时的体素参数设置为0.5m
×
0.5m
×
0.5m，将进行点云配准的网格体素分辨率参数设置为1.0m；如果标定数据采集场景属于室内场景，对点云进行降采样时的体素参数设置为0.2m
×
0.2m
×
0.2m，将进行点云配准的网格体素分辨率参数设置为0.5m。8.根据权利要求2所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，已训练的yolov8识别模型根据识别的每一帧图像中的室内室外目标个数确定采集的场景类型，包括以下步骤：开始识别时设置室内室外识别结果标志变量；通过已训练的yolov8识别模型每一帧图像中的室内室外目标个数，根据每一帧图像中的室内室外目标个数，确定当前时刻室内室外识别结果标志变量；如果当前时刻室内室外识别结果标志变量>0，则当前采集的场景属于室外，否则属于室内。9.根据权利要求3所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集，包括以下步骤：如果当前时刻某一轴的姿态角变化相比上一时刻的姿态角变化小于设定值a，记当前时刻的姿态欧拉角变化为0
°
，否则确定当前时刻的姿态欧拉角为最终姿态欧拉角变化值；若任一个最终姿态欧拉角变化值大于设定值b，则启动标定数据采集。10.根据权利要求4所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式，包括以下步骤：建立相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵之间的第一关系式；将第一关系式转化为四元数形式的第二关系式；将第二关系式中的激光雷达在两帧激光数据之间的旋转矩阵转换为四元数左乘矩阵，将第二关系式中的相机在两帧激光数据之间的旋转矩阵转化为四元数右乘矩阵，获得第三关系式；根据第三关系式构建两帧激光数据的超定方程式。11.根据权利要求6所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，基于采集场景类型，根据激光雷达坐标系、imu坐标系和相机坐标系中各轴的移动距离以及与地面的位置关系，进行平移激励评估，包括以下步骤：
在激光雷达坐标系、imu坐标系和相机坐标系中，当与地面垂直的轴平移的距离大于阈值c，或小于-c的次数达到设定次数时，确认该轴平移激励充分；当识别到采集场景为室内时，当两个与地面平行的轴平移的距离大于阈值d，或小于-d的次数达到设定次数时，则确定两个与地面平行的轴平移激励充分；当识别到采集场景为室外时，当两个与地面平行的轴平移的距离大于阈值e，或小于阈值-e的次数达到设定次数时，则确定两个与地面平行的轴平移激励充分。12.根据权利要求11所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，阈值e>阈值d>阈值c。13.根据权利要求4或10所述的多传感器联合标定的激励判断与参数自调节方法，其特征在于，通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，包括以下步骤：当两帧激光数据的超定方程式中的矩阵行数大于设定值时，开始对每一时刻的超定方程式进行奇异值分解，最小奇异值对应的右奇异向量为超定方程式的最优解，最小奇异值对应的右奇异向量为激光雷达和相机间旋转外参的初值。14.一种多传感器联合标定的激励判断与参数自调节系统，其特征在于，包括：场景识别模块，用于通过场景识别模型确定采集的场景类型；计算模块，用于根据imu坐标系某一轴姿态角变化确定是否开启标定数据采集；第一评估模块，用于开始标定数据采集后，通过奇异值分解和imu坐标系某一轴姿态欧拉角变化值进行旋转激励评估，旋转激励评估完成后，计算激光雷达-imu-相机系统里程计信息；第二评估模块，用于基于激光雷达-imu-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集；数据调节模块，用于在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。15.根据权利要求14所述的多传感器联合标定的激励判断与参数自调节系统，其特征在于，计算模块具体用于：获取imu坐标系某一轴上电运行时刻的姿态欧拉角和当前时刻的姿态欧拉角；确定imu坐标系某一轴当前时刻相对于上电运行时刻的姿态欧拉角变化值；对imu坐标系某一轴姿态欧拉角变化值进行滤波处理，确定imu某一轴最终姿态欧拉角变化值，若最终姿态欧拉角变化值大于设定值，则启动标定数据采集。16.根据权利要求14所述的多传感器联合标定的激励判断与参数自调节系统，其特征在于，第一评估模块具体用于：获取激光雷达和相机运动信息，其中，激光雷达和相机运动信息包括相机与激光雷达之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵；根据相机与激光之间坐标系相对旋转量、激光雷达在两帧激光数据之间的旋转矩阵和相机在两帧激光数据之间的旋转矩阵建立两帧激光数据的超定方程式；通过两帧激光数据的超定方程式求解出激光雷达和相机间旋转外参的初值，完成奇异值分解评估。
17.根据权利要求14所述的多传感器联合标定的激励判断与参数自调节系统，其特征在于，第一评估模块还具体用于：根据采集场景类型确定姿态欧拉角变化阈值α；根据imu坐标系某一轴最终姿态欧拉角变化值和姿态欧拉角变化阈值α确定imu坐标系某一轴激励是否充分，确定imu三轴均激励充分后，完成旋转激励评估。

技术总结
本发明属于自动驾驶技术领域，公开一种多传感器联合标定的激励判断与参数自调节方法及系统，其中方法包括：通过场景识别模型确定采集的场景类型；根据IMU坐标系某一轴姿态角变化确定是否开启标定数据采集；通过奇异值分解和IMU坐标系某一轴姿态欧拉角变化值进行旋转激励评估，计算激光雷达-IMU-相机系统里程计信息；基于激光雷达-IMU-相机系统里程计信息和采集场景类型，进行平移激励评估，平移激励完成后结束标定数据采集；在标定数据采集时，根据场景类型确定对点云进行降采样时的体素参数和进行点云配准的网格体素分辨率参数。本发明可以客观准确地评价激励程度，提高标定算法的成功率，避免无效的标定数据采集。避免无效的标定数据采集。避免无效的标定数据采集。


技术研发人员：张黎明 翟世雄 胡益菲 白玉苓 张雨蔚 郭世琦 司威 郭健羽 于洁 于进汇 刘倞 张奇 宋绍江
受保护的技术使用者：国网天津市电力公司 国家电网有限公司
技术研发日：2023.08.22
技术公布日：2023/9/20