一种无人机多传感器标定方法及装置与流程

1.本发明涉及无人机技术领域，具体涉及一种无人机多传感器标定方法及装置。


背景技术：

2.随着无人机技术的发展，视觉避障以及视觉定位功能已经成为无人机上不可或缺的部分，各传感器(包括相机、imu、毫米波雷达、激光雷达等)的标定精度直接影响着相关功能和算法的准确性和稳定性。
3.目前对于上述传感器的标定多通过人工完成，其流程复杂、效率低下，且标定精度和一致性也难以保证，导致无人机的飞行安全存在隐患，同时也无法满足工厂大批量生产的需求。


技术实现要素：

4.针对现有技术的不足，本发明提供了一种无人机多传感器标定方法及装置，其可快速方便的对无人机上搭载的各路传感器进行标定，且该过程无人为干预，由此可最大限度的保证标定结果的精度和一致性，同时大幅提高标定效率。
5.为实现上述目的，本发明提供如下技术方案：
6.提供一种无人机多传感器标定方法，其包括如下步骤：
7.s1、采用机械臂夹持无人机，并设置标定板；
8.s2、生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储；
9.s3、判断是否需要对搭载在无人机上的某一路相机以及imu进行联合标定；
10.若是，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，该相机实时采集标定板的图像信息以及imu实时采集imu数据，并根据该图像信息以及imu数据解算出该相机的内外参数以及该相机与imu之间的旋转矩阵和平移向量，以完成该相机的标定以及该相机与imu的联合标定；
11.若否，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，仅该相机实时采集标定板的图像信息，并根据该图像信息解算出该相机的内外参数，以完成该相机的标定；
12.以及s4、重复步骤s3，直至完成无人机上搭载的每一路相机的标定以及每一路相机与imu的联合标定。
13.优选的，所述步骤s2包括如下步骤：
14.s21、设定n个距离以及m个位点；
15.s22、控制机械臂动作，使其带动无人机运动，以使得无人机上搭载的某一路相机在每一距离下均经过m个位点中的每一个位点；
16.s23、记录该相机在每一距离下经过每一个位点时，机械臂各轴的角度，最终将该相机经过所有位点时，所记录的机械臂各轴的角度作为与该相机对应的机械臂运动轨迹，并存储；
17.s24、重复步骤s22-s23，直至获取与无人机上搭载的每一路相机对应的机械臂运动轨迹，并存储。
18.优选的，所述相机为双目相机，每一双目相机均由两个单目相机组成。
19.优选的，无人机上前、后、左、右、上、下均搭载有一个双目相机。
20.优选的，所述相机的内外参数包括主点、焦距、畸变系数以及同一双目相机的两个单目相机之间的旋转矩阵和平移向量中的一种或几种。
21.还提供一种无人机多传感器标定装置，其包括：
22.机械臂；
23.夹具，其连接所述机械臂，用于夹持无人机；
24.标定板，其设置于机械臂前方位置；
25.以及上位机，其分别连接所述机械臂以及无人机，用于生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储，使得机械臂按照对应的机械臂运动轨迹、自动带动无人机运动，以及根据运动过程中，无人机上搭载的相机实时采集的标定板的图像信息以及imu实时采集的imu数据完成相机的标定以及相机与imu的联合标定。
26.优选的，所述机械臂为常规工业机械臂。
27.优选的，所述机械臂为六轴机械臂。
28.优选的，所述标定板为april grid标定板。
29.优选的，所述上位机包括：
30.运动轨迹生成单元，其用于在设定有n个距离以及m个位点的条件下，记录无人机上搭载的每一路相机在每一距离下经过m个位点中的每一个位点时，机械臂各轴的角度，并将该路相机经过所有位点时，所记录的机械臂各轴的角度作为与该路相机对应的机械臂运动轨迹，并存储；
31.判断单元，其用于判断是否需要对搭载在无人机上的某一路相机以及imu进行联合标定；
32.标定执行单元，其连接所述判断单元以及运动轨迹生成单元，用于当需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，以及当不需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动；
33.以及解算单元，其连接所述标定执行单元，用于根据运动过程中，相机实时采集的标定板图像信息以及imu实时采集的imu数据解算出相机的内外参数以及相机与imu之间的旋转矩阵和平移向量，以完成相机的标定以及相机与imu的联合标定；或，根据运动过程中，相机实时采集的标定板图像信息解算出相机的内外参数，以完成相机的标定。
34.与现有技术相比，本发明具备以下有益效果：
35.本发明可通过机械臂自动带动无人机、按照预定轨迹运动，可快速方便的对无人机上搭载的各路传感器进行标定，且该过程无人为干预，由此可最大限度的保证标定结果的精度和一致性，同时大幅提高标定效率。
附图说明
36.图1为本发明中无人机多传感器标定方法的步骤流程图；
37.图2为本发明中无人机多传感器标定装置的整体结构图；
38.图3为本发明中上位机的结构示意图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.实施例1：
41.如图1所示，本实施例提供了一种无人机多传感器标定方法，其包括如下步骤：
42.s1、采用机械臂夹持无人机，并设置标定板，且设置于机械臂前方位置；
43.s2、生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储；
44.具体的，本实施例中，生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储包括如下步骤：
45.s21、设定n个距离以及m个位点；例如，n＝2，分别为1m和1.5m，m＝9，分别对应机械臂所处空间中的9个位点；
46.s22、控制机械臂动作，使其带动无人机运动，以使得无人机上搭载的某一路相机在每一距离下均经过m个位点中的每一个位点；
47.s23、记录该相机在每一距离下经过每一个位点时，机械臂各轴的角度，最终将该相机经过所有位点时，所记录的机械臂各轴的角度作为与该相机对应的机械臂运动轨迹，并存储；
48.s24、重复步骤s22-s23，直至获取与无人机上搭载的每一路相机对应的机械臂运动轨迹，并存储；
49.本实施例中，所述相机为双目相机，每一双目相机均由两个单目相机组成，进一步的，无人机上前、后、左、右、上、下均搭载有一个双目相机，因此需要生成6条机械臂运动轨迹，且每一方向上的双目相机均对应一条机械臂运动轨迹；
50.s3、判断是否需要对搭载在无人机上的某一路相机以及imu(inertial measurement unit，惯性测量单元)进行联合标定；
51.若是，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，该相机实时采集标定板的图像信息以及imu实时采集imu数据，并根据该图像信息以及imu数据解算出该相机的内外参数以及该相机与imu之间的旋转矩阵和平移向量，以完成该相机的标定以及该相机与imu的联合标定；
52.若否，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，仅该相机实时采集标定板的图像信息，并根据该图像信息解算出该相机的内外参数，以完成该相机的标定；
53.其中，相机的内外参数包括主点、焦距、畸变系数以及同一双目相机的两个单目相机之间的旋转矩阵和平移向量等；
54.由此，无人机相机可以在不同角度、不同方向获取标定板上的图像信息，同时可以对无人机上搭载的imu的各个轴进行充分激励，保证标定的精确度；
55.s4、重复步骤s3，直至完成无人机上搭载的每一路相机的标定以及每一路相机与imu的联合标定；
56.例如，通过步骤s3完成无人机前方相机的标定以及该相机与imu的联合标定后，重复步骤s3，即先判断是否需要对无人机后方相机以及imu进行联合标定；
57.若是，则通过切换调用与后方相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，后方相机实时采集标定板的图像信息以及imu实时采集imu数据，完成后方相机的标定以及后方相机与imu的联合标定；
58.若否，则通过切换调用与后方相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，后方相机实时采集标定板的图像信息，以完成后方相机的标定。
59.由此，本实施例可快速方便的对无人机上搭载的各路相机进行标定，以及对相机和imu进行联合标定，且该过程中，机械臂可自动按照对应的运动轨迹带动无人机运动，无人为干预，由此可最大限度的保证标定结果的精度和一致性，同时大幅提高标定效率。
60.实施例2：
61.本实施例提供了一种无人机多传感器标定装置，其可以实现实施例1中所述的无人机多传感器标定方法，如图2所示，所述无人机多传感器标定装置包括：
62.机械臂1，本实施例中，所述机械臂1为常规工业机械臂，如六轴机械臂等；
63.夹具2，其连接所述机械臂1，用于夹持无人机100；
64.标定板3，其设置于机械臂1前方位置，具体的，所述标定板3为aprilgrid标定板；
65.以及上位机4，其通过线路分别连接所述机械臂1以及无人机100，其用于生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储，使得机械臂1按照对应的机械臂运动轨迹、自动带动无人机运动，以及根据运动过程中，无人机上搭载的相机实时采集的标定板3的图像信息以及imu实时采集的imu数据完成相机的标定以及相机与imu的联合标定。
66.具体的，如图3所示，所述上位机4包括：
67.运动轨迹生成单元41，其用于在设定有n个距离以及m个位点的条件下，记录无人机上搭载的每一路相机在每一距离下经过m个位点中的每一个位点时，机械臂各轴的角度，并将该路相机经过所有位点时，所记录的机械臂各轴的角度作为与该路相机对应的机械臂运动轨迹，并存储；
68.判断单元42，其用于判断是否需要对搭载在无人机上的某一路相机以及imu进行联合标定；
69.标定执行单元43，其连接所述判断单元42以及运动轨迹生成单元41，用于当需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元41中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，以及当不需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元41中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动；
70.以及解算单元44，其连接所述标定执行单元43，用于根据运动过程中，相机实时采
集的标定板3图像信息以及imu实时采集的imu数据解算出相机的内外参数以及相机与imu之间的旋转矩阵和平移向量，以完成相机的标定以及相机与imu的联合标定；或，根据运动过程中，相机实时采集的标定板3图像信息解算出相机的内外参数，以完成相机的标定。
71.综上所述，本发明可通过机械臂自动带动无人机、按照预定轨迹运动，可快速方便的对无人机上搭载的各路相机进行标定，以及对相机和imu进行联合标定，该过程无人为干预，由此可最大限度的保证标定结果的精度和一致性，同时大幅提高标定效率。
72.需要说明的是，上述实施例1至2中的技术特征可进行任意组合，且组合而成的技术方案均属于本技术的保护范围。且在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
73.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种无人机多传感器标定方法，其特征在于，包括如下步骤：s1、采用机械臂夹持无人机，并设置标定板；s2、生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储；s3、判断是否需要对搭载在无人机上的某一路相机以及imu进行联合标定；若是，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，该相机实时采集标定板的图像信息以及imu实时采集imu数据，并根据该图像信息以及imu数据解算出该相机的内外参数以及该相机与imu之间的旋转矩阵和平移向量，以完成该相机的标定以及该相机与imu的联合标定；若否，则调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，且运动过程中，仅该相机实时采集标定板的图像信息，并根据该图像信息解算出该相机的内外参数，以完成该相机的标定；以及s4、重复步骤s3，直至完成无人机上搭载的每一路相机的标定以及每一路相机与imu的联合标定。2.如权利要求1所述的无人机多传感器标定方法，其特征在于，所述步骤s2包括如下步骤：s21、设定n个距离以及m个位点；s22、控制机械臂动作，使其带动无人机运动，以使得无人机上搭载的某一路相机在每一距离下均经过m个位点中的每一个位点；s23、记录该相机在每一距离下经过每一个位点时，机械臂各轴的角度，最终将该相机经过所有位点时，所记录的机械臂各轴的角度作为与该相机对应的机械臂运动轨迹，并存储；s24、重复步骤s22-s23，直至获取与无人机上搭载的每一路相机对应的机械臂运动轨迹，并存储。3.如权利要求1所述的无人机多传感器标定方法，其特征在于，所述相机为双目相机，每一双目相机均由两个单目相机组成。4.如权利要求3所述的无人机多传感器标定方法，其特征在于，无人机上前、后、左、右、上、下均搭载有一个双目相机。5.如权利要求1所述的无人机多传感器标定方法，其特征在于，所述相机的内外参数包括主点、焦距、畸变系数以及同一双目相机的两个单目相机之间的旋转矩阵和平移向量中的一种或几种。6.一种无人机多传感器标定装置，其特征在于，包括：机械臂；夹具，其连接所述机械臂，用于夹持无人机；标定板，其设置于机械臂前方位置；以及上位机，其分别连接所述机械臂以及无人机，用于生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储，使得机械臂按照对应的机械臂运动轨迹、自动带动无人机运动，以及根据运动过程中，无人机上搭载的相机实时采集的标定板的图像信息以及imu实时采集的imu数据完成相机的标定以及相机与imu的联合标定。7.如权利要求6所述的无人机多传感器标定装置，其特征在于，所述机械臂为常规工业
机械臂。8.如权利要求7所述的无人机多传感器标定装置，其特征在于，所述机械臂为六轴机械臂。9.如权利要求6所述的无人机多传感器标定装置，其特征在于，所述标定板为aprilgrid标定板。10.如权利要求6所述的无人机多传感器标定装置，其特征在于，所述上位机包括：运动轨迹生成单元，其用于在设定有n个距离以及m个位点的条件下，记录无人机上搭载的每一路相机在每一距离下经过m个位点中的每一个位点时，机械臂各轴的角度，并将该路相机经过所有位点时，所记录的机械臂各轴的角度作为与该路相机对应的机械臂运动轨迹，并存储；判断单元，其用于判断是否需要对搭载在无人机上的某一路相机以及imu进行联合标定；标定执行单元，其连接所述判断单元以及运动轨迹生成单元，用于当需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动，以及当不需要对搭载在无人机上的某一路相机以及imu进行联合标定时，从所述运动轨迹生成单元中调用与该相机对应的机械臂运动轨迹，机械臂按照该机械臂运动轨迹、自动带动无人机运动；以及解算单元，其连接所述标定执行单元，用于根据运动过程中，相机实时采集的标定板图像信息以及imu实时采集的imu数据解算出相机的内外参数以及相机与imu之间的旋转矩阵和平移向量，以完成相机的标定以及相机与imu的联合标定；或，根据运动过程中，相机实时采集的标定板图像信息解算出相机的内外参数，以完成相机的标定。

技术总结
本发明公开了一种无人机多传感器标定方法及装置，包括如下步骤：S1、采用机械臂夹持无人机，并设置标定板；S2、生成与无人机上搭载的每一路相机对应的机械臂运动轨迹并存储；S3、判断是否需要对搭载在无人机上的某一路相机以及IMU进行联合标定；以及S4、重复步骤S3，直至完成无人机上搭载的每一路相机的标定以及每一路相机与IMU的联合标定。本发明可快速方便的对无人机上搭载的各路传感器进行标定，且该过程无人为干预，由此可最大限度的保证标定结果的精度和一致性，同时大幅提高标定效率。同时大幅提高标定效率。同时大幅提高标定效率。


技术研发人员：黄立 伍锦祥 金顶寿 张俊勇 韩兵 刘寿宝 陈虎 薛源
受保护的技术使用者：普宙科技有限公司
技术研发日：2023.04.07
技术公布日：2023/7/7