设备的标定方法、装置、系统和存储介质与流程

1.本发明涉及数据处理技术领域，具体而言，涉及一种设备的标定方法、装置、系统和存储介质。


背景技术：

2.随着“元宇宙”概念的兴起，增强现实(augemented-reality，简称为ar)设备、虚拟现实(virtual-reality,简称为vr)设备以及混合现实(mixed-reality，简称为mr/xr)设备的需求呈现出持续高涨的态势。这些设备通常配备多个相机和惯性传感器(inertial measurement unit，简称为imu)，以用于场景感知、设备定位、虚实结合、用户交互等，为了避免相机成像产生畸变，通常需要预先对设备配备的相机和imu进行参数标定。
3.相关技术中，在多相机+imu联合标定中，通常采用带有固定间距的图案阵列平板作为标定板进行标定，但这类标定板的抗模糊能力较弱，在设备快速移动的过程中，相机采集到的标定板的图像会产生运动模糊，且如果相机采用鱼眼镜头很容易出现画面边缘角点检测失败的情况，导致相机内参尤其是畸变参数的标定不准确，从而影响相机工作结果的准确性。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种设备的标定方法、装置、系统和存储介质，以至少解决相关技术中设备参数标定不准确的技术问题。
6.根据本发明实施例的一个方面，提供了一种设备的标定方法。该方法可以包括：根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板，待标定设备包含第一设备和第二设备；在目标空间范围内，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备对标定板采集到的图像数据和第二设备采集到的优化数据；对标定数据中的图像数据进行检测，确定标记特征点的位置信息；结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。
7.可选地，根据待标定设备的种类从候选空间范围中确定目标空间范围包括：候选空间范围包括第一目标空间范围和第二目标空间范围，其中，第一目标空间范围内部署至少一个第一相机标定板，第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板；当第二设备的种类为惯性测量单元时，选择第一目标空间范围为目标空间范围；当第二设备的种类为图像采集设备时，选择第二目标空间范围为目标空间范围。
8.可选地，第一目标空间范围中包含若干预设路标点，待标定设备按照预设路标点移动，移动过程中采集标定数据。
9.可选地，在第二目标空间范围中，第一相机标定板和第二相机标定板平行，且标定板图案相对设置。
10.可选地，标定板上的标记特征点对应有索引号，对标定数据中的图像数据进行检
测，确定图像数据中的标记特征点的位置信息，包括：通过对标定数据中的图像数据进行检测，获得标记特征点在标定板上的索引号；基于索引号确定标记特征点在三维空间坐标系下的位置坐标；基于标记特征点在图像数据中的位置确定标记特征点在图像坐标系下的位置坐标；将标记特征点在三维空间坐标系下的位置坐标，和标记特征点在图像坐标系下的位置坐标确定为标记特征点的位置信息。
11.可选地，通过待标定设备获取标定数据，包括：向待标定设备发送数据采集指令，其中，数据采集指令用于指示待标定设备开启数据采集功能，以采集图像数据和优化数据；接收待标定设备反馈的图像数据和优化数据，其中，图像数据和优化数据构成标定数据。
12.可选地，标定板包含普通特征点和标记特征点，其中，普通特征点的标记信息与标记特征点的标记信息之间的不同至少包括以下之一：标记结构、标记颜色、标记灰度值、标记形状。
13.可选地，不同标定板中标记特征点的标记信息不同；多个标定板之间的排布角度根据第一设备和第二设备之间的排布位置和视场角度确定，以保证第一设备和第二设备均能采集到标记特征点的完整标记信息。
14.可选地，图像采集设备为卷帘快门相机，标定参数包括所卷帘快门的时间补偿参数。
15.可选地，图像采集设备为鱼眼相机，标定参数包括暗角校正参数。
16.可选地，设备的标定方法包括：确定图像数据中的标记特征点的灰度值以及标记特征点在图像坐标系下的位置坐标；将灰度值与位置坐标进行多项式拟合，得到暗角校正参数。
17.根据本发明实施例的另一方面，还提供了一种设备的标定装置。该装置包括：第一确定单元，用于根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板，待标定设备包含第一设备和第二设备；获取单元，用于在目标空间范围内中，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备对标定板采集到的图像数据和第二设备采集到的优化数据；第二确定单元，用于对标定数据中的图像数据进行检测，确定标记特征点的位置信息；优化单元，用于结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。
18.根据本发明实施例的另一方面，还提供了一种设备的标定系统。该标定系统可以包括：控制单元、待标定设备和标定板，其中，待标定设备包括图像采集设备和惯性测量单元；图像采集设备，用于采集目标空间范围内标定板的图像数据；惯性测量单元，部署于待标定设备内，用于采集待标定设备在目标空间范围内移动的空间数据；控制单元，与图像采集设备和惯性测量单元相连接，用于将图像数据和空间数据转换为待标定设备的标定参数。
19.根据本发明实施例的另一方面，还提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行上述任意一项的设备的标定方法。
20.在本公开中，根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板，待标定设备包含第一设备和第二设备；在目标空间范围内中，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备对标定板采
集到的图像数据和第二设备采集到的优化数据；对标定数据中的图像数据进行检测，确定标记特征点的位置信息；结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。也就是说，在本技术中，目标空间范围内至少部署有一个标定板，可以通过待标定设备获取目标空间范围内的标定数据，对标定数据中的图像数据进行检测，可以确定出图像数据中包括的标定板上的标记特征点的位置信息，由于标记特征点的位置信息可以表示标记特征点在三维空间坐标系下的位置坐标，基于此，基于标记特征点的位置信息和第二设备采集到的优化数据对待标定设备进行参数优化，得到的待标定设备的标定参数较为准确，实现提升标定参数的准确性的技术效果，进而解决了相关技术中设备参数标定不准确的技术问题。
附图说明
21.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
22.图1是根据本发明实施例的一种设备的标定方法的流程图；
23.图2是根据本发明实施例的一种标定板的示意图；
24.图3是根据本发明实施例的一种标记位的示意图；
25.图4是根据本发明实施例的一种设备的标定系统的示意图；
26.图5是根据本发明实施例的一种vr眼睛在若干路标点拍摄到的图像的示意图；
27.图6是根据本发明实施例的一种采用两张标定板来适配vr眼睛的标定需求的示意图；
28.图7是根据本发明实施例的一种眼动相机标定环境的示意图；
29.图8是根据本发明实施例的一种第二目标空间范围内相机拍摄到的标定板图像的示意图；
30.图9是根据本发明实施例的一种设备的标定装置的示意图。
具体实施方式
31.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
32.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.为便于本领域技术人员理解本发明，下面对本发明各实施例中涉及的部分术语或
名词做出解释：
34.图像采集设备，由镜头和面阵传感器组合而成，可以为相机、摄像机等设备；
35.惯性测量单元，inertial measurement unit，简称为imu，主要用来检测和测量物体的三轴姿态角(或角速率)以及加速度的装置；
36.相机标定，在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数(内参、外参、畸变参数)必须通过实验与计算才能得到，这个求解参数的过程就称为相机标定；
37.联合标定，通过标定得到每个相机的内参和外参、imu的内参和外参，相机卷帘快门补偿、以及暗角校正参数。相机的内参包括焦距、光心坐标、畸变等参数，用于描述成像规律，imu的内参包括零偏、标度因数误差、安装误差等，用于描述imu的内在属性，相机/imu的外参表示相机/imu在世界坐标系下的旋转与平移，用于描述从相机/imu的坐标到统一的世界坐标系的转换关系。
38.本发明下述各实施例可应用于多种能够实现增强现实、虚拟现实、或者混合现实功能的显示设备中，例如，头戴显示设备holens(ar眼镜)、metaquest2(vr眼镜)等头戴显示设备，或者相机等图像采集设备等。
39.实施例一
40.根据本发明实施例，提供了一种设备的标定方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
41.图1是根据本发明实施例的一种设备的标定方法的流程图，如图1所示，该方法包括以下步骤：
42.步骤s101，根据待标定设备的种类从候选空间范围中确定目标空间范围。
43.在本技术上述步骤s101的技术方案中，待标定设备包括第一设备和第二设备，其中，第一设备可以为图像采集设备，例如，相机或摄像机，第二设备可以为惯性测量单元(imu)或者图像采集设备，基于此，可以根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板。
44.在该实施例中，候选空间范围包括第一目标空间范围和第二目标空间范围，其中，第一目标空间范围内部署至少一个第一相机标定板，第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板，基于此，当第二设备的种类为惯性测量单元时，可以选择第一目标空间范围作为目标空间范围，当第二设备的种类为图像采集设备时，可以选择第二目标空间范围为目标空间范围。
45.举例而言，当待标定设备为ar/vr/mr/xr眼镜中的一种，由于ar/vr/mr/xr眼镜包括第一相机、第二相机和惯性测量单元，其中，第一相机可以为朝外相机，第二相机可以为眼动相机，基于此，当对第一相机和惯性测量单元进行标定时，可以将部署有至少一个第一相机标定板的候选空间范围作为目标空间范围；当对第一相机和第二相机进行标定时，可以将部署有至少一个第一相机标定板和至少一个第二相机标定板的候选空间范围作为目标空间范围。
46.可选地，待标定设备还可以为手机、机器人、无人机等同时带有相机和imu的设备。
47.步骤s102，在目标空间范围内中，通过待标定设备获取标定数据。
48.在本技术上述步骤s102的技术方案中，在确定目标空间范围之后，可以在目标空间范围内，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备度标定板采集到的图像数据和第二设备采集到的优化数据。
49.在该实施例中，由于待标定设备包括第一设备和第二设备，其中，第一设备可以为相机和摄像机，第二设备可以为惯性测量单元或图像采集设备，基于此，当第二设备为惯性测量单元，目标空间范围内部署有至少一个第一相机标定板，基于此，在利用待标定设备获取标定数据时，可以将待标定设备固定在机械臂的夹具上，通过控制机械臂在目标空间范围内进行六自由度的移动，以此来带动待标定设备在目标空间范围内移动，采集标定数据，其中，标定数据中包括由第一设备采集到的图像数据和第二设备采集到的优化数据，该优化数据中至少包括待标定设备在目标空间范围内移动的空间数据，该空间数据包括待标定设备在目标空间范围内移动的姿态数据和速度数据。示例性的，惯性测量单元采集的空间数据至少包括三轴加速度和三轴角速度。
50.此外，在待标定设备中，通常还带有用于捕获人眼动作和视线方向的眼动相机，眼动相机通常安装在眼镜的内侧面向人眼拍摄，而朝外相机则通常安装在眼镜的外侧面向应用场景拍摄。标定出眼动相机与其他朝外观测的相机之间的外参，是实现将眼动相机坐标系下的视线转换到眼镜坐标系下的必要条件，也是后续实现交互的前提条件。然而，因眼动相机和朝外相机是背靠背设计，即两者的视角方向相背，无重合区域，故无法在第一相机与惯性测量单元联合标定的过程中完成与视角相背的多相机之间的外参标定。因此，本技术还在目标空间范围内部署多相机标定场景以实现一站式标定。
51.可选地，当第二设备为图像采集设备时，由于待标定设备中的第一设备与第二设备背靠背设计，基于此，可以在目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板，其中，该至少一个第一相机标定板和至少一个第二相机标定板上包括标记特征点，且至少一个第一相机标定板和至少一个第二相机标定板上包含标记特征点的一面相对设置，以使得待标定设备移动至第一相机标定板与第二相机标定板之间时，第一设备采集第一相机标定板的图像数据，第二设备采集第二相机标定板的图像数据。
52.举例而言，可以将待标定设备固定在机械臂的夹具上，并控制机械臂将待标定设备移动至第一相机标定板与第二相机标定板之间，以使得第一设备采集第一相机标定板的图像数据，第二设备采集第二相机标定板的图像数据，也即，标定数据中包括由第一设备采集到的第一相机标定板的图像数据和由第二设备采集到的第二相机标定板的图像数据。
53.可选地，在获取标定数据时，控制单元可以先向待标定设备发送数据采集指令，该数据采集指令用于控制待标定设备开启数据采集功能，也即，控制待标定设备中的第一设备和第二设备开启数据采集功能，之后，控制单元可以控制机械臂带动待标定设备在目标空间范围内移动，以采集目标空间范围内的标定数据。之后，可以将采集到的标定数据传输至控制单元，或者，待标定设备也可以实时将采集到的标定数据传输至控制单元，控制单元可以接收待标定设备发送的标定数据，并基于标定数据确定待标定设备的标定参数。
54.在该实施例中，标定板可以为第一相机标定板或第二相机标定板，标定板上包括多个特征点，多个特征点分为普通特征点和标记特征点，其中普通特征点的标记信息与标
记特征点的标记信息之间的不同至少包括以下之一：标记结构、标记颜色、标记灰度值、标记形状。
55.举例而言，标定板上的普通特征点可以由大小相同，且具有固定间距的图案组成，而标记特征点可以通过标记信息区别于普通特征点，标记特征点构成标定板上的标记位。例如，标定板上的普通特征点可以为大小相同，且具有固定间距的黑色圆点，而标记位中的标记特征点可以为大小不同的圆点、圆点和圆环、圆点和方形、圆点和三角形等，其中，标记特征点的颜色也可以区别于普通特征点的颜色。图2是根据本发明实施例的一种标定板的示意图，如图2所示，同一个标定板上的标记位中的标记特征点明显区别于标定板上的普通标记点，其中，图2中仅示出了一种标记特征点，除此之外，标记位中的标记特征点还可以通过其他形状或颜色来区别，图3是根据本发明实施例的一种标记位的示意图，如图3所示，标记位中的标记特征点还可以通过结构、颜色、形状、或者圆点/圆环来区别于普通特征点。
56.由于在相机和惯性测量单元的联合标定里，设备要进行大幅度的旋转和平移，导致相机光轴与标定板法线夹角较大时，标记特征点会经常出现在图像的边缘，甚至会移出图像外，从而发生标定板上的标记特征点检测失败或者检测错误的情况，导致标定失败的问题。因此本技术一方面根据待标定设备的相机排布特点，采用多张标定板按适当的角度来排布的方案，另一方面，将标记特征点排布于标定板中间区域，从而使相机采集的图像数据中满足包含完整标记特征点的条件，以此避免后续特征点误检和漏检的情况。即便当相机仅拍摄到标定板的一部分时，仍然能够通过标记位推算出检测出的圆点的序号，与真实三维世界里的标定板建立正确的映射关系，通过优化算法得到标定参数。
57.需要说明的是，在保证图像采集设备可以采集到标定板上的标记特征点的前提下，一个标定板上包含的标记位的数量可以根据实际待标定设备的相机排布和视场角来确定。例如，一个标定板上的标记位可以为一个，也可以为多个，但标记位的设计需要保证标定板的方向的唯一性，也即，基于标定板上的标记位可以区分出标定板的摆放方向。本技术并不对标定板上的标记位的组数进行限定。
58.步骤s103，对标定数据中的图像数据进行检测，确定标记特征点的位置信息。
59.在本技术上述步骤s103的技术方案中，由前述介绍可知，标定数据中包括第一设备采集到的图像数据，以及第二设备采集到的优化数据，其中，当第二设备为惯性测量单元时，该优化数据至少包括待标定设备在目标空间范围内移动的空间数据，其中，该空间数据中包括待标定设备在目标空间范围内移动的姿态数据和速度数据，当第二设备为图像采集设备时，该优化数据至少包括对第二相机标定板采集到的图像数据。基于此，在获取到待标定设备采集到的标定数据之后，可以先对标定数据中由第一设备采集到的的图像数据进行检测，以确定标记特征点的位置信息，其中，位置信息用于指示标记特征点在三维空间下的位置坐标以及标记特征点在图像坐标系下的位置坐标。
60.在该实施例中，在获取到第一设备采集到的图像数据之后，可以将图像数据输入至视觉检测模块进行检测，由于图像数据中包括第一相机标定板的图像数据，而第一相机标定板中包括标记特征点，且标记特征点具有明显区别于普通特征点的特征，基于此，通过视觉检测模块可以确定出图像数据中标记特征点的位置信息。
61.举例而言，相机标定板上的各个特征点均对应有索引号，索引号用于确定特征点在相机标定板上的位置，基于此，将图像数据输入至视觉检测模块中之后，视觉检测模块可
以确定出相机标定板上的各个标记特征点在图像坐标系下的位置坐标，以及各个标记特征点的索引号，其中，标记特征点的索引号用于指示标记特征点在相机标定板上的位置，在确定出各个标记特征点在相机标定板上的位置之后，结合特征点的索引号可以进一步确定出各个标记特征点在三维空间坐标下的位置坐标，进而将各个标记特征点在图像坐标系下的位置坐标，以及各个特征点在三维空间下的位置坐标组成为各个标记特征点的位置信息。
62.步骤s104，结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。
63.在本技术上述步骤s104的技术方案中，在确定出标定板上的各个标记特征点的位置信息之后，可以结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数，其中，标定参数包括第一设备(图像采集设备)的内参数和外参数，当第二设备为惯性测量单元时，标定参数还包括该第二设备的内参数和外参数；当第二设备为图像采集设备时，标定参数包括第二设备的内参数和外参数。
64.在该实施例中，可以将第一设备采集到的图像数据中每个标记特征点在图像坐标系下的位置坐标以及三维空间坐标系下的位置坐标作为一对特征点对，进而将多个标记特征点对应的特征点对构成点对集合。当第二设备为惯性测量单元时，第二设备采集到的优化数据至少包括待标定设备在目标空间范围内移动的空间数据，基于此，可以将多个特征点对构成的点对集合以及第二设备采集到的空间数据输入至参数优化模块中进行参数优化计算，以得到待标定设备的标定参数，其中，该标定参数中包括第一设备的内参数和外参数，以及第二设备的内参数和外参数。
65.举例而言，参数优化模块在基于多个特征点对以及第二设备采集到的空间数据进行参数优化计算，得到待标定设备的标定参数时，可以基于多个特征点对确定待标定设备在第一目标空间范围内的移动轨迹，进而将确定出的移动轨迹拟合成连续轨迹，将该连续轨迹与根据imu采集到的空间数据确定出的轨迹进行时间同步计算，可以构建第一设备(图像采集设备)与imu的非线性优化问题，对该非线性优化问题进行解算，即可得到第一设备与imu相机之间的外参，同时得到imu的内参。
66.可选地，当第二设备为图像采集设备时，可以参考前述步骤s103介绍的方法，确定第二设备采集到的图像数据中的每个标记特征点在三维空间坐标系下的位置坐标，以及图像坐标系下的位置坐标，进而将每个标记特征点在三维空间坐标下的位置坐标以及图像坐标系下的位置坐标构成一个特征点对，得到多个特征点对，并将多个特征点对构成点对集合，进而将第一设备采集到的图像数据中的标定板上的多个特征点对应的点对集合，以及第二设备采集到的图像数据中的标定板上的多个特征点对应的点对集合输入至参数优化模块进行优化计算，得到待标定设备的标定参数，其中，该标定参数中包括第一设备的内参数和外参数，以及第二设备的内参数和外参数。
67.通过上述步骤，目标空间范围内至少部署有一个标定板，可以通过待标定设备获取目标空间范围内的标定数据，标定数据中包括对标定板采集到的图像数据和优化数据，对标定数据中的图像数据进行检测，可以确定出图像数据中包括的标定板上的标记特征点的位置信息，由于标记特征点的位置信息可以表示标记特征点在三维空间坐标系下的位置坐标以及标记特征点在图像坐标系下的位置坐标，基于该位置信息可以准确地确定出标记特征点的位置，基于此，根据标记特征点的位置信息和第二设备采集到的优化数据对待标
定设备进行参数优化，得到的待标定设备的标定参数较为准确，实现提升标定参数的准确性的技术效果，进而解决了相关技术中设备参数标定不准确的技术问题。
68.下面对该实施例上述方法进行进一步举例介绍。
69.作为一种可选的实施方式，步骤s101，根据待标定设备的种类从候选空间范围中确定目标空间范围，包括：候选空间范围包括第一目标空间范围和第二目标空间范围，其中，第一目标空间范围内部署至少一个第一相机标定板，第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板；当第二设备的种类为惯性测量单元时，选择第一目标空间范围为目标空间范围；当第二设备的种类为图像采集设备时，选择第二目标空间范围为目标空间范围。
70.在该实施例中，由于待标定设备包括第一设备和第二设备，且第一设备为图像采集设备，第二设备可以为惯性测量单元或图像采集设备，基于此，根据待标定设备的种类从候选空间范围内确定目标空间范围时，当第二设备为惯性测量单元时，可以将部署有至少一个第一相机标定板的第一目标空间范围作为目标空间范围；当第二设备为图像采集设备时，可以将部署有至少一个第一相机标定板和至少一个第二相机标定板的第二目标空间范围作为目标空间范围。
71.举例而言，当待标定设备为ar/vr/mr/xr眼镜中的一种，由于ar/vr/mr/xr眼镜包括第一相机、第二相机和惯性测量单元，其中，第一相机可以为朝外相机，且第一相机可以有多个，第二相机可以为眼动相机，基于此，当对第一相机和惯性测量单元进行标定时，由于多个第一相机之间通常没有足够的共视区域，也即，每个相机的朝向差异较大，在这种情况下，通常要求标定板的覆盖面积足够大，基于此，可以将单张标定板的尺寸加大，但当相机光轴与标定板法线之间的夹角较大时，容易出现标定板上的标记特征点检测失败或者检测错误的情况发生，进而导致标定失败，在这种情况下，可以采用多张标定板按照适当角度来排布的方案，以此来适配待标定设备的标定需求。因此，在对第一相机和惯性测量单元进行标定时，可以将部署至少一个第一相机标定板的第一目标空间范围确定为目标空间范围。
72.再举例而言，当对第一相机和第二相机进行标定时，因第一相机和第二相机在待标定设备中背靠背设计，即两者的视角方向相背，无重合区域，因此，可以将部署有至少一个第一相机标定板和至少一个第二相机标定板的候选空间范围作为目标空间范围，且该至少一个第一相机标定板和至少一个第二相机标定板上包括标记特征点的一面相对设置，这样，当待标定设备移动至第一相机标定板和第二相机标定板之间时，第一相机可以采集第一相机标定板的图像数据，第二相机可以采集第二相机标定板的图像数据。
73.作为一种可选的实施方式，第一目标空间范围中包含若干预设路标点，待标定设备按照预设路标点移动，移动过程中采集所述标定数据。
74.在该实施例中，第一目标空间范围内包含若干预设路标点，若干预设路标点的连线构成待标定设备在第一目标空间范围内的移动路线，其中，待标定设备按照该移动路线移动时，可以在移动过程中采集标定数据。此外，标定设备是按照既定顺序沿着路标点移动。
75.举例而言，可以控制机械臂带动待标定设备从初始位置移动经过预先设置的若干路标点，其中，在按照既定顺序沿着路标点组成的移动路线移动过程中，控制单元可以向待
标定设备发送数据采集指令，待标定设备在接收到数据采集指令，可以采集标定数据。
76.作为一种可选的实施方式，第二目标空间范围中，第一相机标定板和第二相机标定板平行，且标定板图案相对设置。
77.在该实施例中，由于第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板，且第一相机标定板和第二相机标定板上均包括标记特征点，该标记特征点即为标定板上的标定板图案，由于第一相机和第二相机在待标定设备中背靠背设计，两者的视角方向相背，因此为了保证待标定设备移动至第二目标空间范围内，第一相机和第二相机均可以到集到标定板上的标记特征点，可以将第二目标空间范围内的第一相机标定板和第二相机标定板平行设置，且使第一相机标定板和第二相机标定板上的标定板图案相对设置。
78.作为一种可选的实施方式，标定板上的标记特征点对应有索引号，步骤s103，对标定数据中的图像数据进行检测，确定图像数据中的标记特征点的位置信息，包括：通过对标定数据中的图像数据进行检测，获得标记特征点在标定板上的索引号；基于索引号确定标记特征点在三维空间坐标系下的位置坐标；基于标记特征点在图像数据中的位置确定标记特征点在图像坐标系下的位置坐标；将标记特征点在三维空间坐标系下的位置坐标，和标记特征点在图像坐标系下的位置坐标确定为标记特征点的位置信息。
79.在该实施例中，标定板上的标记特征点对应有索引号，基于此，在对标定数据中的图像数据进行检测时，可以将该图像数据输入至视觉检测模型中进行检测，其中，视觉检测模型是预先基于图像样本训练好的模型，基于该视觉检测模型可以检测出图像数据中标定板上的各个标记特征点的索引号。具体的，视觉检测模型可根据局部组合结构推断出检测到的标记位是众多标记位中的哪一个，通过标记位可以正确推断出相机拍摄到的图像上其他圆点的索引和坐标。在检测出图像数据中各个标记特征点的索引号之后，可以基于标记特征点在标定板上对应的索引号，进而确定出标记特征点在三维空间坐标系下的位置坐标。
80.在该实施例中，由于图像数据是对目标空间范围内部署的标定板进行采集得到的，因此，基于图像数据可以清楚地确定出标记特征点在图像中的位置，进而可以建立图像坐标系，确定出标记特征点在图像坐标系下的位置坐标。
81.在确定出标记特征点在三维空间坐标系下的位置坐标，以及标记特征点在图像坐标系下的位置坐标之后，可以将标记特征点在三维空间坐标系下的位置坐标，以及标记特征点在图像坐标系下的位置坐标确定为标记特征点的位置信息。依据上述方法，可以确定出标定板上的每个标记特征点的位置信息，在确定出标定板上的各个标记特征点的位置信息之后，可以将每个标记特征点在三维空间坐标系下的位置坐标，和标记特征点在图像坐标系下的位置坐标视为一个坐标点对，进而得到多个坐标点对，将多个坐标点对视为点对集合。
82.作为一种可选的实施方式，步骤s101，通过待标定设备获取标定数据，包括：向待标定设备发送数据采集指令，其中，数据采集指令用于指示待标定设备开启数据采集功能，以采集图像数据和优化数据；接收待标定设备反馈的图像数据和优化数据，其中，图像数据和优化数据构成标定数据。
83.在该实施例中，控制单元与待标定设备之间可以通过数据线和/或无线网络建立
通讯连接，基于此，在获取标定数据时，控制单元可以向待标定设备发送数据采集指令，并接收待标定设备返回的图像数据和优化数据，其中，图像数据和优化数据可以构成标定数据。
84.举例而言，当待标定设备在第一目标空间范围内移动时，控制单元可以通过数据线和/或无线网络向待标定设备发送数据采集指令，待标定设备在接收到数据采集指令后，可以开启数据采集功能，例如，待标定设备可以开启第一设备的图像采集功能，以采集图像数据，并开启第二设备(惯性测量单元)，以采集待标定设备在目标空间范围内移动时的空间数据，其中，空间数据中包括待标定设备在目标空间范围内移动的姿态数据和速度数据。待标定设备在采集到图像数据和空间数据之后，可以将采集到的图像数据和空间数据通过数据线和/或无线网络传输至控制单元，控制单元可以接收待标定设备反馈的图像数据和空间数据，并将该图像数据和空间数据确定为标定数据。
85.再举例而言，当待标定设备在第二目标空间范围内时，控制单元可以向待标定设备发送数据采集指令，待标定设备在接收到数据采集指令后，可以开启第一设备的图像采集功能，以采集第二目标空间范围内第一相机标定板的图像数据，并开启第二设备(图像采集设备)的图像采集功能，以采集第二目标空间范围内的第二相机标定板的图像数据，之后，可以将第一设备和第二设备采集到的图像数据发送至控制单元，控制单元可以接收待标定设备返回的图像数据，并将接收到的图像数据作为标定数据。
86.作为一种可选的实施方式，标定板包含普通特征点和标记特征点，其中，普通特征点的标记信息与标记特征点的标记信息之间的不同至少包括以下之一：标记结构、标记颜色、标记灰度值、标记形状。
87.在该实施例中，标定板上包含普通特征点和标记特征点，其中，普通特征点的标记信息与标记特征点的标记信息不同，例如，普通特征点可以由大小相同，且具有固定间距的图案组成，而标记特征点可以通过结构、颜色、灰度值、形状等标记信息区别于普通特征点，标定板上的标记特征点可以构成标记位。例如，标定板上的普通特征点可以为大小相同，且具有固定间距的黑色圆点，而标记位中的标记特征点可以为大小不同的圆点、圆点和圆环、圆点和方形、圆点和三角形等，其中，标记特征点的颜色也可以区别于普通特征点的颜色。
88.作为一种可选的实施方式，不同标定板中标记特征点的标记信息不同；多个标定板之间的排布角度根据第一设备和第二设备之间的排布位置和视场角度确定，以保证第一设备和第二设备均能采集到标记特征点的完整标记信息。
89.在该实施例中，不同标定板中的标记特征点的标记信息可以不同，例如，标定板a和标定板b的标记信息可以不同，其中，标记信息的不同至少体现在：标记结构、标记颜色、标记灰度值或者标记形状。多个标定板之间的摆布角度可以根据第一设备和第二设备的排布位置和视场角度确定，以保证第一设备和第二设备均能采集到标记特征点的完整标记信息。
90.举例而言，当第二设备为图像采集设备时，由于待标定设备中的第一设备与第二设备背靠背部署，则可以将第二目标空间范围内部署的至少一个第一相机标定板上包含标记特征点的一面，与至少一个第二相机标定板上包含标记特征点的一面相对设置，，以保证待标定设备移动至第一相机标定板和第二相机标定板之间时，第一设备和第二设备均能采集到标定板上的标记特征点的完整标记信息。
91.作为一种可选的实施方式，图像采集设备为卷帘快门相机，标定参数包括所卷帘快门的时间补偿参数。
92.在该实施例中，当待标定设备上的图像采集设备为卷帘快门相机时，卷帘快门相机同样可以采集待标定设备在目标空间范围内移动时标定板的图像数据，在采集到图像数据之后，可以基于视觉检测模型和参数优化模型对图像数据进行处理，可以得到卷帘快门的时间补偿参数。
93.作为一种可选的实施方式，图像采集设备为鱼眼相机，标定参数包括暗角校正参数。
94.在该实施例中，当待标定设备上的图像采集设备为鱼眼相机时，由于鱼眼相机在采集标定板的图像数据时，通常会存在图像边缘暗角的情况，当待标定设备在目标空间范围内移动时，鱼眼相机采集到的标定板的图像数据中，标记位可能出现在图像中的各个位置上，基于此，通过视觉检测模型和参数优化模型对鱼眼相机采集到的图像数据进行处理，可以得到暗角校正参数，以克服鱼眼相机采集到的图像存在图像边缘暗角的情况。
95.作为一种可选的实施方式，确定图像数据中的标记特征点的灰度值以及标记特征点在图像坐标系下的位置坐标；将灰度值与位置坐标进行多项式拟合，得到暗角校正参数。
96.在该实施例中，在确定暗角校正参数时，可以先确定鱼眼相机采集到的图像数据中每一帧图像中的标记特征点构成的标记位内部的白色区域的灰度值以及标记位中的标记特征点在图像坐标系下的位置坐标，之后，将确定出的灰度值与位置坐标进行多项式拟合，即可得到暗角校正参数。
97.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
98.根据本发明实施例，还提供了一种设备的标定系统，该设备的标定系统包括控制单元、待标定设备和标定板，其中，待标定设备包括图像采集设备和惯性测量单元。图像采集设备，用于采集目标空间范围内标定板的图像数据，惯性测量单元，部署于待标定设备内，用于采集待标定设备在目标空间范围内移动的空间数据，其中，该空间数据中包括待标定设备在目标空间范围内移动时的姿态数据和速度数据；控制单元，与图像采集设备和惯性测量单元相连接，用于将图像数据和空间数据转换为待标定设备的标定参数。
99.图4是根据本发明实施例的一种设备的标定系统的示意图，如图4所示，该设备的标定系统400包括控制单元401、待标定设备402和标定板403，其中，待标定设备402包括图像采集设备4021和惯性测量单元4022，图像采集设备4021包括朝外相机40211和眼动相机40212，标定板403包括第一目标空间范围内部署的标定板4031、标定板4032，以及第二目标空间范围内部署的朝外相机标定板4033和眼动相机标定板4034，其中，第一目标空间范围内的标定板4031和标定板4032以一定的夹角部署内，第二目标空间范围内的朝外相机标定板4033与眼动相机标定板4034上包含标记特征点的一面相对设置。
100.设备的标定系统400还包括机械臂404，其中，机械臂404的一端与控制单元401连接，另一端与待标定设备402连接，机械臂404用于在控制单元401的控制下，带动待标定设备402在第一目标空间范围内移动，或者，将待标定设备402移动至第二目标空间范围内。
101.当机械臂404位于朝外相机和imu的联合标定位置下，待标定设备402位于第一目
标空间范围内，机械臂404可以带动待标定设备在第一目标空间范围内移动，在移动过程中，朝外相机40211可以采集第一目标空间范围内的标定板4031和标定板4032的图像数据，imu4022可以在待标定设备移动过程中，采集待标定设备的空间数据，其中，该空间数据包括待标定设备在第一目标空间范围内移动的姿态数据和速度数据；当机械臂404位于眼动相机和imu联合标定位置下，待标定设备402位于第二目标空间范围内，机械臂404可以将待标定设备移动至第二目标空间范围内，朝外相机40211可以采集位于第二目标空间范围内的朝外相机标定板4033的图像数据，眼动相机40212可以采集位于第二目标空间范围内的眼动相机标定板4034的图像数据。
102.在采集到第一目标空间范围内的图像数据和空间数据之后，可以将采集到的图像数据和空间数据作为标定数据，然后对该标定数据进行处理，以确定朝外相机40211的内参数和外参数，以及imu的内参数和外参数，其中，对标定数据处理的过程可以参考前述步骤s103和步骤s104介绍的方法，此处不再赘述；同理在采集到第二目标空间范围内的图像数据之后，可以将采集到的图像数据作为标定数据，然后对该标定数据进行处理，以确定眼动相机的内参数和外参数，其中，对标定数据的处理过程同样可以参考前述步骤s103和步骤s104介绍的方法，此处不再赘述。
103.实施例二
104.下面结合优选的实施方式对本技术实施例的技术方案进行举例说明。
105.随着“元宇宙”概念的兴起，增强现实设备、虚拟现实设备以及混合现实设备的需求呈现出持续高涨的态势。这些设备通常配备多个相机和imu，以用于场景感知、设备定位、虚实结合、用户交互等，为了虚拟现实设备成像产生畸变，通常需要预先标定出虚拟现实设备中的各个相机的内参和外参，以及imu的内参和外参。其中，相机的内参包括焦距、光心坐标、畸变等参数，用于描述相机的成像规律；imu的内参包括零偏、标度因数误差、安装误差等，用于描述imu的内在属性；相机/imu的外参用于描述相机/imu在世界坐标下的旋转和平移，用于描述相机/imu的坐标系与世界坐标系之间的转换关系。
106.目前，在多相机+imu的联合标定中，通常采用带有固定间距的图案阵列平板作为标定板，手持待标定设备在标定板前移动，移动包括平移和旋转，但由于这类标定板的抗模糊能力较弱，在待标定设备快速移动的过程中，相机采集到的标定板的图像会产生运动模糊，且如果相机采用鱼眼镜头很容易出现画面边缘角点检测失败的情况，导致相机内参尤其是畸变参数的标定不准确，从而影响相机工作结果的准确性。
107.然而，本技术实施例提供了一种设备的标定方法，目标空间范围内至少部署有一个标定板，可以通过待标定设备获取目标空间范围内的标定数据，标定数据中包括对标定板采集到的图像数据和优化数据，对标定数据中的图像数据进行检测，可以确定出图像数据中包括的标定板上的标记特征点的位置信息，由于标记特征点的位置信息可以表示标记特征点在三维空间坐标系下的位置坐标以及标记特征点在图像坐标系下的位置坐标，由于该位置信息可以准确的确定出标记特征点的位置，基于此，基于标记特征点的位置信息和第二设备采集到的优化数据对待标定设备进行参数优化，得到的待标定设备的标定参数较为准确，实现提升标定参数的准确性的技术效果，进而解决了相关技术中设备参数标定不准确的技术问题。
108.在该实施例中，当待标定设备为ar/vr/mr/xr眼镜中的一种，由于ar/vr/mr/xr眼
镜包含朝外相机、眼动相机和惯性测量单元，其中，朝外相机部署于ar/vr/mr/xr眼镜的外侧，眼动相机部署于ar/vr/mr/xr眼镜的内侧，基于此，针对ar/vr/mr/xr眼镜的标定包括：朝外相机和惯性测量单元的标定，以及眼动相机的外参标定。
109.下面对朝外相机和惯性测量单元的标定方法进行进一步介绍。
110.在该实施例中，第一目标空间范围内可以部署两个标定板，如图4所示，该两个标定板之间可以以一定的夹角部署，标定板上包括标记特征点，控制单元与待标定设备(ar/vr/mr/xr眼镜)之间通过数据线或无线连接，基于此，可以将ar/vr/mr/xr眼镜固定在机械臂的头部，机械臂由控制单元控制，机械臂可以带动待标定设备在第一目标空间范围内进行六自由度的自由移动，举例而言，控制单元可以控制机械臂带动待标定设备从初始位置经过预先设定好的若干路标点，直至最终位置。ar/vr/mr/xr眼镜在按照该移动路线移动时，可以在移动过程中采集标定数据。ar/vr/mr/xr眼镜中的朝外相机可以采集第一目标空间范围内的标定板的图像数据，ar/vr/mr/xr眼镜中的惯性测量单元可以采集待标定设备在第一目标空间范围内移动的空间数据，其中，空间数据中包括待标定设备在移动过程中的姿态数据和速度数据。在采集到图像数据和空间数据之后，ar/vr/mr/xr眼镜可以将采集到的图像数据和空间数据传输至控制单元，控制单元在接收到图像数据之后，可以将图像数据输入视觉检测模块，视觉检测模块可以检测图像数据中包括的标定板的标记特征点的索引号，在确定出索引号之后，可以确定出标记特征点在真实世界中的三维坐标，基于标记特征点在图像数据中的位置，可以确定出标记特征点在图像坐标系下的图像坐标，在得到标记特征点的图像坐标和三维坐标之后，可以将每个标记特征点对应的图像坐标和三维坐标确定为一个特征点对，进而得到多个特征点对，将多个特征点对构成点对集合，之后，将点对集合以及惯性测量单元采集到的空间数据输入参数优化模块，确定出朝外相机的内参与外参，以及惯性测量单元的内参和外参。
111.图5是根据本发明实施例的一种vr眼镜在若干个路标点拍摄到的图像的示意图，以及标定板特征点的视觉检测结果。
112.可选地，如果待标定设备搭载的朝外相机为卷帘快门相机，基于上述方法还可以确定出卷帘快门相机的时间补偿参数。
113.可选地，如果待标定设备搭载的朝外相机为鱼眼相机，由于鱼眼相机普遍存在图像边缘暗角的情况，基于上述标定方法还可以确定出鱼眼相机的暗角校正参数。举例而言，在机械臂带动待标定设备运动过程中，标记特征点构成的标记位可能出现在图像的各个位置。由于真实世界里标记位的客观亮度是固定的，对于单个相机而言，算法记录下每一帧的标记位内部的白色区域的灰度值{grayi}，以及图像坐标值{xi，yi}，通过下述公式进行多项式拟合，可以得到图像的暗角校正参数。
114.gray
predict
(u,v)＝gray
measure
(u,v)*(1+k1*r+k2*r2+k3*r3)
115.其中，gray
predict
(u,v)为暗角校正后的灰度值，gray
measure
(u,v)为原始图像的灰度值，r＝sqrt((u-u0)2+(v-v0)2)，而u0和v0为待拟合的图像的亮度中心，k1、k2、k3为拟合参数。
116.需要说明的是，上述标定环境中的标定板上包括普通特征点和标记特征点，其中，普通特征点和标记特征点之间的标记信息的不同至少包括以下之一：标记结构、标记颜色、标记灰度值、标记形状。其中，对于多个相机朝向基本一致的待标定设备(如手机、部分ar眼
镜)，往往只需要一个面积合适的标定板即可。如图2所示，标定板由圆点组成，其中包含两个标记位，标记位由一些区别于普通圆点的大圆点和圆环组成。算法可以识别标记位中的特殊圆点，并根据局部组合结构推断出检测到的标记位是众多标记位中的哪一个，通过标记位可以正确推断出相机拍摄到的图像上其他圆点的索引和坐标，进而用这些信息来估算标定参数。如图3所示为一些标记位的样例，标记位的区分方法还可以通过颜色、形状等具备区分度的信息来区分。
117.需要说明的是，部分待标定设备(如vr眼镜)的多个相机之间往往没有足够的共视区域，即相机朝向差异较大，此时往往要求标定板的覆盖面积要更大，基于此，可以将单张标定板的尺寸加大，但是由于相机光轴与标定板法线夹角较大时，容易发生标定板上的特征点检测失败或者检测错误的情况，导致标定失败，因此，通常可以根据待标定设备的相机排布特点，采用多张标定板按适当的角度来排布的方案。图6是根据本发明实施例的一种采用两张标定板来适配vr眼镜的标定需求的示意图，如图6所示，通过算法识别出标定板上标记位的图案的圆环-圆点分布，可以区分出两块标定板，如一个圆环加两个大圆点的标记位属于type-a标定板，两个圆环加一个大圆点的标记位属于type-b标定板。标定板的区分本质是通过标记位的区分来进行，因此还可以通过颜色、形状、标记位的结构等具备区分度的信息来进行标定板的区分。
118.下面对眼动相机的标定方法进行进一步介绍。
119.在该实施例中，第二目标空间范围内可以部署至少一个朝外相机标定板和至少一个眼动相机标定板，由于待标定设备中的朝外相机和眼动相机背靠背设计，两者视角相背，基于此，可以将该至少一个朝外相机标定板和至少一个眼动相机标定板上包含标记特征点的一面相对设置。图7是根据本发明实施例的一种眼动相机标定环境示意图，如图7所示，眼动相机用于拍摄眼动相机标定板的图像数据，朝外相机用于拍摄朝外相机标定板的图像数据。该朝外相机标定板和眼动相机标定板上包括标记特征点，且朝外相机标定板和眼动相机标定板在设计和安装后，可以通过测量得到两个标定板之间的相对位置关系，进而得到两个标定板上的标记特征点在同一坐标系下的3d坐标。例如，可以通过视觉检测模块检测得到标定板上的标记特征点的图像坐标和其在标定板上对应的索引号，基于索引号可以推算出标记特征点在真实世界中的三维坐标，按照该方法可以得到标定板上的多个标记特征点对应的图像坐标-三维坐标的点对集合；参数优化模块可以利用图像坐标-三维坐标的点对集合解算出眼动相机和朝外相机的外参数。需要说明的是，在该实施例中，朝外相机可以是前述提到相机与imu联合标定里的任意一个相机，通常可以根据其安装位置和安装角度选择一个最合适的相机作为该实施例所采用的朝外相机。
120.图8是根据本发明实施例的一种第二目标空间范围内相机拍摄到的标定板图像的示意图，如图8所示，左图801为vr眼镜中的一个朝外相机拍摄到的标定板的图像，中间图802为一个眼动相机拍摄到的标定板的图像，右图803为另一个眼动相机拍摄到的标定板的图像。
121.在上述实施例中，通过机械臂带动待标定设备按照预设多个路标点移动，待标定设备同时采集图像数据和imu数据，经由标定算法得到相机和imu的标定参数，包含相机的内外参、imu的内外参数，此外，该标定方案还可以同时实现卷帘快门时间补偿标定和图像暗角校正标定；通过机械臂移动待标定设备至眼动相机的标定位置，可以满足ar/vr/mr眼
镜的眼动相机与朝外相机的外参标定，为虚拟场景下的眼动设备提供坐标转换关系。
122.实施例三
123.根据本技术实施例，还提供了一种设备的标定装置。需要说明的是，该设备的标定装置可以用于执行实施例1中的设备的标定方法。
124.图9是根据本发明实施例的一种设备的标定装置的示意图。如图9所示，该设备的标定装置900可以包括：第一确定单元901、获取单元902、第二确定单元903、优化单元904。
125.第一确定单元901，用于根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板，待标定设备包含第一设备和第二设备。
126.获取单元902，用于在目标空间范围内中，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备对标定板采集到的图像数据和第二设备采集到的优化数据。
127.第二确定单元903，用于对标定数据中的图像数据进行检测，确定标记特征点的位置信息。
128.优化单元904，用于结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。
129.可选地，候选空间范围包括第一目标空间范围和第二目标空间范围，其中，第一目标空间范围内部署至少一个第一相机标定板，第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板，第一确定单元901，包括：第一选择模块，用于当第二设备的种类为惯性测量单元时，选择第一目标空间范围为目标空间范围；第二选择模块，用于当第二设备的种类为图像采集设备时，选择第二目标空间范围为目标空间范围。
130.可选地，标定板上的标记特征点对应有索引号，对标定数据中的图像数据进行检测，第二确定单元903，包括：获取模块，用于通过对标定数据中的图像数据进行检测，获得标记特征点在标定板上的索引号；第一确定模块，用于基于索引号确定标记特征点在三维空间坐标系下的位置坐标；第二确定模块，用于基于标记特征点在图像数据中的位置确定标记特征点在图像坐标系下的位置坐标；第三确定模块，用于将标记特征点在三维空间坐标系下的位置坐标，和标记特征点在图像坐标系下的位置坐标确定为标记特征点的位置信息。
131.可选地，获取单元901，包括：发送模块，用于向待标定设备发送数据采集指令，其中，数据采集指令用于指示待标定设备开启数据采集功能，以采集图像数据和优化数据；接收模块，用于接收待标定设备反馈的图像数据和优化数据，其中，图像数据和优化数据构成标定数据。
132.可选地，该装置900还包括：第三确定单元，用于确定图像数据中的标记特征点的灰度值以及标记特征点在图像坐标系下的位置坐标；拟合单元，用于将灰度值与位置坐标进行多项式拟合，得到暗角校正参数。
133.在该实施例中，通过机械臂带动待标定设备按照预设多个路标点移动，待标定设备同时采集图像数据和imu数据，经由标定算法得到相机和imu的标定参数，包含相机的内外参、imu的内外参数，此外，该标定方案还可以同时实现卷帘快门时间补偿标定和图像暗角校正标定；通过机械臂移动待标定设备至眼动相机的标定位置，可以满足ar/vr/mr眼镜的眼动相机与朝外相机的外参标定，为虚拟场景下的眼动设备提供坐标转换关系。
134.实施例四
135.根据本发明实施例，还提供了一种计算机可读存储介质，该存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行实施例1中的设备的标定方法。
136.实施例五
137.根据本发明实施例，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行实施例1中的设备的标定方法。
138.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
139.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
140.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
141.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
142.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
143.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(read-only memory，简称为rom)、随机存取存储器(random access memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
144.以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

技术特征：
1.一种设备的标定方法，其特征在于，包括：根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，所述候选空间范围内至少部署有一个标定板，所述待标定设备包含第一设备和第二设备；在所述目标空间范围内，通过所述待标定设备获取标定数据，其中，所述标定数据包括，由所述第一设备对所述标定板采集到的图像数据和所述第二设备采集到的优化数据；对所述标定数据中的图像数据进行检测，确定标记特征点的位置信息；结合所述位置信息和所述优化数据进行同步参数优化，得到所述待标定设备的标定参数。2.根据权利要求1所述的标定方法，其特征在于，根据待标定设备的种类从候选空间范围中确定目标空间范围包括：所述候选空间范围包括第一目标空间范围和第二目标空间范围，其中，所述第一目标空间范围内部署至少一个第一相机标定板，所述第二目标空间范围内部署至少一个第一相机标定板和至少一个第二相机标定板；当所述第二设备的种类为惯性测量单元时，选择所述第一目标空间范围为所述目标空间范围；当所述第二设备的种类为图像采集设备时，选择所述第二目标空间范围为所述目标空间范围。3.根据权利要求2所述的标定方法，其特征在于，所述第一目标空间范围中包含若干预设路标点，待标定设备按照所述预设路标点移动，移动过程中采集所述标定数据。4.根据权利要求2所述的标定方法，其特征在于，在所述第二目标空间范围中，所述第一相机标定板和所述第二相机标定板平行，且标定板图案相对设置。5.根据权利要求1所述的标定方法，其特征在于，所述标定板上的标记特征点对应有索引号，所述对所述标定数据中的图像数据进行检测，确定所述图像数据中的标记特征点的位置信息，包括：通过对所述标定数据中的图像数据进行检测，获得所述标记特征点在所述标定板上的索引号；基于所述索引号确定所述标记特征点在三维空间坐标系下的位置坐标；基于所述标记特征点在所述图像数据中的位置确定所述标记特征点在图像坐标系下的位置坐标；将所述标记特征点在所述三维空间坐标系下的位置坐标，和所述标记特征点在所述图像坐标系下的位置坐标确定为所述标记特征点的位置信息。6.根据权利要求1所述的标定方法，其特征在于，所述通过所述待标定设备获取标定数据，包括：向所述待标定设备发送数据采集指令，其中，所述数据采集指令用于指示所述待标定设备开启数据采集功能，以采集所述图像数据和所述优化数据；接收所述待标定设备反馈的所述图像数据和所述优化数据，其中，所述图像数据和所述优化数据构成所述标定数据。7.根据权利要求1所述的标定方法，其特征在于，所述标定板包含普通特征点和所述标记特征点，其中，所述普通特征点的标记信息与所述标记特征点的标记信息之间的不同至
少包括以下之一：标记结构、标记颜色、标记灰度值、标记形状。8.根据权利要求5所述的标定方法，其特征在于，不同所述标定板中所述标记特征点的标记信息不同；多个标定板之间的排布角度根据所述第一设备和所述第二设备之间的排布位置和视场角度确定，以保证所述第一设备和所述第二设备均能采集到所述标记特征点的完整标记信息。9.根据权利要求1所述的标定方法，其特征在于，所述图像采集设备为卷帘快门相机，所述标定参数包括所卷帘快门的时间补偿参数。10.根据权利要求1所述的标定方法，其特征在于，所述图像采集设备为鱼眼相机，所述标定参数包括暗角校正参数。11.根据权利要求10所述的标定方法，其特征在于，所述方法还包括：确定所述图像数据中的标记特征点的灰度值以及所述标记特征点在图像坐标系下的位置坐标；将所述灰度值与所述位置坐标进行多项式拟合，得到所述暗角校正参数。12.一种设备的标定装置，其特征在于，包括：第一确定单元，用于根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，所述候选空间范围内至少部署有一个标定板，所述待标定设备包含第一设备和第二设备；获取单元，用于在所述目标空间范围内中，通过所述待标定设备获取标定数据，其中，所述标定数据包括，由所述第一设备对所述标定板采集到的图像数据和所述第二设备采集到的优化数据；第二确定单元，用于对所述标定数据中的图像数据进行检测，确定标记特征点的位置信息；优化单元，用于结合所述位置信息和所述优化数据进行同步参数优化，得到所述待标定设备的标定参数。13.一种设备的标定系统，其特征在于，所述标定系统包括：控制单元、待标定设备和标定板，其中，所述待标定设备包括图像采集设备和惯性测量单元；所述图像采集设备，用于采集目标空间范围内标定板的图像数据；所述惯性测量单元，部署于所述待标定设备内，用于采集所述待标定设备在所述目标空间范围内移动的空间数据；所述控制单元，与所述图像采集设备和所述惯性测量单元相连接，用于将所述图像数据和所述空间数据转换为所述待标定设备的标定参数。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至11中任意一项所述的设备的标定方法。

技术总结
本发明公开了一种设备的标定方法、装置、系统和存储介质。其中，该设备的标定方法包括：根据待标定设备的种类从候选空间范围中确定目标空间范围，其中，候选空间范围内至少部署有一个标定板，待标定设备包含第一设备和第二设备；在目标空间范围内中，通过待标定设备获取标定数据，其中，标定数据包括，由第一设备对标定板采集到的图像数据和第二设备采集到的优化数据；对标定数据中的图像数据进行检测，确定标记特征点的位置信息；结合位置信息和优化数据进行同步参数优化，得到待标定设备的标定参数。本发明解决了相关技术中设备参数标定不准确的技术问题。不准确的技术问题。不准确的技术问题。


技术研发人员：韦盛斌 欧阳高 郭亮亮 罗敏辉 王进
受保护的技术使用者：虹软科技股份有限公司
技术研发日：2023.05.05
技术公布日：2023/8/13