图像采集设备与旋转轴的标定方法、装置及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种图像采集设备与旋转轴的标定方法、装置及存储介质。


背景技术：

2.标定指的是各个传感器间或者传感器与旋转轴之间相对位姿参数的精确测量。传感器和旋转轴之间的标定结果可以应用到户型图生成、点云配准、模型精度和贴图等诸多方面。例如，在全景图拼接技术领域，采用vr采集设备采集室内环境信息，图像采集设备与旋转轴刚性连接，在室内采集环境图像时，通过驱动旋转轴旋转，带动图像采集设备采集不同角度的环境图像，将在不同角度采集到的环境图像融合起来，得到整个室内环境的环境图像。整个过程中，需要得到图像采集设备与转轴之间的相对变换关系，即图像采集设备与旋转轴的标定。
3.现有技术中，需要人工设置图像采集设备与旋转轴之间的角度和尺寸，基于该角度和尺寸得到图像采集设备与旋转轴之间的相对变换关系，但是，这种方式得到的相对变换关系准确率较低，影响图像融合的精度。


技术实现要素：

4.本技术的多个方面提供一种图像采集设备与旋转轴的标定方法、装置及存储介质，用以提高图像采集设备与旋转轴之间的标定的准确率。
5.本技术实施例提供一种图像采集设备与旋转轴的标定方法，图像采集设备与旋转轴刚性连接，且均处于目标空间对象中，该方法包括：
6.s1、在旋转轴处于旋转角度a1和旋转角度a2时，基于图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，标定板上具有至少四个原始特征f，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征，标定板具有目标位姿信息；
7.s2、根据至少四个原始特征f及其在实景图像中对应的图像特征，对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0；
8.s3、基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb；
9.s4、根据标定板的初始位姿信息pb，将标定板中的目标原始特征f0分别投影至实景图像p1和实景图像p2上，得到投影特征f3和投影特征f4，目标原始特征f0是标定板中的任意一个原始特征；
10.s5、基于目标原始特征f0在实景图像p1中对应的目标图像特征f10，以及在实景图像p2中对应的目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；
11.s6、基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，对待优化的误差函数进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对
位姿信息，以实现图像采集设备与旋转轴之间的标定。
12.本技术实施例还提供一种图像采集设备与旋转轴的标定装置，图像采集设备与旋转轴刚性连接，且均处于目标空间对象中，该装置包括：采集模块、估计模块、确定模块、投影模块、构建模块以及优化模块；
13.采集模块，用于在旋转轴处于旋转角度a1和旋转角度a2时，基于图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，标定板上具有至少四个原始特征f，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征，标定板目标位姿信息；
14.估计模块，用于根据至少四个原始特征f及其在实景图像中对应的图像特征，对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0；
15.确定模块，用于基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb；
16.投影模块，用于根据标定板的初始位姿信息pb，将标定板中的目标原始特征f0分别投影至实景图像p1和实景图像p2上，得到投影特征f3和投影特征f4，目标原始特征f0是标定板中的任意一个原始特征；
17.构建模块，用于基于目标原始特征f0在实景图像p1中对应的目标图像特征f10，以及在实景图像p2中对应的目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；
18.优化模块，用于基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，对待优化的误差函数进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。
19.本技术实施例还提供一种图像采集设备与旋转轴的标定设备，包括：存储器和处理器；存储器，用于存储计算机程序；处理器，与存储器耦合，用于执行计算机程序，以实现本技术实施例提供的图像采集设备与旋转轴的标定方法中的各步骤。
20.本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，当计算机程序被处理器执行时，致使处理器实现本技术实施例提供的图像采集设备与旋转轴的标定方法中的各步骤。
21.在本技术实施例中，图像采集设备与旋转轴刚性连接，在两个旋转角度分别采集包含标定板的图像并提取图像特征，基于标定板的初始位姿信息和旋转轴与图像采集设备的初始位姿信息，将标定板的原始特征投影至图像上得到投影特征，基于投影特征和图像特征建立重投影误差并构建误差函数，对误差函数进行迭代优化直至收敛，得到优化后旋转轴与图像采集设备的相对位姿信息。其中，充分利用了图像采集设备的运动特性，基于投影特征和图像特征建立重投影误差并构建误差函数，可以提高算法的稳定性，提高图像采集设备和旋转轴标定的准确率。
附图说明
22.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
23.图1为本技术示例性实施例提供的图像采集设备与旋转轴的标定方法的流程示意图；
24.图2为本技术示例性实施例提供的图像采集设备与旋转轴的标定装置的结构示意图；
25.图3为本技术示例性实施例提供的图像采集设备与旋转轴的标定设备的结构示意图。
具体实施方式
26.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
28.针对上述确定图像采集设备与旋转轴之间的标定参数准确率较低的问题，在本技术实施例中，
29.以下结合附图，对本技术实施例提供的一种解决方案进行详细说明。
30.图1为本技术示例性实施例提供的一种图像采集设备与旋转轴的标定方法的流程示意图，图像采集设备与旋转轴刚性连接，且均处于目标空间对象中，如图1所示，该方法包括：
31.s1、在旋转轴处于旋转角度a1和旋转角度a2时，基于图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，标定板上具有至少四个原始特征f，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征，标定板具有目标位姿信息；
32.s2、根据至少四个原始特征f及其在实景图像中对应的图像特征，对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0；
33.s3、基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb；
34.s4、根据标定板的初始位姿信息pb，将标定板中的目标原始特征f0分别投影至实景图像p1和实景图像p2上，得到投影特征f3和投影特征f4，目标原始特征f0是标定板中的任意一个原始特征；
35.s5、基于目标原始特征f0在实景图像p1中对应的目标图像特征f10，以及在实景图像p2中对应的目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；
36.s6、基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，对待优化的误差函数进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。
37.在本实施例中，图像采集设备与旋转轴处于物理空间中的目标空间对象中。物理空间指的是特定的空间区域，该空间区域中包含多个空间对象，换句话说，多个空间对象组
成了物理空间。例如，物理空间是指一套住房，住房中包括的多个空间对象可以是厨房、卧室、客厅或卫生间等。其中，目标空间对象可以是多个空间对象中的任意一个
38.在本实施例中，图像采集设备可以是鱼眼相机等，图像采集设备与旋转轴之间刚性连接，图像采集设备随着旋转轴的旋转而旋转，在旋转轴旋转过程中，图像采集设备采集目标空间对象中的实景环境，例如，实景图像可以是鱼眼图像。
39.在实际应用中，考虑到设备公差、材料变形或测量误差等，图像采集设备和旋转轴之间的初始标定参数并不准确，可能会影响后续图像融合结果。在本实施例中，采用标定板辅助图像采集设备和旋转轴之间的标定，标定板是带有固定间距图案阵列的平板，例如，可以是棋盘格标定板或者圆盘标定板，无论是哪种标定板，标定板上包括原始特征，例如，棋盘格上的原始特征可以是黑白块交界的角点，圆盘标定板中原始特征可以是圆心所在的点。
40.在本实施例中，针对步骤s1，标定板与图像采集设备和旋转轴均处于目标空间对象中，标定板处于目标空间对象中，且具有目标位姿信息，使得图像采集设备能够采集包含标定板的实景图像。其中，其中，目标位姿信息可以包括：目标位置和目标角度，目标位置是标定板在目标空间对象中所处的位置，目标角度是标定板在目标空间对象中所处的角度，标定板处于该目标位置以及该目标角度时，图像采集设备能够采集到包含标定板的实景图像，该角度对应三个自由度的空间旋转。
41.其中，标定板在目标空间对象中具有目标位姿信息的情况下，旋转轴处于旋转角度a1时，图像采集设备采集包含标定板的实景图像p1，保持标定板的目标位姿信息不变，旋转轴带动图像采集设备旋转，在旋转轴处于旋转角度a2时，图像采集设备采集包含标定板的实景图像p2。其中，旋转角度a1和旋转角度a2的差值并不限定，凡是在标定板具有目标位姿信息的情况下，能够使得图像采集设备采集包含标定板的实景图像均适用。优选地，旋转角度a1和旋转角度a2的差值在40度至60度之间。其中，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征。为了后续计算，需要一定数量的原始特征，优选地，标定板上原始特征的数量为至少四个，相应地，原始特征f在实景图像p1或实景图像p1中对应的图像特征也具有至少四个。其中，原始特征f在三维空间中具有世界坐标(即标准坐标)，图像特征在图像坐标系中具有图像坐标。
42.可选地，可以采用特征检测函数，检测实景图像p1中原始特征对应的图像特征f1，以及检测实景图像p2中原始特征对应的图像特征f2，例如，可以采用发现棋盘角点findchessboardcorners()函数，检测棋盘格的内角点位置，将在实景图像p1中检测到的内角点位置作为图像特征f1，将在实景图像p2中检测到的内角点位置作为图像特征f2。
43.在本实施例中，针对步骤s2，可以根据标定板上的至少四个原始特征f及其在实景图像中对应的图像特征对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0。其中，位姿估计的方法可以是透视n(n≥4，且为正整数)点算法(perspective-n-point，pnp)算法，通过pnp算法求解原始特征与图像特征之间的对应关系，即标定板与图像采集设备之间的相对位姿信息。
44.可选地，根据至少四个原始特征f及其在实景图像p1中对应的图像特征f1，对标定板与图像采集设备进行位姿估计，得到相对位姿信息t1；将相对位姿信息t1作为标定板与图像采集设备之间的相对位姿信息t0；或者根据至少四个原始特征f及其在实景图像p2中
对应的图像特征f2，对标定板与图像采集设备进行位姿估计，得到相对位姿信息t2，将相对位姿信息t2作为标定板与图像采集设备之间的相对位姿信息t0。
45.在本实施例中，图像采集设备与旋转轴之间具有初始位姿信息p0，该初始位姿信息p0可以通过手动测量得到，也可以按照图像采集设备和旋转轴之间的尺寸关系以及相对位置关系计算得到，初始位姿信息p0是待求四自由度的初始值。
46.针对步骤s3，基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb。
47.可选地，基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1对应的旋转矩阵r1和相对位姿信息t1，确定标定板的初始位姿信息pb，pb＝inverse(p0*r1)*t1，inverse(
·
)表示逆变换，“*”表示矩阵相乘，若旋转轴视为标准坐标系的y轴，旋转角度a1可转化为单自由度绕y轴刚性旋转的旋转矩阵r1。或者，基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2对应的旋转矩阵r2和相对位姿信息t2，确定标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘。其中，若旋转轴视为标准坐标系的y轴，旋转角度a2为单自由度绕y轴刚性旋转的旋转矩阵r2。
48.针对步骤s4，基于标定板的初始位姿信息pb和旋转矩阵r1，将标定板中的目标原始特征f0投影至实景图像p1上，得到投影特征f3；基于标定板的初始位姿信息pb和旋转矩阵r2，将标定板中的目标原始特征f0投影至实景图像p2上，得到投影特征f4，目标原始特征f0是标定板中的任意一个原始特征。
49.可选地，根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1，将标定板中的目标原始特征f0投影至实景图像p1中，得到投影特征f3＝k*(p0*r1)*pb*f0，k为图像采集设备的内参，“*”表示矩阵相乘，r1是旋转角度a1对应的旋转矩阵；根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2，将标定板中的目标原始特征f0投影至实景图像p2中，得到投影特征f4＝k*(p0*r2)*pb*f0，r2是旋转角度a2对应的旋转矩阵。
50.针对步骤s5，基于目标原始特征f0对应的目标图像特征f10和目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4。
51.针对步骤s6，基于该重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，例如，可以直接将该重投影误差e1和重投影误差e2的平方和作为误差项，误差函数包括该误差项；对该误差函数中包含的初始位姿信息p0和初始位姿信息pb进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。其中，对误差函数不断进行迭代优化，可以采用构建最小二乘问题求解的方式，得到优化后的图像采集设备与旋转轴之间的目标相对位姿信息。
52.在本技术实施例中，图像采集设备与旋转轴刚性连接，在两个旋转角度分别采集包含标定板的图像并提取图像特征，基于标定板的初始位姿信息和旋转轴与图像采集设备的初始位姿信息，将标定板的原始特征投影至图像上得到投影特征，基于投影特征和图像特征建立重投影误差并构建误差函数，以误差函数的值小于设定的误差阈值为目标，对初始位姿信息进行迭代优化，得到优化后旋转轴与图像采集设备的相对位姿信息。其中，充分利用了图像采集设备的运动特性，基于投影特征和图像特征建立重投影误差并构建误差函
数，可以提高算法的稳定性，提高图像采集设备和旋转轴标定的准确率。
53.在一可选实施例中，为了提高标定参数，即图像采集设备与旋转轴之间相对位姿信息的准确率，还可以针对每个原始特征建立重投影误差，基于每个原始特征的重投影误差建立该原始特征对应的误差项，对多个原始特征对应的误差项进行累计，得到待优化的误差函数，从而对该误差函数进行优化。本技术实施例提供的方法还包括：对标定板中包含的至少四个原始特征进行遍历，将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，执行步骤s4-s5，得到每个目标原始特征对应的重投影误差e1和重投影误差e2；相应地，步骤s6中基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数的具体实现为：将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数。
54.在一可选实施例，在对原始特征进行遍历的基础之上，还可以改变标定板的目标位姿信息，使得标定板覆盖实景图像p1和实景图像p2尽可能多的位置。例如，调整标定板的位姿信息，例如，单独调整标定板的位置信息或角度信息，或者同时调整标定板的位置和角度，得到多个标定板的目标位姿信息；针对每个标定板的目标位姿信息，调整旋转轴的旋转角度，使得图像采集设备可以在旋转角度r1和r2，分别采集包含标定板的实景图像p1和实景图像p2以提高标定的准确率。
55.具体地，标定板在目标空间对象中具有多个目标位姿信息。对多个目标位姿信息进行遍历，针对每个目标位姿信息执行步骤s1-s6；在每次执行步骤s4-s6过程中，在执行步骤s4之前，对标定板中包含的至少四个原始特征进行遍历；将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，执行步骤s4-s5，得到每个目标原始特征对应的重投影误差e1和重投影误差e2，针对步骤s6，将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将至少四个目标原始特征分别对应的误差项进行累加，得到每个目位姿信息对应的待优化子函数；将多个目标位姿信息分别对应的待优化误差子函数进行累加，得到待优化的误差函数；以该待优化的误差函数的值小于设定的误差阈值为目标，对初始位姿信息p0和初始位姿信息pb进行迭代优化，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。
56.需要说明的是，图像采集设备与旋转轴的初始位姿信息p0不发生变化，标定板的位置发生变动，需要引入新的标定板的初始位姿信息pb，初始位姿信息p0为4自由度，即x轴旋转，z轴旋转，x轴平移，z轴平移，其余两自由度(y轴平移和y轴旋转)为0，相当于将旋转轴视为标准坐标系的y轴；pb为无约束刚性运动的6自由度，因此，对待优化误差函数进行优化时，n组数据需要求的总变量数为6n+4。
57.在一可选实施例中，旋转轴与图像采集设备刚性连接的情况下，该旋转轴还可以与激光雷达采集设备刚性连接，可以将由旋转轴、图像采集设备以及激光雷达采集设备组成的设备称为vr采集设备。其中，并不对图像采集设备和激光雷达采集设备的安装位置进行限定。例如，图像采集设备和激光雷达采集设备之间在水平方向具有一定的角度，例如，90度、180度或270度等，图像采集设备和激光雷达采集设备之间在垂直方向也具有一定的距离，例如，0cm、1cm或5cm等。其中，图像采集设备和激光雷达采集设备均与旋转轴刚性连
接，旋转轴与电机连接，旋转轴可360度旋转，带动图像采集设备和激光雷达采集设备旋转，在旋转轴旋转过程中，激光雷达采集设备获取目标空间对象对应的三维点云数据集，图像采集设备采集目标空间对象的图像。
58.在本实施例中，将vr采集设备的标定方案分为三种：
①
激光雷达采集设备和旋转轴之间的标定；
②
图像采集设备与旋转轴之间的标定(即图1所示的方案)；
③
激光雷达采集设备和图像采集设备之间的标定。其中，
①
和
②
标定的过程彼此独立，
③
需要基于
①
和
②
的标定结果。
59.其中，
③
主要将激光雷达采集设备采集的目标点云数据转换到图像坐标系下，得到投影点云数据，并将投影点云数据与图像采集设备采集的目标实景图像进行对齐，投影点云数据和目标实景图像之间只需要相对旋转轴进行旋转或平移操作，即在两个自由度上实现对齐(y轴旋转以及y轴平移)，对齐是指投影点云数据中的特征点与实景图像中的图像特征点相互对应。
60.具体地：
61.步骤a1、假设激光雷达采集设备已标定至旋转轴下(即
①
已完成)，图像采集设备与旋转轴之间的标定也完成，即
②
已完成。待求项为激光雷达采集设备与图像采集设备之间的相对位姿信息，即点云坐标系相对于图像坐标系的刚性变换t，由于点云坐标系和图像坐标系均以旋转轴(例如y轴)为基准，该刚性变换t包括两自由度，该两个自由度通过旋转矩阵(y轴旋转)和平移矩阵(y轴平移)进行表示，这两个自由度通过可通过交互操作赋值，例如通过键盘、鼠标或触屏等交互方式为旋转矩阵和平移矩阵赋值。
62.步骤a2、基于步骤1的赋值结果，可以得到上述两自由度旋转矩阵和平移矩阵组合成的刚性变换t。即响应于交互操作，不断对激光雷达采集设备与图像采集设备之间的相对位姿信息进行赋值。
63.步骤a3、基于赋值后的相对位姿信息，结合旋转轴与图像采集设备之间的目标相对位姿信息，将目标点云数据投影至图像坐标系，得到投影点云数据。例如，基于图像采集设备与旋转轴之间的目标相对位姿信息p，构建投影矩阵k*p*t，将目标点云数据投影至图像坐标系下，得到投影点云数据。k为相机内参，
64.其中，目标点云数据是容易被可视化的特征，例如可以是提取出的角点/线特征，或是所有点位的强度/深度值映射到热力图的彩色结果。
65.步骤a4、通过交互操作不断对激光雷达采集设备与图像采集设备之间的相对位姿信息进行赋值，直至将投影点云数据与目标实景图像对齐。例如，对齐可以是点云线特征对应至图像边缘，强度/深度值对应图像中的物体表面分布情况。在投影点云数据与目标实景图像对齐的情况下，将对激光雷达采集设备与图像采集设备之间的相对位姿信息进行的赋值作为激光雷达采集设备与图像采集设备之间的目标相对位姿信息。
66.关于本技术实施例提供的图1所示方法中各步骤的详细实施方式以及有益效果已经在前述实施例中进行了详细描述，此处将不做详细阐述说明。
67.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤s1至步骤s6的执行主体可以为设备a；又比如，步骤s1和s3的执行主体可以为设备a，步骤s4-s6的执行主体可以为设备b；等等。
68.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的
多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如s1、s2等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。
69.本技术实施例除了提供方法实施例之外，还提供了图像采集设备与旋转轴的标定装置，下面对本技术实施例提供的图像采集设备与旋转轴的标定装置的过程进行说明。
70.图2为本技术示例性实施例提供的一种图像采集设备与旋转轴的标定装置的结构示意图，图像采集设备与旋转轴刚性连接，且均处于目标空间对象中，如图2，该装置包括：采集模块21、估计模块22、确定模块23、投影模块24、构建模块25以及优化模块26；
71.采集模块21，用于在旋转轴处于旋转角度a1和旋转角度a2时，基于图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，标定板上具有至少四个原始特征f，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征，标定板目标位姿信息；
72.估计模块22，用于根据至少四个原始特征f及其在实景图像中对应的图像特征，对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0；
73.确定模块23，用于基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb；
74.投影模块24，用于执行投影操作，具体地，根据标定板的初始位姿信息pb将标定板中的目标原始特征f0分别投影至实景图像p1和实景图像p2上，得到投影特征f3和投影特征f4，目标原始特征f0是标定板中的任意一个原始特征；
75.构建模块25，用于执行构建操作，具体地，基于目标原始特征f0在实景图像p1中对应的目标图像特征f10，以及在实景图像p2中对应的目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；
76.优化模块26，用于基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，对待优化的误差函数进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。
77.在一可选实施例中，图像采集设备与旋转轴的标定装置还包括：遍历模块；遍历模块，用于对标定板中包含的至少四个原始特征进行遍历，将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，投影模块和构建模块分别执行投影操作和构建操作，得到每个目标原始特征对应的重投影误差e1和重投影误差e2。
78.相应地，优化模块在基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数时，具体用于：将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数。
79.在一可选实施例中，图像采集设备与旋转轴的标定装置还包括：
80.标定板在目标空间对象中的目标位姿信息为多个；遍历模块，用于对标定板多个目标位姿信息进行遍历，针对标定板的每个目标位姿信息，依次执行采集模块21、估计模块
22、确定模块23、投影模块24、构建模块25以及优化模块26需要执行的动作；在投影模块执行投影操作之前，对标定板中包含的至少四个原始特征进行遍历，将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，投影模块执行投影操作，构建模块执行构建操作，得到每个目标原始特征对应的重投影误差e1和重投影误差e2；优化模块，用于将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将至少四个目标原始特征分别对应的误差项进行累加，得到每个目标位姿信息对应的待优化子函数；将多个目标位姿信息分别对应的待优化误差子函数进行累加，得到待优化的误差函数。
81.在一可选实施例中，估计模块具体用于：根据至少四个原始特征f及其在实景图像p1中对应的图像特征f1，对标定板与图像采集设备进行位姿估计，得到相对位姿信息t1；将相对位姿信息t1作为标定板与图像采集设备之间的相对位姿信息t0；或者根据至少四个原始特征f及其在实景图像p2中对应的图像特征f2，对标定板与图像采集设备进行位姿估计，得到相对位姿信息t2，将相对位姿信息t2作为标定板与图像采集设备之间的相对位姿信息t0。
82.可选地，确定模块具体用于：基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1对应的旋转矩阵r1和相对位姿信息t1，确定标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘；或者基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2对应的旋转矩阵r2和相对位姿信息t2，确定标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘。
83.在一可选实施例中，投影模块，具体用于：根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1，将标定板中的目标原始特征f0投影至实景图像p1中，得到投影特征f3＝k*(p0*r1)*pb*f0，k为图像采集设备的内参，“*”表示矩阵相乘，r1是旋转角度a1对应的旋转矩阵；根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2，将标定板中的目标原始特征f0投影至实景图像p2中，得到投影特征f4＝k*(p0*r2)*pb*f0，r2是旋转角度a2对应的旋转矩阵。
84.在一可选实施例中，旋转轴与激光雷达采集设备刚性连接，在图像采集设备采集目标实景图像的情况下，激光雷达采集设备采集目标实景图像对应的目标点云数据；图像采集设备与旋转轴的标定装置还包括：赋值模块、投影模块和处理模块；赋值模块，用于响应于交互操作，不断对激光雷达采集设备与图像采集设备之间的相对位姿信息进行赋值；投影模块，用于基于赋值后的相对位姿信息，结合旋转轴与图像采集设备之间的目标相对位姿信息，将目标点云数据投影至图像坐标系，得到投影点云数据，直至投影点云数据与目标实景图像对齐；处理模块，用于在投影点云数据与目标实景图像对齐的情况下，将对激光雷达采集设备与图像采集设备之间的相对位姿信息进行的赋值作为激光雷达采集设备与图像采集设备之间的目标相对位姿信息。
85.其中，关于图像采集设备与旋转轴的标定装置的详细实施方式以及效果描述可参见前述实施例，在此不再赘述。
86.图3为本技术示例性实施例提供的一种图像采集设备与旋转轴的标定设备的结构示意图，该图像采集设备与旋转轴刚性连接，且均处于目标空间对象中，如图3所示，该标定
设备包括：存储器34和处理器35。
87.存储器34，用于存储计算机程序，并可被配置为存储其它各种数据以支持在图像采集设备与旋转轴的标定设备上的操作。这些数据的示例包括用于在图像采集设备与旋转轴的标定设备上操作的任何应用程序或方法的指令等。
88.处理器35与存储器34耦合，用于执行存储器34中的计算机程序，以用于执行如下操作：
89.采集操作：在旋转轴处于旋转角度a1和旋转角度a2时，基于图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，标定板上具有至少四个原始特征f，每个原始特征f在实景图像p1和实景图像p2中均对应有图像特征，标定板具有目标位姿信息；
90.估计操作：根据至少四个原始特征f及其在实景图像中对应的图像特征，对标定板与图像采集设备进行位姿估计，得到标定板与图像采集设备之间的相对位姿信息t0；
91.确定操作：基于图像采集设备与旋转轴的初始位姿信息p0、旋转轴的旋转角度和相对位姿信息t0，确定标定板的初始位姿信息pb；
92.投影操作：根据标定板的初始位姿信息pb，将标定板中的目标原始特征f0分别投影至实景图像p1和实景图像p2上，得到投影特征f3和投影特征f4，目标原始特征f0是标定板中的任意一个原始特征；
93.构建操作：基于目标原始特征f0在实景图像p1中对应的目标图像特征f10，以及在实景图像p2中对应的目标图像特征f20、投影特征f3和投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；
94.优化操作：基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数，对待优化的误差函数进行迭代优化直至收敛，得到优化后图像采集设备与旋转轴之间的目标相对位姿信息，以实现图像采集设备与旋转轴之间的标定。
95.可选地，处理器35还用于：对标定板中包含的至少四个原始特征进行遍历，将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，执行投影操作和构建操作，得到每个目标原始特征对应的重投影误差e1和重投影误差e2；
96.处理器35在基于重投影误差e1和重投影误差e2的平方和建立待优化的误差函数时，具体用于：将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数。
97.进一步可选地，标定板在目标空间对象中的目标位姿信息为多个；处理器在对标定板中包含的至少四个原始特征进行遍历时，具体用于：对多个目标位姿信息遍历，针对标定板的每个目标位姿信息执行上述采集操作、估计操作、确定操作、投影操作、构建操作以及优化操作；在执行投影操作之前，对标定板中包含的至少四个原始特征进行遍历；
98.处理器35在将至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数时，具体用于：将至少四个目标原始特征分别对应的误差项进行累加，得到每个目标位姿信息对应的待优化子函数；将多个目标位姿信息分别对应的待优化误差子函数进行累加，得到待优化的误差函数。
99.在一可选实施例中，处理器35在执行估计操作时，具体用于：根据至少四个原始特征f及其在实景图像p1中对应的图像特征f1，对标定板与图像采集设备进行位姿估计，得到
相对位姿信息t1；将相对位姿信息t1作为标定板与图像采集设备之间的相对位姿信息t0；或者根据至少四个原始特征f及其在实景图像p2中对应的图像特征f2，对标定板与图像采集设备进行位姿估计，得到相对位姿信息t2，将相对位姿信息t2作为标定板与图像采集设备之间的相对位姿信息t0。
100.可选地，处理器35在执行确定操作时，具体用于：基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1对应的旋转矩阵r1和相对位姿信息t1，确定标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘；或者基于图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2对应的旋转矩阵r2和相对位姿信息t2，确定标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘。
101.在一可选实施例中，处理器35在执行投影操作时，具体用于：根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a1，将标定板中的目标原始特征f0投影至实景图像p1中，得到投影特征f3＝k*(p0*r1)*pb*f0，k为图像采集设备的内参，“*”表示矩阵相乘，r1是旋转角度a1对应的旋转矩阵；
102.根据标定板的初始位姿信息pb、图像采集设备与旋转轴的初始位姿信息p0、旋转角度a2，将标定板中的目标原始特征f0投影至实景图像p2中，得到投影特征f4＝k*(p0*r2)*pb*f0，r2是旋转角度a2对应的旋转矩阵。
103.在一可选实施例中，旋转轴与激光雷达采集设备刚性连接，在图像采集设备采集目标实景图像的情况下，激光雷达采集设备采集目标实景图像对应的目标点云数据；处理器35还用于：响应于交互操作，不断对激光雷达采集设备与图像采集设备之间的相对位姿信息进行赋值；基于赋值后的相对位姿信息，结合旋转轴与图像采集设备之间的目标相对位姿信息，将目标点云数据投影至图像坐标系，得到投影点云数据，直至投影点云数据与目标实景图像对齐；在投影点云数据与目标实景图像对齐的情况下，将对激光雷达采集设备与图像采集设备之间的相对位姿信息进行的赋值作为激光雷达采集设备与图像采集设备之间的目标相对位姿信息。
104.进一步，如图3所示，该图像采集设备与旋转轴的标定设备还包括：通信组件36、显示器37、电源组件38、音频组件39等其它组件。图3中仅示意性给出部分组件，并不意味着图像采集设备与旋转轴的标定设备只包括图3所示组件。另外，图3中虚线框内的组件为可选组件，而非必选组件，具体可视图像采集设备与旋转轴的标定设备的产品形态而定。
105.关于本技术实施例提供的图像采集设备与旋转轴的标定设备的详细实施方式以及有益效果已经在前述实施例中进行了详细描述，此处将不做详细阐述说明。
106.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被处理器执行时能够实现上述图1所示方法中的各步骤。
107.上述存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random-access memory，sram)，电可擦除可编程只读存储器(electrically erasable programmable read only memory，eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，eprom)，可编程只读存储器(programmable read-only memory，prom)，只读存储器(read-only memory，rom)，磁存储器，快闪存储器，磁盘或光盘。
108.上述通信组件被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件还包括近场通信(near field communication，nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(radio frequency identification，rfid)技术，红外数据协会(infrared data association，irda)技术，超宽带(ultra wide band，uwb)技术，蓝牙(bluetooth，bt)技术和其他技术来实现。
109.上述显示器包括屏幕，其屏幕可以包括液晶显示器(liquid crystal display，lcd)和触摸面板(touchpanel，tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
110.上述电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
111.上述音频组件，可被配置为输出和/或输入音频信号。例如，音频组件包括一个麦克风(microphone，mic)，当音频组件所在设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中，音频组件还包括一个扬声器，用于输出音频信号。
112.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、只读光盘(compact disc read-only memory，cd-rom)、光学存储器等)上实施的计算机程序产品的形式。
113.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
114.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
115.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一
个方框或多个方框中指定的功能的步骤。
116.在一个典型的配置中，计算设备包括一个或多个处理器(central processing unit，cpu)、输入/输出接口、网络接口和内存。
117.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(random access memory，ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
118.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(phase-change random access memory，pram)、静态随机存取存储器(sram)、动态随机存取存储器(dynamic random access memory，dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(digital video disc，dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
119.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
120.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：
1.一种图像采集设备与旋转轴的标定方法，所述图像采集设备与所述旋转轴刚性连接，且均处于目标空间对象中，其特征在于，所述方法包括：s1、在所述旋转轴处于旋转角度a1和旋转角度a2时，基于所述图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，所述标定板上具有至少四个原始特征f，每个原始特征f在所述实景图像p1和所述实景图像p2中均对应有图像特征，所述标定板具有目标位姿信息；s2、根据所述至少四个原始特征f及其在实景图像中对应的图像特征，对所述标定板与所述图像采集设备进行位姿估计，得到所述标定板与所述图像采集设备之间的相对位姿信息t0；s3、基于所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转轴的旋转角度和所述相对位姿信息t0，确定所述标定板的初始位姿信息pb；s4、根据所述标定板的初始位姿信息pb，将所述标定板中的目标原始特征f0分别投影至所述实景图像p1和所述实景图像p2上，得到投影特征f3和投影特征f4，所述目标原始特征f0是所述标定板中的任意一个原始特征；s5、基于所述目标原始特征f0在所述实景图像p1中对应的目标图像特征f10，以及在所述实景图像p2中对应的目标图像特征f20、所述投影特征f3和所述投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；s6、基于所述重投影误差e1和所述重投影误差e2的平方和建立待优化的误差函数，对所述待优化的误差函数进行迭代优化直至收敛，得到优化后所述图像采集设备与所述旋转轴之间的目标相对位姿信息，以实现所述图像采集设备与所述旋转轴之间的标定。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述标定板中包含的至少四个原始特征进行遍历，将每个原始特征作为目标原始特征，得到至少四个目标原始特征；针对每个目标原始特征，执行步骤s4-s5，得到每个目标原始特征对应的重投影误差e1和重投影误差e2；步骤s6中基于所述重投影误差e1和所述重投影误差e2的平方和建立待优化的误差函数，包括：将每个目标原始特征对应的重投影误差e1和重投影误差e2的平方和作为该目标原始特征对应的误差项；将所述至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数。3.根据权利要求2所述的方法，其特征在于，所述标定板在所述目标空间对象中的目标位姿信息为多个；对所述标定板中包含的至少四个原始特征进行遍历，包括：对所述多个目标位姿信息进行遍历，针对所述标定板的每个目标位姿信息，执行步骤s1-s6；在执行步骤s4之前，对所述标定板中包含的至少四个原始特征进行遍历；将所述至少四个目标原始特征分别对应的误差项进行累加，得到待优化的误差函数，包括：将所述至少四个目标原始特征分别对应的误差项进行累加，得到每个目标位姿信息对应的待优化子函数；
将所述多个目标位姿信息分别对应的待优化误差子函数进行累加，得到待优化的误差函数。4.根据权利要求1所述的方法，其特征在于，根据所述至少四个原始特征f及其在实景图像中对应的图像特征，对所述标定板与所述图像采集设备进行位姿估计，得到所述标定板与所述图像采集设备之间的相对位姿信息t0，包括：根据所述至少四个原始特征f及其在所述实景图像p1中对应的图像特征f1，对所述标定板与所述图像采集设备进行位姿估计，得到相对位姿信息t1；将所述相对位姿信息t1作为所述标定板与所述图像采集设备之间的相对位姿信息t0；或者根据所述至少四个原始特征f及其在所述实景图像p2中对应的图像特征f2，对所述标定板与所述图像采集设备进行位姿估计，得到相对位姿信息t2，将所述相对位姿信息t2作为所述标定板与所述图像采集设备之间的相对位姿信息t0。5.根据权利要求4所述的方法，其特征在于，基于所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转轴的旋转角度和所述相对位姿信息t0，确定所述标定板的初始位姿信息pb，包括：基于所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转角度a1对应的旋转矩阵r1和所述相对位姿信息t1，确定所述标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘；或者基于所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转角度a2对应的旋转矩阵r2和所述相对位姿信息t2，确定所述标定板的初始位姿信息pb，其中，pb＝inverse(p0*r2)*t2，inverse(
·
)表示逆变换，“*”表示矩阵相乘。6.根据权利要求1所述的方法，其特征在于，根据所述标定板的初始位姿信息pb，将所述标定板中的目标原始特征f0分别投影至所述实景图像p1和所述实景图像p2上，得到投影特征f3和投影特征f4，包括：根据所述标定板的初始位姿信息pb、所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转角度a1，将所述标定板中的目标原始特征f0投影至所述实景图像p1中，得到投影特征f3＝k*(p0*r1)*pb*f0，k为所述图像采集设备的内参，“*”表示矩阵相乘，r1是旋转角度a1对应的旋转矩阵；根据所述标定板的初始位姿信息pb、所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转角度a2，将所述标定板中的目标原始特征f0投影至所述实景图像p2中，得到投影特征f4＝k*(p0*r2)*pb*f0，r2是旋转角度a2对应的旋转矩阵。7.根据权利要求1所述的方法，其特征在于，所述旋转轴与激光雷达采集设备刚性连接，在所述图像采集设备采集目标实景图像的情况下，所述激光雷达采集设备采集所述目标实景图像对应的目标点云数据；所述方法还包括：响应于交互操作，不断对激光雷达采集设备与图像采集设备之间的相对位姿信息进行赋值；基于所述赋值后的相对位姿信息，结合所述旋转轴与所述图像采集设备之间的目标相对位姿信息，将所述目标点云数据投影至图像坐标系，得到投影点云数据，直至所述投影点云数据与所述目标实景图像对齐；在所述投影点云数据与所述目标实景图像对齐的情况下，将对所述激光雷达采集设备
与图像采集设备之间的相对位姿信息进行的赋值作为所述激光雷达采集设备与图像采集设备之间的目标相对位姿信息。8.一种图像采集设备与旋转轴的标定装置，其特征在于，所述图像采集设备与所述旋转轴刚性连接，且均处于目标空间对象中，所述装置包括：采集模块、估计模块、确定模块、投影模块、构建模块以及优化模块；所述采集模块，用于在所述旋转轴处于旋转角度a1和旋转角度a2时，基于所述图像采集设备分别采集包含标定板的实景图像p1和实景图像p2，所述标定板上具有至少四个原始特征f，每个原始特征f在所述实景图像p1和所述实景图像p2中均对应有图像特征，所述标定板具有目标位姿信息；所述估计模块，用于根据所述至少四个原始特征f及其在实景图像中对应的图像特征，对所述标定板与所述图像采集设备进行位姿估计，得到所述标定板与所述图像采集设备之间的相对位姿信息t0；所述确定模块，用于基于所述图像采集设备与所述旋转轴的初始位姿信息p0、所述旋转轴的旋转角度和所述相对位姿信息t0，确定所述标定板的初始位姿信息pb；所述投影模块，用于将所述标定板中的目标原始特征f0分别投影至所述实景图像p1和所述实景图像p2上，得到投影特征f3和投影特征f4，所述目标原始特征f0是所述标定板中的任意一个原始特征；所述构建模块，用于基于所述目标原始特征f0在所述实景图像p1中对应的目标图像特征f10，以及在所述实景图像p2中对应的目标图像特征f20、所述投影特征f3和所述投影特征f4，分别建立该目标原始特征f0对应的重投影误差e1＝f10-f3和重投影误差e2＝f20-f4；所述优化模块，用于基于所述重投影误差e1和所述重投影误差e2的平方和建立待优化的误差函数，对所述待优化的误差函数进行迭代优化，得到优化后所述图像采集设备与所述旋转轴之间的目标相对位姿信息，以实现所述图像采集设备与所述旋转轴之间的标定。9.一种图像采集设备与旋转轴的标定设备，其特征在于，包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，与所述存储器耦合，用于执行所述计算机程序，以实现权利要求1-7中任一项所述方法中的步骤。10.一种存储有计算机程序的计算机可读存储介质，其特征在于，当所述计算机程序被处理器执行时，致使所述处理器实现权利要求1-7中任一项所述方法中的步骤。

技术总结
本申请实施例提供一种图像采集设备与旋转轴的标定方法、装置及存储介质。在本申请实施例中，图像采集设备与旋转轴刚性连接，在两个旋转角度分别采集包含标定板的图像并提取图像特征，基于标定板的初始位姿信息和旋转轴与图像采集设备的初始位姿信息，将标定板的原始特征投影至图像上得到投影特征，基于投影特征和图像特征建立重投影误差并构建误差函数，对误差函数进行迭代优化直至收敛，得到优化后旋转轴与图像采集设备的相对位姿信息。其中，充分利用了图像采集设备的运动特性，基于投影特征和图像特征建立重投影误差并构建误差函数，可以提高算法的稳定性，提高图像采集设备和旋转轴标定的准确率。和旋转轴标定的准确率。和旋转轴标定的准确率。


技术研发人员：李瑜杰
受保护的技术使用者：北京城市网邻信息技术有限公司
技术研发日：2023.06.28
技术公布日：2023/9/9