一种基于场景特征的动平台被动式基准自构建方法

1.本发明主要涉及到雷达信号处理技术领域，尤其是一种基于场景特征的动平台被动式基准自构建方法。


背景技术：

2.在室外巡检勘测领域，需要采用无人机、无人车等运动平台采集指定范围内待测目标的图像信息，通过数据处理获得观测结果。为保证观测精度，动平台需抵近采集目标的局部信息，再通过数据融合得到目标的整体信息。由于动平台自身处于运动状态，空间位姿时刻发生变化，数据融合存在基准对齐的问题，需要构建统一的观测基准。另一方面，对于工业机器人、机械臂等室内作业的动平台，在执行任务时往往需要获得自身的位置与姿态信息，并建立与场景或目标的相对关系，在统一基准下进行运动规划。
3.基准统一是大部分动平台实现信息融合与任务规划的基础，其本质是运动平台的位姿估计，首先在场景中构建一个基准坐标系，通过位姿估计方法获得每时刻动平台相对于基准的位姿信息。传统的定位技术如gps等，受无线信号限制，难以在室内使用，且gps只能输出动平台的位置信息，缺乏姿态信息。基于单目相机的对极几何约束位姿估计方法由于缺乏深度信息，解算的位姿缺乏尺度信息。基于双目相机或深度相机的位姿估计方法解算精度受观测距离影响，稳定性较差。
4.视觉与惯导信息结合的视觉里程计方法将相机与惯性传感器结合，能够实现稳定位姿估计，但解算精度较低，对于精度要求较高的场景不适用。
5.综上所述，基准统一是大部分动平台所面临的共同需求，而现有的技术难以构建稳定、精确的统一基准。因此，研究一种适用场景广、稳定性强、解算精度高的动平台基准自构建方法十分有必要。


技术实现要素：

6.针对现有技术存在的技术问题，本发明提出一种基于场景特征的动平台被动式基准自构建方法。
7.为实现上述目的，本发明采用的技术方案如下：
8.一方面，本发明提供一种基于场景特征的动平台被动式基准自构建方法，包括：
9.根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；
10.获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；
11.基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；
12.对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点
对；
13.结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；
14.基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；
15.基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
16.进一步地，作为优选实施方式，通过以下步骤求解图像的初步相机外参估计结果，具体包括：
17.对于任一图像i，图像i为所述两幅图像中的任一幅，第i个合作标志其空间三维坐标为i＝1,2,...,n，第i个合作标志其在图像i中对应的二维图像坐标为pi(xi,yi)，根据成像关系，有：
[0018][0019]
其中si为比例因子，k为相机内参，通过相机标定获得，t为相机外参矩阵；
[0020]
构建第一目标函数t*，如下：
[0021][0022]
通过调整t，不断缩小t
*
，当t
*
达到最小值时，输出当前t即为初步相机外参估计结果。
[0023]
本发明中对于所述两幅图像，两图像对应的相机光心分别为oa和ob，对于两图像中的第j对同名特征点对其中j＝1,2,...,m，m为两图像中的同名特征点对的总对数；直线与在场景中会相交于一点mj，该点mj即两幅图像中同名特征点对所对应的三维空间特征点。
[0024]
进一步地，作为优选实施方式，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，包括：
[0025]
设为所述同名特征点对的归一化坐标，基于下式求解同名特征点对中两个特征点对应的深度值：
[0026][0027]
其中r和t分别为初步相机外参估计结果中的相机旋转矩阵和相机平移矩阵，sa,sb为待求解的同名特征点对中两个特征点对应的深度值；
[0028]
基于同名特征点对中两个特征点对应的深度值，根据成像方程推算出同名特征点对所对应的三维空间特征点的初步估计三维坐标。
[0029]
进一步地，作为优选实施方式，通过以下步骤获取优化后的相机外参估计结果和场景点云，包括：
[0030]
根据相机成像模型将各三维空间特征点mj投影至所述两幅图像像平面，分别得到三维空间特征点mj在两幅图像像平面中的图像坐标和
[0031]
构建如下重投影误差目标函数：
[0032][0033]
其中mj为待求解的优化的第j个三维空间特征点的空间坐标，[r|t]代表待求解的优化的相机外参，包括相机旋转矩阵和相机平移矩阵r,t；[ra|ta]和[rb|tb]分别为所述两幅图像对应的初步相机外参估计结果；k为相机内参，ka、kb分别为所述两幅图像对应的相机内参，通过相机标定获得；si为比例因子；为三角测量得到的第j个三维空间特征点的初步估计三维坐标；
[0034]
对所述重投影误差目标函数进行优化求解，得到当重投影误差ε(mj,k,[r|t])达到最小值时的相机外参以及三维空间特征点的空间坐标，进而得到优化后的相机外参估计结果和场景点云。
[0035]
另一方面，本发明提出一种基于场景特征的动平台被动式基准自构建装置，包括：
[0036]
初步相机外参估计模块，包括第一模块、第二模块和第三模块，其中第一模块用于根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；第二模块获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；第三模块基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；
[0037]
初始三维点云生成模块，包括第四模块和第五模块，其中第四模块用于对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；第五模块用于结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；
[0038]
优化模块，用于基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；
[0039]
动平台基准对齐模块，用于基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
[0040]
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0041]
根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作
标志的三维世界坐标；
[0042]
获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；
[0043]
基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；
[0044]
对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；
[0045]
结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；
[0046]
基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；
[0047]
基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
[0048]
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0049]
根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；
[0050]
获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；
[0051]
基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；
[0052]
对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；
[0053]
结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；
[0054]
基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；
[0055]
基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
[0056]
相比现有技术，本发明的技术效果：
[0057]
本发明解决的技术问题是动平台基准统一，本发明通过在无人机、移动机器人等运动平台上搭载被动式传感器，如单目相机，采集场景的图像数据，根据合作信息构建场景点云，再通过pnp方法进行位姿估计，实现动平台基准自构建。本发明不受无线信号的限制，仅需单目相机作为数据采集的传感器，方法灵活便利，成本低廉。本发明提出的基准自构建方法在室内与室外环境均适用，可应用于工业机器人室内作业、无人机室外巡检勘测等重
要领域，是一种兼具通用性与实用性的基准自构建方法。
附图说明
[0058]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
[0059]
图1是本发明一实施例的流程图；
[0060]
图2是本发明一实施例的场景示意图；
[0061]
图3为三角测量原理示意图；
[0062]
图4为场景点云优化原理图。
具体实施方式
[0063]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0064]
参照图1，一实施例提供一种基于场景特征的动平台被动式基准自构建方法，包括：
[0065]
s1.基于合作标志的基准构建；
[0066]
根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标。
[0067]
利用场景已知世界坐标的合作标志构建场景的基准坐标系，其中合作标志可以是人为布设。
[0068]
s2.获取两幅图像中各合作标志对应的二维图像坐标；
[0069]
选择动平台采集的图像数据中包含合作标志且交会条件较好的两幅图像，通过特征提取与识别得到两幅图像中各合作标志对应的二维图像坐标。
[0070]
s3.完成两幅图像对应的初步相机外参估计；
[0071]
基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计。
[0072]
s4.获取两幅图像中所有的同名特征点对；
[0073]
通过对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对。
[0074]
s5.对所述两幅图像中所有的同名特征点对进行三角测量，生成场景的初始三维点云；
[0075]
结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云。
[0076]
s6.优化相机外参估计结果和场景点云；
[0077]
基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云。
[0078]
s7.基于场景点云的基准对齐；
[0079]
基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
[0080]
在一实施例中以无人机为例，即所针对的动平台是指无人机，其基于场景特征的动平台被动式基准自构建的场景示意图如图1所示，由无人机完成图像数据采集之后，采用如图1所示流程实现动平台基准对齐。先利用场景已知世界坐标的合作标志构建场景的基准坐标系，获得动平台相机的图像数据以及相机内参。其中，相机内参可以通过相机标定获得。对动平台进行图像数据处理，在初始化解算，结合场景已知标志点的世界坐标，通过特征提取和pnp位姿估计得到动平台的初始位姿。通过三角测量获得场景的初始点云map，并进行ba优化；在后续解算阶段，通过特征跟踪获得特征的二维图像坐标与特征在场景点云map中三维空间坐标的关系，通过pnp方法进行位姿解算，同时进行三角测量与ba优化更新场景点云map，获得动平台在基准坐标系下的位姿信息，完成基准统一。
[0081]
在一实施例中，基于合作标志的基准构建：根据场景已知世界坐标的n个(n大于等于4)合作标志建立基准坐标系w，并获得基准坐标系下各合作标志的空间三维坐标
[0082]
在动平台图像数据集中选取两幅包含所有合作标志且交会条件较好的图像ia,ib进行初始化解算。
[0083]
对图像ia,ib进行合作标志检测识别，获得各合作标志在图像ia,ib中对应的二维图像坐标和
[0084][0085]
具体地，若合作标志为已知三维坐标的场景特征，采用特征跟踪的方法在图像ia中手动选取场景中的合作标志，通过图像匹配的方法获得图像ia中合作标志在图像ib中的二维图像坐标。
[0086]
若合作标志为人为布设的，则通过特征提取与识别的方法得到合作标志在两幅图像中对应的二维图像坐标。
[0087]
获得各合作标志的空间三维坐标和各合作标志在图像ia,ib中对应的二维图像坐标和后，通过构建pnp问题，求解在基准坐标系下两幅图像对应的初步相机外参估计。
[0088]
对于任一图像i，图像i为所述两幅图像中的任一幅(图像ia或ib)，第i个合作标志其空间三维坐标为i＝1,2,...,n，第i个合作标志其在图像i中对应的二维图像坐标为pi(xi,yi)，根据成像关系，有：
[0089][0090]
其中si为比例因子，k为相机内参，通过相机标定获得，t为相机外参矩阵。上式写成矩阵形式为：
[0091]
上式隐含了一次从齐次坐标到非齐次坐标的转换，由于相机位姿未知且观测点存在噪声，等式存在一个误差，将误差求和，构建最小二乘问题，然后寻找最好的相机外参，使误差最小化。据此，构建第一目标函数t*，如下：
[0092][0093]
通过调整t，不断缩小t
*
，当t
*
达到最小值时，输出当前t即为初步相机外参估计结果。
[0094]
对图像ia,ib同时进行上述pnp位姿估计，可得两幅图像ia,ib各自对应的基准坐标系下的的初步相机外参估计，即两幅图像ia,ib各自对应的相机旋转矩阵和相机平移矩阵ra,ta和rb,tb。
[0095]
本发明通过对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对。可以理解，本领域技术人员可以基于现有技术中任意的特征提取与匹配方法获取两幅图像中所有的同名特征点对，包括但不限于orb、sift、surf等特征匹配方法。
[0096]
本发明所述三角测量是指通过不同位置对同一个空间点进行观测，从观测到的位置推断空间点的距离。图3为三角测量的示意图，对于初始化图像ia,ib，以ia为参考，ib的变换矩阵为t，两相机光心分别为oa和ob，对于两图像中的第j对同名特征点对在理想情况下，直线与在场景中会相交于一点mj，该点mj即两幅图像中同名特征点对所对应的三维空间特征点。但由于噪声的影响，这两条直线往往无法直接相交，可以通过最小二乘法求解。
[0097]
本发明一实施例中，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，包括：
[0098]
设为所述同名特征点对的归一化坐标，基于下式求解同名特征点对中两个特征点对应的深度值：
[0099][0100]
其中r和t分别为初步相机外参估计结果中的相机旋转矩阵和相机平移矩阵，sa,sb为待求解的同名特征点对中两个特征点对应的深度值；
[0101]
基于同名特征点对中两个特征点对应的深度值，根据成像方程推算出同名特征点对所对应的三维空间特征点的初步估计三维坐标。从几何意义上来看，可以在射线上
通过最优化搜索寻找同名特征点对所对应的三维空间特征点，使其投影位置最接近可认为该三维空间特征点为同名特征点对对应的三维空间特征点的初步估计三维坐标
[0102]
对图像特征匹配得到的所有同名特征点对进行上述三角测量，可得到一组在基准坐标系下的同名特征点对对应的三维空间特征点的初步估计三维坐标，据此构建场景的初始点云。
[0103]
在一实施例中，通过以下步骤获取优化后的相机外参估计结果和场景点云，包括：
[0104]
根据相机成像模型将各三维空间特征点mj投影至所述两幅图像像平面，分别得到三维空间特征点mj在两幅图像像平面中的图像坐标和如图4所示，基准坐标系下的三维空间特征点mj在图像ia,ib上的图像坐标分别为和通过相机标定得到相机内参ka和kb。
[0105]
由于位姿估计和三角测量环节存在误差，空间特征点的投影点图像坐标与特征实际图像坐标间存在偏差，该偏差即重投影误差。ba优化也称为光束法平差，通过优化算法对相机外参以及三维空间特征点空间坐标进行优化使重投影误差达到最小值，进而获得精确的相机外参和三维空间特征点三维坐标。
[0106]
构建如下重投影误差目标函数：
[0107][0108]
其中mj为待求解的优化的第j个三维空间特征点的空间坐标，[r|t]代表待求解的优化的相机外参，包括相机旋转矩阵和相机平移矩阵r,t；[ra|ta]和[rb|tb]分别为所述两幅图像对应的初步相机外参估计结果；k为相机内参，ka、kb分别为所述两幅图像对应的相机内参，通过相机标定获得；si为比例因子；为三角测量得到的第j个三维空间特征点的初步估计三维坐标；
[0109]
对所述重投影误差目标函数进行优化求解，得到当重投影误差ε(mj,k,[r|t])达到最小值时的相机外参以及三维空间特征点的空间坐标，进而得到优化后的相机外参估计结果和场景点云。
[0110]
由于动平台运动的连续性，可认为同一个空间特征点在相邻两帧图像中的二维坐标不会发生剧烈变化，通过光流法对相邻两帧图像进行特征跟踪，得到场景点云中一部分空间特征点在当前帧图像中的二维图像坐标。利用场景点云中特征点三维坐标与图像二维坐标的对应关系，通过pnp位姿估计方法获得当前帧图像在基准坐标系下的相机位姿。同时，对场景点云和相机位姿进行ba优化，进一步优化点云和位姿的精度。
[0111]
至此，动平台任意时刻在基准坐标系w下的位姿参数r,t均已求出，完成了基准构建与基准对齐。
[0112]
本发明在动平台上搭载单目相机采集环境的图像数据，初始化阶段根据场景合作信息或人为标志构建基准坐标系，通过位姿估计、三角测量、ba优化得到场景点云，后续阶段利用场景点云进行位姿估计，完成基准对齐。
[0113]
本发明提出的方法不受无线信号的限制，通过在动平台上搭载单目相机，被动式获得环境图像数据，结合场景中的合作信息与自然特征，实现动平台基准自构建。
[0114]
一种基于场景特征的动平台被动式基准自构建装置，包括：
[0115]
初步相机外参估计模块，包括第一模块、第二模块和第三模块，其中第一模块用于根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；第二模块获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；第三模块基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；
[0116]
初始三维点云生成模块，包括第四模块和第五模块，其中第四模块用于对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；第五模块用于结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；
[0117]
优化模块，用于基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；
[0118]
动平台基准对齐模块，用于基于优化后的场景点云进行位姿估计，实现动平台基准对齐。
[0119]
上述各模块的实现方法以及模型的构建均可采用前述任一实施例的中所描述的方法，在此不再赘述。
[0120]
另一方面，本发明提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述任一实施例中所提供的一种基于场景特征的动平台被动式基准自构建方法的步骤。该计算机设备可以是服务器。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储样本数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。
[0121]
另一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一实施例中所提供的一种基于场景特征的动平台被动式基准自构建方法的步骤。
[0122]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括
随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0123]
本发明未尽事宜为公知技术。
[0124]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0125]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。
[0126]
以上所述仅为本发明的优选的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于场景特征的动平台被动式基准自构建方法，其特征在于，包括：根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；基于优化后的场景点云进行位姿估计，实现动平台基准对齐。2.根据权利要求1所述的一种基于场景特征的动平台被动式基准自构建方法，其特征在于，求解图像的初步相机外参估计结果，包括：对于任一图像i，图像i为所述两幅图像中的任一幅，第i个合作标志其空间三维坐标为第i个合作标志其在图像i中对应的二维图像坐标为p
i
(x
i
,y
i
)，根据成像关系，有：其中s
i
为比例因子，k为相机内参，通过相机标定获得，t为相机外参矩阵；构建第一目标函数t*，如下：通过调整t，不断缩小t
*
，当t
*
达到最小值时，输出当前t即为初步相机外参估计结果。3.根据权利要求1或2所述的一种基于场景特征的动平台被动式基准自构建方法，其特征在于，对于所述两幅图像，两图像对应的相机光心分别为o
a
和o
b
，对于两图像中的第j对同名特征点对其中j＝1,2,...,m，m为两图像中的同名特征点对的总对数；直线与在场景中会相交于一点m
j
，该点m
j
即两幅图像中同名特征点对所对应的三维空间特征点。4.根据权利要求3所述的一种基于场景特征的动平台被动式基准自构建方法，其特征
在于，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，包括：设为所述同名特征点对的归一化坐标，基于下式求解同名特征点对中两个特征点对应的深度值：其中r和t分别为初步相机外参估计结果中的相机旋转矩阵和相机平移矩阵，s
a
,s
b
为待求解的同名特征点对中两个特征点对应的深度值；基于同名特征点对中两个特征点对应的深度值，根据成像方程推算出同名特征点对所对应的三维空间特征点的初步估计三维坐标。5.根据权利要求权利要求3所述的一种基于场景特征的动平台被动式基准自构建方法，其特征在于，获取优化后的相机外参估计结果和场景点云，包括：根据相机成像模型将各三维空间特征点m
j
投影至所述两幅图像像平面，分别得到三维空间特征点m
j
在两幅图像像平面中的图像坐标和构建如下重投影误差目标函数：其中m
j
为待求解的优化的第j个三维空间特征点的空间坐标，[r|t]代表待求解的优化的相机外参，包括相机旋转矩阵和相机平移矩阵r,t；[r
a
|t
a
]和[r
b
|t
b
]分别为所述两幅图像对应的初步相机外参估计结果；k为相机内参，k
a
、k
b
分别为所述两幅图像对应的相机内参，通过相机标定获得；s
i
为比例因子；为三角测量得到的第j个三维空间特征点的初步估计三维坐标；对所述重投影误差目标函数进行优化求解，得到当重投影误差ε(m
j
,k,[r|t])达到最小值时的相机外参以及三维空间特征点的空间坐标，进而得到优化后的相机外参估计结果和场景点云。6.一种基于场景特征的动平台被动式基准自构建装置，其特征在于，包括：初步相机外参估计模块，包括第一模块、第二模块和第三模块，其中第一模块用于根据场景中已知世界坐标的合作标志建立基准坐标系，获得基准坐标系下各合作标志的三维世界坐标；第二模块获取动平台采集到的包含合作标志的两幅图像，得到两幅图像中各合作标志对应的二维图像坐标；第三模块基于所述两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，求解所述两幅图像对应的基准坐标系下的令重投影误差最小的相机外参，完成两幅图像对应的初步相机外参估计；初始三维点云生成模块，包括第四模块和第五模块，其中第四模块用于对所述两幅图像进行特征提取与匹配，得到所述两幅图像中所有的同名特征点对；第五模块用于结合所述两幅图像对应的初步相机外参估计结果，对所述两幅图像中所有的同名特征点对进行三角测量，估计得到两幅图像中的各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；优化模块，用于基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述
两幅图像像平面中的图像坐标构建重投影误差目标函数，求解使重投影误差达到最小值的相机外参以及三维空间特征点的三维坐标，得到优化后的相机外参估计结果和场景点云；动平台基准对齐模块，用于基于优化后的场景点云进行位姿估计，实现动平台基准对齐。7.根据权利要求6所述的一种基于场景特征的动平台被动式基准自构建装置，其特征在于，所述第三模块中，通过以下方法求解图像的初步相机外参估计结果，包括：对于任一图像i，图像i为所述两幅图像中的任一幅，第i个合作标志其空间三维坐标为第i个合作标志其在图像i中对应的二维图像坐标为p
i
(x
i
,y
i
)，根据成像关系，有：其中s
i
为比例因子，k为相机内参，通过相机标定获得，t为相机外参矩阵；构建第一目标函数t*，如下：通过调整t，不断缩小t
*
，当t
*
达到最小值时，输出当前t即为初步相机外参估计结果。8.根据权利要求6所述的一种基于场景特征的动平台被动式基准自构建装置，其特征在于，所述优化模块中，通过以下步骤获取优化后的相机外参估计结果和场景点云，包括：根据相机成像模型将各三维空间特征点m
j
投影至所述两幅图像像平面，分别得到三维空间特征点m
j
在两幅图像像平面中的图像坐标和构建如下重投影误差目标函数：其中m
j
为待求解的优化的第j个三维空间特征点的空间坐标，[r|t]代表待求解的优化的相机外参，包括相机旋转矩阵和相机平移矩阵r,t；[r
a
|t
a
]和[r
b
|t
b
]分别为所述两幅图像对应的初步相机外参估计结果；k为相机内参，k
a
、k
b
分别为所述两幅图像对应的相机内参，通过相机标定获得；s
i
为比例因子；为三角测量得到的第j个三维空间特征点的初步估计三维坐标；对所述重投影误差目标函数进行优化求解，得到当重投影误差ε(m
j
,k,[r|t])达到最小值时的相机外参以及三维空间特征点的空间坐标，进而得到优化后的相机外参估计结果和场景点云。9.计算机设备，其特征在于：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如权利要求1或2或4或5所述的一种基于场景特征的动平台被动式基准自构建方法。
10.计算机可读存储介质，其上存储有计算机程序，其特征在于：计算机程序被处理器执行时实现如权利要求1或2或4或5所述的一种基于场景特征的动平台被动式基准自构建方法。

技术总结
本发明提出一种基于场景特征的动平台被动式基准自构建方法，包括基于两幅图像中各合作标志对应的二维图像坐标以及基准坐标系下各合作标志的三维世界坐标，完成两幅图像对应的初步相机外参估计；结合两幅图像的初步相机外参估计结果，对两幅图像中所有的同名特征点对进行三角测量，估计得到各同名特征点对所对应的三维空间特征点的初步估计三维坐标，生成场景的初始三维点云；基于三维空间特征点的初步估计三维坐标以及三维空间特征点在所述两幅图像像平面中的图像坐标构建重投影误差目标函数并求解，得到优化后的相机外参估计结果和场景点云；基于优化后的场景点云进行位姿估计，实现动平台基准对齐。实现动平台基准对齐。实现动平台基准对齐。


技术研发人员：张小虎 何雨薇 诸葛盛 徐祥鹏 李楚君 杨夏
受保护的技术使用者：中山大学
技术研发日：2023.05.08
技术公布日：2023/7/7