一种基于多特征匹配融合的扩展目标哈特曼波前探测方法

1.本发明属于波前探测和图像处理领域，具体涉及一种基于多特征匹配融合的扩展目标哈特曼波前探测方法。


背景技术：

2.随着激光高光束质量传输、目标识别、目标成像等自适应光学(adaptive optics简称：ao)系统应用领域的技术发展，在某些场景下，人们的观测目标也不限于最初的点目标，这些目标一般被称为扩展目标。针对扩展目标的定义，现普遍认可的是通过成像目标的像素数定义，将占据视场2/3以上面积的目标称作扩展目标。相对于天文观测，目标识别、目标成像等领域的作用对象多为运动非合作目标，且目标环境实时变化。受到相机采集影响，子孔径成像会有部分缺失、暗弱、闪烁等情况，基于相关哈特曼的波前探测将面临探测精度下降的问题。
3.关于扩展目标哈特曼波前探测，前人进行了大量研究，主要成果有：1998年，nso低阶太阳自适应系统成功应用，标志着基于相关哈特曼的扩展目标波前探测器的诞生(rao c,jiang w,ling n,et al.correlation tracking algorithms for low-contrast extended object[c]//adaptive optics systems and technology ii.international society for optics and photonics,2002,4494:245-251)；2003年，l.a.poyneer等人对基于fft和抛物线插值的相关算法进行了系统研究，提出了将相关算法拓展应用到太阳以外的扩展目标的波前探测思路，当子图像之间的相对偏移量为0时，推出相关函数的插值误差公式，得到简洁结果(poyneerla.scene-based shack-hartmann wave-front sensing:analysis and simulation[j].applied optics,2003,42(29):5807-5815)；2005年，该团队在加州白天炎热的天气下，在柏油路上方1至2米处，对水平方向100米的扩展目标进行了畸变波前探测实验，该实验证实了相关哈特曼波前探测器用于水平扩展目标波前检测的可行性(poyneer la,palmer d w,lafortune k n,et al.experimental results for correlation-based wavefront sensing[c]//advanced wavefront control:methods,devices,andapplications iii.international society for optics and photonics,2005,5894:58940n)；2019年，中国科学院长春光学精密机械与物理研究所王娅雯等人提出了伽马变换相关算法和梯度互相关算法，有效解决低对比度扩展目标的波前探测精度低和特征接壤视场边缘目标探测精度低的问题(王娅雯.基于扩展目标的相关哈特曼波前探测方法研究[d].中国科学院大学(中国科学院长春光学精密机械与物理研究所),2019)。
[0004]
分析已有的相关哈特曼扩展目标的波前探测研究，如何从图像多特征匹配融合与相关算法相结合的角度去提高探测精度，国内外还未见相关报道。本发明提供一种基于多特征匹配融合的扩展目标哈特曼波前探测方法。该方法通过特征点检测、匹配、提取后进行相关运算得到波前重构所需的子孔径偏移量。本发明将相关算法和图像匹配相结合，实现了扩展目标哈特曼探测中波前重构残差的减少。流程简单、稳定，易实现。


技术实现要素：

[0005]
本发明拟解决的技术问题：哈特曼波前探测扩展目标时，子孔径成像会有部分缺失、暗弱、闪烁的情况导致探测精度下降。针对这一问题，提出一种利用参考、子孔径图像匹配的方法，确保在复杂环境下波前探测中实现更高精度和稳定性。
[0006]
本发明要解决其技术问题所采用的技术方案是：一种基于多特征匹配融合的扩展目标哈特曼波前探测方法，该方法包括如下步骤：
[0007]
步骤1)从子孔径单元为(2p-1)
×
(2p-1)或2p
×
2p的哈特曼传感器上获取子孔径图像阵列，单孔径图像大小为n
×
n个像素，单像素灰度值用表示，是单子孔径图像中心像素点与参考图像i中心像素点在横纵两个方向上的偏移，将哈特曼子孔径阵列的中心子孔径作为参考图像i的选取位置，该子孔径对应行数和列数均为p，参考图像i在中心子孔径内的通常选取3/4视场大小占比面积来获得，占比、位置可根据实际不同扩展目标在哈特曼子孔径中所占像素数、子孔径图像背景情况进行调整，参考图像i的像素大小为m
×
m，n≥m，单像素灰度值用ir(x,y)表示，参考图像和子孔径图像的像素灰度值数据格式转换为double类型，而后进行归一化处理即单像素灰度值除以整幅图像的最大灰度值，使灰度值范围在[0,1]之间；
[0008]
步骤2)将参考图像和各子孔径图像分别进行关键点检测，为关键点赋予方向，进而构建关键点的描述符产生关键区域，而后进行两者的关键区域匹配以生成特征区域。
[0009]
步骤3)参考图像、子孔径图像特征匹配后得到的特征区域，一一对应利用归一化相关算法(normalized cross-correlation后文用ncc表示)计算得到的归一化相关系数矩阵，相关计算公式如(1)所示，其中为参考图像特征点像素集平均灰度值，为单子孔径图像像素集平均灰度值。相关系数矩阵元素中的最大值，取每对匹配得到的相关矩阵的最大值所在位置的平均值，即为该子孔径偏移量。
[0010][0011]
进一步地，步骤2)所述的关键点检测、关键区域匹配方法不仅限于尺度不变特征变换匹配算法(scale invariant feature transform简称sift)，也可以是加速稳定特征算法(speeded up robust features简称surf)、基于主成分分析的尺度不变特征变换匹配算法(principal componentanalysis-scale invariant feature transform简称pca-sift)。
[0012]
进一步地，步骤3)中得到特征点集后求得各点集偏移量后求平均值，也可以选择加大特征点集的灰度值权重，直接求得整体偏移量。
[0013]
本发明与现有技术相比具有如下优点：
[0014]
1、本发明在扩展目标波前探测中，在子孔径图像采集部分缺失、暗弱、闪烁等背景环境下，能有效提高ncc算法的相关函数峰值位置的计算精度，波前复原残差rms(均方根值：root mean square)与pv值(峰值与谷值的差值：peakto valley)得到改善；
[0015]
2、本发明将图像匹配融合与相关算法相结合，在不增加系统硬件复杂度的情况下，有效提升波前复原精度，为图像匹配应用于波前探测提供了一种技术选择；
[0016]
3、本发明通过特征点匹配、提取的方法，一定程度上降低了波前探测光学系统硬件的要求，提升了系统应对探测扩展目标的环境适应能力。
附图说明
[0017]
图1为本发明中的图像匹配方法对一个扩展目标探测的操作流程；
[0018]
图2为扩展目标四翼无人机；
[0019]
图3为参考图像和某一子孔径各自特征点检测情况；
[0020]
图4为参考图像和缺失内容子孔径特征点提取、匹配结果；
[0021]
图5为13
×
13子孔径成像结果；
[0022]
图6为波前重构的波面图，其中，图6(a)为zernike像差，图6(b)为重构像差，图6(c)为重构残差；
[0023]
图7为图像特征提取下的高斯金字塔；
[0024]
图8为探测四翼无人机特征提取下的波前重构过程；
[0025]
图9为本发明中的图像匹配方法对一个扩展目标探测的具体操作流程图。
具体实施方式
[0026]
下面结合附图以及具体实施方式进一步说明本发明。
[0027]
针对某扩展目标波前探测系统，扩展目标为六翼无人机，子孔径单元数为13
×
13，单孔径图像大小为64
×
64个像素。
[0028]
如图1和图8所示，本发明的一种基于多特征匹配融合的扩展目标哈特曼波前探测方法的具体实施方法如下：
[0029]
步骤1)探测如图2所示的四翼无人机，从子孔径单元为13
×
13的哈特曼传感器上获取子孔径图像阵列，将哈特曼子孔径阵列中心的子孔径(该子孔径对应行数和列数均为6)作为参考图像的选取位置，单像素灰度值用表示，是单子孔径图像中心像素点与参考图像中心像素点在横纵两个方向上的偏移，参考图像i在中心子孔径内横纵两个方向的起始位置坐标值与中心子孔径在横纵方向的像素大小的比值为0.8/6，参考图像i在横纵两个方向上的像素大小占中心子孔径在横纵方向的像素大小的比值为4.5/6，得到参考图像i的像素大小为48
×
48，单像素灰度值用ir(x,y)表示。优选的，如图9所示，相关哈特曼波前传感器采集得到扩展目标子孔径图像取中心子孔径图像3/4大小作为参考图像。
[0030]
步骤2)这里使用sift特征提取匹配算法，将参考图像ir(x,y)与高斯卷积核卷积得lr(x,y,σ)，
[0031]
l(x,y,σ)＝i(x,y)*g(x,y,σ)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0032][0033]
其中，g(x,y,σ)是尺度可变的高斯核函数,σ在高斯函数中为正态分布的标准差，*为卷积运算。通过不同尺度的高斯核对原始图像进行卷积，卷积过后得到最下方的octave1图组。而高斯金字塔上方的octave2图组是由octave1图组进行隔点取点下采样后，再用不同尺度的高斯核进行卷积得到的，如图7所示。参考、子孔径图像分别构建高斯差分金字塔，
二维图像i(x,y)的高斯差分金字塔尺度空间d(x,y,σ)表示为：
[0034]
d(x,y,σ)＝dog*i(x,y)＝l(x,y,kσ)-l(x,y,σ)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0035]
其中，dog算子是高斯函数的差分。得到参考、子孔径图像尺度空间dr(x,y,σ)、da(x,y,σ)；
[0036]
步骤3)寻找dog函数的极值点后对尺度空间dog函数进行曲线拟合。利用dog函数在尺度空间的泰勒展开式，即：
[0037][0038]
其中，t为转置，d及其导数在样本点x0处计算，x＝(x,y,σ)
t
为相对x0的偏移量，将此二阶泰勒展示作为dog函数的近似，对其求导并令导数为零，则可以得到极值点位置的偏移量即：
[0039][0040][0041]
当偏移量的任一维度上大于0.5，改变当前关键点的位置，同时在新的位置上反复插值直到收敛。如果超出所设定的迭代次数或者超出图像边界的范围，则删除该点。其次，的极值点也被舍去。
[0042]
步骤4)消除边缘效应，提高特征点稳定性。求得主曲率(二阶方向导数极大值)2
×
2hessian矩阵：
[0043][0044]
d值由邻点像元的差分得到。h的特征值与d的主曲率成正比。
[0045]
设λ为hessian矩阵的特征值。令λ
max
＝α,λ
min
＝β，可以得到：
[0046][0047]
当r＝1时，即两个特征值相等时，直接舍去x点。对于主曲率比值r大于10的特征点也舍去，其它特征点将被保留；
[0048]
步骤5)方向分配。根据检测到的特征点的局部图像属性求得一个方向基准。使用图像梯度方向求取该局部结构的稳定方向。对于已经检测到的特征点，已知该特征点的尺度值σ，根据这一尺度值，求得最接近这一尺度值的高斯图像，对于特征点l(x,y,σ)，其梯度为：
[0049][0050]
梯度的幅值和辐角为：
[0051]
[0052]
θ(x,y)＝tan-1
((l(x,y+1)-l(x,y-1))/(l(x,y+1)-l(x,y-1)))
ꢀꢀꢀꢀꢀ
(12)
[0053]
根据尺度采样的3σ原则，以特征点为中心，计算3
×
1.5σ半径区域所有点梯度的幅值与辐角。将以上计算的特征点邻域梯度幅值根据梯度方向统计成直方图，梯度方向直方图的横轴是梯度方向角，纵轴是梯度方向角对应的梯度幅度累加值。方向直方图将360
°
方向分为36个bins，每个bin代表10
°
。直方图的峰值代表了该特征点邻域内图像梯度的主方向。每个加入梯度直方图的采样点梯度幅值都要进行权重处理，加权采用圆形高斯加权函数；
[0054]
步骤6)采用图像像素坐标系，与关键点梯度方向的夹角为θ。则对于图像坐标系中的点(x,y)，在旋转后关键点坐标系中表示为(x',y')，相当于逆时针旋转θ，顺时针旋转-θ，它们之间的转换关系用下式来表示：
[0055][0056]
随后计算梯度方向直方图，在每一个4
×
4的窗口内，计算梯度幅值和方向，将方向统计为8个bins的直方图。每个bin代表一个范围方向，梯度方向在0-44
°
之间的加入第一个bin，45-89
°
之间的加入第二个bin，以此类推。
[0057]
步骤7)特征匹配。特征点的匹配是通过两点集合内关键点描述子的比对来完成，相似程度用欧式距离描述。
[0058]
步骤8)参考图像、子孔径图像特征匹配后如图3所示得到的特征点，一一对应利用归一化相关算法计算得到的系数矩阵，相关系数计算公式如式(14)所示，其中为参考图像特征点像素集平均灰度值，为单子孔径图像像素集平均灰度值。相关系数矩阵元素中的最大值，取每对匹配得到的相关矩阵的最大值所在位置的平均值，即为该子孔径偏移量。
[0059][0060]
步骤9)得到相关哈特曼子孔径质心偏移量，用模式法复原波前并计算复原波前和待校正波前的复原残差。某一重构图如图6所示，其中，图6(a)为zernike像差，图6(b)为重构像差，图6(c)为重构残差。
[0061]
本实施方案中，对于扩展目标，扩展度背景变化会影响到波前重构精度。内容部分缺失如图5的情况，背景暗弱、闪烁等使得目标在子孔径图像中的灰度值改变，当缺失内容占比1/16子孔径视场时，仿真中的复原残差rms和pv均值分别增大了44.2％和50.4％，通过特征点提取匹配计算平均子孔径偏移量，复原残差rms和pv均值分别减小了6.7％和5.4％。
[0062]
步骤9所述的波前复原算法还可以是区域法等。
[0063]
本发明说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

技术特征：
1.一种基于多特征匹配融合的扩展目标哈特曼波前探测方法，其特征在于，实现步骤如下：步骤1)从子孔径单元数为(2p-1)
×
(2p-1)或2p
×
2p的哈特曼传感器上获取子孔径图像阵列，(p,p)即为哈特曼中心子孔径的坐标，p的取值根据实际传感器子孔径单元数确定，单孔径图像大小为n
×
n个像素，单像素灰度值用表示，是单子孔径图像中心像素点与参考图像i中心像素点在横纵两个方向上的偏移，中心子孔径作为参考图像i的选取位置，该子孔径对应行数和列数均为p，参考图像i的像素大小为m
×
m，n≥m，单像素灰度值用i
r
(x,y)表示，而后进行归一化处理即单像素灰度值除以整幅图像的最大灰度值，使灰度值范围在[0,1]之间；步骤2)将参考图像和各子孔径图像分别进行关键点检测，为关键点赋予方向，进而构建关键点的描述符产生关键区域，而后进行两者的关键区域匹配以生成特征区域；步骤3)参考图像、子孔径图像特征匹配后得到的特征区域，一一对应利用归一化相关算法(normalized cross-correlation后文用ncc表示)计算得到归一化相关系数矩阵，归一化相关系数计算公式如式(14)所示，其中为参考图像特征区域像素集平均灰度值，为单子孔径图像特征区域像素集平均灰度值，相关系数矩阵元素中的最大值，取每对匹配得到的相关矩阵的最大值所在位置的平均值，相关系数矩阵元素最大值所在位置与初始定标位置的差值，即为该对匹配特征区域的偏移量，求得每对匹配特征区域的偏移量的平均值，即为波前复原所需的子孔径偏移量，步骤4)得到相关哈特曼子孔径质心偏移量，用模式法复原波前并计算复原波前和待校正波前的复原残差。2.根据权利要求1所述的一种基于多特征匹配融合的扩展目标哈特曼波前探测方法，其特征在于，步骤2)所述的关键点检测、关键区域匹配方法不仅限于尺度不变特征变换匹配算法(scale invariant feature transform简称sift)，也可以是加速稳定特征算法(speeded up robust features简称surf)、基于主成分分析的尺度不变特征变换匹配算法(principal component analysis-scale invariant feature transform简称pca-sift)。3.根据权利要求1所述的一种基于多特征匹配融合的扩展目标哈特曼波前探测方法，其特征在于，步骤3)中得到特征点集后求得各点集偏移量后求平均值，也可以选择加大特征点集的灰度值权重，直接求得整体偏移量。

技术总结
本发明提供一种基于多特征匹配融合的扩展目标哈特曼波前探测方法。该方法通过特征点检测、匹配、提取，获得扩展目标图像的多个特征区域；然后分别用每个特征区域与参考图像对应特征区进行相关运算，计算该特征区相对于参考图像对应特征区的位置偏移；将所有特征区位置偏移的平均值作为波前重构所需子孔径偏移量。本发明将相关算法和图像匹配相结合，减少扩展目标哈特曼探测中波前重构残差，可有效提升扩展目标相关哈特曼波前探测的稳定性和精度。该方法流程简单且易实现，为扩展目标波前探测系统更好地应用于天文观测、目标识别、目标成像等波前探测领域提供技术支撑。等波前探测领域提供技术支撑。等波前探测领域提供技术支撑。


技术研发人员：谭毅 温淋雄 周悦 王帅 杨平
受保护的技术使用者：中国科学院光电技术研究所
技术研发日：2023.05.22
技术公布日：2023/8/21