一种基于动态匹配和绝对中位差的线特征匹配方法

1.本发明涉及图像处理和导航定位领域，具体为一种基于动态匹配和绝对中位差的线特征匹配方法。


背景技术：

2.图像匹配算法是根据不同视角或者不同传感器获得的图像，提取图像中的相关信息，如纹理、灰度、结构等的相似性，通过一定的匹配算法将两幅或者多幅图像进行匹配。高精度的图像匹配和低的时间计算成本能够很好地应用在visual slam导航系统中。
3.图像匹配算法主要可分为以灰度和特征为基础的图像匹配方法。其中基于特征的匹配算法，对图像中的物体旋转、光照变化和遮挡等方面具有更好的鲁棒性。基于灰度信息的图像匹配算法，一般通过利用相关函数、协方差函数等测量极值进行匹配，能够获得较高的匹配精度。由于灰度信息对光照变化敏感，因此基于特征的图像匹配作为当前主流的研究方法。
4.sift由于其旋转和尺度不变性等，受到研究者们广泛的关注，常用于图像特征匹配，但是在sift特征点提取过程中占用了很长的时间，因此导致匹配时间较长，难以进行实时性的应用。最近提出的orb特征点，不仅具有sift的旋转、尺度不变性等性质，而且具有较低的时间成本，能够快速地得到精确图像特征匹配，因此研究者们将其应用在visual slam当中，得到很好的效果。但是针对于点特征，当环境中的点特征缺乏或者分布不均匀时，难以提取到能够准确代表环境信息的高质量的特征，从而无法获得高精度的图像匹配，难以在实际中得到应用。而且目前大多数的基于特征的图像匹配算法难以同时满足较高的实时性和准确性，且随着光照的变化、特征分布不均匀、以及动态遮挡的场景的出现，图像特征匹配出现较高的错误率，难以在实际应用中得到良好的表现。


技术实现要素：

5.为解决上述技术问题，本发明提出了一种基于动态匹配和绝对中位差的线特征匹配方法，在遮挡、光照变化、视角改变场景中实现高精度且实时的图像特征匹配。
6.为实现上述目的，本发明采取的技术方案是：
7.一种基于动态匹配和绝对中位差的线特征匹配方法，具体步骤如下：
8.1)通过车载rgb-d相机采集rgb图像作为输入的视觉图像,针对当前输入的rgb图像，使用edlines线特征提取算法检测线特征；
9.2)对所提取的线特征进行参数化，获取两组线特征集合；
10.3)沿着每条线特征采样nl个均匀间隔的离散关键点，基于该离散关键点对线特征进行描述；
11.4)使用动态规划算法对前后帧提取的线特征进行数据关联，获取动态匹配结果；
12.5)利用绝对中位差方法估算所有线特征匹配的位移变化标准差，对动态匹配结果进行优化，获取最终高质量的线匹配对。
13.作为本发明进一步改进，所述的步骤2)中线特征参数化方法如下：
14.基于edlines检测器，从参考图像i1和当前图像i2中提取的两组线特征为：
15.l1＝{1li|1li＝(1g
i,0
,1g
i,1
),i＝1,2,
…
,m1}
16.l2＝{2lj|2lj＝(2g
j,0
,2g
j,1
),j＝1,2,
…
,m2}
17.其中，m1和m2分别表示图像i1和i2中线特征的提取数量，(1g
i,0
,1g
i,1
)和(2g
j,0
,2g
j,1
)分别表示i1中线特征1li和i2中线特征2lj的端点。
18.作为本发明进一步改进，所述的步骤3)中线特征描述方法如下：
19.针对两组线特征，即l1和l2，沿着每条线特征采样n
l
个均匀间隔的点，包括两个端点，这意味着检测到的线特征被描述为一系列离散关键点，为此，获得了沿着线1li和2lj采样的两个点序列：
[0020]1qi＝{1q
i,t
|t＝1,2,
…
,n
l
}
[0021]2qj＝{2q
j,t
|t＝1,2,
…
,n
l
}
[0022]
这种线描述策略提高对遮挡，视角改变和端点缩短的鲁棒性，即使部分线被遮挡，非遮挡部分上的关键点也会存储足够的线特征细节。
[0023]
作为本发明进一步改进，所述的步骤4)中，动态匹配是通过动态规划算法灵活匹配两个关键点序列，以寻找最佳关键点对应关系来实现的，具体过程如下：
[0024]
1)通过沿着每条线特征均匀采样6个关键点对线特征进行描述，每个关键点之间保持7个像素的最小距离；
[0025]
2)基于关键点描述子，将i1中线特征的关键点序列依次与i2中线特征的关键点序列进行动态匹配，在动态匹配过程中，当匹配两个关键点序列时，每个点可以匹配到另一个点，也可以跳过另一个点，两个点的匹配得分取决于它们描述符的相似度，因此相似度越高得分越高，当跳过一个点时，会受到0.01差距分数的惩罚，以便调整跳过相似度低的点，去更好地匹配相似度高的点；
[0026]
3)线特征匹配的总得分是线特征上的关键点的所有跳过和匹配操作的总和，通过动态规划算法逐行填充分数矩阵，最大化总得分：
[0027][0028]
s(t1,t2)＝max{s(t1-1,t2)+gap,s(t1,t2-1)+gap,s(t1-1,t2-1)+1/simh(1d
i,t1
,2d
j,t2
)}
[0029]
其中，1d
i,t1
和2d
j,t2
分别表示关键点1q
i,t1
和2q
j,t2
的描述符，simh(1d
i,t1
,2d
j,t2
)表示通过汉明距离测量的描述符之间的相似度，表示异或运算符；
[0030]
4)一旦矩阵s被填充，网格中的最高分数被选择作为候选线对1li和2lj的匹配分数，最后，将图像i1中检测到的每条线与图像i2中具有最大匹配分数的线进行匹配。
[0031]
作为本发明进一步改进，所述的步骤5)中，绝对中位差方法如下：
[0032]
1)假设动态匹配的结果集为：
[0033]
lm＝{(1l
h(d)
,2l
f(d)
),d＝1,2,...,nm}
[0034]
其中(1l
h(d)
,2l
f(d)
)表示一对匹配线，h(d)∈[1,m1],f(d)∈[1,m2]，nm表示线特征匹配的数量，这些匹配线的中点为：
[0035][0036]
2)针对lm中的每对匹配线中点，一个旋转角度计算为：
[0037][0038]
3)考虑所有匹配线段的中点旋转角度，φ＝{φ1,
…
,φ
nm
}，绝对中位差被定义为：
[0039]
mad＝median(|φ
d-median(φ)|)
[0040]
其中，median(
·
)为中值函数，φ的标准差为σ＝1.4286*mad
[0041]
4)基于φ的平均值，即mean(φ)，真实和虚假线匹配之间的单个阈值函数被描述为：
[0042][0043]
匹配线段满足true，则保留该线特征匹配；匹配线段满足false，则将其剔除。
[0044]
采用上述技术方案带来的有益效果：
[0045]
本发明所提出的一种基于动态匹配和绝对中位差的线特征匹配方法，首先通过关键点对应的结果来动态匹配线特征，然后利用基于旋转一致性约束的绝对中位差来细化线特征的匹配质量。该方法在遮挡、低纹理、旋转、视点和外观变化的特殊场景中，有效的提高线特征匹配精度，减少图像匹配时间。
附图说明
[0046]
图1为本发明中基于动态匹配和绝对中位差的线特征匹配方法的系统流程图；
[0047]
图2a为本发明中线特征构建关键点对应关系表达示意图；
[0048]
图2b为本发明中填充动态匹配的分数矩阵表达示意图；
[0049]
图3为本发明中具有视角改变和遮挡场景的图像线特征匹配结果示意图。
具体实施方式
[0050]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0051]
参照图1所示，本发明中线特征匹配方法主要包括四个阶段，线特征参数化、线特征描述、动态匹配和绝对中位差估算。
[0052]
本发明的基于动态匹配和绝对中位差的线特征匹配方法，具体包括：
[0053]
1)通过车载rgb-d相机采集rgb图像作为视觉输入图像。针对当前输入的rgb图像，使用edlines线特征提取算法检测线特征。
[0054]
2)对所提取的线特征进行参数化，获取两组线特征集合。
[0055]
3)沿着每条线特征采样n
l
个均匀间隔的离散关键点，基于该离散关键点对线特征进行描述。
[0056]
4)使用动态规划算法对前后帧提取的线特征进行数据关联，获取动态匹配结果。
[0057]
5)利用绝对中位差方法估算所有线特征匹配的位移变化标准差，对动态匹配结果进行优化，获取最终高质量的线匹配对。
[0058]
首先，基于edlines检测器，从参考图像i1和当前图像i2中提取的两组线特征为：
[0059]
l1＝{1li|1li＝(1g
i,0
,1g
i,1
),i＝1,2,
…
,m1}
[0060]
l2＝{2lj|2lj＝(2g
j,0
,2g
j,1
),j＝1,2,
…
,m2}
[0061]
其中，m1和m2分别表示图像i1和i2中线特征的提取数量，(1g
i,0
,1g
i,1
)和(2g
j,0
,2g
j,1
)分别表示i1中线特征1li和i2中线特征2lj的端点。
[0062]
然后，针对两组线特征，即l1和l2，我们沿着每条线特征采样n
l
个均匀间隔的点(包括两个端点)，这意味着检测到的线特征被描述为一系列离散关键点。为此，获得了沿着线1li和2lj采样的两个点序列：
[0063]1qi＝{1q
i,t
|t＝1,2,
…
,n
l
}
[0064]2qj＝{2q
j,t
|t＝1,2,
…
,n
l
}
[0065]
这种线描述策略可以提高对遮挡，视角改变和端点缩短的鲁棒性，即使部分线被遮挡，非遮挡部分上的关键点也会存储足够的线特征细节。
[0066]
如图2a所示，通过动态规划算法灵活匹配两个关键点序列，以寻找最佳关键点对应关系来实现动态匹配，具体过程如下：
[0067]
1)通过沿着每条线特征均匀的采样6个关键点对线特征进行描述，每个关键点之间保持7个像素的最小距离。
[0068]
2)基于关键点描述子，将i1中线特征的关键点序列依次与i2中线特征的关键点序列进行动态匹配。在动态匹配过程中。当匹配两个关键点序列时，每个点可以匹配到另一个点，也可以跳过另一个点。两个点的匹配得分取决于它们描述符的相似度，因此相似度越高得分越高。当跳过一个点时，会受到0.01差距分数的惩罚，以便调整跳过相似度低的点，去更好地匹配相似度高的点。
[0069]
3)线特征匹配的总得分是线特征上的关键点的所有跳过和匹配操作的总和。通过动态规划算法逐行填充分数矩阵s6
×
6，以最大化总得分：
[0070][0071]
s(t1,t2)＝max{s(t1-1,t2)+gap,s(t1,t2-1)+gap,s(t1-1,t2-1)+1/simh(1d
i,t1
,2d
j,t2
)}
[0072]
其中，1d
i,t1
和2d
j,t2
分别表示关键点1q
i,t1
和2q
j,t2
的描述符，simh(1d
i,t1
,2d
j,t2
)表示通过汉明距离测量的描述符之间的相似度，表示异或运算符。
[0073]
4)如图2b所示，一旦矩阵s被填充，网格中的最高分数被选择作为候选线对1li和2lj的匹配分数。最后，将图像i1中检测到的每条线与图像i2中具有最大匹配分数的线进行匹配。
[0074]
最后，基于绝对中位差方法提升线特征匹配质量，具体如下：
[0075]
1)假设动态匹配的结果集为：
[0076]
lm＝{(1l
h(d)
,2l
f(d)
),d＝1,2,...,nm}
[0077]
其中(1l
h(d)
,2l
f(d)
)表示一对匹配线，h(d)∈[1,m1],f(d)∈[1,m2]。nm表示线特征匹配的数量。这些匹配线的中点为：
[0078]
[0079]
2)针对lm中的每对匹配线中点，一个旋转角度计算为：
[0080][0081]
3)考虑所有匹配线段的中点旋转角度，绝对中位差被定义为：
[0082]
mad＝median(|φ
d-median(φ)|)
[0083]
其中，median(
·
)为中值函数，φ的标准差为σ＝1.4286*mad
[0084]
4)基于φ的平均值，即mean(φ)，真实和虚假线匹配之间的单个阈值函数被描述为：
[0085][0086]
匹配线段满足true，则保留该线特征匹配；匹配线段满足false，则将该线特征匹配剔除。
[0087]
图3表示本方法在遮挡、视角改变图像上的线特征匹配结果示意图。从中可以看到，本发明方法对遮挡、视角改变等复杂场景图像具有很强的鲁棒性，可以匹配更加准确且足够数量的线特征。
[0088]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.一种基于动态匹配和绝对中位差的线特征匹配方法，具体步骤如下，其特征在于：1)通过车载rgb-d相机采集rgb图像作为输入的视觉图像,针对当前输入的rgb图像，使用edlines线特征提取算法检测线特征；2)对所提取的线特征进行参数化，获取两组线特征集合；3)沿着每条线特征采样nl个均匀间隔的离散关键点，基于该离散关键点对线特征进行描述；4)使用动态规划算法对前后帧提取的线特征进行数据关联，获取动态匹配结果；5)利用绝对中位差方法估算所有线特征匹配的位移变化标准差，对动态匹配结果进行优化，获取最终高质量的线匹配对。2.根据权利要求1所述的一种基于动态匹配和绝对中位差的线特征匹配方法，其特征在于：所述的步骤2)中线特征参数化方法如下：基于edlines检测器，从参考图像i1和当前图像i2中提取的两组线特征为：l1＝{1l
i
|1l
i
＝(1g
i,0
,1g
i,1
),i＝1,2,
…
,m1}l2＝{2l
j
|2l
j
＝(2g
j,0
,2g
j,1
),j＝1,2,
…
,m2}其中，m1和m2分别表示图像i1和i2中线特征的提取数量，(1g
i,0
,1g
i,1
)和(2g
j,0
,2g
j,1
)分别表示i1中线特征1l
i
和i2中线特征2l
j
的端点。3.根据权利要求1所述的一种基于动态匹配和绝对中位差的线特征匹配方法，其特征在于：所述的步骤3)中线特征描述方法如下：针对两组线特征，即l1和l2，沿着每条线特征采样n
l
个均匀间隔的点，包括两个端点，这意味着检测到的线特征被描述为一系列离散关键点，为此，获得了沿着线1l
i
和2l
j
采样的两个点序列：1q
i
＝{1q
i,t
|t＝1,2,
…
,n
l
}2q
j
＝{2q
j,t
|t＝1,2,
…
,n
l
}这种线描述策略提高对遮挡，视角改变和端点缩短的鲁棒性，即使部分线被遮挡，非遮挡部分上的关键点也会存储足够的线特征细节。4.根据权利要求1所述的一种基于动态匹配和绝对中位差的线特征匹配方法，其特征在于，所述的步骤4)中，动态匹配是通过动态规划算法灵活匹配两个关键点序列，以寻找最佳关键点对应关系来实现的，具体过程如下：1)通过沿着每条线特征均匀采样6个关键点对线特征进行描述，每个关键点之间保持7个像素的最小距离；2)基于关键点描述子，将i1中线特征的关键点序列依次与i2中线特征的关键点序列进行动态匹配，在动态匹配过程中，当匹配两个关键点序列时，每个点可以匹配到另一个点，也可以跳过另一个点，两个点的匹配得分取决于它们描述符的相似度，因此相似度越高得分越高，当跳过一个点时，会受到0.01差距分数的惩罚，以便调整跳过相似度低的点，去更好地匹配相似度高的点；3)线特征匹配的总得分是线特征上的关键点的所有跳过和匹配操作的总和，通过动态规划算法逐行填充分数矩阵s6×6，最大化总得分：
s(t1,t2)＝max{s(t1-1,t2)+gap,s(t1,t2-1)+gap,s(t1-1,t2-1)+1/simh(1d
i,t1
,2d
j,t2
)}其中，1d
i,t1
和2d
j,t2
分别表示关键点1q
i,t1
和2q
j,t2
的描述符，simh(1d
i,t1
,2d
j,t2
)表示通过汉明距离测量的描述符之间的相似度，表示异或运算符；4)一旦矩阵s被填充，网格中的最高分数被选择作为候选线对1l
i
和2l
j
的匹配分数，最后，将图像i1中检测到的每条线与图像i2中具有最大匹配分数的线进行匹配。5.根据权利要求1所述的一种基于动态匹配和绝对中位差的线特征匹配方法，其特征在于，所述的步骤5)中，绝对中位差方法如下：1)假设动态匹配的结果集为：lm＝{(1l
h(d)
,2l
f(d)
),d＝1,2,...,n
m
}其中(1l
h(d)
,2l
f(d)
)表示一对匹配线，h(d)∈[1,m1],f(d)∈[1,m2]，n
m
表示线特征匹配的数量，这些匹配线的中点为：2)针对lm中的每对匹配线中点，一个旋转角度计算为：3)考虑所有匹配线段的中点旋转角度，φ＝{φ1,
…
,φ
nm
}，绝对中位差被定义为：mad＝median(|φ
d-median(φ)|)其中，median(
·
)为中值函数，φ的标准差为σ＝1.4286*mad4)基于φ的平均值，即mean(φ)，真实和虚假线匹配之间的单个阈值函数被描述为：匹配线段满足true，则保留该线特征匹配；匹配线段满足false，则将其剔除。

技术总结
一种基于动态匹配和绝对中位差的线特征匹配方法，包括如下步骤：1)接收RGB-D相机采集的RGB帧作为视觉输入图像；2)使用EDLines线检测器进行线特征提取；3)通过端点对线特征进行参数化；4）基于离散关键点对参数化的线特征进行描述；5）使用动态规划算法对前后帧提取的线特征进行动态匹配；6）使用绝对中位差方法估算所有线特征匹配的位移变化标准差，并基于此对错误的或低质量的线匹配进行剔除。本发明能在遮挡，旋转以及外观改变的场景中，提取足够数量的且正确的线特征匹配。量的且正确的线特征匹配。量的且正确的线特征匹配。


技术研发人员：王远大 孙超 孙佳 孙长银
受保护的技术使用者：东南大学
技术研发日：2023.05.15
技术公布日：2023/8/16