一种应用在复杂交通环境基于Transformer的实时图像拼接方法

一种应用在复杂交通环境基于transformer的实时图像拼接方法
技术领域
1.本发明涉及图像匹配技术领域，特别涉及一种应用在复杂交通环境基于transformer的实时图像拼接方法。


背景技术：

2.弱纹理等复杂环境一直以来是计算机视觉领域具有挑战性的问题，由于弱纹理表面本身缺少丰富的纹理信息,其像素邻域的灰度分布具有相似性,因而像素点可分性较差。图像拼接目前最为主流的方法是基于特征点的特征提取方法。常用的特征点提取方法有sift、surf和orb等。这些算法基于灰度梯度的特征提取算子在弱纹理等复杂交通环境不再适用，de-maeztu等人和chen提出了一种基于能量函数优化的方法,通过平滑约束项实现了对弱纹理区域匹配准确率的提升,然而在对于大面积的弱纹理区域而言,其配准错误率仍然较高.jiang等人尝试通过颜色分割的方式实现小面积的弱纹理区域配准，但是该方法依赖于颜色分割的精度,同时当弱纹理区域面积较大时其准确率不高.magicpoint第一批成功的基于深度学习的局部特征提取方法，它们采用基于检测器的手工设计方法，取得了比传统方法优异的效果。superpoint建立在magicpoint基础上，提出了一种通过单应性自适应的自监督训练方法,利用神经网络学习待配准图像之间进行图像变换的映射关系，成为基于cnn结构的学习方法中最好的之一。superglue提出了一种基于学习的局部特征匹配的方法，通过求解可微分最优化转移问题(optimal transport problem)来解决，损失函数由gnn来构建。由于特征匹配中的先验因素可以通过数据驱动的方法来学习，superglue取得了令人印象深刻的性能。然而，作为一种依赖检测器的方法，它仍然难以在弱纹理区域检测到一定数量可重复的兴趣点。loftr方法使用自注意和交叉注意转换层来寻找图像中的特征点匹配。transformer的全局接受域使该方法即使在图像的弱纹理区域也能检测到稀疏的特征对应，而上述基于描述符的方法通常无法检测到这些特征差异。但是transformer网络由于计算的二次复杂度，需要大量的计算资源来进行训练和推断。因此，要使transformer适应在计算资源有限的低端设备上是困难的。
3.现有技术的不足之处在于，目前的图像拼接方法在复杂环境下的图像处理速度慢，匹配精度差的问题。传统图像拼接方法在匹配环节误差会保留并逐渐累积从而严重制约最终拼接结果，并且在纹理不良、重复模式、光照变化等复杂场景下即使有完美的描述，也找不到正确的对应。


技术实现要素：

4.本发明的目的克服现有技术存在的不足，为实现以上目的，采用一种应用在复杂交通环境基于transformer的实时图像拼接方法，以解决上述背景技术中提出的问题。
5.一种应用在复杂交通环境基于transformer的实时图像拼接方法，包括以下步骤：
6.步骤s1、获取复杂交通环境下的图像数据，得到数据集；
7.步骤s2、基于transformer结构构建图像拼接模型，并输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果；
8.步骤s3、利用kmeans算法对图像匹配结果进行特征点筛选，并基于统一坐标系进行图像初步拼接结果；
9.步骤s4、最后对得到的图像初步拼接结果进行高斯融合各图像层，得到最终的实时图像拼接结果。
10.作为本发明的进一步的方案：所述步骤s1中的具体步骤包括：
11.基于纹理不良、重复模式，以及光照变化的复杂交通环境下采集图像数据形成数据集，并按照预设比例对数据集进行划分。
12.作为本发明的进一步的方案：所述步骤s2中的具体步骤包括：
13.基于transformer结构构建图像拼接模型，利用自注意力机制对输入图像动态的调整感受野获取全局有效信息；
14.同时基于知识迁移的方法降低transformer结构的复杂度，输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果。
15.作为本发明的进一步的方案：所述基于知识迁移的方法降低transformer结构的复杂度的具体步骤包括：
16.基于迁移学习中的知识蒸馏方法建立知识蒸馏模型，将transformer结构模型压缩，并利用已经训练的复杂的teachermodel模型，指导一个较轻量的studentmodel模型训练，减小模型大小和计算资源；
17.同时对所有模型块中较少的层进行迭代选择；
18.基于kullback-leibler散度以soft target作为全局损失函数的ld，公式为：
[0019][0020]
softmax的公式为：
[0021][0022]
式中，t为参数，p
tea
是teachermodel模型输出的soft target，p
stu
是studentmodel模型输出的soft target；
[0023]
当t＝1时，得到softmax计算；当t》1时，得到soft softmax，将teachermodel模型和studentmodel模型的最后输出均通过soft softmax处理；
[0024][0025][0026]
在训练过程中通过ld递减估计迭代选择，训练过的模型的完整损失函数l是ld和l
t
加权和：
[0027]
[0028]
l＝l
distill
.w
ld
+l
t
·wt
；
[0029]
其中，wd和w
t
为权重因子。
[0030]
作为本发明的进一步的方案：所述步骤s3中的具体步骤包括：
[0031]
利用kmeans算法优化点的方法，对获得的图像匹配结果进行特征点选择筛选；
[0032]
然后根据选择筛选的特征点计算出单应矩阵值进行像素转换，再基于统一坐标对图像重叠区域对齐和平均值的拼接，对图像进行初步拼接，得到初步拼接结果。
[0033]
作为本发明的进一步的方案：所述步骤s4中的具体步骤包括：
[0034]
根据得到的图像初步拼接结果，通过设置mask权重进行高斯融合目标各图像层，得到最终的实时图像拼接结果。
[0035]
与现有技术相比，本发明存在以下技术效果：
[0036]
采用上述的技术方案，通过引入了transformer构建了具有高精度和效率的图像拼接方法，解决现有技术手段的问题，产生更大规模和更高质量的匹配，同时通过知识迁移的方法降低了transformer的复杂度，提高算法匹配的速度。且在纹理不良、重复模式、光照变化等复杂场景能够完成高精度和效率的图像拼接，适用于低成本实时性的条件下的复杂交通场景。
附图说明
[0037]
下面结合附图，对本发明的具体实施方式进行详细描述：
[0038]
图1为本技术公开实施例的实时图像拼接方法的步骤示意图；
[0039]
图2为本技术公开实施例的图像拼接模型结构图；
[0040]
图3为本技术公开实施例的图像匹配效果图；
[0041]
图4为本技术公开实施例的图像拼接对比数据示意图；
[0042]
图5为本技术公开实施例的图像匹配效果对比图；
[0043]
图6为本技术公开实施例的拼接效果图。
具体实施方式
[0044]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
请参考图1和图2，本发明实施例中，一种应用在复杂交通环境基于transformer的实时图像拼接方法，包括以下步骤：
[0046]
步骤s1、获取复杂交通环境下的图像数据，得到数据集，具体步骤包括：
[0047]
本实施例中，通过对纹理不良、重复模式，以及光照变化等等不同的复杂交通环境下进行图像采集，并将采集的图像数据制作形成数据集，同时可依据后续训练需要设定数据集划分比例，再按照预设的划分比例对形成的数据集进行划分。
[0048]
步骤s2、基于transformer结构构建图像拼接模型，并输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果，具体步骤包括：
[0049]
传统图像拼接方法在匹配环节误差会保留并逐渐累积从而严重制约最终拼接结
果，并且在纹理不良、重复模式、光照变化等复杂场景下即使有完美的描述，也不能找到正确的对应。
[0050]
本实施例中，针对上述问题，通过引入了transformer构建图像拼接模型解决上述问题。
[0051]
步骤s21、基于transformer结构构建图像拼接模型，利用自注意力机制对输入图像动态的调整感受野获取全局有效信息，具体的，对比传统手工方法和cnn结构的深度学习方法，本发明方法能产生更大规模和更高质量的匹配结果；
[0052]
步骤s22、同时基于知识迁移的方法降低transformer结构的复杂度，输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果，具体步骤包括：
[0053]
由于transformer网络计算的二次复杂度和层中所需的内存，大多数基于transformer的方法都需要大量的计算资源来进行训练和推断。因此，要使它们适应在计算资源有限的低端设备上运行是困难的。为了解决计算复杂度高的问题，我们使用迁移学习中的知识蒸馏方法。该方法的主要思想是显著减少模型参数的数量和知识转移。同时，对所有模型块中较少的层进行迭代选择。
[0054]
基于迁移学习中的知识蒸馏方法建立知识蒸馏模型，将transformer结构模型压缩，并利用已经训练的复杂的teachermodel模型，指导一个较轻量的studentmodel模型训练，减小模型大小和计算资源；
[0055]
同时对所有模型块中较少的层进行迭代选择；
[0056]
基于kullback-leibler散度以soft target作为全局损失函数的ld，公式为：
[0057][0058]
softmax的公式为：
[0059][0060]
式中，t为参数，p
tea
是teachermodel模型输出的soft target，p
stu
是studentmodel模型输出的soft target；
[0061]
当t＝1时，得到softmax计算；当t》1时，得到soft softmax，将teachermodel模型和studentmodel模型的最后输出均通过soft softmax处理；
[0062][0063][0064]
在训练过程中通过ld递减估计迭代选择，训练过的模型的完整损失函数l是ld和l
t
加权和：
[0065][0066]
l＝l
distill
.wd+l
t
·wt
；
[0067]
其中，wd和w
t
为权重因子。
[0068]
如图3所示，图示为图像匹配效果图；
[0069]
步骤s3、利用kmeans算法对图像匹配结果进行特征点筛选，并基于统一坐标系进行图像初步拼接结果具体步骤包括：
[0070]
利用kmeans算法优化点的方法，对获得的图像匹配结果进行特征点选择筛选；
[0071]
然后根据选择筛选的特征点计算出单应矩阵值进行像素转换，再基于统一坐标对图像重叠区域对齐和平均值的拼接，对图像进行初步拼接，得到初步拼接结果。
[0072]
本实施例中，特征匹配阶段产生的匹配结果置信度更高，在弱纹理等复杂场景下产生的匹配更精确。同时匹配过程和拼接过程用时最少且拼接效果良好。
[0073]
步骤s4、最后对得到的图像初步拼接结果进行高斯融合各图像层，得到最终的实时图像拼接结果，具体步骤包括：
[0074]
根据得到的图像初步拼接结果，通过设置mask权重进行高斯融合目标各图像层，得到最终的实时图像拼接结果。
[0075]
以下为本发明设置两个不同的实验来验证本发明方法效果的过程：
[0076]
(1)图像匹配实验
[0077]
通过建立知识蒸馏模型，将transformer模型压缩。利用已经训练的复杂的teacher模型，指导一个较轻量的student模型训练，从而在减小模型大小和计算资源的同时，尽量保持模型的准确率。如图3所示，图示为图像匹配效果图，与原模型trlwam相比产生的点数减少了许多，但是准确率仍然没有变化。通过下面的在复杂场景下的拼接实验对比数据，我们可以看到蒸馏后的模型在复杂场景下仍具有很大优势。
[0078]
如下表1所示，下表1是蒸馏后的模型训练需要的计算内存和匹配时间与原模型的对比；
[0079]
表1.与原transformer模型(trlwam)对比
[0080]
processmemory(mb)match timetrlwam819295ours564716
[0081]
从表中可以看出，新的模型很大程度减少了对计算内存的损耗，并且在匹配时间上具有巨大的优势。
[0082]
(2)图像拼接实验
[0083]
我们选取了三组数据进行图像匹配和拼接对比。分别为弱纹理场景(a)、光照变化场景(b)、重复图案场景(c)等复杂交通场景。数据来源于我们实验室智能无人车辆的视觉模块采集的数据。三组数据均采集于无交通道路的荒野复杂交通场景。我们选取了传统算法中的sift算法和surf算法，sift和surf算法都是特征检测中较常用的算法，仍然被广泛应用于计算机视觉任务中。superpoint和superglue是近些年最具代表性的基于cnn结构的特征匹配方法。对于传统算法，我们采用了暴力匹配的方式寻找特征点，并用knn匹配的方式匹配特征点，然后设置mask通过透视变换进行拼接。对于superpoint+superglue的基于cnn方法，我们采用跟我们同样的融合拼接方法进行对比。
[0084]
如图4所示，图示为图像拼接对比数据示意图；
[0085]
在三组场景下，弱纹理与superpoint+superglue算法提取的点数相同，但是我们的方法在弱纹理地面提取的更多，时间更少。对比superpoint+superglue算法提取的点数，
在弱纹理环境下很少，在一些纹理较多的部分提取了同样数量的点，如图5所示，图示为图像匹配效果对比图；
[0086]
在光照变化的场景下，我们的方法提取的点数虽然没有其他方法的多，但是对于后续的拼接是足够的。并且我们在时间上仍然具有很大的优势。在重复图案场景下，我们的方法无论在匹配的数量上还是时间上都具有优势。
[0087]
表2.各算法弱纹理场景匹配结果
[0088][0089]
如图6所示，图示为拼接效果图；
[0090]
有益效果：
[0091]
本实施例中，提供了低成本实时图像拼接方法，能够在纹理不良、重复模式、光照变化等复杂场景能够完成高精度和效率的图像拼接。且通过实验结果表明，该方法可以应用于低成本实时性的条件，适合复杂交通场景下的图像拼接。同时能提高了图像拼接的准确性和实时性
[0092]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定，均应包含在本发明的保护范围之内。

技术特征：
1.一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，包括以下步骤：步骤s1、获取复杂交通环境下的图像数据，得到数据集；步骤s2、基于transformer结构构建图像拼接模型，并输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果；步骤s3、利用kmeans算法对图像匹配结果进行特征点筛选，并基于统一坐标系进行图像初步拼接结果；步骤s4、最后对得到的图像初步拼接结果进行高斯融合各图像层，得到最终的实时图像拼接结果。2.根据权利要求1所述一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，所述步骤s1中的具体步骤包括：基于纹理不良、重复模式，以及光照变化的复杂交通环境下采集图像数据形成数据集，并按照预设比例对数据集进行划分。3.根据权利要求1所述一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，所述步骤s2中的具体步骤包括：基于transformer结构构建图像拼接模型，利用自注意力机制对输入图像动态的调整感受野获取全局有效信息；同时基于知识迁移的方法降低transformer结构的复杂度，输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果。4.根据权利要求3所述一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，所述基于知识迁移的方法降低transformer结构的复杂度的具体步骤包括：基于迁移学习中的知识蒸馏方法建立知识蒸馏模型，将transformer结构模型压缩，并利用已经训练的复杂的teachermodel模型，指导一个较轻量的studentmodel模型训练，减小模型大小和计算资源；同时对所有模型块中较少的层进行迭代选择；基于kullback-leibler散度以soft target作为全局损失函数的l
d
，公式为：softmax的公式为：式中，t为参数，p
tea
是teachermodel模型输出的soft target，p
stu
是studentmodel模型输出的soft target；当t＝1时，得到softmax计算；当t>1时，得到soft softmax，将teachermodel模型和studentmodel模型的最后输出均通过soft softmax处理；
在训练过程中通过l
d
递减估计迭代选择，训练过的模型的完整损失函数l是l
d
和l
t
加权和：l＝l
disti
ll
·
w
d
+l
t
·
w
t
；其中，w
d
和w
t
为权重因子。5.根据权利要求1所述一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，所述步骤s3中的具体步骤包括：利用kmeans算法优化点的方法，对获得的图像匹配结果进行特征点选择筛选；然后根据选择筛选的特征点计算出单应矩阵值进行像素转换，再基于统一坐标对图像重叠区域对齐和平均值的拼接，对图像进行初步拼接，得到初步拼接结果。6.根据权利要求1所述一种应用在复杂交通环境基于transformer的实时图像拼接方法，其特征在于，所述步骤s4中的具体步骤包括：根据得到的图像初步拼接结果，通过设置mask权重进行高斯融合目标各图像层，得到最终的实时图像拼接结果。

技术总结
本发明公开了一种应用在复杂交通环境基于Transformer的实时图像拼接方法，包括获取复杂交通环境下的图像数据，得到数据集；基于Transformer结构构建图像拼接模型，并输入数据集进行模型训练，得到训练完成的图像拼接模型，并输出图像匹配结果；利用Kmeans算法对图像匹配结果进行特征点筛选，并基于统一坐标系进行图像初步拼接结果；最后对得到的图像初步拼接结果进行高斯融合各图像层，得到最终的实时图像拼接结果。本发明通过设计高效低成本的实时图像拼接方法，从而能够在纹理不良、重复模式、光照变化等复杂场景能够完成高精度和效率的图像拼接，可应用于低成本实时性的条件下的复杂交通场景。的复杂交通场景。的复杂交通场景。


技术研发人员：孔斌 申志伟
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：2023.06.12
技术公布日：2023/10/15