一种无需GNSS工作的无人机全天候地理定位方法及系统与流程

一种无需gnss工作的无人机全天候地理定位方法及系统
技术领域
1.本发明涉及多源遥感数据融合技术，具体地，涉及一种基于无需gnss工作的无人机全天候地理定位方法及系统。


背景技术：

2.无人机定位技术是无人机巡检、自主导航的研究基础与关键，通常以机载全球卫星导航gnss(global navigation satellitesytem)为主并结合如惯性传感器、无线电、相机、地磁等模块的方法引导飞行，但在隧道、森林，以及作战环境中gnss信号会被密集障碍物阻拦或受电磁干扰，无法实现稳定精确的无人机定位。在复杂电磁环境gnss停止工作条件下,有限的定位能力严重阻碍了无人机的广泛应用。因此探索gnss终止条件下全天候使用的无人机定位是未来研究的热点方向之一。
3.在无法使用gnss环境中定位机器人的方法主要分为两类，第一类方法是在无人机上使用信标发射器，实时发送无人机的位置；第二类方法依赖于安装在机器人上的外部感知传感器，如采用lidar或光学成像传感器，基于相关数据进行代表性地标的视觉特征点检测，进而根据连续的三维扫描或照相机图像帧递增地计算机器人的位置。而对比基于lidar三维扫描和基于二维视觉传感器成像两类方法，明显后者具有被更普适应用的成本优势。
4.当前，在无gnss环境下进行定位的工作中，使用图像传感器获取无人机视图并与本地上传的卫星图像逐一匹配成为主流。然而当前该类方法大多无法兼顾应对不同成像条件下的定位任务，如昼夜不同光照、能见度不好的云雾天气，或者是卫星成像盲区区域下的快速配准定位。这就意味着成像数据光学特性的丰富度与匹配算法的效率决定着无人机定位系统的优劣。综上，目前的无人机无gnss定位系统无法应对现实生活中各种各样的挑战，急需一种能够面向全天候、多视角图像检索的无人机无gnss定位系统。
5.而申请号为202010686373.4的中国发明专利一种基于边缘结构信息的无人机图像与sar卫星图像的匹配方法，其技术方案具体为：首先利用传统的ratio算子对sar卫星图像的边缘进行初步的粗提取，再叠加到sar原图上对sar图像进行增强，利用卷积神经网络提取无人机光学/红外图像以及增强后的sar卫星图像的边缘图像，然后再利用新的卷积神经网络提取边缘图像的深层语义特征，然后对边缘图的深度特征进行相似度匹配，获取无人机图像和sar卫星图像的匹配热力图，最终根据热力图中值最高的区域，找到无人机图像在sar卫星图像中的位置。本发明所提供的技术方案在图像的获取与处理上采取了进一步的改进，本发明通过获取可见光图像和热红外图像进行配准、融合处理，实现在全天候获得高质量的无人机图像。


技术实现要素：

6.针对现有技术无人机定位时存在无法兼顾应对不同成像条件下的定位任务的问题，本发明提供了一种基于无需gnss工作的无人机全天候地理定位方法及系统，本发明采用的技术方案是：
7.本发明第一方面提供了一种基于无需gnss工作的无人机全天候地理定位方法，包括以下步骤：
8.s1，获取可见光图像以及热红外图像；
9.s2，对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；
10.s3，对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；
11.s4，对可见光图像以及热红外图像分别对应的最佳边缘图进行特征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；
12.s5，对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；
13.s6，所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；
14.s7，通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；
15.s8，将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；
16.s9，计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。
17.相较于现有技术，本发明方法能够充分保留可见光图像高分辨率及热红外图像夜间边界清晰优势，能够在全天候使用，同时解决热红外与可见光成像原理不一致问题。
18.作为一种优选方案，在所述步骤s1之前还包括：
19.本地上传多视角参考图像，所述多视角参考图像包含了地理坐标信息。
20.作为一种优选方案，在所述步骤s2中，所述色彩增强预处理具体为：
21.对经平滑降噪后的可见光图像进行明暗度评估计算，计算可见光图像中每个像素的颜色饱和度的平均值，若平均值低于阈值则判断图像过暗，使用基于风格迁移深度网络进行彩色化增强。
22.作为一种优选方案，所述步骤s4具体为：
23.分别对所述可见光图像以及热红外图像对应的最佳边缘图进行特征点检测和特征点初步配对，然后对初步配对结果做ransac提纯处理，最后获得可见光和热红外图像之间的变换关系；通过所述变换关系获得配准后的可见光图像以及热红外图像。
24.作为一种优选方案，所述步骤s5具体还包括以下步骤：
25.s51，对配准后的可见光图像以及热红外图像进行特征提取处理，获得多尺度特征；
26.s52，对所述多尺度特征进行图像深度结构提取处理，获得可见光图像深度结构图与热红外图像深度结构图，具体为：
[0027][0028]
其中，struct
i,,
表示structi的第c个通道的第j个像素，表示sobel算子，dec
i,,
表
示提取的多尺度特征dec的第i个尺度的第c个通道的第j个像素，表示的全局平均池化结果；
[0029]
s53，将所述可见光图像深度结构图与热红外图像深度结构图进行计算处理，获得深度图像先验知识，具体为：
[0030][0031]
其中，分别表示可见光图像和热红外图像中提取得到的图像深度结构图的第i个尺度；pi显示出的不一致性，在可见光与热红外结构一致性的区域pi为1，相反，在严重不一致的区域为0，在其他区域pi被设置为超参数λ(0《λ《1)，表示不存在显著的不一致性；
[0032]
s54，将所述深度图像先验知识与热红外图像深度结构图进行相乘处理，获得一致性的热红外图像深度结构图，具体为：
[0033][0034]
其中，pi为深度图像先验知识；
[0035]
s55，将所述一致性的热红外图像深度结构图与可见光图像深度结构图进行融合处理，获得无人机图像。
[0036]
作为一种优选方案，在所述步骤s6中，所述coa模块对输入的图像执行以下步骤：
[0037]
a1，将输入的图像输入到卷积核大小为3
×
3的卷积模块编码以生成特征图x，然后，将经过卷积核大小为1
×
1的卷积模块平滑后的特征图x映射到64通道的特征空间，得到特征x∈f
(
×h×
w)
，并产生三个变量fk＝onv(x)，fq＝onv(x)，fv＝onv(x)，其中conv表示卷积核大小为1
×
1的的卷积，fk表示局部静态上下文信息，fk可以获得本地静态上下文信息；对fk和fq进行concat运算，通过两次卷积核大小为1
×
1的卷积运算生成注意力矩阵fr，具体为：
[0038]fr
＝onv(concat(fk，fq))；
[0039]
a2，对所述注意力矩阵fr和fv进行逐元素矩阵乘法，以获得全局特征f
*
，具体为：
[0040][0041]
a3，将所述局部静态上下文信息fk与全局特征f
*
融合，生成并输出f
′
，具体为：
[0042][0043]
a4，f
′
通过具有256个通道的卷积核大小为1
×
1的卷积，得到第一特征图fu。
[0044]
作为一种优选方案，在所述步骤s6中，所述sst模块对输入的图像执行以下步骤：
[0045]
b1，将图像划分为j个块，并执行线性投影以将每个块一维向量平坦化，以获得图像编码向量vj，j∈{1，2，
…
，n}，然后创建可学习的标志以表示每一个块，将其与vj放在一起，以聚合所有位置嵌入的全局上下文并生成特征嵌入ve；
[0046]
b2，所述特征嵌入ve通过归一化模块和多头注意模块，获得相应的输出编码向量vc，具体为：
[0047]vc
＝oncat(att1((ve)),att2((ve)),...,ttn((ve)))；
[0048]
其中，norm表示归一化，att表示多头注意力模块；
[0049]
b3，执行残差积分操作，将输出编码向量vc添加到输入编码向量ve以生成输出特征
映射v
ce
，具体为：
[0050][0051]
其中，表示逐元素相加操作；
[0052]
b4，在dp模块中对特征映射v
ce
进行分组卷积运算，每组仅负责提取一通道特征；然后进行点卷积来集成每个通道的特征，并通过concat操作拼接它们；同时，将输入特征v
ce
映射到mlp模块，以保留v
ce
的表示；最后，执行dp模块和mlp模块的输出之间的元素相加操作，其生成输出特征vd，具体为：
[0053]vd
＝dp(
ce
)+((v
ce
))；
[0054]
b5，将输出特征vd添加到v
ce
中以输出编码向量vs，具体为：
[0055][0056]
其中，表示逐元素相加操作；
[0057]
b6，将编码向量vs输入到全连通层进行非线性映射，得到特征图f1；此外，sst模块设计为并行结构，最终第二特征图输出表示为fi，i∈{1,2}。
[0058]
将sst模块得到的第二特征图f1以及f2通过通道混洗来连接，得到第三特征图f3，coa模块得到的第一特征图fu在空间维度上对特征进行增强，然后通过逐元素相加操作对所述第三特征图f3以及增强后的第一特征图进行运算，最后得到fo；将fo输入到coa模块，获得f
′u，将f1、f2再次输入到sst模块获得f
′1、f
′2，重复上述操作两次，最终得到输入的图像对应的中间图像特征f
uav
。
[0059]
作为一种优选方案，所述步骤s7具体还包括：
[0060]
所述中间图像特征通过预训练的lpn模型进行分割，然后利用对每个分支上获得的位置感知特征进行平均池化操作，获得2048维特征向量。
[0061]
作为一种优选方案，所述步骤s8具体为：
[0062]
将所述2048维特征向量输入到分类器中，获得701维特征向量，并将所有块的mcp损失相加以优化模块，根据所述分类器的结果获取预测类别标签值；通过所述预测类别标签值找到对应的多视角参考图像并获取其地理坐标。
[0063]
本发明第二方面还提供了一种基于无需gnss工作的无人机全天候地理定位系统，包括依序连接的图像获取单元、图像预处理单元、边缘提取单元、图像配准单元、无人机图像生成单元、中间图像特征提取单元、特征向量获取单元、参考地理坐标获取单元以及无人机地理坐标获取单元；
[0064]
所述图像获取单元用于获取可见光图像以及热红外图像；
[0065]
所述图像预处理单元用于对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；
[0066]
所述边缘提取单元用于对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；
[0067]
所述图像配准单元用于对可见光图像以及热红外图像分别对应的最佳边缘图进行特征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；
[0068]
所述无人机图像生成单元用于对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；
[0069]
所述中间图像特征提取单元用于将所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；
[0070]
所述特征向量获取单元用于通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；
[0071]
所述参考地理坐标获取单元用于将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；
[0072]
所述无人机地理坐标获取单元用于计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。
[0073]
本发明的有益效果是：
[0074]
本发明通过对可见光图像和热红外图像进行配准、融合处理，实现在全天候获得高质量的无人机图像；通过跨视角地理定位技术，实现在无需gnss工作条件下无人机实时地理定位，由此可使后续全天候无人机巡检、导航等任务可以获得高精度无人机实时定位。
附图说明
[0075]
图1为本发明实施例提供的一种基于无需gnss工作的无人机全天候地理定位方法流程框图；
[0076]
图2为本发明实施例提供的可见光图像与热红外图像融合流程示意图；
[0077]
图3为本发明实施例提供的深度提取模块原理流程示意图；
[0078]
图4为本发明实施例提供的特征提取模块及图像融合模块图像融合流程示意图。
具体实施方式
[0079]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0080]
应当明确，所描述的实施例仅仅是本技术实施例一部分实施例，而不是全部的实施例。基于本技术实施例中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术实施例保护的范围。
[0081]
在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0082]
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
[0083]
此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以下结合附图和实施例对本发明做进一步的阐述。
[0084]
以下结合附图和实施例对本发明做进一步的阐述。
[0085]
实施例1
[0086]
请参考图1至图4，一种基于无需gnss工作的无人机全天候地理定位方法，包括以下步骤：
[0087]
s1，获取可见光图像以及热红外图像；
[0088]
在一个具体的实施例中，在所述步骤s1之前还包括：
[0089]
本地上传多视角参考图像，所述多视角参考图像包含了地理坐标信息。
[0090]
具体的，所述多视角参考图像包括了卫星图像以及街景图像。
[0091]
s2，对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；
[0092]
在一个具体的实施例中，在所述步骤s2中，所述色彩增强预处理具体为：
[0093]
对经平滑降噪后的可见光图像进行明暗度评估计算，计算可见光图像中每个像素的颜色饱和度的平均值，若平均值低于阈值则判断图像过暗，使用基于风格迁移深度网络进行彩色化增强。
[0094]
s3，对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；
[0095]
s4，对可见光图像以及热红外图像分别对应的最佳边缘图进行特征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；
[0096]
在一个具体的实施例中，所述步骤s4具体为：
[0097]
分别对所述可见光图像以及热红外图像对应的最佳边缘图进行特征点检测和特征点初步配对，然后对初步配对结果做ransac提纯处理，最后获得可见光和热红外图像之间的变换关系；通过所述变换关系获得配准后的可见光图像以及热红外图像。
[0098]
s5，对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；
[0099]
在一个具体的实施例中，所述步骤s5具体还包括以下步骤：
[0100]
s51，对配准后的可见光图像以及热红外图像进行特征提取处理，获得多尺度特征；
[0101]
具体的，所述步骤s51在特征提取模块中进行，所述特征提取模块由一个卷积层和四个编码块组成，每个编码块包含两个卷积层和一个最大池化层，通过特征提取模块可以提取出不同尺度的多尺度特征。
[0102]
s52，对所述多尺度特征进行图像深度结构提取处理，获得可见光图像深度结构图与热红外图像深度结构图，具体为：
[0103][0104]
其中，struct
i,,
表示structi的第c个通道的第j个像素，表示sobel算子，dec
i,,
表示提取的多尺度特征dec的第i个尺度的第c个通道的第j个像素，表示的全局平均池化结果；
[0105]
具体的，所述可见光图像深度结构图与热红外图像深度结构图包含了结构信息的多尺度特征，分别将配准后的可见光图像及热红外图像的不同尺度特征输入到深度提取模块中获得可见光图像深度结构图与热红外图像深度结构图，使用预训练的自编码器模型生成监督信息，监督深度提取模块生成高质量的可见光图像深度结构图与热红外图像深度结构图。
[0106]
s53，将所述可见光图像深度结构图与热红外图像深度结构图进行计算处理，获得深度图像先验知识，具体为：
[0107][0108]
其中，分别表示可见光图像和热红外图像中提取得到的图像深度结构图的第i个尺度；pi显示出的不一致性，在可见光与热红外结构一致性的区域pi为1，相反，在严重不一致的区域为0，在其他区域pi被设置为超参数λ(0《λ《1)，表示不存在显著的不一致性；
[0109]
s54，将所述深度图像先验知识与热红外图像深度结构图进行相乘处理，获得一致性的热红外图像深度结构图，具体为：
[0110][0111]
其中，pi为深度图像先验知识；
[0112]
s55，将所述一致性的热红外图像深度结构图与可见光图像深度结构图进行融合处理，获得无人机图像；
[0113]
具体的，将所述一致性的热红外图像深度结构图与可见光图像深度结构图输入到图像融合模块中进行图像融合，所述图像融合模块包括六个解码块和一个卷积层，所述解码块包括两个卷积层；六个解码块通过嵌套结构连接，以避免所述特征提取模块和图像融合模块之间的语义鸿沟。
[0114]
s6，所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；
[0115]
在一个具体的实施例中，在所述步骤s6中，所述coa模块对输入的图像执行以下步骤：
[0116]
a1，将输入的图像输入到卷积核大小为3
×
3的卷积模块编码以生成特征图x，然后，将经过卷积核大小为1
×
1的卷积模块平滑后的特征图x映射到64通道的特征空间，得到特征x∈f
(
×h×
w)
，并产生三个变量fk＝onv(x)，fq＝onv(x)，fv＝onv(x)，其中conv表示卷积核大小为1
×
1的的卷积，fk表示局部静态上下文信息，fk可以获得本地静态上下文信息；对fk和fq进行concat运算，通过两次卷积核大小为1
×
1的卷积运算生成注意力矩阵fr，具体为：
[0117]fr
＝onv(concat(fk，fq))；
[0118]
a2，对所述注意力矩阵fr和fv进行逐元素矩阵乘法，以获得全局特征f
*
，具体为：
[0119][0120]
a3，将所述局部静态上下文信息fk与全局特征f
*
融合，生成并输出f
′
，具体为：
[0121]
[0122]
a4，f
′
通过具有256个通道的卷积核大小为1
×
1的卷积，得到第一特征图fu。
[0123]
在一个具体的实施例中，在所述步骤s6中，所述sst模块对输入的图像执行以下步骤：
[0124]
b1，将图像划分为j个块，并执行线性投影以将每个块一维向量平坦化，以获得图像编码向量vj，j∈{1，2，
…
，n}，然后创建可学习的标志以表示每一个块，将其与vj放在一起，以聚合所有位置嵌入的全局上下文并生成特征嵌入ve；
[0125]
b2，所述特征嵌入ve通过归一化模块和多头注意模块，获得相应的输出编码向量vc，具体为：
[0126]vc
＝oncat(att1((ve)),att2((ve)),...,ttn((ve)))；
[0127]
其中，norm表示归一化，att表示多头注意力模块；
[0128]
b3，执行残差积分操作，将输出编码向量vc添加到输入编码向量ve以生成输出特征映射n
ce
，具体为：
[0129][0130]
其中，表示逐元素相加操作；
[0131]
b4，在dp模块中对特征映射v
ce
进行分组卷积运算，每组仅负责提取一通道特征；然后进行点卷积来集成每个通道的特征，并通过concat操作拼接它们；同时，将输入特征v
ce
映射到mlp模块，以保留v
ce
的表示；最后，执行dp模块和mlp模块的输出之间的元素相加操作，其生成输出特征vd，具体为：
[0132]vd
＝dp(
ce
)+((v
ce
))；
[0133]
b5，将输出特征vd添加到v
ce
中以输出编码向量vs，具体为：
[0134][0135]
其中，表示逐元素相加操作；
[0136]
b6，将编码向量vs输入到全连通层进行非线性映射，得到特征图f1；此外，sst模块设计为并行结构，最终第二特征图输出表示为fi，i∈{1,2}。
[0137]
将sst模块得到的第二特征图f1以及f2通过通道混洗来连接，得到第三特征图f3，coa模块得到的第一特征图fu在空间维度上对特征进行增强，然后通过逐元素相加操作对所述第三特征图f3以及增强后的第一特征图进行运算，最后得到fo；将fo输入到coa模块，获得f
′u，将f1、f2再次输入到sst模块获得f
′1、f
′2，重复上述操作两次，最终得到输入的图像对应的中间图像特征f
uav
。
[0138]
s7，通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；
[0139]
在一个具体的实施例中，所述步骤s7具体还包括：
[0140]
所述中间图像特征通过预训练的lpn模型进行分割，然后利用对每个分支上获得的位置感知特征进行平均池化操作，获得2048维特征向量。
[0141]
s8，将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；
[0142]
在一个具体的实施例中，将所述2048维特征向量输入到分类器中，获得701维特征向量，并将所有块的mcp损失相加以优化模块，根据所述分类器的结果获取预测类别标签值；通过所述预测类别标签值找到对应的多视角参考图像并获取其地理坐标。
[0143]
s9，计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。
[0144]
实施例2
[0145]
一种基于无需gnss工作的无人机全天候地理定位系统，包括依序连接的图像获取单元、图像预处理单元、边缘提取单元、图像配准单元、无人机图像生成单元、中间图像特征提取单元、特征向量获取单元、参考地理坐标获取单元以及无人机地理坐标获取单元；
[0146]
所述图像获取单元用于获取可见光图像以及热红外图像；
[0147]
所述图像预处理单元用于对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；
[0148]
所述边缘提取单元用于对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；
[0149]
所述图像配准单元用于对可见光图像以及热红外图像分别对应的最佳边缘图进行特征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；
[0150]
所述无人机图像生成单元用于对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；
[0151]
具体的，所述无人机图像生成单元包括特征提取模块、深度提取模块以及图像融合模块。
[0152]
所述中间图像特征提取单元用于将所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；
[0153]
具体的，所述中间图像特征提取单元包括coa模块以及sst模块；
[0154]
所述coa模块包括卷积核大小为3
×
3的卷积模块以及卷积核大小为1
×
1的卷积模块；
[0155]
所述sst模块包括归一化模块、多头注意模块、dp模块、mlp模块以及全连通层。
[0156]
所述特征向量获取单元用于通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；
[0157]
所述参考地理坐标获取单元用于将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；
[0158]
所述无人机地理坐标获取单元用于计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。
[0159]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

技术特征：
1.一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，包括以下步骤：s1，获取可见光图像以及热红外图像；s2，对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；s3，对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；s4，对可见光图像以及热红外图像分别对应的最佳边缘图进行特征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；s5，对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；s6，所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；s7，通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；s8，将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；s9，计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。2.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，在所述步骤s1之前还包括：本地上传多视角参考图像，所述多视角参考图像包含了地理坐标信息。3.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，在所述步骤s2中，所述色彩增强预处理具体为：对经平滑降噪后的可见光图像进行明暗度评估计算，计算可见光图像中每个像素的颜色饱和度的平均值，若平均值低于阈值则判断图像过暗，使用基于风格迁移深度网络进行彩色化增强。4.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，所述步骤s4具体为：分别对所述可见光图像以及热红外图像对应的最佳边缘图进行特征点检测和特征点初步配对，然后对初步配对结果做ransac提纯处理，最后获得可见光和热红外图像之间的变换关系；通过所述变换关系获得配准后的可见光图像以及热红外图像。5.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，所述步骤s5具体还包括以下步骤：s51，对配准后的可见光图像以及热红外图像进行特征提取处理，获得多尺度特征；s52，对所述多尺度特征进行图像深度结构提取处理，获得可见光图像深度结构图与热红外图像深度结构图，具体为：
其中，struct
i,,
表示struct
i
的第c个通道的第j个像素，表示sobel算子，dec
i,,
表示提取的多尺度特征dec的第i个尺度的第c个通道的第j个像素，表示的全局平均池化结果；s53，将所述可见光图像深度结构图与热红外图像深度结构图进行计算处理，获得深度图像先验知识，具体为：其中，分别表示可见光图像和热红外图像中提取得到的图像深度结构图的第i个尺度；p
i
显示出的不一致性，在可见光与热红外结构一致性的区域p
i
为1，相反，在严重不一致的区域为0，在其他区域p
i
被设置为超参数λ(0<λ<1)，表示不存在显著的不一致性；s54，将所述深度图像先验知识与热红外图像深度结构图进行相乘处理，获得一致性的热红外图像深度结构图，具体为：其中，p
i
为深度图像先验知识；s55，将所述一致性的热红外图像深度结构图与可见光图像深度结构图进行融合处理，获得无人机图像。6.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，在所述步骤s6中，所述coa模块对输入的图像执行以下步骤：a1，将输入的图像输入到卷积核大小为3
×
3的卷积模块编码以生成特征图x，然后，将经过卷积核大小为1
×
1的卷积模块平滑后的特征图x映射到64通道的特征空间，得到特征x∈f
(
×
h
×
w)
，并产生三个变量f
k
＝onv(x)，f
q
＝onv(x)，fv＝onv(x)，其中conv表示卷积核大小为1
×
1的的卷积，f
k
表示局部静态上下文信息，f
k
可以获得本地静态上下文信息；对f
k
和f
q
进行concat运算，通过两次卷积核大小为1
×
1的卷积运算生成注意力矩阵f
r
，具体为：f
r
＝onv(concat(f
k
，f
q
))；a2，对所述注意力矩阵f
r
和fv进行逐元素矩阵乘法，以获得全局特征f
*
，具体为：a3，将所述局部静态上下文信息f
k
与全局特征f
*
融合，生成并输出f
′
，具体为：a4，f
′
通过具有256个通道的卷积核大小为1
×
1的卷积，得到第一特征图f
u
。7.根据权利要求6所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，在所述步骤s6中，所述sst模块对输入的图像执行以下步骤：b1，将图像划分为j个块，并执行线性投影以将每个块一维向量平坦化，以获得图像编码向量v
j
，j∈{1，2，
…
，n}，然后创建可学习的标志以表示每一个块，将其与v
j
放在一起，以聚合所有位置嵌入的全局上下文并生成特征嵌入v
e
；b2，所述特征嵌入v
e
通过归一化模块和多头注意模块，获得相应的输出编码向量v
c
，具体为：v
c
＝oncat(att1((v
e
)),att2((v
t
)),...,tt
n
((v
e
)))；
其中，norm表示归一化，att表示多头注意力模块；b3，执行残差积分操作，将输出编码向量v
c
添加到输入编码向量v
e
以生成输出特征映射v
ce
，具体为：其中，表示逐元素相加操作；b4，在dp模块中对特征映射v
ce
进行分组卷积运算，每组仅负责提取一通道特征；然后进行点卷积来集成每个通道的特征，并通过concat操作拼接它们；同时，将输入特征v
ce
映射到mlp模块，以保留v
ce
的表示；最后，执行dp模块和mlp模块的输出之间的元素相加操作，其生成输出特征v
d
，具体为：v
d
＝dp(
ce
)+((v
ce
))；b5，将输出特征v
d
添加到v
ce
中以输出编码向量v
s
，具体为：其中，表示逐元素相加操作；b6，将编码向量v
s
输入到全连通层进行非线性映射，得到特征图f1；此外，sst模块设计为并行结构，最终第二特征图输出表示为f
i
，i∈{1,2}。将sst模块得到的第二特征图f1以及f2通过通道混洗来连接，得到第三特征图f3，coa模块得到的第一特征图f
u
在空间维度上对特征进行增强，然后通过逐元素相加操作对所述第三特征图f3以及增强后的第一特征图进行运算，最后得到f
o
；将f
o
输入到coa模块，获得f
′
u
，将f1、f2再次输入到sst模块获得f
′1、f
′2，重复上述操作两次，最终得到输入的图像对应的中间图像特征f
uav
。8.根据权利要求1所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，所述步骤s7具体还包括：所述中间图像特征通过预训练的lpn模型进行分割，然后利用对每个分支上获得的位置感知特征进行平均池化操作，获得2048维特征向量。9.根据权利要求8所述的一种基于无需gnss工作的无人机全天候地理定位方法，其特征在于，所述步骤s8具体为：将所述2048维特征向量输入到分类器中，获得701维特征向量，并将所有块的mcp损失相加以优化模块，根据所述分类器的结果获取预测类别标签值；通过所述预测类别标签值找到对应的多视角参考图像并获取其地理坐标。10.一种基于无需gnss工作的无人机全天候地理定位系统，其特征在于，包括依序连接的图像获取单元、图像预处理单元、边缘提取单元、图像配准单元、无人机图像生成单元、中间图像特征提取单元、特征向量获取单元、参考地理坐标获取单元以及无人机地理坐标获取单元；所述图像获取单元用于获取可见光图像以及热红外图像；所述图像预处理单元用于对所述可见光图像以及热红外图像进行平滑降噪以及色彩增强预处理；所述边缘提取单元用于对经预处理的可见光图像以及热红外图像分别进行边缘提取处理，获得对应的最佳边缘图；所述图像配准单元用于对可见光图像以及热红外图像分别对应的最佳边缘图进行特
征匹配以及提纯处理，获得可见光和热红外图像之间的变换关系，通过所述变换关系获得配准后的可见光图像以及热红外图像；所述无人机图像生成单元用于对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；所述中间图像特征提取单元用于将所述无人机图像和多视角参考图像利用预设的coa模块和sst模块分别得到对应的中间图像特征；所述特征向量获取单元用于通过对应的中间图像特征中的位置感知信息分别生成无人机图像的特征向量和多视角参考图像的特征向量；所述参考地理坐标获取单元用于将无人机图像的特征向量以及多视角参考图像的特征向量输入到分类器获得预测标签值，通过预测标签值获得对应的多视角参考图像的地理坐标；所述无人机地理坐标获取单元用于计算所述参考图像的地理坐标与无人机图像的变换关系，通过变换关系获得无人机的地理坐标。

技术总结
本发明公开了一种基于无需GNSS工作的无人机全天候地理定位方法及系统，对可见光图像及热红外图像进行预处理，然后进行边缘检测、特征点匹配提纯，获得配准的可见光与热红外图像；对配准后的可见光图像以及热红外图像进行提取、计算以及融合处理，最终获得无人机图像；提取无人机图像及参考图像的中间特征并分割，输入到分类器中得到预测标签值，通过预测标签值得到地理坐标信息；通过地理坐标信息计算出无人机的位置信息。本申请将可见光与热红外图像融合，在全天候条件下获得高质量的无人机图像，并将该图像与本地跨视角参考图像匹配实现无需GNSS条件下无人机实时定位。无需GNSS条件下无人机实时定位。无需GNSS条件下无人机实时定位。


技术研发人员：赵艮平 蒋权 程良伦 王卓薇
受保护的技术使用者：航天宏图信息技术股份有限公司
技术研发日：2023.07.04
技术公布日：2023/9/22