基于多尺度双域信息融合技术的遥感图像全色锐化方法

1.本发明涉及遥感图像处理技术领域，具体来说是基于多尺度双域信息融合技术的遥感图像全色锐化方法。


背景技术：

2.在当前的遥感系统中，由于卫星传感器的限制，单个传感器很难获得高分辨率的多光谱图像。因此，卫星通常携带两种传感器以分别获得全色(panchromatic，pan)和多光谱(multispectral，ms)图像。
3.多光谱图像包含着丰富的光谱信息，但分辨率比较低，全色图像有着精细的图像纹理信息，但却只有单个通道的光谱信息。为了获得高分辨率的多光谱图像图像，通常的方法是将ms图像和pan图像进行融合，这种方法也被称为全色锐化。由于这一方法是很多下游任务，如遥感图像分割、目标检测等任务的基础，这一方法受到了很多的关注。
4.目前使用的方法主要可以分为两类，基于人工设计特征的传统方法和基于深度学习的方法。传统方法包含成分替换、多分辨率分析、变分优化等方法。人工设计特征没法充分利用图像的信息，因此目前基于深度学习占据主流。
5.但这些方法的输出也存在着伪影、颜色失真等问题，原因在于这些方法在单一尺度特征上进行融合，对于尺寸变化较大的遥感地物来说无法充分提取到特征，同时，这些方法侧重于在空间域处理信息，忽略了频率域隐含的信息。


技术实现要素：

6.本发明的目的是为了解决现有技术中融合图像易产生伪影、颜色失真、泛化性差的缺陷，提供一种基于多尺度双域信息融合技术的遥感图像全色锐化方法来解决上述问题。
7.为了实现上述目的，本发明的技术方案如下：
8.一种基于多尺度双域信息融合技术的遥感图像全色锐化方法，包括以下步骤：
9.11)遥感图像的获取与预处理：获取全色图像和多光谱图像，并按照设定大小进行裁剪处理，将裁剪后的全色图像、多光谱图像进行4倍下采样，生成样本对《ms、pan、g》，其中，ms、pan为下采样后的多光谱、全色图像，g为下采样前的多光谱图像；
10.12)构建全色锐化模型：基于空域信息融合子网络、频域信息融合子网络进行多尺度双域信息融合，构建出全色锐化模型；
11.13)全色锐化模型的训练：将预处理后的全色图像和多光谱图像输入全色锐化模型进行训练；
12.14)待锐化遥感图像的获取：获取待锐化处理的全色图像和多光谱图像并进行预处理；
13.15)遥感图像全色锐化结果的获得：将预处理后的全色图像和多光谱图像输入训练后的全色锐化模型，获得遥感图像全色锐化结果。
14.所述的构建全色锐化模型包括以下步骤：
15.21)基于u-net构造一个多尺度网络，其包含两个子网络，为空域信息融合子网络和频域信息融合子网络；
16.设定u-net包括收缩子网络和扩张子网络，在收缩子网络中通过卷积和下采样操作提取图像的多尺度特征信息，在扩张子网络中通过上采样、特征拼接技术进行特征重建；设定收缩子网络为空域信息融合子网络、扩张子网络为频域信息融合子网络；
17.22)构建空域信息融合子网络，包括：卷积投影模块1、卷积投影模块2、卷积特征提取模块1、卷积特征提取模块2、卷积下采样模块1、卷积下采样模块2、卷积下采样模块3、卷积下采样模块4、空域信息融合模块1、空域信息融合模块2、空域信息融合模块3；其中，卷积投影模块将输入的图像投影到特征空间，卷积特征提取模块用于提取图像特征，卷积下采样模块用于提取多尺度的空域特征信息，空域信息融合模块对同一尺度的全色图像特征图和多光谱图像特征图进行融合；
18.23)构建频域信息融合子网络，其包括上采样模块1、上采样模块2、频域信息融合模块1、频域信息融合模块2、频域信息融合模块3、通道变换模块；其中，上采样模块将前一子网络的输出进行上采样，并将上采样后的结果传入频域信息融合模块；上采样模块为双三次插值操作，将输入的特征图尺寸进行两倍的放大，通道变换模块将特征图从特征空间映射到输出图像。
19.所述全色锐化模型的训练包括以下步骤：
20.31)设定建立空域损失函数
[0021][0022]
频域损失函数和
[0023][0024][0025]
整体损失函数
[0026][0027]
其中，a、p分别傅里叶变换后的振幅、相位分量，y和g对应着网络输出和真实图像，λ为超参数；
[0028]
32)将预处理后的多光谱图像和全色图像输入网络，特征在空域融合子网络和频域融合子网络分别融合，最终得到的结果加上输入的多光谱图像，得到最后结果：即将lrms和pan通过网络，得到融合结果f
ms7
，将f
ms7
与lrms相加，得到重构后的输出图像；
[0029]
321)读取训练集图片对《ms，pan，g》，分别对应低分辨率高光谱图象、全色图像和高分辨率多光谱图像；
[0030]
322)将ms和pan输入全色锐化模型，得到输出的结果y；
[0031]
323)根据空域损失函数和频域损失函数，计算y和g的损失函数；
[0032]
324)根据训练集的损失函数，根据梯度下降算法优化网络权重，直到达到设定的
总迭代次数为止。
[0033]
所述构建空域信息融合子网络包括以下步骤：
[0034]
41)设定卷积投影模块1由3x3卷积构成，设定stride＝1，其输入是多光谱图像，输出为对应的特征f
ms
；设定卷积投影模块2由3x3卷积构成，设定stride＝1，其输入是全色图像，输出为对应的特征f
pan
；
[0035]
42)设定空域信息融合模块1包含两个分支，两个分支通过特征提取单元进行交互；其中特征提取单元由hin模块组成，输入ms和pan图像的特征f
ms
和f
pan
，经过两个分支处理，最后由1x1卷积进行融合，产生融合结果f
ms1
；其表达式如下：
[0036]
给定输入f
ms
和f
pan
，空域信息融合模块的公式定义如下
[0037]fg
＝hin(f
pan
)
[0038]fms
＝fms
×
fg
[0039]fms
＝f
ms
+fg[0040]fl
＝hin(fms)
[0041]fpan
＝f
pan
×fl
[0042]fpan
＝f
pan
+f
l
[0043]fms1
＝conv1×1(concat(f
pan
，f
ms
))，
[0044]
公式中，conv1×1对应着尺寸为1的卷积操作，concat对应着通道维度的拼接，hin为特征提取单元；
[0045]
当输入f
pan
和f
ms
时，首先将f
pan
通过hin模块，得到提取后的特征fg，将f
ms
与fg相乘，并加上fg，得到新的f
ms
特征；将新得到的f
ms
特征通过hin模块，得到提取后的特征f
l
，将f
l
与f
pan
相乘，并加上f
l
，得到新的f
pan
特征；将变换后的f
ms
与f
pan
进行通道维度的拼接，并通过1x1卷积，得到融合后的特征f
ms1
；
[0046]
在空域信息融合模块中给定输入f
pan
，其中hin模块的公式定义如下：
[0047]fmid
＝conv3×3(f
pan
)
[0048][0049][0050]fres
＝conv3×3(r
out
)
[0051]fg
＝f
res
+f
pan
[0052]
公式中，channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；
[0053]
当输入f
pan
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征fg，fg即为空域信息融合模块中f
pan
经过hin模块提取的特征；
[0054]
在空域信息融合模块中给定输入f
ms
，其中hin模块的公式定义如下：
[0055]fmid
′
＝conv3×3(f
ms
)
[0056][0057][0058]fres
′
＝conv3×3(r
out
′
)
[0059]fl
＝f
res
′
+f
ms
[0060]
公式中channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；
[0061]
当输入f
ms
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征f
l
，f
l
即为空域信息融合模块中f
ms
经过hin模块提取的特征；
[0062]
43)设定卷积下采样模块1由3x3卷积构成，设定stride＝2，卷积下采样模块1的输入是f
ms1
，输出为特征图f
ms1
′
尺寸缩减为原来的一半；
[0063]
44)设定卷积特征提取模块1由3x3卷积构成，设定stride＝1，其输入为f
pan
，输出为f
pan
′
；
[0064]
45)设定卷积下采样模块2由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是f
pan
′
，输出为特征图f
pan1
尺寸缩减为原来的一半；
[0065]
46)设定空域信息融合模块2，与空域信息融合模块1结构一致，其输入为f
ms1
′
和f
pan1
，得到输出f
ms2
；
[0066]
47)设定卷积下采样模块3由3x3卷积构成，设定stride＝2，卷积下采样模块3的输入是f
ms2
，输出为特征图f
ms2
′
，尺寸缩减为原来的一半；
[0067]
48)设定卷积特征提取模块2由3x3卷积构成，设定stride＝1，其输入为f
pan1
，输出为f
pan1
′
；
[0068]
49)设定卷积下采样模块4由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是f
pan1
′
，输出为特征图f
pan2
尺寸缩减为原来的一半；
[0069]
410)设定空域信息融合模块3，与空域信息融合模块1结构一致，其输入为f
ms2
′
和f
pan2
，得到输出f
ms3
；
[0070]
411)设定空域信息融合子网络的第一部分为卷积投影模块1、卷积投影模块2；第二部分为特征提取模块1、卷积下采样模块2、特征提取模块2、卷积下采样模块4进行顺序级联堆叠；第三部分为空域信息融合模块1、卷积下采样模块1、空域信息融合模块2、卷积下采样模块3、空域信息信息融合模块3进行顺序级联堆叠；
[0071]
将第一部分的输出f
ms
和f
pan
分别输入第二部分、第三部分，将第二部分的输出f
pan1
和f
pan2
输入第三部分，以此连接三个部分，完成空域信息融合子网络的构建。
[0072]
所述频域信息融合子网络包括以下步骤：
[0073]
51)设定上采样模块1为双三次插值操作，上采样模块1的输入是f
ms3
，输出为特征图f
ms3
′
，尺寸放大两倍；
[0074]
52)设定频域信息融合模块1包括傅里叶变换、傅里叶逆变换函数、特征融合单元、
特征提取单元，其中特征融合单元由1x1卷积实现，特征提取单元由3x3卷积实现；
[0075]
输入为f
ms3
′
和f
pan1
′
在频域信息融合模块中，将f
ms3
′
和f
pan1
′
分别进行傅里叶变换，生成对应的振幅和频谱分量，将两者对应的分量进行融合，融合后进行傅里叶逆变换，得到空域特征，并将空域特征与f
ms3
′
进行拼接融合；
[0076]
其表达式如下：
[0077]
给定输入f
pan1
′
和f
ms3
′
，频域信息融合模块的公式定义如下：
[0078][0079][0080][0081][0082][0083]fmid
′
＝conv3×3(f
ms3
′
)
[0084]rout
′
＝conv1×1(cat([f
mid
′
，f
fre
′
]))，
[0085]fms4
＝r
out
′
+f
ms3
′
，
[0086]
公式中的对应着傅里叶变换，为傅里叶逆变换，cat为通道维度拼接，分别为傅里叶变换后的振幅、相位分量，conv1×1、conv3×3分别对应着尺寸为1x1和3x3的卷积操作；
[0087]
当输入f
ms3
′
和f
pan1
′
时，分别通过傅里叶变换生成对应的相位、振幅分量，并分别通过卷积操作进行融合，生成融合后的振幅相位分量将融合后的结果通过傅里叶逆变换，得到融合后的特征图；
[0088]
将原始的输入f
ms3
′
进行卷积操作提取特征，得到f
mid
′
，并与频域融合的特征f
fre
′
进行融合，以促进双域信息交互，并通过残差连接得到最后的结果f
ms4
；
[0089]
53)设定上采样模块2为双三次插值操作，上采样模块2的输入是f
ms4
，输出为特征图f
ms4
′
，尺寸放大两倍；
[0090]
54)设定频域信息融合模块2，遵循与频域信息融合模块1相同操作，其中输入为f
ms4
′
和f
pan
′
，输出为f
ms5
；
[0091]
55)设定频域信息融合模块3，遵循与频域信息融合模块1相同操作，其中输入为f
ms5
和f
pan
，输出为f
ms6
；
[0092]
56)设定通道变换模块，由3x3卷积操作组成，stride＝1，输出为f
ms7
，将特征图通道调整为4；
[0093]
57)将上采样模块1、频域信息融合模块1、上采样模块2、频域信息融合模块2、频域信息融合模块3、通道转换模块按照顺序级联堆叠，完成频域信息融合子网络构建。
[0094]
有益效果
[0095]
本发明的基于多尺度双域信息融合技术的遥感图像全色锐化方法，与使用空间域
特征进行全色锐化方法相比，提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法，产生的图像质量更高。
[0096]
本发明针对超分辨率任务中，使用频域信息能够提高模型表现的特点，将频域信息引入全色锐化方法中，能够使用频域信息来改善模型的表现，通过频域上的卷积操作和双域融合网络，提高了模型的表现。
附图说明
[0097]
图1为本发明的方法顺序图；
[0098]
图2为本发明所涉及的全色锐化模型的整体结构图；
[0099]
图3为本发明所涉及的频域信息融合模块和空域信息融合模块的结构图；
[0100]
图4为本发明的融合效果图。
具体实施方式
[0101]
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
[0102]
如图1所示，本发明所述的一种基于多尺度双域信息融合技术的遥感图像全色锐化方法，包括以下步骤：
[0103]
第一步，遥感图像的获取与预处理：获取全色图像和多光谱图像，并按照设定大小进行裁剪处理，将裁剪后的全色图像、多光谱图像进行4倍下采样，生成样本对《ms、pan、g》，其中，ms、pan为下采样后的多光谱、全色图像，g为下采样前的多光谱图像。
[0104]
第二步，构建全色锐化模型：基于空域信息融合子网络、频域信息融合子网络进行多尺度双域信息融合，构建出全色锐化模型。
[0105]
现有常规方法中，大多集中在空域对图像进行处理，虽然产生了可观的输出，但存在一定问题，由于空域中对图像信息的建模只能集中在一小部分空间，难以应对尺度变化较大的遥感图像，因此产生的图像细节模糊，纹理不够清晰。同时，由于频域信息未被充分利用，生成的图像也存在着光谱失真的现象。现有的研究表明，引入频域信息可以更好的让模型学习到高频特征、拥有长程建模的能力，因此，本发明所述方法融合了频域信息与多尺度建模，能够获得图像全局的信息，同时利用频域特征来改善模型表现，使生成的图像拥有更清晰的细节，更准确的光谱。其包括以下步骤：
[0106]
(1)基于u-net构造一个多尺度网络，其包含两个子网络，为空域信息融合子网络和频域信息融合子网络。得益于多尺度特征提取的能力，u-net在图像复原领域中被广泛使用。设定u-net包括收缩子网络和扩张子网络，在收缩子网络中，通过卷积和下采样操作，提取图像的多尺度特征信息，在扩张子网络中，通过上采样、特征拼接技术进行特征重建；设定收缩子网络为空域信息融合子网络、扩张子网络为频域信息融合子网络。
[0107]
(2)如图2所示，构建空域信息融合子网络，包括：卷积投影模块1、卷积投影模块2、卷积特征提取模块1、卷积特征提取模块2、卷积下采样模块1、卷积下采样模块2、卷积下采样模块3、卷积下采样模块4、空域信息融合模块1、空域信息融合模块2、空域信息融合模块3；其中，卷积投影模块将输入的图像投影到特征空间，卷积特征提取模块用于提取图像特征，卷积下采样模块用于提取多尺度的空域特征信息，空域信息融合模块对同一尺度的全
色图像特征图和多光谱图像特征图进行融合。
[0108]
在这空间信息子网络中，本发明使用了空间域信息图像融合的常见方法，以提高图像的质量。这种方法在保留图像的关键信息的同时，还能合并多个图像的优点，保存空间细节和光谱信息。同时，为了应对遥感图像中尺度变化较大的地物，本发明设计了下采样模块，用于建模多尺度的图像特征，同时，缩小图像尺度有助于减少模型的计算复杂性。通过使用空域信息融合子网络，我们可以在多个尺度上融合图像，更好的保存空间细节。
[0109]
a1)设定卷积投影模块1由3x3卷积构成，设定stride＝1，其输入是多光谱图像，输出为对应的特征f
ms
；设定卷积投影模块2由3x3卷积构成，设定stride＝1，其输入是全色图像，输出为对应的特征f
pan
；
[0110]
a2)设定空域信息融合模块1包含两个分支，两个分支通过特征提取单元进行交互；其中特征提取单元由hin模块组成，输入ms和pan图像的特征f
ms
和f
pan
，经过两个分支处理，最后由1x1卷积进行融合，产生融合结果f
ms1
；其表达式如下：
[0111]
给定输入f
ms
和f
pa
，空域信息融合模块的公式定义如下
[0112]fg
＝hin(f
pan
)
[0113]fms
＝fms
×
fg
[0114]fms
＝f
ms
+fg[0115]fl
＝hin(fms)
[0116]fpan
＝f
pan
×fl
[0117]fpan
＝f
pan
+f
l
[0118]fms1
＝conv1×1(concat(f
pan
，f
ms
))，
[0119]
公式中，conv1×1对应着尺寸为1的卷积操作，concat对应着通道维度的拼接，hin为特征提取单元；
[0120]
当输入f
pan
和f
ms
时，首先将f
pan
通过hin模块，得到提取后的特征fg，将f
ms
与fg相乘，并加上fg，得到新的f
ms
特征；将新得到的f
ms
特征通过hin模块，得到提取后的特征f
l
，将f
l
与f
pan
相乘，并加上f
l
，得到新的f
pan
特征；将变换后的f
ms
与f
pan
进行通道维度的拼接，并通过1x1卷积，得到融合后的特征f
ms1
；
[0121]
在空域信息融合模块中给定输入f
pan
，其中hin模块的公式定义如下：
[0122]fmid
＝conv3×3(f
pan
)
[0123][0124][0125]fres
＝conv3×3(r
out
)
[0126]fg
＝f
res
+f
pan
[0127]
公式中，channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；
[0128]
当输入f
pan
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作
进行融合，最后加上原始的输入特征，得到变换后的特征fg，fg即为空域信息融合模块中f
pan
经过hin模块提取的特征；
[0129]
在空域信息融合模块中给定输入f
ms
，其中hin模块的公式定义如下：
[0130]fmid
′
＝conv3×3(f
ms
)
[0131][0132][0133]fres
′
＝conv3×3(r
out
′
)
[0134]fl
＝f
res
′
+f
ms
[0135]
公式中channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；
[0136]
当输入f
ms
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征f
l
，f
l
即为空域信息融合模块中f
ms
经过hin模块提取的特征；
[0137]
a3)设定卷积下采样模块1由3x3卷积构成，设定stride＝2，卷积下采样模块1的输入是f
ms1
，输出为特征图f
ms1
′
尺寸缩减为原来的一半；
[0138]
a4)设定卷积特征提取模块1由3x3卷积构成，设定stride＝1，其输入为f
pan
，输出为f
pan
′
；
[0139]
a5)设定卷积下采样模块2由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是f
pan
′
输出为特征图f
pan1
尺寸缩减为原来的一半；
[0140]
a6)设定空域信息融合模块2，与空域信息融合模块1结构一致，其输入为f
ms1
′
和f
pan1
，得到输出f
ms2
；
[0141]
a7)设定卷积下采样模块3由3x3卷积构成，设定stride＝2，卷积下采样模块3的输入是f
ms2
，输出为特征图f
ms2
′
，尺寸缩减为原来的一半；
[0142]
a8)设定卷积特征提取模块2由3x3卷积构成，设定stride＝1，其输入为f
pan1
，输出为f
pan1
′
；
[0143]
a9)设定卷积下采样模块4由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是f
pan1
′
，输出为特征图f
pan2
尺寸缩减为原来的一半；
[0144]
a10)设定空域信息融合模块3，与空域信息融合模块1结构一致，其输入为f
ms2
′
和f
pan2
，得到输出f
ms3
；
[0145]
a11)设定空域信息融合子网络的第一部分为卷积投影模块1、卷积投影模块2；第二部分为特征提取模块1、卷积下采样模块2、特征提取模块2、卷积下采样模块4进行顺序级联堆叠；第三部分为空域信息融合模块1、卷积下采样模块1、空域信息融合模块2、卷积下采样模块3、空域信息信息融合模块3进行顺序级联堆叠；
[0146]
将第一部分的输出f
ms
和f
pan
分别输入第二部分、第三部分，将第二部分的输出f
pan1
和f
pan2
输入第三部分，以此连接三个部分，完成空域信息融合子网络的构建。
[0147]
(3)构建频域信息融合子网络，其包括上采样模块1、上采样模块2、频域信息融合模块1、频域信息融合模块2、频域信息融合模块3、通道变换模块；其中，上采样模块将前一子网络的输出进行上采样，并将上采样后的结果传入频域信息融合模块；上采样模块为双三次插值操作，将输入的特征图尺寸进行两倍的放大，通道变换模块将特征图从特征空间映射到输出图像。
[0148]
在空域完成初步的信息融合后，接下来将引入频域信息来进行频域上的融合。经过傅里叶变换后的频谱与相位分析可以得知，在振幅方面，pan图像对比高分辨率多光谱图像，主要的缺失集中在低频信息，lrms图像对比高分辨率多光谱图像，在高低频信息上都有缺失。而在相位方面，pan图像对比高分辨率多光谱图像，主要的信息都得到保留，而lrms图像的相位缺失严重。因此，我们可以使用pan特征的频域信息和lrms特征的频域信息进行融合，以促进图像的重建。
[0149]
如图3所示，本发明采用傅里叶变换，分离出相位和振幅信息，分别进行融合，以达到将pan特征的频域信息补充到lrms特征频域信息中的目的。其具体步骤如下：
[0150]
b1)设定上采样模块1为双三次插值操作，上采样模块1的输入是f
ms3
，输出为特征图f
ms3
′
，尺寸放大两倍；
[0151]
b2)设定频域信息融合模块1包括傅里叶变换、傅里叶逆变换函数、特征融合单元、特征提取单元，其中特征融合单元由1x1卷积实现，特征提取单元由3x3卷积实现；
[0152]
输入为f
ms3
′
和f
pan1
′
在频域信息融合模块中，将f
ms3
′
和f
pan1
′
分别进行傅里叶变换，生成对应的振幅和频谱分量，将两者对应的分量进行融合，融合后进行傅里叶逆变换，得到空域特征，并将空域特征与f
ms3
′
进行拼接融合；
[0153]
其表达式如下：
[0154]
给定输入f
pan1
′
和f
ms3
′
，频域信息融合模块的公式定义如下：
[0155][0156][0157][0158][0159][0160]fmid
′
＝conv3×3(f
ms3
′
)
[0161]rout
′
＝conv1×1(cat([f
mid
′
，f
ree
′
]))，
[0162]fms4
＝r
out
′
+f
ms3
′
，
[0163]
公式中的对应着傅里叶变换，为傅里叶逆变换，cat为通道维度拼接，分别为傅里叶变换后的振幅、相位分量，conv1×1、conv3×3分别对应着尺寸为1x1和3x3的卷积操作；
[0164]
当输入f
ms3
′
和f
pan1
′
时，分别通过傅里叶变换生成对应的相位、振幅分量，并分别通过卷积操作进行融合，生成融合后的振幅相位分量将融合后的结果通过傅里
叶逆变换，得到融合后的特征图；
[0165]
将原始的输入f
ms3
′
进行卷积操作提取特征，得到f
mid
′
，并与频域融合的特征f
fre
′
进行融合，以促进双域信息交互，并通过残差连接得到最后的结果f
ms4
；
[0166]
b3)设定上采样模块2为双三次插值操作，上采样模块2的输入是f
ms4
，输出为特征图f
ms4
′
，尺寸放大两倍；
[0167]
b4)设定频域信息融合模块2，遵循与频域信息融合模块1相同操作，其中输入为f
ms4
′
和f
pan
′
，输出为f
ms5
；
[0168]
b5)设定频域信息融合模块3，遵循与频域信息融合模块1相同操作，其中输入为f
ms5
和f
pan
，输出为f
ms6
；
[0169]
b6)设定通道变换模块，由3x3卷积操作组成，stride＝1，输出为f
ms7
，将特征图通道调整为4；
[0170]
b7)将上采样模块1、频域信息融合模块1、上采样模块2、频域信息融合模块2、频域信息融合模块3、通道转换模块按照顺序级联堆叠，完成频域信息融合子网络构建。
[0171]
第三步，全色锐化模型的训练：将预处理后的全色图像和多光谱图像输入全色锐化模型进行训练。
[0172]
(1)设定建立空域损失函数
[0173][0174]
频域损失函数和
[0175][0176][0177]
整体损失函数
[0178][0179]
其中，a、p分别傅里叶变换后的振幅、相位分量，y和g对应着网络输出和真实图像，λ为超参数。
[0180]
(2)将预处理后的多光谱图像和全色图像输入网络，特征在空域融合子网络和频域融合子网络分别融合，最终得到的结果加上输入的多光谱图像，得到最后结果：即将lrms和pan通过网络，得到融合结果f
ms7
，将f
ms7
与lrms相加，得到重构后的输出图像；
[0181]
c1)读取训练集图片对《ms，pan，g》，分别对应低分辨率高光谱图象、全色图像和高分辨率多光谱图像；
[0182]
c2)将ms和pan输入全色锐化模型，得到输出的结果y；
[0183]
c3)根据空域损失函数和频域损失函数，计算y和g的损失函数；
[0184]
c4)根据训练集的损失函数，根据梯度下降算法优化网络权重，直到达到设定的总迭代次数为止。
[0185]
第四步，待锐化遥感图像的获取：获取待锐化处理的全色图像和多光谱图像并进行预处理。
[0186]
第五步，遥感图像全色锐化结果的获得：将预处理后的全色图像和多光谱图像输入训练后的全色锐化模型，获得遥感图像全色锐化结果。
[0187]
在此，利用4图中所示的pan和lrms，获得如图4所示的图像融合的效果。
[0188]
以原始多光谱ms图像为参照，通过评价指标评估得到的融合图像的质量；对于真实融合图像，将融合图像与原始ms或全色pan图像进行对照，计算相应的评价指标，评估融合图像质量。从图4中可以看出，本专利中的方法对比其他方法，拥有最清晰的细节，与最真实的光谱特征，从图像最后一行的残差图中可以看出，本发明的残差图拥有最少的亮度，表明融合的结果质量最优。
[0189]
在仿真实验中，本发明使用world-viewii、world-viewiii、gaofen-2数据集对模型进行评估。表1、表2和表3表现了该模型的评估指标。使用的评估指标介绍如下：
[0190]
光谱角映射sam(spectral angle mapper)：测量融合图像与相应参考图像间的光谱相似性，其值为大于等于0的正数，值越小表明两幅图像间的光谱相似度越高。
[0191]
相对全局综合误差ergas(erreur relative globale adimensionnelle de synth
è
se)：测定融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明两幅图像间的光谱差异越小。
[0192]
相对平均光谱误差rase(relative average spectral error)：反映融合图像的全局光谱质量，其值为大于等于0的正数，值越小表明融合图像光谱扭曲程度越低。
[0193]
空间相关系数scc(spatial correlation coefficient)：衡量融合图像与参考图像间的空间细节相似度，其值位于0～1之间，值越接近1，表明两幅图像的空间相关性越强，融合图像的空间质量越高。
[0194]
通用图像质量度量q：测量融合图像和参考图像的相关程度、平均亮度相似度和对比度相似度，其值位于0～1之间，q的值越接近1，表明融合图像质量越高。
[0195]
结构相似性ssim(structural similarity)：能够全局地从亮度(1uminance)、对比度(contrast)和结构(structure)三个方向评估两幅图像间的相似度，其值位于0～1之间，值越接近1，两幅图像的相似度越高。
[0196]
峰值信噪比psnr(peak signal-to-noise ratio)：是测量融合图像和参考图像均方误差的对数值，其值》0，越高说明融合图像与参考图像越接近。
[0197]
dλ光谱失真指数，衡量光谱失真程度
[0198]
ds空间质量指数
[0199]
采用上述七个指标对网络获得的融合结果的质量进行评价，并于现有的多种先进的全色锐化算法进行比较，表1、表2和表3展现了在world-view ii、gaofen-2和world-viewiii的比较结果，其中最优的结果以加粗字体标出。
[0200]
表1：基于worldview-ii数据集的定量结果
[0201]
methodspsnrssimsamergassccqdλdsqnrsfim34.12970.89750.04392.34490.90790.60640.09150.12770.7942gs35.63760.91760.04231.87740.92250.63070.06070.12850.8195brovey35.86460.92160.04031.82380.89130.61630.0770.1360.7977his35.29620.90270.04612.02780.85340.57040.07740.15780.777gfpca33.45580.90380.04882.14010.89240.46650.10160.16560.7508
pnn40.7550.96240.02591.06460.96770.74260.0650.11860.825pannet40.81760.96260.02571.05570.9680.74370.06450.11890.8252msdcnn41.33550.96640.02420.9940.97210.75770.06350.11720.8276srppnn41.45380.96790.02330.98990.97290.76910.06370.11640.8281gppnn41.16220.96840.02441.03150.97220.76270.06420.11630.8278本专利模型41.84350.97110.02220.94780.97570.7770.06310.11440.8305
[0202]
表2：基于gaofen-ii数据集的定量结果
[0203]
methodspsnrssimsamergassccqdλdsqnrsfim36.9060.88820.03181.73980.81280.43490.06910.13120.8109gs37.2260.90340.03091.67360.78510.42110.03970.12140.8445brovey37.79740.90260.02181.3720.64460.38570.09050.14430.779his38.17540.910.02431.53360.67380.36820.04180.13450.8301gfpca37.94430.92040.03141.56040.80320.32360.08980.18150.7445pnn43.12080.97040.01720.85280.940.7390.03870.11620.8494pannet43.06590.96850.01780.85770.94020.73090.03690.12190.8455msdcnn45.68740.98270.01350.63890.95260.77590.03680.11120.856srppnn47.19980.98770.01060.55860.95640.790.03640.10870.8588gppnn44.21450.98150.01370.73610.9510.77210.03620.10780.8612本专利模型47.41010.98950.01010.54140.96180.80350.03460.10570.8633
[0204]
表3：基于worldview-iii数据集的定量结果
[0205]
methodspsnrssimsamergassccqdλdsqnrsfim21.82120.54570.12088.9730.69520.45310.04480.12650.8347gs22.56080.5470.12178.24330.71310.44110.0350.20110.7695brovey22.5060.54660.11598.23310.70330.43940.04810.20060.7603his22.55790.53540.12668.36160.69940.43010.03560.20730.7634gfpca22.340.48260.12948.39640.69870.31150.05280.12140.8325pnn29.94180.91210.08243.32060.9540.86790.0460.09330.8654pannet29.6840.90720.08513.42630.95120.86310.04740.09420.8634msdcnn3030380.91840.07823.18840.95770.87630.04320.08770.8732srppnn30.43460.92020.0773.15530.95810.87760.04140.09090.8719gppnn30.17850.91750.07763.25930.95690.87390.04380.09360.8671本专利模型30.86450.92580.07572.98510.96240.88560.04110.08990.8732
[0206]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。

技术特征：
1.一种基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，包括以下步骤：11)遥感图像的获取与预处理：获取全色图像和多光谱图像，并按照设定大小进行裁剪处理，将裁剪后的全色图像、多光谱图像进行4倍下采样，生成样本对<ms、pan、g>,其中，ms、pan为下采样后的多光谱、全色图像，g为下采样前的多光谱图像；12)构建全色锐化模型：基于空域信息融合子网络、频域信息融合子网络进行多尺度双域信息融合，构建出全色锐化模型；13)全色锐化模型的训练：将预处理后的全色图像和多光谱图像输入全色锐化模型进行训练；14)待锐化遥感图像的获取：获取待锐化处理的全色图像和多光谱图像并进行预处理；15)遥感图像全色锐化结果的获得：将预处理后的全色图像和多光谱图像输入训练后的全色锐化模型，获得遥感图像全色锐化结果。2.根据权利要求1所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述的构建全色锐化模型包括以下步骤：21)基于u-net构造一个多尺度网络，其包含两个子网络，为空域信息融合子网络和频域信息融合子网络；设定u-net包括收缩子网络和扩张子网络，在收缩子网络中通过卷积和下采样操作提取图像的多尺度特征信息，在扩张子网络中通过上采样、特征拼接技术进行特征重建；设定收缩子网络为空域信息融合子网络、扩张子网络为频域信息融合子网络；22)构建空域信息融合子网络，包括：卷积投影模块1、卷积投影模块2、卷积特征提取模块1、卷积特征提取模块2、卷积下采样模块1、卷积下采样模块2、卷积下采样模块3、卷积下采样模块4、空域信息融合模块1、空域信息融合模块2、空域信息融合模块3；其中，卷积投影模块将输入的图像投影到特征空间，卷积特征提取模块用于提取图像特征，卷积下采样模块用于提取多尺度的空域特征信息，空域信息融合模块对同一尺度的全色图像特征图和多光谱图像特征图进行融合；23)构建频域信息融合子网络，其包括上采样模块1、上采样模块2、频域信息融合模块1、频域信息融合模块2、频域信息融合模块3、通道变换模块；其中，上采样模块将前一子网络的输出进行上采样，并将上采样后的结果传入频域信息融合模块；上采样模块为双三次插值操作，将输入的特征图尺寸进行两倍的放大，通道变换模块将特征图从特征空间映射到输出图像。3.根据权利要求1所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述全色锐化模型的训练包括以下步骤：31)设定建立空域损失函数31)设定建立空域损失函数频域损失函数和和
整体损失函数整体损失函数其中，a、p分别傅里叶变换后的振幅、相位分量，y和g对应着网络输出和真实图像，λ为超参数；32)将预处理后的多光谱图像和全色图像输入网络，特征在空域融合子网络和频域融合子网络分别融合，最终得到的结果加上输入的多光谱图像，得到最后结果：即将lrms和pan通过网络，得到融合结果f
ms7
，将f
ms7
与lrms相加，得到重构后的输出图像；321)读取训练集图片对<ms,pan,g>，分别对应低分辨率高光谱图象、全色图像和高分辨率多光谱图像；322)将ms和pan输入全色锐化模型，得到输出的结果y；323)根据空域损失函数和频域损失函数，计算y和g的损失函数；324)根据训练集的损失函数，根据梯度下降算法优化网络权重，直到达到设定的总迭代次数为止。4.根据权利要求2所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述构建空域信息融合子网络包括以下步骤：41)设定卷积投影模块1由3x3卷积构成，设定stride＝1，其输入是多光谱图像，输出为对应的特征f
ms
；设定卷积投影模块2由3x3卷积构成，设定stride＝1，其输入是全色图像，输出为对应的特征f
pan
；42)设定空域信息融合模块1包含两个分支，两个分支通过特征提取单元进行交互；其中特征提取单元由hin模块组成，输入ms和pan图像的特征f
ms
和f
pan
，经过两个分支处理，最后由1x1卷积进行融合，产生融合结果f
ms1
；其表达式如下：给定输入f
ms
和f
pan
，空域信息融合模块的公式定义如下f
g
＝hin(f
pan
)f
ms
＝fms
×
fgf
ms
＝f
ms
+f
g
f
l
＝hin(fms)f
pan
＝f
pan
×
f
l
f
pan
＝f
pan
+f
l
f
ms1
＝conv1×1(concat(f
pan
，f
ms
))，公式中，conv1×1对应着尺寸为1的卷积操作，concat对应着通道维度的拼接，hin为特征提取单元；当输入f
pan
和f
ms
时，首先将f
pan
通过hin模块，得到提取后的特征f
g
，将f
ms
与f
g
相乘，并加上f
g
，得到新的f
ms
特征；将新得到的f
ms
特征通过hin模块，得到提取后的特征f
l
，将f
l
与f
pan
相乘，并加上f
l
，得到新的f
pan
特征；将变换后的f
ms
与f
pan
进行通道维度的拼接，并通过1x1卷积，得到融合后的特征f
ms1
；在空域信息融合模块中给定输入f
pan
，其中hin模块的公式定义如下：f
mid
＝conv3×3(f
pan
)
f
res
＝conv3×3(r
out
)f
g
＝f
res
+f
pan
公式中，channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；当输入f
pan
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征f
g
，f
g
即为空域信息融合模块中f
pan
经过hin模块提取的特征；在空域信息融合模块中给定输入f
ms
，其中hin模块的公式定义如下：f
mid
′
＝conv3×3(f
ms
))f
res
′
＝conv3×3(r
out
′
)f
l
＝f
res
′
+f
ms
公式中channelsplit为沿通道维度的复制并均分，concat为通道维度的拼接，in为instance normalization，conv3×3对应着卷积核大小为3x3的卷积操作；当输入f
ms
时，首先经过一次3x3卷积操作，进行一次特征提取，并将提取后的特征沿着通道维度进行复制，对复制后的特征进行均分操作，得到和对进行instance normalization操作后，将两个特征进行通道维度拼接，并经过一个3x3卷积操作进行融合，最后加上原始的输入特征，得到变换后的特征f
l
，f
l
即为空域信息融合模块中f
ms
经过hin模块提取的特征；43)设定卷积下采样模块1由3x3卷积构成，设定stride＝2，卷积下采样模块1的输入是f
ms1
，输出为特征图f
ms1
′
尺寸缩减为原来的一半；44)设定卷积特征提取模块1由3x3卷积构成，设定stride＝1，其输入为f
pan
，输出为f
pan
′
；45)设定卷积下采样模块2由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是f
pan
′
，输出为特征图f
pan1
尺寸缩减为原来的一半；46)设定空域信息融合模块2，与空域信息融合模块1结构一致，其输入为f
ms1
′
和f
pan1
，得到输出f
ms2
；47)设定卷积下采样模块3由3x3卷积构成，设定stride＝2，卷积下采样模块3的输入是f
ms2
，输出为特征图f
ms2
′
，尺寸缩减为原来的一半；48)设定卷积特征提取模块2由3x3卷积构成，设定stride＝1，其输入为f
pan1
，输出为f
pan1
′
；49)设定卷积下采样模块4由3x3卷积构成，设定stride＝2，卷积下采样模块2的输入是
f
pan1
′
，输出为特征图f
pan2
尺寸缩减为原来的一半；410)设定空域信息融合模块3，与空域信息融合模块1结构一致，其输入为f
ms2
′
和f
pan2
，得到输出f
ms3
；411)设定空域信息融合子网络的第一部分为卷积投影模块1、卷积投影模块2；第二部分为特征提取模块1、卷积下采样模块2、特征提取模块2、卷积下采样模块4进行顺序级联堆叠；第三部分为空域信息融合模块1、卷积下采样模块1、空域信息融合模块2、卷积下采样模块3、空域信息信息融合模块3进行顺序级联堆叠；将第一部分的输出f
ms
和f
pan
分别输入第二部分、第三部分，将第二部分的输出f
pan1
和f
pan2
输入第三部分，以此连接三个部分，完成空域信息融合子网络的构建。5.根据权利要求2所述的基于多尺度双域信息融合技术的遥感图像全色锐化方法，其特征在于，所述频域信息融合子网络包括以下步骤：51)设定上采样模块1为双三次插值操作，上采样模块1的输入是f
ms3
，输出为特征图f
ms3
′
，尺寸放大两倍；52)设定频域信息融合模块1包括傅里叶变换、傅里叶逆变换函数、特征融合单元、特征提取单元，其中特征融合单元由1x1卷积实现，特征提取单元由3x3卷积实现；输入为f
ms3
′
和f
pan1
′
在频域信息融合模块中，将f
ms3
′
和f
pan1
′
分别进行傅里叶变换，生成对应的振幅和频谱分量，将两者对应的分量进行融合，融合后进行傅里叶逆变换，得到空域特征，并将空域特征与f
ms3
′
进行拼接融合；其表达式如下：给定输入f
pan1
′
和f
ms3
′
，频域信息融合模块的公式定义如下：，频域信息融合模块的公式定义如下：，频域信息融合模块的公式定义如下：，频域信息融合模块的公式定义如下：，频域信息融合模块的公式定义如下：f
nid
′
＝conv3×3(f
ms3
′
)r
out
′
＝conv1×1(cat([f
mid
′
，f
fre
′
]))，f
ms4
＝r
out
′
+f
ns3
′
，公式中的对应着傅里叶变换，为傅里叶逆变换，cat为通道维度拼接，分别为傅里叶变换后的振幅、相位分量，conv1×1、conv3×3分别对应着尺寸为1x1和3x3的卷积操作；当输入f
ms3
′
和f
pan1
′
时，分别通过傅里叶变换生成对应的相位、振幅分量，并分别通过卷积操作进行融合，生成融合后的振幅相位分量将融合后的结果通过傅里叶逆变换，得到融合后的特征图；将原始的输入f
ms3
′
进行卷积操作提取特征，得到f
mid
′
，并与频域融合的特征f
fre
′
进行融合，以促进双域信息交互，并通过残差连接得到最后的结果f
ms4
；
53)设定上采样模块2为双三次插值操作，上采样模块2的输入是f
ms4
，输出为特征图f
ms4
′
，尺寸放大两倍；54)设定频域信息融合模块2，遵循与频域信息融合模块1相同操作，其中输入为f
ms4
′
和f
pan
′
，输出为f
ms5
；55)设定频域信息融合模块3，遵循与频域信息融合模块1相同操作，其中输入为f
ms5
和f
pan
，输出为f
ms6
；56)设定通道变换模块，由3x3卷积操作组成，stride＝1，输出为f
ms7
，将特征图通道调整为4；57)将上采样模块1、频域信息融合模块1、上采样模块2、频域信息融合模块2、频域信息融合模块3、通道转换模块按照顺序级联堆叠，完成频域信息融合子网络构建。

技术总结
本发明涉及基于多尺度双域信息融合技术的遥感图像全色锐化方法，与现有技术相比解决了融合图像易产生伪影、颜色失真、泛化性差的缺陷。本发明包括以下步骤：遥感图像的获取与预处理；构建全色锐化模型；全色锐化模型的训练；待锐化遥感图像的获取；遥感图像全色锐化结果的获得。本发明与使用空间域特征进行全色锐化方法相比，提升了融合图像的精度和色彩表现，在多种参考指标上都优于现有的方法，产生的图像质量更高。的图像质量更高。的图像质量更高。


技术研发人员：张洁 何炫华 颜科宇 谢成军 李瑞 张辉 杜健铭 陈红波 金洲 孙友强
受保护的技术使用者：中国科学院合肥物质科学研究院
技术研发日：2023.02.14
技术公布日：2023/7/11