一种基于SwinTransformer和CNN融合的遥感图像全色锐化方法

一种基于swintransformer和cnn融合的遥感图像全色锐化方法
技术领域
1.本发明涉及深度学习以及计算机视觉技术领域，具体涉及一种基于swintransformer和convolutional neural network(cnn)融合的遥感图像全色锐化方法。


背景技术：

2.具有高空间分辨率和高光谱分辨率的卫星图像在土地覆盖分类、变化检测、环境检测等领域具有广泛的应用价值，大多数遥感卫星只能捕获具有高光谱分辨率低空间分辨率的多光谱(ms)图像和高空间分辨率低光谱分辨率的全色(pan)图像，因此全色锐化任务的目的是融合ms和pan图像，生成同时具有高空间分辨率和高光谱分辨率(hrms)的图像。
3.传统的全色锐化可以分为三大类：成分替换(component substitution,cs)、多分辨率分析(multi-resolution analysis,mra)和变分优化方法(variationaloptimization,vo)。这些方法需要手工制作先验来正则化hrms图像的解空间，通常会导致空间或光谱畸变。
4.近年来，随着深度学习技术和计算机视觉领域的快速发展，深度神经网络逐渐替代传统方法被应用在全色锐化任务中。现有的深度神经网络全色锐化方法可以粗略地分为两类：基于cnn的方法和基于transformer的方法。
5.pnn作为第一个基于cnn的方法，通过将ms和pan图像拼接后输入到一个三层卷积网络来提取ms和pan图像的特征，此后基于cnn的方法大多通过叠加网络层数来提高特征提取能力。虽然基于cnn的方法能够有效地提取图像的局部特征，但它对于不同的图像区域始终保持相同的权重矩阵，而全色锐化任务中局部区域的像素之间的关系是不同的，这往往对于最终预测图像生成产生影响。
6.近年来，基于transformer的模型利用自注意机制来捕捉上下文之间的全局交互，具有从图像中学习全局信息的能力，在全色锐化任务中获得了更好的效果。但是值得注意的是，transformer本身将输入的图像划分为固定大小的块并独立处理，这使得基于transformer的方法很难学习像素级别的注意力，从而很难获取图像的局部精细特征。
7.在全色锐化任务中，遥感图像的全局特征和局部特征对于图像的重建同等重要，基于cnn的模型关注了对遥感图像的局部特征的提取，基于transformer的模型关注了对遥感图像的全局特征的提取。
8.因此，如何设计一个全色锐化模型，使其能够同时利用cnn和transformer模型的优点，提取ms图像和pan图像和全局特征和局部特征，是目前亟待解决的技术问题。


技术实现要素：

9.本发明要解决的技术问题是如何充分结合cnn和transformer模型的优势，将ms图像和pan图像的全局信息和局部信息进行合理地提取，并提供一种基于swintransformer和cnn融合的遥感图像全色锐化方法。
10.本发明所采用的具体技术方案如下：
11.一种基于swintransformer和cnn融合的遥感图像全色锐化方法，其具体做法为：将待全色锐化的全色图像和多光谱图像输入全色锐化模型中，且所述全色锐化模型包括第一特征提取路径、第二特征提取路径和图像重建模块，全色图像和多光谱图像分别作为第一特征提取路径和第二特征提取路径的输入图像，两个输入图像在各自的特征提取路径中分别经过基于cnn的浅特征提取模块和基于swintransformer的深特征提取模块进行浅层特征提取和深层特征提取，最后将第二特征提取路径中提取到的深层特征和浅层特征经过残差连接融合后再与第一特征提取路径中提取到的深层特征在通道维度上进行拼接，拼接特征输入图像重建模块中进行图像的重建；
12.两条特征提取路径中的浅特征提取模块均为一组卷积模块级联而成的cnn卷积网络；所述第一特征提取路径中的深特征提取模块由两组stb(swintransformer block)模块级联而成，且每一组stb模块的前端带有pm(patchmerging)模块，pm模块用于对每一组stb模块的输入进行patchmerging操作；所述第二特征提取路径中的深特征提取模块由两组stb模块级联而成；两条特征提取路径中的每一组stb模块均由一个第一stb模块和一个第二stb模块级联而成；所述第一stb模块以前端级联模块输出的浅层特征图作为输入，每个输入的浅层特征图经过层归一化后按照固定尺寸的划分窗口分割为不重合的局部窗口块，对于每一个局部窗口块再通过跨窗口共享的线性投影矩阵进行编码并得到每个局部窗口的特征向量，接着以各局部窗口的特征向量作为多头注意力层中多头注意力机制的查询(query)、值(value)和键(key)并通过注意力融合得到注意力图，将注意力图与输入的浅层特征图进行残差连接后得到中间特征图，再将中间特征图经过层归一化和线性分类器后的结果与中间特征图残差连接，得到第一stb模块的输出特征；所述第二stb模块以前端级联的第一stb模块的输出特征作为输入特征，第二stb模块通过在第一stb模块的多头注意力层之前增加窗口移位操作；两条特征提取路径中均以第二组stb模块中第二stb模块的输出特征作为深特征提取模块提取到的深层特征；
13.所述图像重建模块中对输入的拼接特征进行多次卷积和上采样，得到最终的全色锐化结果。
14.作为优选，所述深特征提取模块以panformer模型为基线模型，将panformer模型中的自注意模块均采用所述stb模块代替后得到。
15.作为优选，所述cnn卷积网络依次由五层3*3卷积层和一层1*1卷积层级联而成。
16.作为优选，所述第二stb模块中，对第一stb模块中划分的窗口进行移位操作时，横纵两个方向的移动距离均为窗口大小的一半的向下取整值。
17.作为优选，所述图像重建模块由第一3*3卷积层、第一像素重组层、第二3*3卷积层、第二像素重组层、第三3*3卷积层和第四3*3卷积层依次级联而成。
18.作为优选，所述全色锐化模型在用于实际全色锐化之前，预先利用经过wald协议后产生的训练数据进行训练，且所述全色锐化模型训练采用的损失函数为平均绝对值误差。
19.作为优选，所述pm模块执行patchmerging操作时，对输入的特征在行方向和列方向上间隔两个位置选取元素，拼成新的窗口图像块，再把所有的窗口图像块都拼接起来作为一整个张量，最后展开并通过一个全连接层调整通道维数为原来的两倍，形成传递至后
方的输出特征。
20.作为优选，所述第一stb模块中，分割形成局部窗口块的划分窗口尺寸固定为4
×
4。
21.作为优选，所述深特征提取模块中，最终提取得到的深层特征通道数为64。
22.作为优选，所述第二stb模块中，多头注意力机制以输入的单一特征作为query、value和key进行注意力融合，从而得到注意力图。
23.本发明相对于现有技术而言，具有以下有益效果：
24.本发明在全色锐化任务中引入swintransformer方法并将其与cnn方法相结合，分别提取图像的深特征和浅特征，将得到的特征拼接后进行图像重建。与传统的基于transformer的方法相比，在保留了模型对图像全局特征的提取能力的同时加强了对局部特征的关注。swintransformer的局部注意力和移位窗口机制带来了更好的非线性纹理特征，进一步提高对局部特征的提取能力，swintransformer和cnn相结合的创新过程解决了遥感图像全色锐化当前关注全局特征而忽略局部特征的缺陷，在worldview-3和gaofen-2数据集上的实验验证了本发明提供的模型能够提高遥感图像全色锐化的性能。
附图说明
25.图1为swcpan模型结构图；
26.图2为stb模块示意图；
27.图3为图像重建模块示意图；
28.图4为本发明实施例中swcpan模型的一种训练和测试流程图。
具体实施方式
29.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但是本发明能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似改进，因此本发明不受下面公开的具体实施例的限制。本发明各个实施例中的技术特征在没有相互冲突的前提下，均可进行相应组合。
30.在本发明的描述中，需要理解的是，术语“第一”、“第二”仅用于区分描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
31.在遥感领域中，同时具有高空间分辨率和高光谱分辨率的遥感影像在土地覆盖分类、变化检测、环境检测等领域具有广泛的应用价值，而遥感卫星通常只能获取具有高光谱分辨率低空间分辨率的多光谱图像(ms)，和具有高空间分辨率低光谱分辨率的全色图像(pan)，此时就需要全色锐化将ms和pan合成为同时具有高空间分辨率和高光谱分辨率的hrms图像。全色锐化算法一般基于深度学习方法，目前主流的方法可以分为基于cnn的模型和基于transformer的模型。其中基于cnn的模型关注了图像的局部特征，但是对于不同的图像区域始终保持相同的权重矩阵，而全色锐化任务中局部区域的像素之间的关系是不同的，这往往对于最终预测图像生成产生影响；基于transformer的模型关注了图像的全局特征，但是将输入的图像划分为固定大小的块并独立处理，这使得基于transformer的方法很难学习像素级别的注意力，从而很难获取图像的局部精细特征。因此需要设计出更好的模
型，同时关注图像的全局特征和局部特征，本发明的核心正是在全色锐化模型中提出了一种特殊的结合swintransformer和cnn的遥感图像全色锐化方法，一方面引入了swintransformer的局部注意力和移位窗口机制，增强了transformer对局部特征的关注，另一方面通过cnn和transformer分别提取图像的局部特征和全局特征，将特征融合后重建出hrms图像，从而实现更好的全色锐化效果。
32.在本发明的一个较佳实施例中，提供的一种基于swintransformer和cnn融合的遥感图像全色锐化方法具体如下：
33.将待全色锐化的ms图像和pan图像按模态以双路径方式输入输入全色锐化模型中，且所述全色锐化模型包括第一特征提取路径、第二特征提取路径和图像重建模块，全色图像和多光谱图像分别作为第一特征提取路径和第二特征提取路径的输入图像，第一特征提取路径和第二特征提取路径中分别具有基于cnn的浅特征提取模块和基于swintransformer的深特征提取模块，两个输入图像在各自的特征提取路径中分别经过浅特征提取模块和深特征提取模块进行浅层特征提取和深层特征提取；最后将第二特征提取路径中提取到的深层特征和浅层特征经过残差连接融合后再与第一特征提取路径中提取到的深层特征在通道维度上进行拼接，得到的拼接特征再输入图像重建模块中进行图像的重建。
34.上述基于swintransformer和cnn融合的遥感图像全色锐化方法本质上可以描述为一个遥感图像全色锐化模型(记为swcpan)中的数据处理过程。下面先对本发明swcpan模型的具体结构进行详细描述。图1为swcpan模型的整体结构图，swcpan模型由三个模块组成：浅特征提取模块、深特征提取模块和图像重建模块。由于ms和pan图像是不同的模态，swcpan模型构建了一个双路径编码器来提取特征，即上述的第一特征提取路径和第二特征提取路径中均具有浅特征提取模块、深特征提取模块，分别对两种模态的图像进行特征提取。
35.具体而言，swcpan模型的两条特征提取路径中，浅特征提取模块均为一组卷积模块级联而成的cnn卷积网络。在本发明的实施例中，swcpan模型的浅特征提取模块由五组3
×
3的卷积层和一组1
×
1的卷积层顺次级联而成。浅特征提取模块的输入主要是原始的ms图像m，维度为(b
×
c0×
h0×
w0)，和pan图像p，维度为(b
×1×
4h0×
4w0)，b为输入的batch size，b在训练阶段视每一批的样本量而定，而在预测阶段b可设置为1，c0、h0、w0分别为图像的波段数、高度和宽度，这里c0可设置为4。ms图像m和pan图像p分别通过浅层特征提取后得到对应的浅层特征图m0和p0，维度分别为(b
×
c1×
h1×
w1)和(b
×
c1×
4h1×
4w1)，c1、h1、w1分别为浅层特征图m0的特征通道数、高度和宽度。提取后的浅层特征将被输入到深特征提取模块。而该深特征提取模块是以panformer模型为基线模型，将panformer模型中的自注意模块均采用stb模块代替后得到。
36.具体而言，继续参见图1所示，两条路径中的深特征提取模块总共由4组swintransformer block(stb)模块和两组patchmerging模块(pm模块)组成，每一组stb模块中包含一个第一stb模块和一个第二stb模块，用于提取图像的深层特征。4组stb模块和两组pm模块分别位于两条特征提取路径中，其中第一特征提取路径中的深特征提取模块由两组stb模块和两组pm模块组成，其中两组stb模块级联，且每一组stb模块的前端带有pm模块，pm模块用于对每一组stb模块的输入进行patchmerging操作；而第二特征提取路径中的
深特征提取模块直接由两组stb模块级联而成，每一组stb模块的前端没有pm模块。
37.上述每一组stb模块中的两个stb模块，其基本结构是相同的，区别仅在于stb模块中多头自注意力机制的前处理有区别。每个stb模块的基本结构由两组层归一化层(layernorm layer,ln)，一组多头自注意力层(multi-headself-attention layer,msa)和一组线性分类器(multi-layer perceptron,mlp)组成，如图2所示。由于输入的浅层特征m0和p0具有不同的高度和宽度，模型在第一特征提取路径上的第一stb模块和第二stb模块之前各增加了一个pm模块。pm模块用于执行patchmerging操作，每个patchmerging模块使得输入的特征的高度和宽度缩小为原来的二分之一。第一stb模块以前端级联模块输出的浅层特征图作为输入，每个输入的浅层特征图经过层归一化后按照固定尺寸的划分窗口分割为不重合的局部窗口块(本发明的实施例中，分割形成局部窗口块的划分窗口尺寸可固定为4
×
4)，对于每一个局部窗口块再通过跨窗口共享的线性投影矩阵进行编码并得到每个局部窗口的特征向量，接着以各局部窗口的特征向量作为多头注意力机制的查询(query)、值(value)和键(key)进行注意力融合得到注意力图，将注意力图与输入的浅层特征图进行残差连接后得到中间特征图，再将中间特征图经过层归一化和线性分类器后的结果与中间特征图残差连接，得到第一stb模块的最终输出特征。具体而言，第一stb模块首先将输入的特征归一化为x，其维度为(b
×c×h×
w)，接着将特征切分成不重叠的个窗口，每个窗口的大小为m2，于是总体特征维度修改为通过这种方式对每个特征大小为(b
×c×
m2)的窗口xi应用自注意机制，从而降低计算量。具体来说，对于每个xi，通过跨窗口共享的线性投影矩阵pq、pk和pv进行编码，得到每个窗口的特征向量，并将其作为多头注意力机制的query，value和key。从而对每个窗口单独执行自注意机制，对于每个窗口特征在实际过程中对自注意机制并行地执行，并将结果串联到msa的结果中。接着第一stb模块再次将残差连接的输出特征通过ln层归一化后，通过一个mlp对多头自注意力的结果进行编码，该编码的目的在于对特征进一步进行抽取，同时对于过高维度特征进行压缩。最后通过残差叠加后得到第一stb模块的输出结果，第一stb模块中的处理过程用公式表达如下：
38.x
←
msa(ln(x))+x
39.x
←
mlp(ln(x))+x
40.整个第一stb模块能够对对应位置的窗口内部局部细节信息进行提取和融合，做到在特征提取过程中弥补深层信息缺失的细节局部信息，但是缺少对跨窗口的信息的特征提取，因此第二stb模块对输入的特征增加了移位窗口机制。
41.具体而言，每个第二stb模块中的数据处理流程与第一stb模块基本类似，其区别仅在于第二stb模块相对于第一stb模块而言在多头自注意模块前增加了窗口移位操作。且本实施例中此处对第一stb模块中划分的窗口进行移位操作时，横纵两个方向的移动距离均为窗口大小m的一半的向下取整值，即第二stb模块中需将原来划分的窗口移动的位置之后再进行多头自注意操作，而第一stb模块直接进行多头自注意操作。因此，在第二stb模块中，将输入的单个特征依次经过层归一化、窗口移位、多头注意力机制、残差连接、层归一化、线性分类器和残差连接后，形成传递至后方的输出特征，其中除了窗口移位之外，其余的层归一化、多头注意力机制、残差连接、层归一化、线性分类器和残差
连接均与第一stb模块相同。由于在多头注意力机制之前增加了窗口移位，因此第二stb模块中多头注意力机制msa以经过窗口移位之后的输入模块的特征作为query、value和key进行注意力融合，从而得到注意力图。
42.继续参见图1所示，ms图像的第二特征提取路径中，前一个第二stb模块输出的特征作为下一个第一stb模块的输入，逐级传递，直至到达最后一个第二stb模块，最后一个第二stb模块输出的特征向量为m1，其维度为(b
×c×
h2×
w2)；pan图像的第一特征提取路径中，前一个第二stb模块输出的特征被输入到patchmerging模块，pm模块通过patchmerging操作对输入的特征在行方向和列方向上间隔一个位置选取元素，拼成新的窗口图像块，再把所有的窗口图像块都拼接起来作为一整个张量，最后展开并通过一个全连接层调整通道维数为原来的两倍，形成传递至下一个第一stb模块的输出特征，逐级传递，直至到达最后一个pm模块，最后一个pm模块输出的特征向量为p1，其维度为(b
×c×
h2×
w2)。
43.在上述swcpan模型中，两条特征提取路径中均以第二组stb模块中第二stb模块的输出特征作为深特征提取模块提取到的深层特征。深特征提取模块最终提取得到的深层特征通道数可设置为64。
44.最终，两条特征提取到的浅层特征和深层特征需要通过融合输入图像重建模块中。图像重建模块中对输入的拼接特征进行多次卷积和上采样，得到最终的全色锐化结果。具体而言，ms图像通过深特征提取模块提取得到的深层特征m1与ms图像经过浅特征提取模块提取得到的浅层特征m0经过残差处理后得到特征m2，即：m2＝m1+m0。m2与pan图像通过深层特征提取模块提取得到的深层特征p1拼接之后得到拼接结果，即：m
′
＝concat(p1,m2)，将该拼接结果m
′
输入图像重建模块中。
45.具体而言，图像重建模块由四组3
×
3的卷积层和两组像素重组层(pixel-shuffle layer)组成，如图3所示，图像重建模块具体由第一3*3卷积层、第一像素重组层、第二3*3卷积层、第二像素重组层、第三3*3卷积层和第四3*3卷积层依次级联而成。从深特征提取模块输出的特征m
′
首先进入第一个卷积层，提取出特征f1，其维度为(4c
×
h0×
w0)，然后通过第一个像素重组层调整特征大小为(c
×
2h0×
2w0)，接着输入到第二个卷积层提取出特征f2，其维度为(4c
×
2h0×
2w0)，然后通过第二个像素卷积层调整特征大小为(c
×
4h0×
4w0)，将输出的特征传送到第三个卷积层提取出特征f3，其维度为(c
×
4h0×
4w0)，最后将f3送入最后一个卷积层输出最终的特征图向量f，其维度为(4
×
4h0×
4w0)
46.需注意的是，上述全色锐化模型swcpan在用于实际全色锐化之前，预先利用经过wald协议后的训练数据进行训练，全色锐化模型训练所采用的损失函数可采用平均绝对值误差。
47.下面将上述结合swintransformer和cnn的遥感图像全色锐化方法应用于一个具体实施例中，以展示其所能实现的技术效果。
48.实施例
49.本实施例中，将上述基于swintransformer和cnn融合的遥感图像全色锐化方法应用于具体的数据集中。其中swcpan模型的总体训练和测试流程可以分为数据预处理，模型训练，图像预测三个阶段，具体如图4所示。
50.1、数据预处理阶段
51.步骤1，对于获得的原始遥感图像ms和pan，进行图片预处理，先进行图像切割，翻
转等操作后进行数据增强并处理成相同尺寸影像(128*128)。
52.步骤2，经过wald协议生成groundtruth，将预处理后的ms和pan图像下采样为原来的四分之一，作为模型的原始输入图像，并将原来的ms图像作为模型的groundtruth。
53.2、模型训练
54.步骤1，构建训练数据集，并将训练数据集按照固定的批量大小进行分批，总数为n。
55.步骤2，从训练数据集中顺序选取索引为i的一批训练样本，其中i∈{0,1,
…
,n}。利用每一个批次的训练样本对全色锐化模型swcpan进行训练。swcpan的具体结构如前所述，不再赘述。训练过程中，计算每一个训练样本平均绝对值误差，并根据批中所有训练样本的总损失，对整个模型中的网络参数进行调整，直到训练数据集的所有批次都参与了模型训练。达到指定迭代次数后，模型收敛，训练完毕。
56.3、遥感图像全色锐化
57.将测试集的图像直接作为输入通过训练好的全色锐化模型swcpan中，最终预测得到同时具有高空间分辨率和高光谱分辨率的hrms图像，从而实现全色锐化。
58.本实施例中，测试结果如下：
[0059][0060]
本实施例以峰值信噪比(psnr)、结构相似性(ssim)、光谱角映射器(sam)和相对无量纲综合误差(ergas)作为模型效果的评价指标，可以看到结合了swintransformer和cnn的全色锐化模型swcpan能够很好地对于遥感图像实现全色锐化效果，生成同时具有高空间分辨率和光谱分辨率的hrms图像，在融合图像更加光滑的同时相较于使用传统的transformer方法具有一定效果上的提升。
[0061]
为了进一步证明swcpan中swintransformer和cnn模块中对局部特征的提取对总体效果的影响，本实施例在两种不同的设置下对swcpan进行了消融实验：(ⅰ)去除浅特征提取模块(ⅱ)将深特征提取模块中的stb模块替换成相同数量的常规transformer模块。这两种设置都在一定程度上降低了模型对图像局部特征的提取能力。
[0062]
本消融实验例中，测试结果如下：
[0063]
[0064]
从表中可以看到相较于ⅰ和ⅱ的实验设置，原有的swcpan在gaofen-2数据集上在四个指标上均展现了更好的效果，这表明本发明的swcpan模型中swintransformer和cnn模块的设计有利于对全色锐化效果的提升。依赖于cnn的浅层特征模块关注了图像的局部特征，依赖于swintransformer局部注意力和移位窗口的创新过程带来了更好的非线性纹理特征，进一步提高对局部特征的提取能力。
[0065]
综上所述，swintransformer和cnn相结合的创新过程解决了遥感图像全色锐化当前关注全局特征而忽略局部特征的缺陷，为cnn和transformer的结合在全色锐化任务上的进一步发展提供了可能。
[0066]
以上所述的实施例只是本发明的一种较佳的方案，然其并非用以限制本发明。有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案，均落在本发明的保护范围内。

技术特征：
1.一种基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于：将待全色锐化的全色图像和多光谱图像输入全色锐化模型中，且所述全色锐化模型包括第一特征提取路径、第二特征提取路径和图像重建模块，全色图像和多光谱图像分别作为第一特征提取路径和第二特征提取路径的输入图像，两个输入图像在各自的特征提取路径中分别经过基于cnn的浅特征提取模块和基于swintransformer的深特征提取模块进行浅层特征提取和深层特征提取，最后将第二特征提取路径中提取到的深层特征和浅层特征经过残差连接融合后再与第一特征提取路径中提取到的深层特征在通道维度上进行拼接，拼接特征输入图像重建模块中进行图像的重建；两条特征提取路径中的浅特征提取模块均为一组卷积模块级联而成的cnn卷积网络；所述第一特征提取路径中的深特征提取模块由两组stb(swintransformer block)模块级联而成，且每一组stb模块的前端带有pm(patchmerging)模块，pm模块用于对每一组stb模块的输入进行patchmerging操作；所述第二特征提取路径中的深特征提取模块由两组stb模块级联而成；两条特征提取路径中的每一组stb模块均由一个第一stb模块和一个第二stb模块级联而成；所述第一stb模块以前端级联模块输出的浅层特征图作为输入，每个输入的浅层特征图经过层归一化后按照固定尺寸的划分窗口分割为不重合的局部窗口块，对于每一个局部窗口块再通过跨窗口共享的线性投影矩阵进行编码并得到每个局部窗口的特征向量，接着以各局部窗口的特征向量作为多头注意力层中多头注意力机制的查询(query)、值(value)和键(key)并通过注意力融合得到注意力图，将注意力图与输入的浅层特征图进行残差连接后得到中间特征图，再将中间特征图经过层归一化和线性分类器后的结果与中间特征图残差连接，得到第一stb模块的输出特征；所述第二stb模块以前端级联的第一stb模块的输出特征作为输入特征，第二stb模块通过在第一stb模块的多头注意力层之前增加窗口移位操作；两条特征提取路径中均以第二组stb模块中第二stb模块的输出特征作为深特征提取模块提取到的深层特征；所述图像重建模块中对输入的拼接特征进行多次卷积和上采样，得到最终的全色锐化结果。2.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述深特征提取模块以panformer模型为基线模型，将panformer模型中的自注意模块均采用所述stb模块代替后得到。3.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述cnn卷积网络依次由五层3*3卷积层和一层1*1卷积层级联而成。4.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述第二stb模块中，对第一stb模块中划分的窗口进行移位操作时，横纵两个方向的移动距离均为窗口大小的一半的向下取整值。5.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述图像重建模块由第一3*3卷积层、第一像素重组层、第二3*3卷积层、第二像素重组层、第三3*3卷积层和第四3*3卷积层依次级联而成。6.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述全色锐化模型在用于实际全色锐化之前，预先利用经过wald协议后产生的训练数据进行训练，且所述全色锐化模型训练采用的损失函数为平均绝对值误差。
7.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述pm模块执行patchmerging操作时，对输入的特征在行方向和列方向上间隔两个位置选取元素，拼成新的窗口图像块，再把所有的窗口图像块都拼接起来作为一整个张量，最后展开并通过一个全连接层调整通道维数为原来的两倍，形成传递至后方的输出特征。8.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述第一stb模块中，分割形成局部窗口块的划分窗口尺寸固定为4
×
4。9.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述深特征提取模块中，最终提取得到的深层特征通道数为64。10.如权利要求1所述的基于swintransformer和cnn融合的遥感图像全色锐化方法，其特征在于，所述第二stb模块中，多头注意力机制以输入的单一特征作为query、value和key进行注意力融合，从而得到注意力图。

技术总结
本发明公开了一种基于SwinTransformer和CNN融合的遥感图像全色锐化方法。本发明在全色锐化任务中引入SwinTransformer方法并将其与CNN方法相结合，分别提取图像的深特征和浅特征，将得到的特征拼接后进行图像重建。与传统的基于Transformer的方法相比，在保留了模型对图像全局特征的提取能力的同时加强了对局部特征的关注。SwinTransformer的局部注意力和移位窗口机制带来了更好的非线性纹理特征，进一步提高对局部特征的提取能力，SwinTransformer和CNN相结合的创新过程解决了遥感图像全色锐化当前关注全局特征而忽略局部特征的尴尬，在WorldView-3和GaoFen-2数据集上的实验验证了我们的模型能够提高遥感图像全色锐化的性能。图像全色锐化的性能。图像全色锐化的性能。


技术研发人员：冯天 张微 张焕庭 马梦婷
受保护的技术使用者：浙江大学
技术研发日：2023.04.19
技术公布日：2023/9/11