一种基于多序列循环卷积神经网络的全色锐化方法

1.本发明涉及遥感图像处理技术领域，是一种全色图像和多光谱图像融合的全色锐化技术。


背景技术：

2.高分辨率多光谱图像不仅在工程评估、土地管理和城市规划中具有广泛的应用前景，而且是许多遥感任务的重要预处理步骤，如场景识别、目标检测和变化检测。然而，由于遥感卫星传感器的技术和经济限制，直接捕获的多光谱图像往往难以同时具有高空间分辨率和高光谱分辨率。大多数多光谱遥感平台往往同时配备全色成像设备，因此将全色图像(panchromatic，pan)与多光谱图像(multispectral，ms)融合生成具有高光谱分辨率和高空间分辨率的ms图像。我们将这种图像处理技术称为全色锐化技术，是遥感图像处理领域的热点问题。
3.在过去的几十年中，全色锐化已经发展了各种各样的融合方法：1.成分替代(componentsubstitution，cs)方法首先将多光谱图像转换为强度-色调-饱和度(intensity-hue-saturation，ihs) 空间，然后使用全色图像替换空间分量，最后将数据逆变换为多光谱图像。格拉姆-施密特 (gram-schmidt，gs)融合方法、自适应施密特(gram-schmidt adaptive，gsa)方法和带依赖空间细节 (band-dependent spatial-detail，bdsd)融合方法都属于成分替代类型。基于成分替代的融合结果的空间信息得到了增强，但往往会产生严重的光谱失真；2.多分辨率分析(multiresolutionanalysis，mra)将从高空间分辨率全色图像中提取的详细空间信息注入到多光谱图像中，以提高空间分辨率并减少光谱失真。基于多分辨率分析的方法主要包括小波变换(wavelettransform，wt)、拉普拉斯金字塔(laplacian pyramid，lp)、加性小波亮度比例和tr6us小波变换。虽然基于多分辨率分析的方法可以很好地保持光谱信息，但算法复杂度较高，更容易受到图像配准结果的影响，导致全色锐化结果的空间失真；3.变分优化(variational optimization，vo)主要通过假设或先验构造能量函数，然后将能量函数最小化以获得更好的融合结果。常见的基于 vo的方法包括基于k-means聚类算法的非局部优化、贝叶斯后验概率和基于归一化高斯分布总变分算子的自适应正则化。但是基于vo的方法有时效率低，严重阻碍了它的广泛应用。4：深度学习(deep learning，dl)方法主要受到基于卷积神经网络(convolutional neuralnetworks，cnn)的超分辨率的启发，masi等人提出通过卷积神经网络进行全色锐化，以学习从低分辨率多光谱图像到高分辨率多光谱图像的映射关系，旨在重建高分辨率全色锐化结果，这是深度学习技术在全色锐化领域的一次成功创新。后续逐渐发展出了包括，boostingthe accuracy of multispectral image pansharpening by learning(drpnn)，a deep residualnetwork a multiscale and multidepth convolutional neural network for remote sensingimagery(msdcnn)，remote sensing image fusion based on two-stream fusion network pan
‑ꢀ
sharpening(tfnet)，deep gradient projection networks for pan-sharpening(gppnn).然而现有的基于深度学习的全色锐化方法大多是
将全色图像和多光谱图像作为一个整体去处理，而忽略了多光谱图像波段间的局部依赖性和全局相关性，为了解决这个问题，提出了一种基于多序列循环卷积神经网络的全色锐化模型multi-sequence convolutional recurrent network forpansharpening(mcrnn)，可以提高锐化结果的精度，促进更广泛的应用。


技术实现要素：

4.全色锐化技术可以融合低空间分辨率的全色图像和高光谱分辨率的生成具有的高空间分辨率和高光谱分辨率的多光谱图像，然后现有的基于深度学习的全色锐化技术大多数是将全色图像和多光谱图像作为一个整体处理，而忽略了全色图像和多光谱图像各波段间的局部依赖性和全局相关性，从而影响了全色锐化结果，针对这一问题，本文提出一种基于多序列循环卷积神经网络的全色锐化模型。可以提高锐化结果的精度，促进更广泛的应用。提出的模型包括如下步骤：
5.(1)先按照比例因子s通过双三次插值方法将原始多光谱图像进行上采样至全色图像大小，然后将多光谱图像和全色图像进行堆叠形成多序列数据xi。
6.(2)构建特征提取子网络，并将多序列数据xi分别输入特征提取子网络中提取每个波段的浅层特征。
7.(3)构建特征融合子网络，对特征提取子网络输出的序列特征进行波段内和波段间关系建模，捕获不同波段间的局部依赖性和全局相关性，从而提升全色锐化的性能。
8.(4)构建特征恢复子网络，将特征融合子网络输出的融合结果恢复成高空间分辨和高光谱分辨率的多光谱图像。
9.步骤(1)中，将全色图像和多光谱图像堆叠形成多序列数据s的具体步骤为：假设 g
pan
(h
×w×
1)是具含有1个光谱波段的全色图像，是具含有m个光谱波段的原始多光谱图像，按照比例因子s双线性插值后，得到是具含有b个光谱波段全色图像尺寸大小的多光谱图像，然后将全色图像和多光谱图像进行堆叠形成多序列数据s。该过程可以由以下公式表示
[0010][0011][0012]
步骤(2)中，特征提取子网络的主要结构是：两个连续的卷积层，并将两个残差块嵌入这两个卷积层之间，其中残差块主要包括两个卷积层和一个跳跃连接，每个卷积层之后嵌入一个激活层。残差块的工作原理可以用下面的公式来描述
[0013]
yi＝h(xi)+r(xi，bi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0014]
x
i+1
＝f(yi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0015]
其中xi和x
i+1
是残差块的输入和输出，r(.)是残差函数，f(yi)是激活函数，h(xi)是恒等映射函数。在模型中，残差块的参数是共享的，以保持融合精度和参数数量的相对平衡。因此，将多序列数据xi依次输入特征提取网络φ，得到各个波段特征图fi(i＝1，2，...，m+1)，整个过程可以表示为：
[0016]fi
＝φ(xi)，i＝1，2，
…
，m+1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0017]
需要指出的是上面所提及的卷积层的卷积核大小均为3*3
[0018]
步骤(3)中，构建的特征融合子网络的主要结构为convgru单元，其工作原理如下：假设φ是特征图。更新门和重置门分别是zi和ri。更新门zi是更新激活hi时的逻辑门，则zi表示为：
[0019]
zi＝σ(wz*fi+uz*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0020]
其中σ是激活函数。在更新门中，wz和uz分别表示当前输入层到隐藏层和前一个隐藏层到当前隐藏层的权重矩阵，h
i-1
是前一个隐藏层的输出激活值。*表示卷积算子。重置门ri在确定候选激活时估计是否放弃之前的激活hi，则ri可以定义为：
[0021]ri
＝σ(wr*fi+ur*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0022]
其中，在重置门中，wr和ur分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。候选激活旨在接收[fi，h
i-1
]，并由下式给出：
[0023][0024]
其中wh和uh也分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。最后，单元的隐藏状态hi的输出激活目标是接收并由等式(9)获得
[0025][0026]
其中代表hadamard算子。总之，将所有波段的特征图f输入深度特征融合子网络，根据公式(6)-(9)得到特征融合结果然后使用全局平均池化(gap)使输出的特征融合结果在多序列维度上固定在目标分辨率上，表示为：
[0027][0028]
步骤(4)中，构建特征恢复子网络，其主要结构为一层卷积层构成，使用大小为1*1的卷积核，将特征融合子网络的融合结果恢复成目标分辨率率大小的多光谱图像。
附图说明
[0029]
图1为基于多序列的循环卷积神经网络的全色锐化模型原理流程图
[0030]
图2(a)为quickbird卫星数据集原有ms图像1
[0031]
图2(b)为quickbird卫星数据集原有pan图像1
[0032]
图2(c)为quickbird卫星数据集上采样后的ms图像1
[0033]
图2(d)为quickbird卫星数据集原有ms图像2
[0034]
图2(e)为quickbird卫星数据集原有pan图像2
[0035]
图2(f)为quickbird卫星数据集上采样后的ms图像2
[0036]
图3(a)为基于pnn方法的quickbird卫星数据集降分辨率结果
[0037]
图3(b)为基于pannet方法的quickbird卫星数据集降分辨率结果
[0038]
图3(c)为基于msdcnn方法的quickbird卫星数据集降分辨率结果
[0039]
图3(d)为基于tfnet方法的quickbird卫星数据集降分辨率结果
[0040]
图3(e)为基于gppnn方法的quickbird卫星数据集降分辨率结果
[0041]
图3(f)为基于mcrnn方法的quickbird卫星数据集降分辨率结果
[0042]
图4(a)为基于pnn方法的quickbird卫星数据集全分辨率结果
[0043]
图4(b)为基于pannet方法的quickbird卫星数据集全分辨率结果
[0044]
图4(c)为基于msdcnn方法的quickbird卫星数据集全分辨率结果
[0045]
图4(d)为基于tfnet方法的quickbird卫星数据集降分辨率结果
[0046]
图4(e)为基于gppnn方法的quickbird卫星数据集全分辨率结果
[0047]
图4(f)为基于mcrnn方法的quickbird卫星数据集全分辨率结果
具体实施方式
[0048]
基于多序列卷积循环神经网络的全色锐化方法，包括如下步骤：
[0049]
(1)先按照比例因子s通过双三次插值方法将原始多光谱图像进行上采样至全色图像大小，然后将多光谱图像和全色图像进行堆叠形成多序列数据xi。将全色图像和多光谱图像堆叠形成多序列数据s的具体步骤为：假设g
pan
(h
×w×
1)是具含有1个光谱波段的全色图像，是具含有m个光谱波段的原始多光谱图像，按照比例因子s双线性插值后，得到是具含有b个光谱波段全色图像尺寸大小的多光谱图像，然后将全色图像和多光谱图像进行堆叠形成多序列数据s。该过程可以由以下公式表示
[0050][0051][0052]
(2)构建特征提取子网络，并将多序列数据xi分别输入特征提取子网络中提取每个波段的浅层特征，，特征提取子网络的主要结构是：两个连续的卷积层，并将两个残差块嵌入这两个卷积层之间，其中残差块主要包括两个卷积层和一个跳跃连接，每个卷积层之后嵌入一个激活层。残差块的工作原理可以用下面的公式来描述
[0053]
yi＝h(xi)+r(xi，bi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0054]
x
i+1
＝f(yi)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0055]
其中xi和x
i+1
是残差块的输入和输出，r(.)是残差函数，f(yi)是激活函数，h(xi)是恒等映射函数。在模型中，残差块的参数是共享的，以保持融合精度和参数数量的相对平衡。因此，将多序列数据xi依次输入特征提取网络φ，得到各个波段特征图fi(i＝1，2，...，m+1)，整个过程可以表示为：
[0056]fi
＝φ(xi)，i＝1，2，
…
，m+1
ꢀꢀꢀꢀꢀꢀ
(5)
[0057]
需要指出的是上面所提及的卷积层的卷积核大小均为3*3
[0058]
(3)构建特征融合子网络，对特征提取子网络输出的序列特征进行波段内和波段间关系建模，捕获不同波段间的局部依赖性和全局相关性，从而提升全色锐化的性能。
[0059]
建的特征融合子网络的主要结构为convgru单元，其工作原理如下：假设φ是特征图。更新门和重置门分别是zi和ri。更新门zi是更新激活hi时的逻辑门，则zi表示为：
[0060]
zi＝σ(wz*fi+uz*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0061]
其中σ是激活函数。在更新门中，wz和uz分别表示当前输入层到隐藏层和前一个隐藏层到当前隐藏层的权重矩阵，h
i-1
是前一个隐藏层的输出激活值。*表示卷积算子。重置门ri在确定候选激活时估计是否放弃之前的激活hi，则ri可以定义为：
[0062]ri
＝σ(wr*fi+ur*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0063]
其中，在重置门中，wr和ur分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。候选激活旨在接收[fi，h
i-1
]，并由下式给出：
[0064]
[0065]
其中wh和uh也分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。最后，单元的隐藏状态hi的输出激活目标是接收并由等式(9)获得
[0066][0067]
其中代表hadamard算子。总之，将所有波段的特征图f输入深度特征融合子网络，根据公式(6)-(9)得到特征融合结果然后使用全局平均池化(gap)使输出的特征融合结果在多序列维度上固定在目标分辨率上，表示为：
[0068][0069]
(4)构建特征恢复子网络，将特征融合子网络输出的融合结果恢复成高空间分辨和高光谱分辨率的多光谱图像。
[0070]
图1为本发明提出的基于多序列循环卷积神经网络全色锐化模型原理流程图。
[0071]
图2(a)为quickbird卫星数据集原有ms图像；图2(b)为quickbird卫星数据集原有 pan图像；图2(c)为quickbird卫星数据集降分辨率ms图像；图2(d)为quickbird卫星数据集降分辨率pan图像。
[0072]
图3(a)为基于pnn方法的quickbird卫星数据集降分辨率结果；图3(b)为基于pannet 方法的quickbird卫星数据集降分辨率结果；图3(c)为基于msdcnn方法的quickbird卫星数据集降分辨率结果；图3(d)为基于tfnet方法的quickbird卫星数据集降分辨率结果；图3(e)为基于gppnn方法的quickbird卫星数据集降分辨率结果；图3(f)为基于mcrnn方法的quickbird卫星数据集降分辨率结果；
[0073]
图4(a)为基于pnn方法的quickbird卫星数据集全分辨率结果；图4(b)为基于pannet 方法的quickbird卫星数据集全分辨率结果；图4(c)为基于msdcnn方法的quickbird卫星数据集全分辨率结果；图4(d)为基于tfnet方法的quickbird卫星数据集全分辨率结果；图 4(e)为基于gppnn方法的quickbird卫星数据集全分辨率结果；图4(f)为基于mcrnn方法的quickbird卫星数据集全分辨率结果。
[0074]
表1为全色锐化结果的降分辨率的评价指标图，指标包含降分辨率的sam，ergas， q4，cc；表2为全色锐化结果的全分辨率的评价指标图，指标包含全分辨率的d
λ
，ds和 qnr。表1和表2分别显示了实验1和2中6种基于深度学习的全色锐化方法分别在降分辨率和全分辨率的指标值。提出的multi-sequence convolutional recurrent network forpansharpening(mcrnn)在所有方法中，在降分辨率时获得最低的sam，ergas和最高的 q4，cc；在全分辨率时获得最低的d
λ
，ds和最高的qnr。从总体结果来看，mtf-glp
‑ꢀ
hpm-ds-reg无论在将分辨率评估还是全分辨率评估中都有着良好的性能和一定的稳定性。
[0075]
表格1降分辨率实验结果指标
[0076][0077]
表格2全分辨率实验结果指标
[0078]

技术特征：
1.本发明通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型。包括如下步骤：(1)先按照比例因子s通过双三次插值方法将原始多光谱图像进行上采样至全色图像大小，然后将多光谱图像和全色图像进行堆叠形成多序列数据x
i
。(2)构建特征提取子网络，并将多序列数据x
i
分别输入特征提取子网络中提取每个波段的浅层特征。(3)构建特征融合子网络，对特征提取子网络输出的序列特征进行波段内和波段间关系建模，捕获不同波段间的局部依赖性和全局相关性，从而提升全色锐化的性能。(4)构建特征恢复子网络，将特征融合子网络输出的融合结果恢复成高空间分辨和高光谱分辨率的多光谱图像。2.如权利要求1所述的，通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型其特征在于，步骤(1)中，假设g
pan
(n
×
w
×
1)是具含有1个光谱波段的全色图像，是具含有m个光谱波段的原始多光谱图像，按照比例因子s双线性插值后，得到是具含有b个光谱波段全色图像尺寸大小的多光谱图像，然后将全色图像和多光谱图像进行堆叠形成多序列数据s。该过程可以由以下公式表示该过程可以由以下公式表示3.如权利要求2所述的通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型，其特征在于，步骤(2)中，特征提取子网络的主要结构是：两个连续的卷积层，并将两个残差块嵌入这两个卷积层之间，其中残差块主要包括两个卷积层和一个跳跃连接，每个卷积层之后嵌入一个激活层。残差块的工作原理可以用下面的公式来描述y
i
＝h(x
i
)+r(x
i
，b
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)x
i+i
＝f(y
i
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中x
i
和x
i+1
是残差块的输入和输出，r(.)是残差函数，f(y
i
)是激活函数，h(x
i
)是恒等映射函数。在模型中，残差块的参数是共享的，以保持融合精度和参数数量的相对平衡。因此，将多序列数据x
i
依次输入特征提取网络φ，得到各个波段特征图f
i
(i＝1，2，...，m+1)，整个过程可以表示为：f
i
＝φ(x
i
)，i＝1，2，...，m+1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)需要指出的是上面所提及的卷积层的卷积核大小均为3*3。4.如权利要求3所述的通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型其特征在于，步骤(3)中构建的特征融合子网络的主要结构为convgru单元，其工作原理如下：假设φ是特征图。更新门和重置门分别是z
i
和r
i
。更新门z
i
是更新激活h
i
时的逻辑门，则z
i
表示为：z
i
＝σ(w
z
*f
i
+u
z
*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)其中σ是激活函数。在更新门中，w
z
和u
z
分别表示当前输入层到隐藏层和前一个隐藏层到当前隐藏层的权重矩阵，h
i-1
是前一个隐藏层的输出激活值。*表示卷积算子。重置门r
i
在
确定候选激活时估计是否放弃之前的激活h
i
，则r
i
可以定义为：r
i
＝σ(w
r
*f
i
+u
r
*h
i-1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)其中，在重置门中，w
r
和u
r
分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。候选激活旨在接收[f
i
，h
i-1
]，并由下式给出：其中w
h
和u
h
也分别表示从当前输入层到隐藏层和从前一个隐藏层到当前隐藏层的权重矩阵。最后，单元的隐藏状态h
i
的输出激活目标是接收并由等式(9)获得其中代表hadamard算子。总之，将所有波段的特征图f输入深度特征融合子网络，根据公式(6)-(9)得到特征融合结果然后使用全局平均池化(gap)使输出的特征融合结果在多序列维度上固定在目标分辨率上，表示为：5.如权利要求4所述的通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型，其特征在于，步骤(4)中，构建特征恢复子网络，其主要结构为一层卷积层构成，使用大小为1*1的卷积核，将特征融合子网络的融合结果恢复成目标分辨率率大小的多光谱图像。

技术总结
本发明通过对视图内和视图间关系建模，提出了一种基于多序列循环卷积神经网络的全色锐化模型。包括如下步骤：(1)先按照比例因子S通过双三次插值方法将原始多光谱图像进行上采样至全色图像大小，然后将多光谱图像和全色图像进行堆叠形成多序列数据x


技术研发人员：王鹏 何忠臣
受保护的技术使用者：南京航空航天大学
技术研发日：2022.06.15
技术公布日：2023/7/11