基于光谱相关信息和空间高低频信息的超分辨率图像重建方法

1.本发明属于图像处理技术领域，更进一步涉及图像重建技术领域中的一种基于光谱相关性和空间高低频信息的超分辨率图像重建方法。本发明可以用于对高光谱图像进行超分辨率重建，以不失细节的放大目标图像。


背景技术：

2.随着人工智能与硬件设备的发展与迭代，深度学习模型已经在计算机视觉领域中取得了很大的成功，它们能够学习到复杂的图像特征和模式，从而更好地推断图像中隐含的信息。而针对高光谱图像而言，高光谱图像可以获取更加丰富的光谱信息，每个像素点不仅包含rgb三个波段的信息，还包含了其他波段的信息，从而可以更好地反映出物体的材质、组成和结构等特征，同时每个光谱波段之间也存在相关性。
3.中国人民解放军火箭军工程大学在其申请的专利文献“一种用于高光谱超分辨率重建的超像素稀疏表示方法”(申请号：2020106816377申请日：2020.07.15申请公布号：cn 111861885 a)中公开了一种用于高光谱超分辨率重建的超像素稀疏表示方法。该方法的实现步骤是：(1)利用分割算法聚类msi像素生成超像素，其中，超像素为同质像素的集合。(2)分别从hsi和msi学习光谱特征及比例信息。(3)采用联合稀疏正则化在学习的光谱特征上分解msi超像素获取系数信息。(4)利用学习的光谱特征及系数信息生成高分辨率的高光谱图像，完成用于高光谱超分辨率重建的超像素稀疏表示。但是，该方法仍然存在的不足之处在于，该方法忽略了不同阶段的特征，由于不同阶段的特征携带着不同的语义信息，通过简单串联的形式将特征传递至网络末端将导致网络首端附近特征的语音信息丢失，无法充分挖掘出现有模型中每个阶段的不同特征之间的联合信息。
4.z.jing等人在其发表的论文“multiscale feature mapping network for hyperspectral image super-resolution”(published as a conference paper at rs 2021)中提出的一种基于多尺度特征映射的高光谱超分辨率重建方法。该方法具体的实现步骤是：(1)将输入图像通过一个卷积核大小为3
×3×
3的卷积层提取浅层特征。(2)将浅层特征以此通过四个引入小波变换的菱形模块，每个菱形模块包括三部分：原特征图恒等映射、特征上采样和特征下采样。(3)将前三个菱形模块的输出特征利用卷积核大小为1
×1×
1的卷积层进行融合并与第四个菱形模块的输出相加。(4)将整合的特征通过亚像素卷积进行上采样并得到最终的结果图。但是，但是，该方法仍然存在的不足之处在于，该方法忽略了不同地物在光谱维度上的响应曲线不同这一特点。由于高光谱图像中不同像素对应的光谱曲线响应不同，注意力机制可以应用于光谱特征的强调。然而，现有的基于3d卷积的光谱注意力机制只能提取几个相邻光谱的特征，或者用更大的卷积核参数以换取更宽的光谱感受野。此外，如果将空间注意和通道注意简单地扩展到三维空间，则无法有效地利用存在于光谱维度的信息。


技术实现要素：

5.本发明的目的在于针对上述技术存在的缺陷，提出一种基于光谱相关信息和空间高低频信息的超分辨率图像重建方法，用于解决不能有效提取与利用高光谱图像中光谱和空间特征的问题。
6.为实现上述目的，本发明的思路是，本发明分别构建了光谱相关信息和空间高低频信息特征融合的超分辨率网络。利用高光谱图像的光谱波段存在大量信息的特点，对光谱波段进行特征提取与特征强调。由于本发明针对光谱和空间维度的联合特征信息的提取问题，构建了空谱联合特征提取子网络，可以针对高光谱图像的光谱波段信息进行特征提取与强调，并与空间和通道信息进行结合，从层次融合和交叉融合的角度将高光谱图像光谱维度、空间维度和通道维度的特征提取出来。由于本发明采用的是级联网络的结构，因此本发明构建了空间高低频分离的多级特征融合子网络，该子网络可以利用感受野的不同进行高低频信息的区分，并将高低频信息分别进行不同的特征映射和融合，对其进行进一步处理和融合，使得网络能够充分利用来自不同阶段的特征关系。据此解决了现有技术不能有效提取与利用高光谱图像中光谱和空间特征的问题。
7.本发明的实现步骤如下：
8.步骤1，构建空谱联合特征提取子网络：
9.搭建空谱联合特征提取子网络包括第一空谱联合注意力层、第二空谱联合注意力层、第三空谱联合注意力层、第四空谱联合注意力层、第一卷积层、第一激活层、第二卷积层、第二激活层；其中，第一至第四空谱联合注意力层结构相同；将第一、第二卷积层的大小均设置为1
×1×
1，步长设置为1，输出的填充补零设置为[0,0,0]，空洞值设置为[1,1,1]；第一、第二激活层均采用leakyrelu函数实现，函数在负数部分的斜率均设置为0.01；
[0010]
步骤2，构建空间高低频信息的多级特征融合子网络：
[0011]
搭建由空间高低频分离层、融合层、第一卷积层、第二卷积层、第一激活层、第三卷积层、第二激活层依次串联组成的空间高低频信息的多级特征融合子网络；所述融合层由空间高频融合层与空间低频融合层并联组成；
[0012]
设置空间高低频信息的多级特征融合子网络的参数如下：将第一至第三卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一激活层采用sigmoid函数实现；第二激活层采用leakyrelu函数实现，函数在负数部分的斜率设置为0.01；
[0013]
步骤3.构建基于光谱相关信息和空间高低频信息特征融合的超分辨率网络：
[0014]
搭建由浅层特征提取层、映射重建层串联组成的光谱相关信息和空间高低频信息特征融合的超分辨率网络；所述映射重建层由空谱联合特征提取子网络与空间高低频信息的多级特征融合子网络并联组成；
[0015]
步骤4.生成训练集：
[0016]
选取至少25张高光谱图像，每张高光谱图像分辨率的光谱波段数c、长度h、宽度w分别为大于或等于10、32、32；对每张高光谱图像进行数据预处理后得到该张图像的图像对，将所有的图像对组成训练集；
[0017]
步骤5.训练超分辨率网络：
[0018]
将训练集输入到光谱相关信息和空间高低频信息特征融合的超分辨率网络中，采
用adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的光谱相关信息和空间高低频信息特征融合的超分辨率网络；
[0019]
步骤6.对高光谱图像进行超分辨率重建：
[0020]
采用与步骤5相同的方法，对待重建的低空间分辨率高光谱图像进行预处理后输入到训练好的网络中，进行超分辨率重建，输出重建后的高分辨率的高光谱图像。
[0021]
本发明与现有技术相比较，具有以下优点：
[0022]
第一，由于本发明构建了光谱相关信息和空间高低频信息特征融合的超分辨率网络，使得本发明可以从空谱联合特征的角度与多级特征的角度对高光谱数据进行重建，克服了现有技术无法多层次地利用光谱维度的数据特性对高光谱数据进行高效地光谱特征提取的缺陷，使得本发明可以更加有效地从光谱和空间维度对高光谱图像进行超分辨率重建。
[0023]
第二，由于本发明构建的空谱联合特征提取子网络利用光谱高频信息对光谱维度进行注意力计算，使得本发明可以针对高光谱图像的光谱波段信息进行特征提取与强调，并与空间和通道信息进行结合，从层次融合和交叉融合的角度将高光谱图像光谱维度、空间维度和通道维度的特征提取出来，克服了现有技术无法充分挖掘空间和光谱维度的联合特性信息的不足，使得本发明能够有效地结合光谱和空间维度的联合特征信息，并利用注意力机制针对来自不同维度的特征进行强调和融合，大大增加了高光谱超分辨率重建过程中可以利用的空间细节和光谱相关性信息，使得本发明提高了高光谱图像的重建性能。
[0024]
第三，由于本发明构建的空间高低频分离的多级特征融合子网络，可以利用感受野的不同进行高低频信息的区分，并将高低频信息分别进行不同的特征映射，从而可以使网络能适应不同的特征表达，增强了网络的表达能力。克服了现有技术存在的忽略不同阶段的特征，或者简单地将不同阶段的特征连接到网络的末端，未能充分考虑对现有模型中每个阶段的特征信息进行进一步挖掘的缺陷，使得本发明的重建网络的非线性标的能力提高以及泛化性增强，增加了高光谱超分辨率重建结果中的高频细节和纹理特征，使得高光谱图像重建的质量更加优越。
附图说明
[0025]
图1是本发明的流程图；
[0026]
图2是本发明构建的空谱联合特征提取子网络结构示意图；
[0027]
图3是本发明构建的空谱联合注意力层结构示意图；
[0028]
图4是本发明构建的空间高低频信息的多级特征融合子网络结构示意图；
[0029]
图5是本发明构建的空间高低频信息分离层结构示意图；
[0030]
图6是本发明构建的空间高频融合层结构示意图；
[0031]
图7是本发明构建的空间低频融合层结构示意图；
[0032]
图8是本发明构建的光谱相关信息和空间高低频信息特征融合的超分辨率网络结构示意图。
具体实施方式
[0033]
下面结合附图和实施例，对本发明作进一步的描述。
[0034]
参照图1，对本发明实施例的实现步骤作进一步的描述。
[0035]
本发明实施例构建的基于光谱相关信息和空间高低频信息网络包括两大子网络：空谱联合特征提取子网络和空间高低频信息多级特征融合子网络。其中，空谱联合特征提取子网络包括空谱联合注意力层。空间高低频信息多级特征融合子网络包括空间高低频信息分离层、空间高频融合层以及间低频融合层。
[0036]
步骤1，构建空谱联合特征提取子网络。
[0037]
参照图2，对本发明的空谱联合特征提取子网络的结构作进一步的描述。
[0038]
搭建空谱联合特征提取子网络包括第一空谱联合注意力层、第二空谱联合注意力层、第三空谱联合注意力层、第四空谱联合注意力层、第一卷积层、第一激活层、第二卷积层、第二激活层。其中，第一至第四空谱联合注意力层结构相同。将第一、第二卷积层的大小均设置为1
×1×
1，步长设置为1，输出的填充补零设置为[0,0,0]，空洞值设置为[1,1,1]；第一、第二激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率均设置为0.01。
[0039]
参照图3对空谱联合注意力层的结构作进一步的描述。
[0040]
搭建空谱联合注意力层，其结构依次串联为：第一卷积层，第一激活层，第一并联层，第六卷积层，第六激活层，第七卷积层，第七激活层，第二并联层，第八卷积层，第九卷积层，第八激活层。所述第一并联层由第一支路与第二支路并联组成，第二卷积层与第二激活层串联构成第一支路，第四卷积层与第四激活层串联构成第二支路。所述第二并联层由第三支路与第四支路并联组成，第三卷积层与第三激活层串联成第三支路，第五卷积层与第五激活层串联构成第四支路。
[0041]
设置空谱联合注意力层各层参数如下：将第一、第二、第三、第六卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[1,0,0]，空洞值均设置为[1,1,1]。将第四、第五、第七卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[2,0,0]，空洞值均设置为[2,1,1]，将第八、第九卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]。第一至第五激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率均设置为0.01；第六至第九激活层采用sigmoid函数实现，用于计算输入特征在光谱维度的注意力大小。
[0042]
步骤2，构建空间高低频信息的多级特征融合子网络。
[0043]
参考图4，对本发明构建的空间高低频信息的多级特征融合子网络的结构作进一步描述。
[0044]
搭建由空间高低频分离层、融合层、第一卷积层、第二卷积层、第一激活层、第三卷积层、第二激活层依次串联组成的空间高低频信息的多级特征融合子网络。所述融合层由空间高频融合层与空间低频融合层并联组成。
[0045]
设置空间高低频信息的多级特征融合子网络的参数如下：将第一至第三卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一激活层采用sigmoid函数实现，用于计算输入特征在通道维度的注意力大小；第二激活层采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01。
[0046]
所述空间高低频分离层如图5所示，搭建空间高低频分离层的结构依次串联为：第一卷积层，第一激活层，第一组合层，下采样层，所述第一组合层由两条支路并联组成，第二卷积层与第二激活层串联组成第一支路，第三卷积层与第三激活层串联组成第二支路。
[0047]
设置空间高低频分离层的参数如下，将第一至第三卷积层的大小分别设置为1
×1×
1，3
×3×
3，3
×3×
3，步长均设置为1，输出的填充补零分别设置为[0,0,0]，[1,1,1]，[2,2,2]，空洞值分别设置为[1,1,1]，[1,1,1]，[2,2,2]；第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01；下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2倍，用于将输入特征图在空间维度的尺寸缩小两倍。
[0048]
参考图6，对构建的空间高频融合层的结构作进一步描述。
[0049]
搭建由高频并联层、第二卷积层、第二激活空间串联组成的空间高频融合层。所述高频并联层由第一支路与第二支路并联组成，第一卷积层与第一激活层串联组成第一支路，下采样层、第三卷积层、第三激活层、上采样层串联组成第二支路。
[0050]
设置空间高频融合层的参数如下，将第一至第三卷积层的大小均设置为3
×3×
3，步长均设置为1，输出的填充补零均设置为[1,1,1]，空洞值均设置为[1,1,1]。第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01。下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2倍，用于将输入特征图在空间维度的尺寸缩小两倍；上采样层采用三线性插值函数作为上采样的采样函数，采样倍数设置为2倍，用于将输入特征图在空间维度的尺寸放大两倍。
[0051]
参考图7，对本发明构建的空间低频融合层的结构作进一步描述。
[0052]
搭建由低频并联层、第二卷积层、第二激活层依次串联组成的空间低频融合层。所述低频并联层由第一支路与第二支路并联组成，第一卷积层与第一激活层串联组成第一支路，上采样层、第三卷积层、第三激活层、下采样层串联组成第二支路。
[0053]
设置空间低频融合层的参数如下，将第一至第三卷积层的大小均设置为3
×3×
3，步长均设置为1，输出的填充补零均设置为[1,1,1]，空洞值均设置为[1,1,1]；第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01；上采样层采用三线性插值函数作为上采样的采样函数，采样倍数设置为2倍，用于将输入特征图在空间维度的尺寸放大两倍；下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2倍，用于将输入特征图在空间维度的尺寸缩小两倍。
[0054]
步骤3，构建光谱相关信息和空间高低频信息特征融合的超分辨率网络。
[0055]
搭建由浅层特征提取层、映射重建层串联组成的超分辨率网络，如图8所示。
[0056]
所述浅层特征提取层由卷积层与激活层串联组成，将卷积层的卷积核大小设置为3
×3×
3，步长设置为1，空洞值设置为[1,1,1]；激活层采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01。
[0057]
所述映射重建层由空谱联合特征提取子网络与空间高低频信息的多级特征融合子网络并联组成。
[0058]
步骤4，生成训练集。
[0059]
本发明的实施例是从cave数据集中选取了25张高光谱图像，每张高光谱图像分辨率的光谱波段数c、长度h、宽度w分别为10、32、32。
[0060]
对每张高光谱图像进行数据预处理后得到该张图像的图像对，将所有的图像对组成训练集。
[0061]
所述数据预处理的步骤如下：
[0062]
第一步，对每张原始高分辨率高光谱图像分别进行1、0.75以及0.5倍数的下采样
操作，得到对应的三种采样倍数下的高分辨率高光谱图像，每种采样倍数下的高分辨率高光谱图像的分辨率为r表示降采样系数；
[0063]
第二步，按照下式，对每种采样倍数下的高分辨率高光谱图像进行归一化处理：
[0064]ihr
＝i
hr
/65535.0
[0065]
其中，i
hr
表示归一化后的高分辨率图像，i
hr
表示每种采样倍数下的高分辨率图像。
[0066]
第三步，对每张归一化后的高分辨率图像进行降采样，将每张降采样的低分辨率图像与归一化后的高分辨率图像组成图像对。
[0067]
步骤5，训练光谱相关信息和空间高低频信息特征融合的超分辨率网络。
[0068]
将训练集输入到光谱相关信息和空间高低频信息特征融合的超分辨率网络中，采用adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的光谱相关信息和空间高低频信息特征融合的超分辨率网络。
[0069]
所述adam优化算法的参数设置如下：将指数衰减率分别设置为0.9和0.999，eps设定为1e-8，步长被设定为0.0001。
[0070]
所述的损失函数如下：
[0071][0072]
其中，loss(
·
)表示损失函数，表示输入到光谱相关信息和空间高低频信息特征融合的超分辨率网络中的第i个归一化后的高分辨率高光谱图像，表示光谱相关信息和空间高低频信息特征融合的超分辨率网络中输出的第i个高分辨率高光谱图像，n表示输入到网络中训练集的一次批量图像的总数，∑(
·
)表示求和操作，|
·
|表示取绝对值操作。
[0073]
步骤6.对高光谱图像进行超分辨率重建：
[0074]
采用与步骤5相同的方法，对待重建的低空间分辨率高光谱图像进行预处理后输入到训练好的网络中，进行超分辨率重建，输出重建后的高分辨率的高光谱图像。
[0075]
下面结合仿真实验对本发明的效果做进一步的说明：
[0076]
1.仿真实验条件：
[0077]
本发明的仿真实验的硬件平台：显卡为nvidiartx2080ti x4、显存为11gb x4、处理器为intel(r)core(tm)cpui9-10900x@3.70ghz、内存为32gb。
[0078]
本发明的仿真实验的软件平台：在anaconda的python 3.6虚拟环境中搭建了包含pytorch-1.1.0+cu100、matplotlib-3.3.3等重要环境库的代码运行环境。
[0079]
2.仿真内容及其结果分析：
[0080]
本发明的仿真实验实验中使用的cave数据集是从日本sony公司创建的32张高光谱图像中随机选取25张高光谱图像，对每张高光谱图像进行裁剪，得到尺寸为64
×
64
×
31的高光谱图像。对每张裁剪好的高光谱图像进行旋转、下采样和归一化后，形成训练集。将cave数据集中剩余的7幅高光谱图像组成测试集。
[0081]
本发明的仿真实验是采用本发明的方法构建光谱相关信息和空间高低频信息特征融合的超分辨率网络，利用训练集的cave数据集对该超分辨率网络进行训练，随后再将
测试集中经过处理的cave高光谱图像输入到训练好的光谱相关信息和空间高低频信息特征融合的超分辨率网络中进行超分辨率图像的重建，得到7张高光谱图像重建后的超分辨率图像。
[0082]
为了验证本发明的仿真实验效果，将上采样系数设置为8，利用下述的平均峰值信噪比psnr(peak signal to noise ratio)公式，计算7张高光谱超分辨率重建图像的平均峰值信噪比，其结果为33.723db。
[0083][0084][0085]
其中，mse(i
hr
,i
sr
)表示对输入到公式的两张高光谱图像i
hr
和i
sr
计算得到均方误差mse，和表示对应高光谱图像i
hr
和i
sr
上坐标为(i,j)的像素值大小，psnr(i
hr
,i
sr
)表示对输入到公式的两张高光谱图像i
hr
和i
sr
计算得到的峰值信噪比psnr值，log
10
(
·
)表示以10为底的对数操作，表示对图像按照宽度w和长度h分别求和。
[0086]
利用下述的平均光谱角相似度sam(spectralangle mapper)公式，计算7张高光谱超分辨率重建图像的平均光谱角相似度，其结果为5.027。
[0087][0088][0089]
其中，θ(z
*
,zh)表示对输入到公式的两组向量z
*
和zh计算余弦相似度，cos-1
(
·
)表示余弦相似度计算操作，sam(i
hr
,i
sr
)表示对输入到公式的两张高光谱图像i
hr
和i
sr
计算得到的sam值，表示对图像的每个像素进行求和。
[0090]
以上仿真实验表明：本发明通过对网络添加光谱和空间的联合特征提取网络，可以充分的挖掘出高光谱图像数据中空间域和光谱域的联合特征，并利用光谱维度的特征相关性对空谱联合特征进行注意力机制的调整，极大程度的融合了空间与光谱信息，提高了超分辨率重建过程中对光谱信息的捕捉能力，有效的增加的重建效果。同时添加的空间高低频信息的多级特征融合网络针对特征在网络传递过程中产生的多极特征进行了特征复用与融合，引入了空间高低频信息的方式对不同特征进行分组，组间与组内的特征交流和融合极大程度的提高了网络对特征的利用率，促进了各级图像特征的信息融合，提高了算法整体的效能，是一种非常实用的高光谱图像超分辨率方法。

技术特征：
1.一种基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，构建空谱联合特征提取子网络，构建空间高低频信息的多级特征融合子网络；该重建方法的步骤包括如下：步骤1，构建空谱联合特征提取子网络：搭建空谱联合特征提取子网络包括第一空谱联合注意力层、第二空谱联合注意力层、第三空谱联合注意力层、第四空谱联合注意力层、第一卷积层、第一激活层、第二卷积层、第二激活层；其中，第一至第四空谱联合注意力层结构相同；将第一、第二卷积层的大小均设置为1
×1×
1，步长设置为1，输出的填充补零设置为[0,0,0]，空洞值设置为[1,1,1]；第一、第二激活层均采用leakyrelu函数实现，函数在负数部分的斜率均设置为0.01；步骤2，构建空间高低频信息的多级特征融合子网络：搭建由空间高低频分离层、融合层、第一卷积层、第二卷积层、第一激活层、第三卷积层、第二激活层依次串联组成的空间高低频信息的多级特征融合子网络；所述融合层由空间高频融合层与空间低频融合层并联组成；设置空间高低频信息的多级特征融合子网络的参数如下：将第一至第三卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一激活层采用sigmoid函数实现；第二激活层采用leakyrelu函数实现，函数在负数部分的斜率设置为0.01；步骤3.构建基于光谱相关信息和空间高低频信息特征融合的超分辨率网络：搭建由浅层特征提取层、映射重建层串联组成的光谱相关性信息和空间高低频信息特征融合的超分辨率网络；所述映射重建层由空谱联合特征提取子网络与空间高低频信息的多级特征融合子网络并联组成；步骤4.生成训练集：选取至少25张高光谱图像，每张高光谱图像分辨率的光谱波段数c、长度h、宽度w分别为大于或等于10、32、32；对每张高光谱图像进行数据预处理后得到该张图像的图像对，将所有的图像对组成训练集；步骤5.训练超分辨率网络：将训练集输入到基于光谱相关信息和空间高低频信息特征融合的超分辨率网络中，采用adam优化算法迭代更新网络参数，直到损失函数收敛为止，得到训练好的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络；步骤6.对高光谱图像进行超分辨率重建：采用与步骤5相同的方法，对待重建的低空间分辨率高光谱图像进行预处理后输入到训练好的网络中，进行超分辨率重建，输出重建后的高分辨率的高光谱图像。2.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤1中所述空谱联合注意力层的结构依次串联为：第一卷积层，第一激活层，第一并联层，第六卷积层，第六激活层，第七卷积层，第七激活层，第二并联层，第八卷积层，第九卷积层，第八激活层；所述第一并联层由第一支路与第二支路并联组成，第二卷积层与第二激活层串联构成第一支路，第四卷积层与第四激活层串联构成第二支路；所述第二并联层由第三支路与第四支路并联组成，第三卷积层与第三激活层串联成第三支路，第五卷积层与第五激活层串联构成第四支路。
3.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤1中所述空谱联合注意力层的各层参数设置如下：将第一、第二、第三、第六卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[1,0,0]，空洞值均设置为[1,1,1]；将第四、第五、第七卷积层的大小均设置为3
×1×
1，步长均设置为1，输出的填充补零均设置为[2,0,0]，空洞值均设置为[2,1,1]，将第八、第九卷积层的大小均设置为1
×1×
1，步长均设置为1，输出的填充补零均设置为[0,0,0]，空洞值均设置为[1,1,1]；第一至第五激活层均采用leakyrelu函数实现，函数在负数部分的斜率均设置为0.01；第六至第九激活层采用sigmoid函数实现。4.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤2中所述空间高低频分离层是由第一卷积层，第一激活层，第一组合层，下采样层依次串联组成；所述第一组合层由两条支路并联组成，第二卷积层与第二激活层串联组成第一支路，第三卷积层与第三激活层串联组成第二支路；设置空间高低频分离层的参数如下，将第一至第三卷积层的大小分别设置为1
×1×
1，3
×3×
3，3
×3×
3，步长均设置为1，输出的填充补零分别设置为[0,0,0]，[1,1,1]，[2,2,2]，空洞值分别设置为[1,1,1]，[1,1,1]，[2,2,2]；第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01；下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2。5.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤2中所述空间高频融合层是由高频并联层、第二卷积层、第二激活空间串联组成；所述高频并联层由第一支路与第二支路并联组成，第一卷积层与第一激活层串联组成第一支路，下采样层、第三卷积层、第三激活层、上采样层串联组成第二支路；将第一至第三卷积层的大小均设置为3
×3×
3，步长均设置为1，输出的填充补零均设置为[1,1,1]，空洞值均设置为[1,1,1]；第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01；下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2；上采样层采用三线性插值函数作为上采样的采样函数，采样倍数设置为2。6.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤2中所述空间低频融合层由低频并联层、第二卷积层、第二激活层依次串联组成；所述低频并联层由第一支路与第二支路并联组成，第一卷积层与第一激活层串联组成第一支路，上采样层、第三卷积层、第三激活层、下采样层串联组成第二支路；将第一至第三卷积层的大小均设置为3
×3×
3，步长均设置为1，输出的填充补零均设置为[1,1,1]，空洞值均设置为[1,1,1]；第一至第三激活层均采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01；上采样层采用三线性插值函数作为上采样的采样函数，采样倍数设置为2；下采样层采用三线性插值函数作为下采样的采样函数，采样倍数设置为2。7.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤3中所述浅层特征提取层由卷积层与激活层串联组成；将卷积层的卷积核大小设置为3
×3×
3，步长设置为1，空洞值设置为[1,1,1]；激活层采用leakyrelu函数实现，将该函数在负数部分的斜率设置为0.01。8.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤4中所述数据预处理的步骤如下：
第一步，对每张原始高分辨率高光谱图像分别进行1、0.75以及0.5倍数的下采样操作，得到对应的三种采样倍数下的高分辨率高光谱图像，每种采样倍数下的高分辨率高光谱图像的分辨率为r表示降采样系数，分别为1、0.75以及0.5；第二步，按照下式，对每种采样倍数下的高分辨率高光谱图像进行归一化处理：i
hr
＝i
hr
/65535.0其中，i
hr
表示归一化后的高分辨率图像，i
hr
表示每种采样倍数下的高分辨率图像；第三步，对每张归一化后的高分辨率图像进行降采样，将每张降采样的低分辨率图像与归一化后的高分辨率图像组成图像对。9.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤5中所述adam优化算法的参数设置如下：将指数衰减率分别设置为0.9和0.999，eps设定为1e-8，步长被设定为0.0001。10.根据权利要求1所述的基于光谱相关信息和空间高低频信息特征融合的超分辨率网络，其特征在于，步骤5中所述的损失函数如下：其中，loss(
·
)表示损失函数，表示输入到基于光谱相关信息和空间高低频信息特征融合的超分辨率网络中的第i个归一化后的高分辨率高光谱图像，表示基于光谱相关信息和空间高低频信息特征融合的超分辨率网络中输出的第i个高分辨率高光谱图像，n表示输入到网络中训练集的一次批量图像的总数，∑(
·
)表示求和操作，|
·
|表示取绝对值操作。

技术总结
本发明公开了一种基于光谱相关信息和空间高低频信息的超分辨率图像重建方法。实现步骤为：在分别构建空谱联合特征提取子网络和空间高低频信息的多级特征融合子网络的基础上；构建光谱相关信息和空间高低频信息特征融合的超分辨率网络；利用生成的训练集训练超分辨率网络；对高光谱图像进行超分辨率重建。本发明利用光谱的混合注意力使得重建过程能够有效结合光谱维度与空间维度的联合信息，增强了对高光谱图像不同波段特征间的非线性学习能力，使重建得到高分辨率高光谱图像更加清晰，并且提升了对于高光谱图像纹理细节和边缘特征重建的能力。征重建的能力。征重建的能力。


技术研发人员：张静 郑任杰 陈旭 洪兆龙 李云松
受保护的技术使用者：西安电子科技大学
技术研发日：2023.06.16
技术公布日：2023/8/21