一种基于改进型Transformer网络的小麦样本图像参考超分方法

一种基于改进型transformer网络的小麦样本图像参考超分方法
技术领域
1.本发明涉及高光谱图像处理技术领域，尤其是一种基于改进型transformer网络的小麦样本图像参考超分方法。


背景技术：

2.小麦是我国最重要的主粮作物之一，小麦产业发展直接关系到国家粮食安全和社会稳定，因此，对小麦品质分析是至关重要的。高光谱图像是一个包含丰富光谱和空间信息的三维数据立方体，拥有上百个连续谱段信息，极大地提高了探测和识别能力。但由于光谱分辨率和空间分辨率的互斥性，难以直接得到高空间分辨率的小麦高光谱图像。利用小麦样本低分辨率高光谱(lr-hsi)图和高分辨率rgb(hr-rgb)图参考超分生成高分辨率高光谱(hr-hsi)图，可以克服高光谱仪器硬件条件的限制，对高光谱图像在小麦品质的分析上具有重要意义。
3.参考超分是指通过参考图像hr信息的补偿，将lr-hsi图转化成高质量的hr-hsi图。transformer网络凭借出色的特征提取能力和自注意力机制，在参考超分任务中表现优异。然而，由于hsi图和rgb图具有不同的属性，传统transformer网络对hsi图和rgb图不加区分的特征提取方式是不合理的，这可能会导致网络超分性能下降。随着网络层数的增加，传统transformer网络单一尺度的特征融合方法无法融入多样特征，从而会导致图像分辨率的损失。
4.因此，针对以上问题，如何设计一种获取不同图像属性特征和融入多样特征细节的参考超分方法已经成为了一个亟待解决的问题。


技术实现要素：

5.为克服传统transformer网络不加区分的特征提取方式和单一尺度的特征融合方法导致的参考超分图像分辨率损失的缺陷，本发明的目的在于提供一种能够获取不同图像属性特征、融入多样特征细节的基于改进型transformer网络的小麦样本图像参考超分方法。
6.为实现上述目的，本发明采用了以下技术方案：一种基于改进型transformer网络的小麦样本图像参考超分方法，该方法包括下列顺序的步骤：
7.(1)获取小麦样本的lr-hsi图、hr-hsi图和hr-rgb图，组成图像对；
8.(2)对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；
9.(3)采用双分支特征提取模块和多水平特征融合模块搭建改进型transformer网络，利用训练样本训练改进型transformer网络；
10.(4)将待处理的小麦样本的lr-hsi图和hr-rgb图导入训练好的改进型transformer网络，训练好的改进型transformer网络输出参考超分hr-hsi图像。
11.在步骤(1)中，所述小麦样本包括健康籽粒、发霉籽粒、患赤霉病籽粒、发育不良籽粒、小麦麦秆和籽粒麦壳，所述lr-hsi图的维度为c
×h×
b，c和h分别为lr-hsi图的长和宽，b为lr-hsi图的通道数；所述hr-hsi图的维度为kc
×
kh
×
b，k为参考超分辨率的倍数；所述hr-rgb图的维度为l
×w×
b，l和w为hr-rgb图的长和宽，b为hr-rgb图的通道数。
12.所述步骤(2)具体包括以下步骤：
13.(2a)对图像对进行阈值去噪处理，去除采集时的噪声；
14.(2b)将去噪后的图像对进行配准，步骤如下：
15.(2b1)将通道数为b的lr-hsi图、hr-hsi图经过cie 1931颜色转换函数转化为通道数为3的伪rgb图；
16.(2b2)将伪rgb图与hr-rgb图输入图像配准模型，将配准后的图像对进行封装，得到训练样本，将训练样本划分为训练集和测试集。
17.所述步骤(3)具体是指：所述改进型transformer网络包含双分支特征提取模块和多水平特征融合模块：
18.所述双分支特征提取模块包括用于提取lr-hsi图的纹理和光谱特征细节的lr-hsi图像特征提取分支，以及用于提取hr-rgb图的纹理和光谱特征细节的hr-rgb图像特征提取分支，lr-hsi图像特征提取分支和hr-rgb图像特征提取分支为并行结构，lr-hsi图像特征提取分支、hr-rgb图像特征提取分支均由浅层特征提取模块和深层特征提取模块组成；
19.所述浅层特征提取模块采用transformer编码器、解码器结构，hr-rgb图和经下采样和上采样操作后的hr-rgb图通过hr-rgb图像特征提取分支转换成特征向量vs、ks，所述上采样和下采样操作均指双三次插值函数；lr-hsi图通过lr-hsi图像特征提取分支转换为特征向量qs，浅层特征提取函数表达式为：
20.(qs)
shallow
＝matmul((vector
lr-hsi
),wq)
21.(vs,ks)
shallow
＝(matmul((vector
hr-rgb
),wv),matmul((vector
hr-rgb
↓↑
),wk))
22.其中，matmul()表示矩阵乘法函数，vector
lr-hsi
表示lr-hsi图原始图像向量，vector
hr-rgb
表示hr-rgb图原始图像向量，vector
hr-rgb
↓↑
表示经下采样和上采样操作后的hr-rgb图的原始图像向量，wq，wk和wv均表示线性层权重矩阵，(qs)
shallow
，(vs,ks)
shallow
均表示经浅层特征提取后的特征向量，
↓↑
为图像下采样和上采样操作；
23.所述深层特征提取模块经过堆叠的卷积层、归一化层、激活层和池化层对特征向量qs、ks、vs进一步处理，在每层池化层操作前提取不同深度的特征向量qi、ki、vi，i＝1,2,3，引进多尺度残差模块保留图像对的浅层特征；多尺度残差模块使用1*1、3*3和5*5卷积并联获取浅层特征映射特征，经1*1卷积调整串联后的特征向量空间与原始特征空间一致，训练样本经过双分支特征提取模块和多尺度残差模块的信息转换为特征向量q、k、v，深层特征提取块的数学表达式如下：
24.(qs)
deep
＝relu(fc(msa((qs)
shallow
)))
25.(vs,ks)
deep
＝relu(fc(msa((vs,ks)
shallow
)))
26.其中，msa()为多头注意力模块函数，fc()为全连接层函数，relu()为激活层函数，(qs)
deep
表示特征向量(qs)
shallow
经lr-hsi图像特征提取分支深层特征提取后的特征向量，(vs,ks)
deep
表示特征向量(vs,ks)
shallow
经hr-rgb图像特征提取分支深层特征提取后的特
征向量；
27.多尺度残差模块的数学表达式如下：
[0028][0029]
其中，conv
1*1
为1*1卷积，表示1*1、3*3和5*5卷积对浅层特征向量的处理，m为多尺度残差模块的输出；
[0030]
双分支特征提取模块函数表达式为：
[0031]
(q)＝((qs)
deep
)+m
[0032]
(k、v)＝((ks)
deep
,(vs)
deep
)+m
[0033]
其中，(qs)
deep
，((ks)
deep
，(vs)
deep
)均表示经深层特征提取后的特征向量，m为多尺度残差模块的输出；
[0034]
多水平特征融合模块将特征向量q、k、v与qi、ki、vi，进行不同水平的融合，多水平特征融合模块首先将特征向量q、k、v与每一级别的qi、ki、vi连接起来生成特征向量q
+
、k
+
、v
+
；随后，经双注意力模块dab计算融合权重，与不同水平的特征向量q
+
、k
+
、v
+
相乘后得到多样特征，经不同尺度的上采样插值函数、1*1卷积和线性层调整多样特征的尺寸大小和特征空间一致，上采样插值函数通常为双三次插值；
[0035]
多水平特征融合模块的计算公式如下：
[0036]fi+1
＝fi·
dab(q
+
、k
+
、v
+
)
[0037]
f＝conv
1*1
(concat(f1,f2↑
,f3↑↑
))
[0038]
其中，i＝1,2,3，q
+
、k
+
、v
+
分别表示特征向量q、k、v与每一级别的qi、ki、vi连接后的特征向量，fi表示经双注意力模块dab得到的权重值与原始特征向量相乘后的特征向量，f表示多样特征融合后的特征向量，
↑
表示2倍双三次插值上采样，
↑↑
表示4倍双三次插值上采样。
[0039]
在步骤(3)中，所述训练改进型transformer网络采用l1损失函数进行训练，l1损失函数的数学表达式为：
[0040][0041]
其中，∑为求和操作，为开根号操作，为输入数据真实标签分布，为改进型transformer网络的预测值，上标k表示训练样本中第k个样本，n为每一批次的总样本数。
[0042]
第一，由上述技术方案可知，本发明的有益效果为：第一，搭建双分支特征提取模块，通过并行结构的lr-hsi图像特征提取分支和hr-rgb图像特征提取分支，有针对性的分别提取小麦样本lr-hsi图和hr-rgb图的纹理和光谱特征细节，进一步的引进了多尺度残差模块，保留丰富的浅层特征；第二，搭建多水平特征融合模块，利用特征提取不同深度的特征，获取充分的多样特征细节，并引入了双注意力块，平衡全局信息与局部表征的信息交互，避免了图像局部锐化或局部细节模糊等问题；第三，与现有技术相比，通过双分支特征
提取模块对训练样本有针对性的处理，通过多水平特征融合模块对训练样本多样特征细节的补充，使得改进型transformer网络在小麦样本图像参考超分中拥有更加锐利的边缘与更精细的细节。
附图说明
[0043]
图1为本发明的方法流程图；
[0044]
图2为本发明中双分支特征提取模块的示意图；
[0045]
图3为本发明中多尺度特征融合模块的示意图；
[0046]
图4为本发明中多尺度残差模块的结构示意图；
[0047]
图5为本发明中双注意力模块的结构示意图；
[0048]
图6为本发明中六类小麦样本图像的参考超分结果示意图。
具体实施方式
[0049]
如图1所示，一种基于改进型transformer网络的小麦样本图像参考超分方法，该方法包括下列顺序的步骤：
[0050]
(1)获取小麦样本的lr-hsi图、hr-hsi图和hr-rgb图，组成图像对；
[0051]
(2)对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；
[0052]
(3)采用双分支特征提取模块和多水平特征融合模块搭建改进型transformer网络，利用训练样本训练改进型transformer网络；
[0053]
(4)将待处理的小麦样本的lr-hsi图和hr-rgb图导入训练好的改进型transformer网络，训练好的改进型transformer网络输出参考超分hr-hsi图像。
[0054]
在步骤(1)中，所述小麦样本包括健康籽粒、发霉籽粒、患赤霉病籽粒、发育不良籽粒、小麦麦秆和籽粒麦壳，所述lr-hsi图的维度为c
×h×
b，c和h分别为lr-hsi图的长和宽，b为lr-hsi图的通道数；所述hr-hsi图的维度为kc
×
kh
×
b，k为参考超分辨率的倍数；所述hr-rgb图的维度为l
×w×
b，l和w为hr-rgb图的长和宽，b为hr-rgb图的通道数。
[0055]
所述步骤(2)具体包括以下步骤：
[0056]
(2a)对图像对进行阈值去噪处理，去除采集时的噪声；
[0057]
(2b)将去噪后的图像对进行配准，步骤如下：
[0058]
(2b1)将通道数为b的lr-hsi图、hr-hsi图经过cie 1931颜色转换函数转化为通道数为3的伪rgb图；
[0059]
(2b2)将伪rgb图与hr-rgb图输入图像配准模型，将配准后的图像对进行封装，得到训练样本，将训练样本划分为训练集和测试集。
[0060]
所述步骤(3)具体是指：所述改进型transformer网络包含双分支特征提取模块和多水平特征融合模块：
[0061]
如图2所示，所述双分支特征提取模块包括用于提取lr-hsi图的纹理和光谱特征细节的lr-hsi图像特征提取分支，以及用于提取hr-rgb图的纹理和光谱特征细节的hr-rgb图像特征提取分支，lr-hsi图像特征提取分支和hr-rgb图像特征提取分支为并行结构，lr-hsi图像特征提取分支、hr-rgb图像特征提取分支均由浅层特征提取模块和深层特征提取
模块组成；
[0062]
所述浅层特征提取模块采用transformer编码器、解码器结构，hr-rgb图和经下采样和上采样操作后的hr-rgb图通过hr-rgb图像特征提取分支转换成特征向量vs、ks，所述上采样和下采样操作均指双三次插值函数；lr-hsi图通过lr-hsi图像特征提取分支转换为特征向量qs，浅层特征提取函数表达式为：
[0063]
(qs)
shallow
＝matmul((vector
lr-hsi
),wq)
[0064]
(vs,ks)
shallow
＝(matmul((vector
hr-rgb
),wv),matmul((vector
hr-rgb
↓↑
),wk))
[0065]
其中，matmul()表示矩阵乘法函数，vector
lr-hsi
表示lr-hsi图原始图像向量，vector
hr-rgb
表示hr-rgb图原始图像向量，vector
hr-rgb
↓↑
表示经下采样和上采样操作后的hr-rgb图的原始图像向量，wq，wk和wv均表示线性层权重矩阵，(qs)
shallow
，(vs,ks)
shallow
均表示经浅层特征提取后的特征向量，
↓↑
为图像下采样和上采样操作；
[0066]
所述深层特征提取模块经过堆叠的卷积层、归一化层、激活层和池化层对特征向量qs、ks、vs进一步处理，在每层池化层操作前提取不同深度的特征向量qi、ki、vi，i＝1,2,3，引进多尺度残差模块保留图像对的浅层特征；多尺度残差模块使用1*1、3*3和5*5卷积并联获取浅层特征映射特征，经1*1卷积调整串联后的特征向量空间与原始特征空间一致，训练样本经过双分支特征提取模块和多尺度残差模块的信息转换为特征向量q、k、v，深层特征提取块的数学表达式如下：
[0067]
(qs)
deep
＝relu(fc(msa((qs)
shallow
)))
[0068]
(vs,ks)
deep
＝relu(fc(msa((vs,ks)
shallow
)))
[0069]
其中，msa()为多头注意力模块函数，fc()为全连接层函数，relu()为激活层函数，(qs)
deep
表示特征向量(qs)
shallow
经lr-hsi图像特征提取分支深层特征提取后的特征向量，(vs,ks)
deep
表示特征向量(vs,ks)
shallow
经hr-rgb图像特征提取分支深层特征提取后的特征向量；
[0070]
如图4所示，多尺度残差模块的数学表达式如下：
[0071][0072]
其中，conv
1*1
为1*1卷积，表示1*1、3*3和5*5卷积对浅层特征向量的处理，m为多尺度残差模块的输出；
[0073]
双分支特征提取模块函数表达式为：
[0074]
(q)＝((qs)
deep
)+m
[0075]
(k、v)＝((ks)
deep
,(vs)
deep
)+m
[0076]
其中，(qs)
deep
，((ks)
deep
，(vs)
deep
)均表示经深层特征提取后的特征向量，m为多尺度残差模块的输出；
[0077]
如图3所示，多水平特征融合模块将特征向量q、k、v与qi、ki、vi，进行不同水平的融合，多水平特征融合模块首先将特征向量q、k、v与每一级别的qi、ki、vi连接起来生成特征向量q
+
、k
+
、v
+
；随后，经双注意力模块dab计算融合权重，与不同水平的特征向量q
+
、k
+
、v
+
相乘后得到多样特征，经不同尺度的上采样插值函数、1*1卷积和线性层调整多样特征的尺寸大小和特征空间一致，上采样插值函数通常为双三次插值；
[0078]
多水平特征融合模块的计算公式如下：
[0079]fi+1
＝fi·
dab(q
+
、k
+
、v
+
)
[0080]
f＝conv
1*1
(concat(f1,f2↑
,f3↑↑
))
[0081]
其中，i＝1,2,3，q
+
、k
+
、v
+
分别表示特征向量q、k、v与每一级别的qi、ki、vi连接后的特征向量，fi表示经双注意力模块dab得到的权重值与原始特征向量相乘后的特征向量，f表示多样特征融合后的特征向量，
↑
表示2倍双三次插值上采样，
↑↑
表示4倍双三次插值上采样。
[0082]
在步骤(3)中，所述训练改进型transformer网络采用l1损失函数进行训练，l1损失函数的数学表达式为：
[0083][0084]
其中，∑为求和操作，为开根号操作，为输入数据真实标签分布，为改进型transformer网络的预测值，上标k表示训练样本中第k个样本，n为每一批次的总样本数。
[0085]
如图5所示，所述双注意力模块dab在transformer的自注意力机制中引进传统卷积，调节网络在获取全局依赖的同时能够捕捉更多的局部表征。双注意力模块dab首先将自注意力堆叠形成多头注意力，达到等同于通道注意力的效果，随后引进传统卷积，将全连接层替换为卷积结构，利用卷积层补充局部信息反馈。
[0086]
下面结合仿真实验对本发明的效果做进一步的说明：
[0087]
1、仿真实验条件：
[0088]
本发明实验的计算机硬件环境为intelcorei9-10980xecpu和gtx3090gpu，软件环境为centos 7.6操作系统，编译环境为pycharm，深度学习框架为pytorch；后续所有的训练和测试均基于该平台。本发明的仿真实验中所使用的小麦图像对样本，是由hyperspectral imager(soc710-e,surface optics corporation,san diego,usa)与mv-ce060-10uc(hikrobot公司，海康威视彩色工业相机)，数据均在实验室中拍摄采集。参阅表1，本次实验小麦样本图像共6组类别，每类样本300份，共1800份样本。
[0089]
表1小麦籽粒数据集类别与样本量对比表
[0090][0091]
2、超分精度评价指标：
[0092]
为评估本方法的超分性能，本发明设定采用均方根误差损失函数(mse)衡量重建数据与真实数据的偏差，以峰值信噪比(psnr)与结构相似性(ssim)作为图像质量评价指标。
[0093]
峰值信噪比(psnr)用来衡量输出图像和真值图像的差异常用的评价指标，一般通过均方误差(mse)进行定义，其中，均方误差损失函数(mse)和峰值信噪比(psnr)数学表达式如下：
[0094][0095]
其中，m，n为图像尺寸；i(i,j)表示地面真值图像对应(i,j)坐标像素点值；k(i,j)表示改进型transformer网络生成图像对应(i,j)坐标像素点值；
[0096][0097]
其中，max
i2
为图像最大像素值，若每个像素由8位二进制表示，那么最大像素值为255；mse为均方误差；
[0098]
图像结构相似性(ssim)是指生成图像x与地面真值图像y的亮度、对比度以及结构的比较衡量，针对高光谱图像，需要针对不同波段分别计算结构相似性(ssim)，然后取平均值作为全局的结构相似性(ssim)，其数学函数表达式如下：
[0099]
ssim(x,y)＝[l(x,y)
α
·
c(x,y)
β
·
s(x,y)
γ
]
[0100]
其中，
[0101]
式中，μ
x
、μy表示x、y的均值，δ
x2
、δ
y2
表示x、y的方差，δ
xy
表示为x、y的协方差，c1＝(k1l)2、c2＝(k2l)2为两个常数，避免除0错误，其中，k1一般取值为0.01，k2一般取值为0.03，l是灰度的动态范围，由图像的数据类型决定，如果数据为uint8型，则l＝255。c3＝c2/2。将α、β、γ设为1，即可得到：
[0102][0103]
3、仿真实验内容及结果分析：
[0104]
为了验证本方法中双分支特征提取和多水平特征融合对参考超分结果的影响，将重点比较简单的插值函数方法、transformer网络和改进型transformer网络小麦样本图像参考超分结果。为了确保运行环境的一致性，将从小麦样本每个类别中随机选取80％作为网络模型训练样本，其余作为测试样本。批量大小设为8，学习率为0.0001，采用l1损失函数和adam优化算法，迭代5000次。
[0105]
如图6所示，六类小麦样本参考超分结果示意图即为小麦样本lr-hsi图、参考超分hr-hsi图及地面真值hr-hsi图像对的伪rgb图可视化结果。从可视化结果和表2的定量结果可以看出，改进型transformer网络获取的参考超分hr-hsi图像纹理更接近地面真值hr-hsi图，获取了更高质量的参考超分结果。
[0106]
表2小麦样本超分结果对比表
[0107][0108]
综上所述，本发明搭建双分支特征提取模块，通过并行结构的lr-hsi图像特征提取分支和hr-rgb图像特征提取分支，有针对性的分别提取小麦样本lr-hsi图和hr-rgb图的纹理和光谱特征细节，进一步的引进了多尺度残差模块，保留丰富的浅层特征；搭建多水平特征融合模块，利用特征提取不同深度的特征，获取充分的多样特征细节，并引入了双注意力块，平衡全局信息与局部表征的信息交互，避免了图像局部锐化或局部细节模糊等问题；与现有技术相比，通过双分支特征提取模块对训练样本有针对性的处理，通过多水平特征融合模块对训练样本多样特征细节的补充，使得改进型transformer网络在小麦样本图像参考超分中拥有更加锐利的边缘与更精细的细节。

技术特征：
1.一种基于改进型transformer网络的小麦样本图像参考超分方法，其特征在于：该方法包括下列顺序的步骤：(1)获取小麦样本的lr-hsi图、hr-hsi图和hr-rgb图，组成图像对；(2)对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；(3)采用双分支特征提取模块和多水平特征融合模块搭建改进型transformer网络，利用训练样本训练改进型transformer网络；(4)将待处理的小麦样本的lr-hsi图和hr-rgb图导入训练好的改进型transformer网络，训练好的改进型transformer网络输出参考超分hr-hsi图像。2.根据权利要求1所述的基于改进型transformer网络的小麦样本图像参考超分方法，其特征在于：在步骤(1)中，所述小麦样本包括健康籽粒、发霉籽粒、患赤霉病籽粒、发育不良籽粒、小麦麦秆和籽粒麦壳，所述lr-hsi图的维度为c
×
h
×
b，c和h分别为lr-hsi图的长和宽，b为lr-hsi图的通道数；所述hr-hsi图的维度为kc
×
kh
×
b，k为参考超分辨率的倍数；所述hr-rgb图的维度为l
×
w
×
b，l和w为hr-rgb图的长和宽，b为hr-rgb图的通道数。3.根据权利要求1所述的基于改进型transformer网络的小麦样本图像参考超分方法，其特征在于：所述步骤(2)具体包括以下步骤：(2a)对图像对进行阈值去噪处理，去除采集时的噪声；(2b)将去噪后的图像对进行配准，步骤如下：(2b1)将通道数为b的lr-hsi图、hr-hsi图经过cie 1931颜色转换函数转化为通道数为3的伪rgb图；(2b2)将伪rgb图与hr-rgb图输入图像配准模型，将配准后的图像对进行封装，得到训练样本，将训练样本划分为训练集和测试集。4.根据权利要求1所述的基于改进型transformer网络的小麦样本图像参考超分方法，其特征在于：所述步骤(3)具体是指：所述改进型transformer网络包含双分支特征提取模块和多水平特征融合模块：所述双分支特征提取模块包括用于提取lr-hsi图的纹理和光谱特征细节的lr-hsi图像特征提取分支，以及用于提取hr-rgb图的纹理和光谱特征细节的hr-rgb图像特征提取分支，lr-hsi图像特征提取分支和hr-rgb图像特征提取分支为并行结构，lr-hsi图像特征提取分支、hr-rgb图像特征提取分支均由浅层特征提取模块和深层特征提取模块组成；所述浅层特征提取模块采用transformer编码器、解码器结构，hr-rgb图和经下采样和上采样操作后的hr-rgb图通过hr-rgb图像特征提取分支转换成特征向量v
s
、k
s
，所述上采样和下采样操作均指双三次插值函数；lr-hsi图通过lr-hsi图像特征提取分支转换为特征向量q
s
，浅层特征提取函数表达式为：(q
s
)
shallow
＝matmui((vector
lr-hsi
)，w
q
)(v
s
，k
s
)
shallow
＝(matmul((vector
hr-rgb
)，w
v
)，matmul((vector
hr-rgb
↓↑
)，w
k
))其中，matmul()表示矩阵乘法函数，vector
lr-hsi
表示lr-hsi图原始图像向量，vector
hr-rgb
表示hr-rgb图原始图像向量，vector
hr-rgb
↓↑
表示经下采样和上采样操作后的hr-rgb图的原始图像向量，w
q
，w
k
和w
v
均表示线性层权重矩阵，(q
s
)
shallow
，(v
s
，k
s
)
shallow
均表示经浅层特征提取后的特征向量，
↓↑
为图像下采样和上采样操作；所述深层特征提取模块经过堆叠的卷积层、归一化层、激活层和池化层对特征向量q
s
、
k
s
、v
s
进一步处理，在每层池化层操作前提取不同深度的特征向量q
i
、k
i
、v
i
，i＝1，2，3，引进多尺度残差模块保留图像对的浅层特征；多尺度残差模块使用1*1、3*3和5*5卷积并联获取浅层特征映射特征，经1*1卷积调整串联后的特征向量空间与原始特征空间一致，训练样本经过双分支特征提取模块和多尺度残差模块的信息转换为特征向量q、k、v，深层特征提取块的数学表达式如下：(q
s
)
deep
＝relu(fc(msa((q
s
)
shallow
)))(v
s
，k
s
)
deep
＝relu(fc(msa((v
s
，k
s
)
shallow
)))其中，msa()为多头注意力模块函数，fc()为全连接层函数，relu()为激活层函数，(q
s
)
deep
表示特征向量(q
s
)
shallow
经lr-hsi图像特征提取分支深层特征提取后的特征向量，(v
s
，k
s
)
deep
表示特征向量(v
s
，k
s
)
shallow
经hr-rgb图像特征提取分支深层特征提取后的特征向量；多尺度残差模块的数学表达式如下：其中，conv
1*1
为1*1卷积，表示1*1、3*3和5*5卷积对浅层特征向量的处理，m为多尺度残差模块的输出；双分支特征提取模块函数表达式为：(q)＝((q
s
)
deep
)+m(k、v)＝((k
s
)
deep
，(v
s
)
deep
)+m其中，(q
s
)
deep
，((k
s
)
deep
，(v
s
)
deep
)均表示经深层特征提取后的特征向量，m为多尺度残差模块的输出；多水平特征融合模块将特征向量q、k、v与q
i
、k
i
、v
i
，进行不同水平的融合，多水平特征融合模块首先将特征向量q、k、v与每一级别的q
i
、k
i
、v
i
连接起来生成特征向量q
+
、k
+
、v
+
；随后，经双注意力模块dab计算融合权重，与不同水平的特征向量q
+
、k
+
、v
+
相乘后得到多样特征，经不同尺度的上采样插值函数、1*1卷积和线性层调整多样特征的尺寸大小和特征空间一致，上采样插值函数通常为双三次插值；多水平特征融合模块的计算公式如下：f
i+1
＝f
i
·
dab(q
+
、k
+
、v
+
)f＝conv
1*1
(concat(f1，f2↑
，f3t
↑
))其中，i＝1，2，3，q
+
、k
+
、v
+
分别表示特征向量q、k、v与每一级别的q
i
、k
i
、v
i
连接后的特征向量，f
i
表示经双注意力模块dab得到的权重值与原始特征向量相乘后的特征向量，f表示多样特征融合后的特征向量，
↑
表示2倍双三次插值上采样，
↑↑
表示4倍双三次插值上采样。5.根据权利要求1所述的基于改进型transformer网络的小麦样本图像参考超分方法，其特征在于：在步骤(3)中，所述训练改进型transformer网络采用l1损失函数进行训练，l1损失函数的数学表达式为：
其中，∑为求和操作，为开根号操作，为输入数据真实标签分布，为改进型transformer网络的预测值，上标k表示训练样本中第k个样本，n为每一批次的总样本数。

技术总结
本发明涉及一种基于改进型Transformer网络的小麦样本图像参考超分方法，包括：获取小麦样本的LR-HSI图、HR-HSI图和HR-RGB图，组成图像对；对获取的图像对进行预处理，得到训练样本，将训练样本划分为训练集和测试集；搭建改进型Transformer网络，利用训练样本训练改进型Transformer网络；将待处理的小麦样本的LR-HSI图和HR-RGB图导入训练好的改进型Transformer网络，输出参考超分HR-HSI图像。本发明通过双分支特征提取模块对训练样本有针对性的处理，通过多水平特征融合模块对训练样本多样特征细节的补充，使得改进型Transformer网络在小麦样本图像参考超分中拥有更加锐利的边缘与更精细的细节。有更加锐利的边缘与更精细的细节。有更加锐利的边缘与更精细的细节。


技术研发人员：翁士状 张巧巧 施金鹏 朱睿 汪聪 潘美静 谭羽健 张盛羽
受保护的技术使用者：安徽大学
技术研发日：2023.05.16
技术公布日：2023/8/16