一种基于微注意力的轻量化图像超分辨率重建方法及装置

1.本发明涉及计算机视觉领域，具体涉及一种基于微注意力的轻量化图像超分辨率重建方法及装置。


背景技术：

2.图像超分辨率重建旨在从因各种原因而退化的低分辨率图像中重建出拥有纹理细节以及良好视觉效果的高分辨率图像。图像超分辨率重建是一个不适定的任务，对于某一个低分辨率图像输入，可能存在着多个不同的高分辨率图像与之对应，是一种一对多的映射关系。超分辨率是计算机视觉以及图像处理领域中一个重要的任务，它被广泛地应用在目标检测、智能移动设备、大型的智能屏幕显示设备、医学图像、安全监控中的目标识别以及遥感图像等领域。
3.近年来，随着深度学习在计算机视觉领域的兴起，并在各个视觉任务中取得了远远超过传统方法的成果。自然地，将深度学习应用到图像超分辨率上也成为当下的热点，大量基于深度学习的图像超分辨率算法如雨后春笋般涌现并在取得了远超传统图像重建方法的世界一流成绩。尤其在transformer模型(自注意力模型)应用到图像处理领域，研究人员发现其拥有远超卷积神经网络的特征提取能力。transformer在图像超分辨率重建上也取得了巨大成就，然而现阶段大多数方法都具有巨大的参数量，复杂的网络结构，随之而来的就是模型体积大，运算速率慢。这些问题导致就注定了其很难被部署到移动设备和边缘设备等一系列计算资源有限的设备上。为了解决这些问题，大量的轻量型深度学习网络模型被提出。
4.其中，imdn网络(lightweight image super-resolution with information multi-distillationnetwork，超分辨率网络)是该类算法中的经典算法，但以该模型为代表的轻量型超分辨率算法由于使用了普通的卷积核而导致部分冗余参数；另外，这种普通的卷积机制的感受野较小，存在着无法捕捉长距离信息依赖关系的问题；为了减少运算量，很多轻量型网络在细节重建上表现欠佳。总之，这些方法没有很好地同时在模型容量，运行时间以及超分辨率结果上取得一个很好地平衡。因此，亟需设计一种在使得模型在各个方面都更加轻量化的同时还能很好保持模型超分辨率结果的方案。


技术实现要素：

5.针对现有技术中存在的缺陷，本发明的目的在于提供一种基于微注意力的轻量化图像超分辨率重建方法及装置。本发明利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，提高了信息处理效率，相比于已有的轻量化图像超分辨率模型，本发明在取得优良的图像超分辨率重建结果的同时减小模型的容量和计算消耗来提升模型的推理速度。
6.为达到以上目的，本发明采取的技术方案是：
7.基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力
transformer模块；
8.收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；
9.基于微注意力机制和混合注意力transformer模块，构建轻量化图像超分辨网络；
10.基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；
11.基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
12.在上述技术方案的基础上，对于移动分组卷积，构建的具体步骤包括：
13.初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；
14.将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。
[0015]
在上述技术方案的基础上，所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行q、k、v的提取，并将q与k相乘得到注意力矩阵，将注意力矩阵与v相乘以对重点信息进行加强；
[0016]
其中，q为查询矩阵，k为键矩阵，v为值矩阵。
[0017]
在上述技术方案的基础上，所述蓝图前馈神经网络基于蓝图卷积和gelu激活函数构建得到。
[0018]
在上述技术方案的基础上，所述收集预设数量的高低分辨率图像对，具体步骤包括：
[0019]
下载图像恢复领域中提供的div2k数据集和flickr2k数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。
[0020]
在上述技术方案的基础上，所述基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤包括：
[0021]
使用adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数l1进行评估，将学利率设置为设定值，并采用cos余弦学习率下降；
[0022]
其中，所述损失函数l1为：
[0023][0024]
其中，hr为高分辨率图像，sr为图像超分辨率重建结果，n为图像超分辨率重建结果的像素点个数。
[0025]
在上述技术方案的基础上，所述轻量化图像超分辨网络包括2个3*3的普通卷积和4个transformer模块组；
[0026]
所述transformer模块组包括2个混合注意力transformer模块。
[0027]
在上述技术方案的基础上，所述基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建，
具体步骤包括：
[0028]
将待处理图像输入轻量化图像超分辨网络，基于3*3的普通卷积提取得到浅层特征；
[0029]
将待处理图像作为输入，输入到当前transformer模块组，控制第一个移动分组卷积进行通道扩张；
[0030]
将通过第一个移动分组卷积的特征通过激活函数relu，并通过下一个移动分组卷积进行通道回缩；
[0031]
通过对比感知通道注意力加强对通道重要信息的关注，将通道重要信息与通过第一个移动分组卷积的特征相加得到特征信息，并将特征信息再输入到蓝图前馈神经网络；
[0032]
将通过蓝图前馈神经网络的特征信息输入蓝图多头自注意力，提取得到深层特征；
[0033]
将提取得到的深层特征作为输入，输入到下一个transformer模块组，依此循环，直至第四个transformer模块组输出深层特征；
[0034]
将第四个transformer模块组输出的深层特征与提取得到的浅层特征进行拼接，并通过3*3普通卷积和像素重组操作完成图像超分辨率重建。
[0035]
在上述技术方案的基础上，所述蓝图多头自注意力的头部数量分别设置为1、2、4、8。
[0036]
本发明还提供一种基于微注意力的轻量化图像超分辨率重建装置，包括：
[0037]
构建模块，其用于基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块，并基于微注意力机制和混合注意力transformer模块构建轻量化图像超分辨网络；
[0038]
收集模块，其用于收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；
[0039]
训练模块，其用于基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；
[0040]
执行模块，其用于基于所述训练模块训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0041]
与现有技术相比，本发明的优点在于：
[0042]
(1)本发明提出了一种轻量卷积——移动卷积，在通道上进行卷积，每个通道关注一个方向，只需要花费一个3*3通道卷积和一个1*1卷积的参数量，同时能有效关注四周的信息；
[0043]
(2)本发明提出了一种微型的蓝图多头自注意力和一种蓝图前馈神经网络，它们组成了本发明的核心，能以较少的参数量获取丰富的细节信息并提高网络的特征表达能力；
[0044]
(3)本发明提出了基于上述部件的混合注意力transformer模块，该模块以较快的计算速度，加强重要信息的关注，进行深层特征提取；
[0045]
(4)本发明利用上述模块搭建了基于微注意力机制的轻量化图像超分辨重建网络，使得超分重建的过程被分成浅层特征提取、深层特征提取以及图像重建3个过程。利用递归思想将深层特征提取分解为4个迭代的模块，通过这种方法有效地降低了模型复杂度，
提高了信息处理效率；
[0046]
(5)相比于已有的轻量化图像超分辨率模型，本发明提出的网络取得不错的图像超分辨率重建结果的同时减小模型的容量和计算消耗来提升模型的推理速度。
附图说明
[0047]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0048]
图1为本发明实施例中一种基于微注意力的轻量化图像超分辨率重建方法的流程示意图；
[0049]
图2为本发明实施例中量化图像超分辨网络的工作流程示意图；
[0050]
图3为本发明实施例中transformer模块组的工作流程示意图。
具体实施方式
[0051]
为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。
[0052]
参见图1所示，本发明实施例提供一种基于微注意力的轻量化图像超分辨率重建方法，包括以下步骤：
[0053]
s1：基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块；
[0054]
s2：收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；
[0055]
s3：基于微注意力机制和混合注意力transformer模块，构建轻量化图像超分辨网络；
[0056]
s4：基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；
[0057]
s5：基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0058]
本发明所采用的技术方法是通过一种基于微注意力机制的transformer神经网络来实现的，具体步骤为先基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建得到混合注意力transformer模块，该模块以较少的参数量，捕捉元素上下文关系，获取更为丰富的细节信息；然后收集大量的高分辨率图像与低分辨率图像对，并将收集到的图像剪裁至预设像素大小，本实施例中将收集到的图像剪裁到192*192的像素大小，然后将收集到的图像随机旋转90度、180度、270度和水平翻转来进行数据增强，并将旋转处理后的图像作为训练图像。
[0059]
然后基于微注意力机制和混合注意力transformer模块，构建轻量化图像超分辨网络，该轻量化图像超分辨网络在保持基准模型性能的同时减少模型的参数数量、模型的
浮点计算量以及模型的推理时间；为了提高轻量化图像超分辨网络图像超分辨率重建的准确性，还需要使用上述步骤中得到的训练图像对该轻量化图像超分辨网络进行训练，在利用训练图像对该轻量化图像超分辨网络进行训练时使用adam优化器(adaptive momentestimation，自适应梯度动量估计优化器)计算梯度并更新网络参数；接着训练完成的轻量化图像超分辨网络将对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0060]
进一步地，对于移动分组卷积，其构建的具体步骤为：
[0061]
初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；
[0062]
将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。
[0063]
本发明实施例设计了一种移动分组卷积，首先初始化一个3*3值为0的卷积权重，把通道分为5份，每份的大小记为g，其中，将[0,g]通道的(0，0)位置的权重设为1，用于关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，用于关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，用于关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，用于关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，用于关注全局信息，然后进行步长为1的分组卷积。
[0064]
进一步地，所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行q、k、v的提取，并将q与k相乘得到注意力矩阵，将注意力矩阵与v相乘以对重点信息进行加强；其中，q为查询矩阵，k为键矩阵，v为值矩阵。
[0065]
本发明实施例还引入了一种比上述移动分组卷积更加轻量化的卷积，即蓝图卷积，它只需要使用普通卷积不到1/2的参数量，它由一个1*1的逐点卷积以及一个3*3的逐通道卷积组成，输入分别经过1*1的逐点卷积，得到的特征图再经过3*3的逐通道卷积后作为蓝图卷积的输出。此外，本发明还设计了一种移动卷积，在通道上进行卷积，每个通道关注一个方向，只需要花费一个3*3通道卷积和一个1*1卷积的参数量。在此基础上，本发明还设计了一种微型的蓝图多头自注意力，以用于减少注意力带来的计算开销。
[0066]
上述蓝图多头自注意力可以设置头部数量，同时对其进行限制，防止计算开销过大，使用蓝图卷积进行查询矩阵(q)，键矩阵(k)，值矩阵(v)的提取，q与k相乘得到注意力矩阵，将注意力矩阵再与v相乘来重点信息进行加强，其降低了所需参数量，该模块能够聚合局部和非局部像素交互，高效地关注图像的重点部分。在此基础上，本发明还设计了一种基于蓝图卷积和gelu激活函数(gaussian errorlinearunit，高斯误差线性单元)的蓝图前馈神经网络，同时引入了对比感知通道注意力加强对重要信息的提取。即所述蓝图前馈神经网络是基于蓝图卷积和gelu激活函数构建得到的。
[0067]
进一步地，所述收集预设数量的高低分辨率图像对，具体步骤为：
[0068]
下载图像恢复领域中提供的div2k数据集和flickr2k数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。
[0069]
在收集大量的高分辨率与低分辨率图像对时，主要方法是通过在网络上下载图像恢复领域最具影响力的全球性赛事“图像恢复与增强的新趋势大赛”中提供的div2k数据集
以及该领域中另一个常用的flickr2k数据集，它们分别包含800和2650张训练图片，其中低分辨率图像的下采样倍数分别为2倍、3倍以及4倍。
[0070]
从网络上下载div2k数据集和flickr2k数据集中的高分辨率图像(high-resolution image，hr)与对应的不同下采样倍数的低分辨率图像(low-resolution image，lr)。收集到的高分辨率图像可表示为其中，yi表示高分辨率图像中的第i张图像，hi和wi分别表示第i张图像的高与宽，m表示高分辨率图像的数量；从网络上下载收集得到的低分辨率图像可表示为其中，表示第i张下采样倍数为s的低分辨率图像，表示第i张低分辨率图像的高，其等于对应高分辨率图像的高hi除以下采样倍数s，为第i张低分辨率图像的宽，原理与高相同，m表示下采样倍数为s的低分辨率图像的数量。
[0071]
进一步地，所述基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤为：
[0072]
使用adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数l1进行评估，将学利率设置为设定值，并采用cos余弦学习率下降；
[0073]
其中，所述损失函数l1为：
[0074][0075]
其中，hr为高分辨率图像，sr为图像超分辨率重建结果，n为图像超分辨率重建结果的像素点个数。
[0076]
本发明实施例中在利用训练图像训练轻量化图像超分辨网络时，使用adam优化器计算梯度并更新基于微注意力机制的轻量化图像超分辨率网络参数。总共迭代训练5
×
105次采用损失函数l1进行评估，学习率初始设置为5
×
10-4
，采用cos余弦学习率下降。
[0077]
进一步地，所述轻量化图像超分辨网络包括2个3*3的普通卷积和4个transformer模块组；所述transformer模块组包括2个混合注意力transformer模块。
[0078]
本发明实施例中的轻量化图像超分辨网络包括2个3*3的普通卷积和4个transformer模块组，所述transformer模块组由2个混合注意力transformer模块(hybridattentiontransformerblock，hatb)、3*3的普通卷积和残差连接组成；所述混合注意力transformer模块由两个移动分组卷积、一个蓝图前馈神经网络组成的移动通道注意力模块和一个蓝图多头自注意力机制、一个蓝图前馈神经网络组成的蓝图自注意力模块构成。
[0079]
进一步地，所述基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建，具体步骤为：
[0080]
将待处理图像输入轻量化图像超分辨网络，基于3*3的普通卷积提取得到浅层特
征；
[0081]
将待处理图像作为输入，输入到当前transformer模块组，控制第一个移动分组卷积进行通道扩张；
[0082]
将通过第一个移动分组卷积的特征通过激活函数relu，并通过下一个移动分组卷积进行通道回缩；
[0083]
通过对比感知通道注意力加强对通道重要信息的关注，将通道重要信息与通过第一个移动分组卷积的特征相加得到特征信息，并将特征信息再输入到蓝图前馈神经网络；
[0084]
将通过蓝图前馈神经网络的特征信息输入蓝图多头自注意力，提取得到深层特征；
[0085]
将提取得到的深层特征作为输入，输入到下一个transformer模块组，依此循环，直至第四个transformer模块组输出深层特征；
[0086]
将第四个transformer模块组输出的深层特征与提取得到的浅层特征进行拼接，并通过3*3普通卷积和像素重组操作完成图像超分辨率重建。
[0087]
本发明实施例中基于轻量化图像超分辨网络完成图像超分辨重建，主要分为三个部分，分别为浅层特征提取、深层特征提取和图像重建。
[0088]
参见图2所示，在基于轻量化图像超分辨网络完成图像超分辨重建时，先通过一个3*3的普通卷积提取得到浅层特征，然后通过四个迭代的transformer模块组进行深层特征提取，最后将提取得到深层特征与浅层特征进行拼接，并通过一个3*3的普通卷积和像素重组操作得到图像超分辨率重建结果。在图2中，conv-3*3为3*3普通卷积，ratg为transformer模块组，pixel-shuffle为像素重组操作。
[0089]
参见图3所示，本实施例中每个transformer模块组中包含两个混合注意力transformer模块和一个3*3的普通卷积；在图3中，hatb为混合注意力transformer模块。
[0090]
为了防止轻量化图像超分辨网络计算量过大而导致处理速度变慢，将所述蓝图多头自注意力的头部数量分别设置为1、2、4、8，与普通多头自注意力统一设置为大头，这种渐进的头部大小设计即保证了对重点特征信息的关注又防止计算量太大。
[0091]
本发明实施例还一种基于微注意力的轻量化图像超分辨率重建装置，包括：
[0092]
构建模块，其用于基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块，并基于微注意力机制和混合注意力transformer模块构建轻量化图像超分辨网络；
[0093]
收集模块，其用于收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；
[0094]
训练模块，其用于基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；
[0095]
执行模块，其用于基于所述训练模块训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0096]
本发明实施例提供的一种基于微注意力的轻量化图像超分辨率重建装置包括构建模块、收集模块、训练模块和执行模块。所述构建模块用于构建混合注意力transformer模块，并基于构建的混合注意力transformer模块和微注意力机制构建轻量化图像超分辨网络，其中，所述混合注意力transformer模块由移动分组卷积、可变多头蓝图自注意力和
蓝图前馈神经网络构建得到。所述收集模块用于收集大量的高低分辨率图像对，并将收集得到高低分辨率图像对剪裁至预设像素大小，然后再进行旋转处理，将旋转处理后的图像作为训练图像。所述训练模块用于基于所述收集模块得到的训练图像对所述构建模块构建得到的轻量化图像超分辨网络进行训练，并且在训练过程中使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数。所述执行模块用于基于所述训练模块训练的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。
[0097]
以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本技术。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
[0098]
本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

技术特征：
1.一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，包括以下步骤：基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块；收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；基于微注意力机制和混合注意力transformer模块，构建轻量化图像超分辨网络；基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。2.如权利要求1所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，对于移动分组卷积，构建的具体步骤包括：初始化一个3*3值为0的卷积权重，并将通道分为5份，每份通道大小记为g；将[0,g]通道的(0，0)位置的权重设为1，关注左上角信息；将[g，2g]通道的(0，2)位置的权重设为1，关注右上角信息；将[2g，3g]通道的(0，0)位置的权重设为1，关注左下角信息；将[3g,4g]通道的(2，2)位置的权重设为1，关注右下角信息；将[4g，5g]通道的(1，1)位置的权重设为1，关注全局信息，并进行步长为1的分组卷积。3.如权利要求2所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述可变多头蓝图自注意力用于对头部数量进行设置和控制，以及进行q、k、v的提取，并将q与k相乘得到注意力矩阵，将注意力矩阵与v相乘以对重点信息进行加强；其中，q为查询矩阵，k为键矩阵，v为值矩阵。4.如权利要求3所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述蓝图前馈神经网络基于蓝图卷积和gelu激活函数构建得到。5.如权利要求4所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，所述收集预设数量的高低分辨率图像对，具体步骤包括：下载图像恢复领域中提供的div2k数据集和flickr2k数据集中的高分辨率图像，以及下载高分辨率图像对应的不同下采样倍数的低分辨率图像。6.如权利要求5所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，所述基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数，具体步骤包括：使用adam优化器计算梯度和更新基于微注意力机制的轻量化图像超分辨率网络参数，且计算和更新过程中迭代训练预设次数，并采用损失函数l1进行评估，将学利率设置为设定值，并采用cos余弦学习率下降；其中，所述损失函数l1为：其中，hr为高分辨率图像，sr为图像超分辨率重建结果，n为图像超分辨率重建结果的
像素点个数。7.如权利要求6所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述轻量化图像超分辨网络包括2个3*3的普通卷积和4个transformer模块组；所述transformer模块组包括2个混合注意力transformer模块。8.如权利要求7所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于，所述基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建，具体步骤包括：将待处理图像输入轻量化图像超分辨网络，基于3*3的普通卷积提取得到浅层特征；将待处理图像作为输入，输入到当前transformer模块组，控制第一个移动分组卷积进行通道扩张；将通过第一个移动分组卷积的特征通过激活函数relu，并通过下一个移动分组卷积进行通道回缩；通过对比感知通道注意力加强对通道重要信息的关注，将通道重要信息与通过第一个移动分组卷积的特征相加得到特征信息，并将特征信息再输入到蓝图前馈神经网络；将通过蓝图前馈神经网络的特征信息输入蓝图多头自注意力，提取得到深层特征；将提取得到的深层特征作为输入，输入到下一个transformer模块组，依此循环，直至第四个transformer模块组输出深层特征；将第四个transformer模块组输出的深层特征与提取得到的浅层特征进行拼接，并通过3*3普通卷积和像素重组操作完成图像超分辨率重建。9.如权利要求8所述的一种基于微注意力的轻量化图像超分辨率重建方法，其特征在于：所述蓝图多头自注意力的头部数量分别设置为1、2、4、8。10.一种基于微注意力的轻量化图像超分辨率重建装置，其特征在于，包括：构建模块，其用于基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力transformer模块，并基于微注意力机制和混合注意力transformer模块构建轻量化图像超分辨网络；收集模块，其用于收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小，并对剪裁后的图像进行旋转处理，作为训练图像；训练模块，其用于基于训练图像训练轻量化图像超分辨网络，并使用adam优化器计算梯度和更新轻量化图像超分辨网络的参数；执行模块，其用于基于所述训练模块训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。

技术总结
本发明公开了一种基于微注意力的轻量化图像超分辨率重建方法及装置，涉及计算机视觉领域，其中，重建方法包括：基于移动分组卷积、可变多头蓝图自注意力和蓝图前馈神经网络构建混合注意力Transformer模块；收集预设数量的高低分辨率图像对，将收集的图像剪裁至预设像素大小并进行旋转处理，作为训练图像；基于微注意力机制和混合注意力Transformer模块，构建轻量化图像超分辨网络；基于训练图像训练轻量化图像超分辨网络，并使用Adam优化器计算梯度和更新轻量化图像超分辨网络的参数；基于训练完成的轻量化图像超分辨网络，对待处理图像进行浅层特征和深层特征提取，并通过普通卷积和像素重组完成图像超分辨重建。有效地降低了模型复杂度，提高了图像处理效率。提高了图像处理效率。提高了图像处理效率。


技术研发人员：张乐飞 毕修平
受保护的技术使用者：武汉大学
技术研发日：2023.04.14
技术公布日：2023/7/28