一种基于元迁移的残差通道注意力水下图像超分辨率方法与流程

1.本发明涉及图像处理和深度学习领域，更具体的说，本发明面向水下图像的超分辨率重建任务。


背景技术：

2.随着海洋资源的不断开采，水下机器人技术也随之不断发展。水下机器人被广泛应用于海洋资源探索等方面，水下退化图像的增强和复原技术由于其对于海洋探索开发利用的重要意义而备受关注。海洋环境复杂度多样，多重不利因素如光在水中传输时又会受到水的吸收、反射和散射等影响而发生严重的衰减,采集到的水下图像难免会出现可见范围有限、模糊不清、低对比度、非均匀光照、色彩不协调以及噪声等问题。


技术实现要素：

3.本发明的目的在于提出一种新的高效的针对水下图像超分辨率重建模型。
4.一种基于元迁移的残差通道注意力水下图像超分辨率方法,包括以下步骤：
5.s1、建立模型框架：本发明提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的lr图像中提取浅层特征f0:
6.f0＝h
sf
(i
lr
),
7.其中，h
sf
为卷积运算，f0作为后续双重残差模块的深度特征提取中的输入。
8.深度特征提取使用包含多个残差组的双重残差(rir)模块：
9.f
df
＝h
rir
(f0),
10.双重残差结构包含g个残差组和一个长跳跃连接，每一个残差组具有b个包含段跳跃连接的残差通道注意模块；残差组表示如下：
11.fg＝hg(f
g-1
)＝hg(h
g-1
(
…
h1(f0)
…
)),
12.其中，hg表示为第g个残差块，f
g-1
和fg为hg的输入和输出。长跳跃连接：
13.f
df
＝f0+w
lscfg
＝f0+w
lsc
hg(h
g-1
(
…
h1(f0)
…
)),
14.其中，w
lsc
为与最后一个双重残差模块连接的卷积层权重。
15.在每个残差块中有着多个残差信道注意块；第g个残差块中的第b个残差通道注意力块表示为：
16.f
g,b
＝h
g,b
(f
g,b-1
)＝h
g,b
(h
g,b-1
(
…hg,1
(f
g-1
)
…
),
17.其中，f
g,b-1
和f
g,b
分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出。残差通道注意力块使用短跳跃连接：
18.fg＝f
g-1
+w
gfg,b
＝f
g-1
+wgh
g,b
(h
g,b-1
(
…hg,1
(f
g-1
)
…
)),
19.其中，wg为第g个残差块的尾部卷积层权重；最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
20.s2、添加元迁移学习预训练模块：对需要训练的成对的图像训练数据集，将其经过双三次下采样的低分辨率图像(lr)和原始图像(高分辨率图像，hr)两两配对；这里将成对的数据集称为d；使用l1损失函数来优化双三次下采样退化模型，优化的目标是使得l1损失最小化：
[0021][0022]
接下来合成用于元迁移学习的图像数据集dm，由成对的高分辨率图像和低分辨率图像构成对，其中低分辨率图像的退化由不同种模糊核决定，使用了各向同性和各向异性的高斯核；模糊核分布方面，使用一个协方差矩阵∑决定，
[0023][0024]
其中λ1和λ2均为随机特征值，定义为λ1～u(1,2.5s),λ2～u(1,λ1)，s为缩放因子。
[0025]
针对参数θ的新任务ti的适应是一个或多个梯度下降更新。对于一个梯度更新，新的适应参数θi是通过在任务ti上执行梯度下降来计算得到的：
[0026][0027]
其中α为任务的学习率。训练中的优化目标为
[0028][0029]
对于随机梯度下降，参数更新可以表示为：
[0030][0031]
其中β为元学习率。
[0032]
相对于现有技术，本发明所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法具有以下优点：
[0033]
本发明所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法，通过引入了元迁移学习预训练方法，使得网络收敛加快，能够快速适应新的图像超分辨率重建任务。
附图说明
[0034]
图1为本发明所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法实现逻辑图。
具体实施方式
[0035]
如图1所示，一种基于元迁移的残差通道注意力水下图像超分辨率方法具有如下步骤：
[0036]
s1、建立模型框架：本发明提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的lr图像中提取浅层特征f0:
[0037]
f0＝h
sf
(i
lr
),
[0038]
其中，h
sf
为卷积运算，f0作为后续双重残差模块的深度特征提取中的输入；
[0039]
深度特征提取使用包含多个残差组的双重残差(rir)模块：
[0040]fdf
＝h
rir
(f0),
[0041]
双重残差结构包含g个残差组和一个长跳跃连接，每一个残差组具有b个包含段跳跃连接的残差通道注意模块；残差组表示如下：
[0042]fg
＝hg(f
g-1
)＝hg(h
g-1
(
…
h1(f0)
…
)),
[0043]
其中，hg表示为第g个残差块，f
g-1
和fg为hg的输入和输出；长跳跃连接：
[0044]fdf
＝f0+w
lscfg
＝f0+w
lsc
hg(h
g-1
(
…
h1(f0)
…
)),
[0045]
其中，w
lsc
为与最后一个双重残差模块连接的卷积层权重；
[0046]
在每个残差块中有着多个残差信道注意块；第g个残差块中的第b个残差通道注意力块表示为：
[0047]fg,b
＝h
g,b
(f
g,b-1
)＝h
g,b
(h
g,b-1
(
…hg,1
(f
g-1
)
…
),
[0048]
其中，f
g,b-1
和f
g,b
分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出；残差通道注意力块使用短跳跃连接：
[0049]fg
＝f
g-1
+w
gfg,b
＝f
g-1
+wgh
g,b
(h
g,b-1
(
…hg,1
(f
g-1
)
…
)),
[0050]
其中，wg为第g个残差块的尾部卷积层权重；最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。
[0051]
s2、添加元迁移学习预训练模块：对需要训练的成对的图像训练数据集，将其经过双三次下采样的低分辨率图像(lr)和原始图像(高分辨率图像，hr)两两配对；这里将成对的数据集称为d；使用l1损失函数来优化双三次下采样退化模型，优化的目标是使得l1损失最小化：
[0052][0053]
接下来合成用于元迁移学习的图像数据集dm，由成对的高分辨率图像和低分辨率图像构成对，其中低分辨率图像的退化由不同种模糊核决定，使用了各向同性和各向异性的高斯核；模糊核分布方面，使用一个协方差矩阵∑决定，
[0054][0055]
其中λ1和λ2均为随机特征值，定义为λ1～u(1,2.5s),λ2～u(1,λ1)，s为缩放因子。
[0056]
针对参数θ的新任务ti的适应是一个或多个梯度下降更新。对于一个梯度更新，新的适应参数θi是通过在任务ti上执行梯度下降来计算得到的：
[0057][0058]
其中α为任务的学习率。训练中的优化目标为
[0059][0060]
对于随机梯度下降，参数更新可以表示为：
[0061]
[0062]
其中β为元学习率。
[0063]
该方法包含外部训练与内部训练；
[0064]
外部训练：即为元训练阶段，通过对大批量外部图像数据集进行元训练，即通过外部图像数据集的公共特征进行学习，通过元迁移学习提高模型泛化能力和适应能力，参数进行一次更新并且获得一个预训练模型。
[0065]
内部训练：即元测试阶段，首先将给定的低分辨率图像通过多种模糊核进行下采样生成元测试图像，然后将该元测试图像作为低分辨率图像输入到超分辨率算法当中。经过少次的梯度下降后，超分辨率网络的损失函数收敛，然后再将原始低分辨率图像输入到预训练的超分辨率网络当中。

技术特征：
1.一种基于元迁移的残差通道注意力水下图像超分辨率方法，其特征在于，具体实现步骤如下：s1、建立模型框架：本发明提出一种基于元迁移的残差通道注意力水下图像超分辨率方法，网络主要由4个模块组成，分别为提取浅层特征的单层卷积层模块、提取深层特征的双重残差模块、图像上采样模块以及图像重建模块；浅层特征提取模块使用了一个卷积层从输入的lr图像中提取浅层特征f0：f0＝h
sf
(i
lr
)，其中，h
sf
为卷积运算，f0作为后续双重残差模块的深度特征提取中的输入；深度特征提取使用包含多个残差组的双重残差(rir)模块：f
df
＝h
rir
(f0)，双重残差结构包含g个残差组和一个长跳跃连接，每一个残差组具有b个包含段跳跃连接的残差通道注意模块；残差组表示如下：f
g
＝h
g
(f
g-1
)＝h
g
(h
g-1
(
…
h1(f0)
…
))，其中，h
g
表示为第g个残差块，f
g-1
和f
g
为h
g
的输入和输出；长跳跃连接：f
df
＝f0+w
lsc
f
g
＝f0+w
lsc
h
g
(h
g-1
(
…
h1(f0)
…
))，其中，w
lsc
为与最后一个双重残差模块连接的卷积层权重；在每个残差块中有着多个残差信道注意块；第g个残差块中的第b个残差通道注意力块表示为：f
g，b
＝h
g，b
(f
g，b-1
)＝h
g，b
(h
g，b-1
(
…
h
g，1
(f
g-1
)
…
)，其中，f
g，b-1
和f
g，b
分别表示为第g个残差块中的第b个残差通道注意力块的输入和输出；残差通道注意力块使用短跳跃连接：f
g
＝f
g-1
+w
g
f
g，b
＝f
g-1
+w
g
h
g，b
(h
g，b-1
(
…
h
g，1
(f
g-1
)
…
))，其中，w
g
为第g个残差块的尾部卷积层权重；最后将提取到的特征经过图像上采样模块以及图像重建模块获得最终的超分辨率图像。s2、添加元迁移学习预训练模块：对需要训练的成对的图像训练数据集，将其经过双三次下采样的低分辨率图像(lr)和原始图像(高分辨率图像，hr)两两配对；这里将成对的数据集称为d；使用l1损失函数来优化双三次下采样退化模型，优化的目标是使得l1损失最小化：接下来合成用于元迁移学习的图像数据集d
m
，由成对的高分辨率图像和低分辨率图像构成对，其中低分辨率图像的退化由不同种模糊核决定，使用了各向同性和各向异性的高斯核；模糊核分布方面，使用一个协方差矩阵∑决定，其中λ1和λ2均为随机特征值，定义为λ1～u(1，2.5s)，λ2～u(1，λ1)，s为缩放因子；针对参数θ的新任务t
i
的适应是一个或多个梯度下降更新。对于一个梯度更新，新的适应参数θ
i
是通过在任务t
i
上执行梯度下降来计算得到的：
其中α为任务的学习率。训练中的优化目标为对于随机梯度下降，参数更新可以表示为：其中β为元学习率。2.根据权利1中所述的一种基于元迁移的残差通道注意力水下图像超分辨率方法，其特征在于：元迁移学习预训练过程，通过该预训练方法，网络能够更快地收敛，并能够更快的适应新的任务。

技术总结
本发明涉及图像处理和深度学习领域，提出了一种基于元迁移的残差通道注意力水下图像超分辨率方法。本发明通过引入元迁移学习方法，基于残差通道注意力图像超分辨率网络进行了预训练，增加了网络的性能，提高了网络收敛速度，使得网络适应新任务的能力获得了提升。使得网络适应新任务的能力获得了提升。使得网络适应新任务的能力获得了提升。


技术研发人员：罗笑南 鲁家豪
受保护的技术使用者：桂林慧谷人工智能产业技术研究院
技术研发日：2023.05.09
技术公布日：2023/8/4