一种基于多尺度策略的图像融合方法

：
1.本发明涉及一种图像融合方法，具体涉及一种基于多尺度策略的图像融合方法。


背景技术：

2.图像是目前使用最广泛的数据之一，但单一模态的图像提供的信息有时无法满足人类的视觉需求或者对目标的识别探测需求，尤其在目标和背景的差别在某一波段下较小时，该问题更加明显，因此需要不同成像模式的相机拍摄不同模态的图像，通过图像融合的手段获取多种模态信息的融合图像。图像融合技术通过算法将不同传感器或不同焦点、亮度等的同一场景的两幅或者多幅图像的信息进行提取，整合到单幅融合图像中，生成一幅包含各个模态特性的融合图像，以全面表征场景、增加目标对比度并促进后续的视觉任务。相对单一的源图像而言，融合图像具有多模态的信息，更高的目标对比度以及更多的场景细节。目前图像融合方法已逐渐由人工设计的传统方法，转向基于深度学习的图像融合方法。传统图像融合方法发展成熟，由人工设计图像分解、特征融合以及图像重建算法，具有较高的人工误差以及计算成本，在面对复杂图像时，融合效果较差。基于深度学习的融合方法将部分或全部工作交由神经网络完成，利用神经网络强大的端到端拟合能力，实现融合参数的自动化更新，能够更好地适配不同模态的图像，然而现阶段基于深度学习的融合方法仍存在对多尺度信息利用率差、特征提取不准确，融合结果中目标对比度不高等问题。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种基于多尺度神经网络结构的图像融合方法，所述的图像融合方法可实现对多尺度特征的高效利用，能够有效融合不同尺度的边缘以及目标特征，重建出具有更多边缘信息以及更好目标对比度的融合图像。
4.本发明解决上述技术问题的技术方案是：一种基于多尺度策略的图像融合方法，包括以下步骤：
5.(s1)、利用不同成像模式的相机拍摄2000对双模态图像构成待融合的双模态图像集d，两种模态的图像分别记为a1、a2；
6.(s2)、将双模态图像a1、a2作为网络输入，经过编码器子网络得到包含4层尺度的中间特征f
a1
和f
a2
；
7.(s3)、利用训练好的融合子网络融合两种模态图像的中间特征f
a1
和f
a2
，得到融合特征f
fused
：
8.(s4)、将融合特征f
fused
输入解码器子网络重建出融合图像f；
9.(s5)、将上述子网络构建成一个多尺度图像融合网络，并计算输出的融合图像f与输入的多模态图像a1和a2之间的损失函数loss值，通过对loss值的梯度进行反向传播来训练多尺度图像融合网络，直至loss值收敛，得到训练好的多尺度图像融合网络；
10.(s6)、将待融合的双模态图像集d放入训练好的多尺度图像融合网络中，得到融合图像f。
11.优选的，在步骤(s1)中，所述双模态图像包括但不限于可见光图像、不同波段红外图像、线偏振度图像(dolp)等。
12.优选的，在步骤(s2)中，所述编码器子网络包括4个逆向残差卷积模块(ir)以及2个位置感知卷积模块(parc)，其中ir模块由卷积核大小为1
×
1的卷积层，卷积核大小为3
×
3的深度卷积层，卷积核大小为1
×
1的卷积以及非线性激活函数relu组成，用于分离出基本的多尺度特征；parc模块由位置感知卷积块、全局横向环卷积、全局纵向环卷积、前馈神经网络以及通道注意力模块组成，通道注意力模块包括全局平均池化模块、2层全连接层，用于提取出深层次的全局特征。
13.优选的，在步骤(s3)中，所述融合子网络由两路组成：先将中间特征f
a1
和f
a2
的第i通道特征图取出，一路将两特征图进行直接相加，另一路将两特征图进行通道维拼接后通过3次3
×
3卷积，再与第一路相加得到第i通道的融合特征将所有通道处理并拼接起来后得到总融合特征f
fused
。
14.优选的，在步骤(s4)中，所述解码器子网络包括6个解码块(dcb)，每个解码块由一个卷积核大小为3
×
3的卷积和一个卷积核大小为1
×
1的卷积组成，解码块之间辅以差异上采样和跳跃连接实现多尺度特征的融合。
15.优选的，在步骤(s5)中，所述损失函数loss由下式计算
16.loss＝λ1l
mwssim
+λ2l
acos
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
17.其中，l
mwssim
为多尺度加权结构相似性损失函数，用于构造输入和融合图像间的背景及纹理损失，由式(2)计算，l
acos
为调整余弦相似性损失函数，用于约束融合图像的目标特征，由式(4)计算，λ1，λ2为用于平衡两种损失函数的超参数。
[0018][0019]
其中，βw为权重系数，l
ssim
(x,y；w)代表在窗口w内图像x和y的局部结构相似性，由式(3)计算。
[0020][0021]
其中表示窗口w在图像x中的均值，σ(w
x
wy)为w
x
和wy的协方差，c1和c2为常数，防止等式的除数为0。l
acos
通过下式计算：
[0022][0023]
其中，f
fused
是融合特征，f
en
为输出图像放入编码器得出的中间特征。
[0024]
本发明与现有技术相比的有益效果在于：
[0025]
1、本发明的基于多尺度策略的图像融合方法首先采用逆残差模块提取出图像的4层尺度的特征，随后对不同尺度的特征采用不同的方式进行进一步的处理，由于浅层特征包含更多的纹理及细节信息，因此为保留图像细节，不对浅层特征做过多处理，深层特征包含更多目标的全局特征，因此采用位置感知循环卷积对深层特征进行全局特征的提取，这种处理方式能够有针对性地利用不同尺度的特征，实现更好的特征提取性能，同时避免过
多增加网络参数。
[0026]
2、本发明的基于多尺度策略的图像融合方法采用双路并行的特征融合方式，先取出来自不同模态图像的第i通道的特征图，一路将该特征图直接相加获得保持纹理细节的特征图，另一路将两张特征图在通道维度拼接后，经过三层卷积获得融合整体特征的特征图，最后将两路的特征图进行相加，得到融合的第i通道的特征图，这种特征融合方法将纹理和目标特征进行分路处理，能够充分利用不同尺度中的不同分量的纹理和整体特征，实现目标特征融合的同时保留良好的纹理信息。
[0027]
3、本发明的基于多尺度策略的图像融合方法在构建损失函数时使用了加权结构相似性损失函数，能够从不同尺度约束图像的亮度、对比度以及结构与源图像相似，同时利用调整余弦相似性损失函数的高维一致性，来约束融合图像的多维目标特征与源图像的多维目标特征保持一致，两种损失函数结合能够使融合图像既具有良好的纹理和细节信息，又有较高的目标对比度。
附图说明：
[0028]
图1为本发明的基于多尺度策略的图像融合方法的流程图。
[0029]
图2为本发明的基于多尺度策略的图像融合方法的总网络图。
[0030]
图3为本发明的基于多尺度策略的图像融合方法的位置循环感知卷积块图。
[0031]
图4为本发明的基于多尺度策略的图像融合方法的残差融合模块图。
[0032]
图5为本发明的基于多尺度策略的图像融合方法的训练与具体测试执行案例流程示意图。
具体实施方式：
[0033]
下面结合实施例对本发明作进一步详细的描述，但本发明的实施方式不限于此。
[0034]
参见图1，本发明的基于多尺度策略的图像融合方法包括以下步骤：
[0035]
(s1)、利用不同成像模式的相机拍摄2000对双模态图像构成待融合的双模态图像集d，图像分辨率为256
×
256，两种模态的图像分别记为a1、a2；
[0036]
(s2)、将双模态图像a1、a2作为网络输入，经过编码器子网络得到包含4层尺度的中间特征f
a1
和f
a2
；
[0037]
(s3)、利用训练好的融合子网络融合两种模态图像的中间特征f
a1
和f
a2
，得到融合特征f
fused
；
[0038]
(s4)、将融合特征f
fused
输入解码器子网络重建出融合图像f；
[0039]
(s5)、将上述子网络构建成一个多尺度图像融合网络，并计算输出的融合图像f与输入的多模态图像a1和a2之间的损失函数loss值，通过对loss值的梯度进行反向传播来训练多尺度图像融合网络，直至loss值收敛，得到训练好的多尺度图像融合网络；
[0040]
(s6)、将待融合的双模态图像集d放入训练好的多尺度图像融合网络中，得到融合图像f。
[0041]
参见图2，编码器子网络中的4个ir块为逆向残差卷积块，包括卷积核大小为1
×
1的卷积层，卷积核大小为3
×
3的深度卷积层和卷积核大小为1
×
1的卷积以及非线性激活函数relu，该模块通过1
×
1卷积提升通道数后再通过3
×
3深度卷积能够有效提取红外图像、
dolp图像等这类仅有显著目标特征的图像特征，同时参数量比常规卷积核大小为3
×
3的卷积少，最后的1
×
1卷积用于通道信息交互以及控制特征通道数，因此ir模块适用于分离出初步的4个尺度特征。
[0042]
参见图2和图3，编码器子网络中采用的位置循环感知卷积块(parc)包括位置感知卷积块(pwconv)、全局横向环卷积(gcc-h)、全局纵向环卷积(gcc-v)、前馈神经网络(ffn)以及通道注意力模块(cwa)，其通过位置感知卷积分配空间权重，后通过连续的全局横向换卷积及全局纵向环卷积提取出深层全局空间特征，将特征拼接后进行正则化，再通过前馈神经网络和通道注意力模块提取出通道特征，从而实现全局空间和通道特征的提取，适用于对深层的全局特征进行提取。
[0043]
由于经过编码器子网络提取的特征包含四个尺度，且不同尺度含有不同的纹理和目标特征分量，因此通道拼接、相加或传统人工设计的融合方法等方法无法适配或处理该分量不同的复杂特征，需要对纹理细节及目标特征进行分别处理才能够有效保留和融合相应特征。
[0044]
为此，参见图2和图4，融合子网络中的rf模块包含能够分别对纹理细节和目标特征进行处理的两路操作：先将中间特征f
a1
和f
a2
的第i通道特征图取出，一路将两特征图进行直接相加，保持了中间特征的纹理信息，另一路将两特征图进行通道维拼接后通过3次3
×
3卷积，实现目标特征的融合，与第一路相加后得到第i通道的融合特征将所有通道处理并拼接起来后得到总融合特征f
fused
，该融合模块通过两路处理实现了边缘和目标特征的分别处理，避免了单一处理方式对另一种特征的影响。
[0045]
融合后的特征f
fused
包含4个尺度的融合特征，将其合并重建为通道数为1的融合图像，需要不断地进行上采样和拼接操作，使各尺度的信息汇合的同时降低通道数。
[0046]
为此，参见图2，解码器子网络将6个解码块(dcb)通过插值上采样和跳跃连接进行链接，实现多尺度特征的汇合及通道降维，每个解码块包含1个卷积核大小为3
×
3的卷积层以及卷积核大小为1
×
1的卷积层，最后通过卷积核大小为1
×
1的实现融合图像的重建。
[0047]
参见图5，基于多尺度策略的图像融合网络的损失函数loss采用多尺度加权结构相似性损失函数l
mwssim
来构造输入和融合图像间的背景及纹理损失，用调整余弦相似性损失函数l
acos
来约束融合图像的目标特征，l
mwssim
通过下式计算：
[0048][0049]
其中，βw为权重系数，由式(2)计算，其意义在于，方差越大的图像包含有更多图像信息，因此需要更大的权重，l
ssim
(x,y；w)代表在窗口w内图像x和y的局部结构相似性，由式(3)计算。
[0050][0051]
其中，g(x)＝max(x,0.0001)为校正系数，用以提升稳定性，σ2(
·
)表示方差计算，表示窗口w内图像a1的方差。
[0052][0053]
其中表示窗口w在图像x中的均值，σ(w
x
wy)为wx和wy的协方差，c1和c2为常数0.0001和0.0009，用于方式等式除数为0。l
acos
通过下式计算：
[0054][0055]
其中，f
fused
是融合特征，f
en
为输出图像放入编码器得出的中间特征。
[0056]
最后网络的总损失函数为：
[0057]
loss＝λ1l
mwssim
+λ2l
acos
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0058]
其中，λ1，λ2为0.1和1的超参数。
[0059]
上述为本发明较佳的实施方式，但本发明的实施方式并不受上述内容的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

技术特征：
1.一种基于多尺度策略的图像融合方法，其特征在于，包括以下步骤：(s1)、利用不同成像模式的相机拍摄2000对双模态图像构成待融合的双模态图像集d，两种模态的图像分别记为a1、a2；(s2)、将双模态图像a1、a2作为网络输入，经过编码器子网络得到包含4层尺度的中间特征f
a1
和f
a2
；(s3)、利用训练好的融合子网络融合两种模态图像的中间特征f
a1
和f
a2
，得到融合特征f
fused
；(s4)、将融合特征f
fused
输入解码器子网络重建出融合图像f；(s5)、将上述子网络构建成一个多尺度图像融合网络，并计算输出的融合图像f与输入的多模态图像a1和a2之间的损失函数loss值，通过对loss值的梯度进行反向传播来训练多尺度图像融合网络，直至loss值收敛，得到训练好的多尺度图像融合网络；(s6)、将待融合的双模态图像集d放入训练好的多尺度图像融合网络中，得到融合图像f。2.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s1)中，所述双模态图像包括但不限于可见光图像、不同波段红外图像、线偏振度图像(degree of linerpolarization，dolp)等。3.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s2)中，所述编码器子网络包括4个逆向残差卷积模块(ir)以及2个位置感知卷积模块(parc)，其中ir模块由卷积核大小为1
×
1的卷积层，卷积核大小为3
×
3的深度卷积层，卷积核大小为1
×
1的卷积以及非线性激活函数relu组成，用于分离出基本的多尺度特征；parc模块由位置感知卷积块、全局横向环卷积、全局纵向环卷积、前馈神经网络以及通道注意力模块组成，通道注意力模块包括全局平均池化模块、2层全连接层，用于提取出深层次的全局特征。4.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s3)中，所述融合子网络由两路组成：先将中间特征f
a1
和f
a2
的第i通道特征图取出，一路将两特征图进行直接相加，另一路将两特征图进行通道维拼接后通过3次3
×
3卷积，再与第一路相加得到第i通道的融合特征将所有通道处理并拼接起来后得到总融合特征f
fused
。5.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s4)中，所述解码器子网络包括6个解码块(dcb)，每个解码块由一个卷积核大小为3
×
3的卷积和一个卷积核大小为1
×
1的卷积组成，解码块之间辅以差异上采样和跳跃连接实现多尺度特征的融合。6.根据权利要求1所述的基于多尺度策略的图像融合方法，其特征在于，在步骤(s5)中，所述损失函数loss由下式计算：loss＝λ1l
mwssim
+λ2l
acos
ꢀꢀꢀꢀꢀ
(1)其中，l
mwssim
为多尺度加权结构相似性损失函数，用于构造输入和融合图像间的背景及纹理损失，由式(2)计算，l
acos
为调整余弦相似性损失函数，用于约束融合图像的目标特征，由式(4)计算，λ1，λ2为用于平衡两种损失函数的超参数；其中，β
w
为权重系数，l
ssim
(x,y；w)代表在窗口w内图像x和y的局部结构相似性，由式(3)
计算：其中表示窗口w在图像x中的均值，σ(w
x
w
y
)为w
x
和w
y
的协方差，c1和c2为常数，防止等式的除数为0；l
acos
通过下式计算：其中，f
fused
是融合特征，f
en
为输出图像放入编码器得出的中间特征。

技术总结
本发明属于图像处理领域，公开了一种基于多尺度策略的图像融合方法，用于解决基于深度学习的图像融合方法对复杂双模态图像的特征提取能力差与融合效果欠佳的问题，本发明的融合方法基于编解码器结构，核心在于对编码器分离出的不同尺度的特征进行不同的特征提取操作，后利用包含双路处理的融合模块对提取的多层次特征进行融合，最后在通道维对不同层次的融合特征进行拼接和上采样重构出融合图像。本发明能够有效实现复杂双模态图像的融合，具有多尺度特征提取效果好，融合图像目标对比度高、重构精度高、鲁棒性较强等特点。鲁棒性较强等特点。鲁棒性较强等特点。


技术研发人员：秦玉文 谢俊 豆嘉真 钟丽云 邸江磊
受保护的技术使用者：广东工业大学
技术研发日：2023.06.26
技术公布日：2023/9/25