基于交叉混合注意力的SAR与可见光图像融合方法

基于交叉混合注意力的sar与可见光图像融合方法
技术领域
1.本发明涉及图像处理方法领域，具体是一种基于交叉混合注意力的sar与可见光图像融合方法。


背景技术：

2.遥感图像数据融合是一个对多遥感器的图像数据和其他信息的处理过程。合成孔径雷达(synthetic aperture radar，sar)和光学数据是卫星遥感平台的两类主要数据。可见光图像能够直观反应地物真实的纹理、色彩等信息，但容易受到天气和时间的限制，导致获取数据的能力有所不足。sar具有全天时、全天候的观测能力，而且微波能够部分穿透云层、稀疏植被，从而获得丰富的地面信息。因此，多源遥感数据融合，例如红外图像与可见光图像之间融合，多光谱图像与sar数据融合，成为当前备受关注的研究课题。
3.随着深度学习兴起，基于深度学习的融合算法被大量提出。通过卷积神经网络提取图像基本表征，特征重构后获得融合结果。在这些基于深度网络的融合策略中，只有最后一层的特征被用作源数据的主要特征，显然，在对图像处理期间，中间层丰富有效的特征被丢失。根据现状调研，多源遥感图像融合主要目的之一是为了保留光谱信息的同时，提升图像空间分辨率。
4.目前图像融合算法有很多种，通常可划分成以下三类：
5.1、基于传统方法图像融合，其原理是针对图像的各个波段，使用变换、数值运算等容易实施的方法处理，如线性加权法、高通滤波法、ihs变换法主成分分析法等。2、基于多尺度图像融合，其基本理论是把图像解析为不同频率特性、不同分辨率等子信号，然后融合相应分解级别的子信号，将融合后子信号重构得到融合图像，如小波变换融合算法。3、基于模型图像融合，该融合方法理论前提是假定空间分辨率较低的图像经过分辨率较高的图像下采样或者其他降低空间分辨率的算法得到。根据上述假设，通过构建能量泛函表征，并且构建高、低分辨率图像之间的模型映射，最后通过求解优化模型得到融合图像。
6.相对传统算法，深度学习算法被广泛应用于sar图像融合，卷积神经网络(convolutional neural network,cnn)具有强大的特征提取和特征表达能力,因此，基于cnn的超分辨图像融合算法相继被提出,例如masi(文献masi g,cozzolino d,verdoliva l,et al.pansharpening by convolutional neural networks[j].remote sensing,2016,8(7):594.)等首次应用超分辨率卷积神经网络(srcnn)进行图像全色锐化(pansharpening),结果明显优于传统算法；yang(文献j.yang,x.fu,y.hu,y.huang,x.ding and j.paisley,"pannet:a deep network architecture for pan-sharpening,"2017ieee international conference on computer vision(iccv),2017,pp.1753-1761,doi:10.1109/iccv.2017.193.)等提出了pannet网络，将图像融合任务拆分成光谱保持和空间保持两部分，实现融合图像光谱和空间质量的提升。
[0007]
上述融合算法较好地解决了传统融合算法中存在的颜色失真和空间细节模糊的问题。然而对于卷积神经网络提取的深层特征只是采用简单的加法融合策略，同等地对待
从sar与可见光图像中提取的深层特征，没有考虑深层特征在不同空间位置和不同通道的差异性，从而不能充分地融合sar与可见光图像的深层特征。


技术实现要素：

[0008]
本发明提供了一种基于交叉混合注意力的sar与可见光图像融合方法，以解决现有技术由于卷积神经网络只是采用简单的加法融合策略，造成的融合算法存在的不能充分融合sar与可见光图像深层特征的问题。
[0009]
为了达到上述目的，本发明所采用的技术方案为：
[0010]
基于交叉混合注意力的sar与可见光图像融合方法，包括以下步骤：
[0011]
步骤1、获取目标的sar原始图像和可见光原始图像，分别对sar原始图像和可见光原始图像进行预处理，得到同等分辨率大小的sar图像和可见光图像，并对可见光图像进行上采样得到可见光的上采样图像；
[0012]
步骤2、分别提取所述sar图像的多尺度深层空间细节特征、所述可见光图像的多尺度深层光谱保持特征，由此对应得到sar图像的空间细节特征图、可见光图像的光谱保持特征图；
[0013]
步骤3、基于空间注意力机制提取步骤2得到的sar图像空间细节特征图的空间信息权重；随后对步骤1得到的可见光图像进行上采样，得到可见光上采样图像特征图；然后，基于所述空间信息权重对所述可见光上采样图像特征图进行校准，得到空间加权可见光图像特征图；
[0014]
基于通道注意力机制提取步骤2得到的可见光图像光谱保持特征图的光谱信息权重图，基于所述光谱信息权重图对步骤2得到的sar图像空间细节特征图进行校准，得到通道加权sar特征图；
[0015]
采用级联策略将所述空间加权可见光图像特征图、通道加权sar特征图进行信息加权融合，得到融合特征图；
[0016]
步骤4、提取步骤3得到的融合特征图的细节信息；
[0017]
步骤5、将步骤4得到的细节信息，叠加至步骤1得到的可见光的上采样图像，得到最终图像。
[0018]
进一步的步骤1中，对sar图像的预处理依次包括辐射校正、几何校正、斑点滤波；对可见光图像的预处理依次包括辐射校正、大气校正、重采样、图像配准。
[0019]
进一步的步骤2中，首先分别提取sar图像的高频信息、可见光图像的高频信息；然后基于sar图像的高频信息提取得到sar图像的小尺度浅层空间细节特征，并基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征；最后对sar图像的小尺度浅层空间细节特征、可见光图像的大尺度浅层光谱保持特征分别进行多尺度特征提取，对应得到sar图像的多尺度深层空间细节特征、可见光图像的多尺度深层光谱保持特征，由此获取sar图像的空间细节特征图、可见光图像的光谱保持特征图。
[0020]
进一步的步骤2中，采用高通滤波器得到sar图像和可见光图像的高频信息，并通过上采样使sar图像和可见光图像的高频信息具有同等分辨率。
[0021]
进一步的步骤2中，采用可分离卷积核基于sar图像的高频信息提取得到sar图像的小尺度浅层空间细节特征。
[0022]
进一步的步骤2中，从rgb通道中采用9
×
9卷积核基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征。
[0023]
进一步的，步骤3的空间注意力机制中，首先采用一个1
×
1卷积层对sar图像的空间细节特征图沿通道方向进行降维；然后采用softmax函数对降维后的sar图像的空间细节特征图进行归一化处理，获得所述空间信息权重；接着采用转置卷积对步骤1可见光图像进行上采样，得到可见光上采样图像特征图；最后，将空间信息权重与所述可见光上采样图像特征图相乘以完成校准，得到空间加权可见光图像特征图。
[0024]
进一步的步骤3中，首先基于通道注意力机制将步骤2得到的可见光图像光谱保持特征图进行全局池化处理和softmax函数处理，生成所述光谱信息权重图；最后，将光谱信息权重图与步骤2得到的sar图像空间细节特征图相乘以完成校准，得到通道加权sar特征图。
[0025]
进一步的步骤4中，采用四层卷积层提取步骤3得到的融合特征图的细节信息，其中：
[0026]
第一层卷积层为3
×
3卷积核构成，由第一层卷积层基于所述从融合特征图生成112通道特征图；
[0027]
第二层卷积层为3
×
3卷积核构成，由第二层卷积层基于第一层卷积核输出结果生成64通道特征图；
[0028]
第三层卷积层为3
×
3卷积核构成，由第三层卷积层基于第二层卷积核输出结果生成32通道特征图；
[0029]
第四层卷积层为3
×
3卷积核构成，由第四层卷积核将第三层卷积核输出结果的特征通道维度降到3维，并输出融合特征图的细节信息。
[0030]
进一步的，步骤5中采用跳线连接方式将步骤4得到的细节信息叠加至步骤1得到的可见光的上采样图像，得到最终图像。
[0031]
本发明提出了对于sar与可见光图像提取的深层特征，通过在卷积神经网络中混合空间注意力机制和通道注意力机制，分别赋予深层特征中不同空间位置的点和不同通道的特征图以不同的权重值来实现深层特征自适应重标定，从而使得深层特征更好地融合，进一步增强融合图像的空间细节信息和光谱信息，提高融合质量。与现有技术相比，本发明的有益效果为：
[0032]
(1)在所提出的融合框架中，利用可见光图像的实际光谱信息来校正sar图像的特征图，并利用sar图像的高精度空间细节信息来增强可见光图像的空间信息。
[0033]
(2)与现有技术相比，这种结合注意力机制的卷积神经网络能够自主地关注对结果有用的信息而忽略无用的信息，大大增强网络提取特征的能力；注意力机制能够在空间维度、通道维度以及梯度域维度有效的对图像深层特征进行重标定，强调对任务有用的特征，抑制对任务没用的特征，从而提高最终结果的精度。
附图说明
[0034]
图1是本发明实施例一中sar数据预处理步骤。
[0035]
图2是本发明实施例一中可见光数据预处理步骤。
[0036]
图3是本发明实施例一中基于混合注意力模型的特征融合方案(croam)示意图。
[0037]
图4是本发明实施例一方法原理图。
[0038]
图5是本发明实施例二中天津乐乐岛附近数据集融合定量结果图。其中：
[0039]
(a)为天津乐乐岛附近可见光图像；(b)为sar图像；(c)为ihs融合图像；(d)为本rsifnn融合图像；(e)为wavelet图；(f)为nsct-avg图；(g)为ihs-nsst-sr图；(h)为双分支方法图；(i)为本发明方法结果图；(j)为可见光局部图；(k)为双分支方法局部图；(l)为本发明方法局部图。
[0040]
图6为本发明实施例二中渤海港口数据集融合定量结果图。其中：(a)为渤海港口可见光图像；(b)为sar图像；(c)为ihs融合图像；(d)为本rsifnn融合图像；(e)为wavelet图；(f)为nsct-avg图；(g)为ihs-nsst-sr图；(h)为双分支方法图；(i)为本发明方法结果图；图6j为可见光局部图；(k)为双分支方法局部图；(l)为本发明方法局部图。
具体实施方式
[0041]
为了使本技术领域的人员更好地理解本发明方案，以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达到相应技术效果的实现过程能充分理解并据以实施。本发明实施例以及实施例中的各个特征，在不相冲突前提下可以相互结合，所形成的技术方案均在本发明的保护范围之内。
[0042]
显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0043]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0044]
实施例一
[0045]
本实施例公开了一种基于交叉混合注意力的sar与可见光图像融合方法，基于改进的卷积神经网络实现。本实施例中在现有的卷积神经网络cnn架构中增加高通滤波器、编码器层、croam特征融合层、解码器层，得到改进的卷积神经网络其架构如图4所示。其中，高通滤波器用于在实施例方法的步骤2中进行高频信息提取。编码器层包括可分离卷积核、9
×
9卷积核、多尺度特征提取模块，用于在本实施例方法的步骤2中作为特征提取模块进行特征提取。croam特征融合层包括空间注意力机制模块、通道注意力机制模块，用于在本实施例方法的步骤3中实现基于交叉混合注意力的特征融合。解码器层包括四层分别由3
×
3卷积核构成的卷积层，用于在本实施例方法的步骤4中提取细节信息。
[0046]
本实施例中结合所采用的改进的卷积神经网络，对本实施例方法进行说明。本实施例方法包括以下步骤：
[0047]
步骤1、获取目标的sar原始图像和可见光原始图像，分别对sar原始图像和可见光原始图像进行预处理，得到同等分辨率大小的sar图像和可见光图像。并对可见光图像进行双三次插值方式进行3倍上采样，得到可见光的上采样图像。
[0048]
由于sar与可见光图像的成像机理不同，因此本实施例在融合数据前，需要分别对sar原始图像和可见光原始图像进行预处理。本实施例方法的步骤1是基于现有的卷积神经
网络cnn输入层的预处理模块，以及现有卷积神经网络cnn的上采样模块实现的。
[0049]
如图1、图2所示，对sar图像的预处理依次包括辐射校正、几何校正、斑点滤波；对可见光图像的预处理依次包括辐射校正、大气校正、重采样、图像配准。经过预处理后得到的sar图像和可见光图像具有同等分辨率大小。
[0050]
步骤2、本实施例中采用高通滤波器，分别提取步骤1得到的sar图像的高频信息、可见光图像的高频信息，并通过上采样使sar图像和可见光图像的高频信息具有同等分辨率。
[0051]
考虑sar与可见光卫星传感器图像的特征差异，本实施例在编码器层采用两个不同的特征提取模块，分别从sar图像高频信息中提取空间细节特征，以及从可见光图像高频信息中提取光谱保持特征。其中：
[0052]
采用编码器层中的可分离卷积核基于sar图像的高频信息提取得到sar图像的小尺度浅层空间细节特征，具有更好的对较小尺度特征做出反应，能够更好的提取高分辨率sar图像的特征信息优势。
[0053]
采用编码器层中的9
×
9卷积核基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征，具有更好的对较粗糙特征做出反应，更好的提取低分辨率可见光图像的特征信息优势。
[0054]
然后，本实施例采用多尺度特征提取模块，分别对sar图像的小尺度浅层空间细节特征、可见光图像的大尺度浅层光谱保持特征进行多尺度特征提取，对应得到sar图像的多尺度深层空间细节特征、可见光图像的多尺度深层光谱保持特征，由此获取sar图像的空间细节特征图、可见光图像的光谱保持特征图。多尺度特征提取模块能够灵活、有效地将提取得到的特征显式地融入网络中。
[0055]
步骤3、本实施例采用croam特征融合层，实现对步骤2得到的sar图像空间细节特征图、可见光图像的光谱保持特征图进行基于交叉混合注意力的特征融合。通过croam特征融合层中空间注意力机制和通道注意力机制的交叉混合，分别赋予深层特征中不同空间位置的点和不同通道的特征图以不同的权重值来实现深层特征自适应重标定，从而使得深层特征更好地融合，进一步增强融合图像的空间细节信息和光谱信息，提高融合质量。
[0056]
在计算机视觉中，注意力机制(attention mechanism)的核心思想是：让网络能够自主地关注重要的信息而忽视无关的信息。近年来，注意力机制被引入基于深度学习的自然语言处理、图像超分辨、图像分类和图像融合等领域中取得巨大的成功。这种结合注意力机制的神经网络能够自主地关注对结果有用的信息而忽略无用的信息，大大增强网络提取特征的能力。
[0057]
注意力机制按照注意力的可微性分为软注意力和硬注意力。软注意力更关注空间或者通道维度信息，通过网络的前向传播和后向反馈来自主学习得到注意力的权重图。而硬注意力是一个0/1问题，确定哪些区域被关注和不被关注，硬注意力最显著的特点是不可微，因此不能通过网络的后向传播算法自主学习权重图，训练过程往往是通过增强学习来完成的。在图像处理领域中常常使用的是软注意力机制，典型网络有：空间变换网络、senet、cbam和deca等。在文献(hu j,shen l,albanie s,et al.squeeze-and-excitationnetworks[j].ieee transactions on pattern analysis and machineintelligence,2017,42(8):2011-2023.)中提出一种新的注意力机制网络——
senet。该文献的中，网络通过学习的方式来自动获取得到每个特征通道重要程度的权重图，然后依照这个权重图有选择地去增强有用的通道特征并抑制无用的通道特征，从而实现特征通道自适应地校正。
[0058]
senet核心步骤包括三个部分：挤压(squeeze)，激励(excitation)，以及重配权重(scale attention)。挤压操作通过全局平均池化操作，使得h
×w×
c特征图最后变成一个1
×1×
c的实数数列，其中h表示图片的宽，w表示图片的高，c表示图片的通道数。激发操作通过门机制和softmax激活函数来实现，完整地获得通道之间的依赖关系。重配权重将激发后的通道权重和相应的特征通道相乘，实现在通道维度对原始特征的自适应调整。
[0059]
在文献(woo s,park j,lee j y,et al.cbam:convolutional blockattention module[c]//15th european conference on computer vision.munich:springer verlag,2018:3-19.)中提出一种简单有效的注意力模块——卷积块注意力模块(convolutional block attention module，cbam)。cbam在通道维度采用全局最大池化和全局平均池化特性，从而产生比senet更精细的注意；同时cbam通过增加空间注意力进一步推动网络性能。最终cbam模块学习在那些通道以及哪些位置有效地强调或抑制中间特征。为了验证其有效性，该文献还将cbam模块在image net-1k、mscoco和voc2007数据集上进行的实验，证明了cbam模块在分类和目标检测方面有了一致的改进效果。
[0060]
在文献(cui y,du h,mei w.infrared and visible image fusionusing detail enhanced channel attention network[j].ieee access,2019,7:182185-182197.)中提出一种增强细节的通道注意力模块(detailenhanced channel attention，deca)并将其用于红外和可见光图像的融合任务中。deca模块使用图像亮度和梯度域中特征图各通道的平均值来自适应地重新标定特征图，从而通过学习方式实现对有用特征的强调，实验结果表明deca模块极大增加了红外和可见光融合图像细节信息。
[0061]
基于以上研究可以看出，注意力机制能够在空间维度、通道维度以及梯度域维度有效的对图像深层特征进行重标定，强调对任务有用的特征，抑制对任务没用的特征，从而提高最终结果的精度。
[0062]
因此，本实施例采用交叉混合注意机制以利用sar图像数据和可见光图像数据的互补信息，设计了基于交叉混合注意力模型的croam特征融合层，利用sar图像数据和可见光图像数据深层特征的各自优势，增强了特征提取模块生成的特征图的光谱信息和空间细节纹理信息。
[0063]
本实施例在croam特征融合层中，基于空间注意力机制通过空间注意力机制模块提取步骤2得到的sar图像空间细节特征图的空间信息权重，并对步骤1的可见光图像进行上采样得到可见光上采样图像特征图。基于通道注意力机制通过通道注意力模块提取步骤2得到的可见光图像光谱保持特征图的光谱信息权重。然后基于所述空间信息权重通过对可见光上采样图像特征图进行校准，得到空间加权可见光图像特征图；并基于所述光谱信息权重对步骤2得到的sar图像空间细节特征图进行校准，得到通道加权sar特征图。最后采用级联策略将所述空间加权特征图和通道加权特征图进行信息融合，得到融合后的特征图。
[0064]
本实施例中croam特征融合层进行特征说明的具体过程如下：
[0065]
1、本实施例在空间注意力机制模块中，关注深层特征在空间维度上重要的点，并
进行融合。本实施例空间注意力机制模块中，首先采用一个1
×
1卷积，通过进行l1范数计算h
×w×
n(h表示图片的宽，w表示图片的高，c表示图片的通道数)sar图像空间细节特征图在空间每个点位置的值，即将通道维度求和形式压缩为一维，得到h
×w×
1的矩阵数值。然后矩阵数值通过softmax函数操作提取空间信息权重图。并采用转置卷积将步骤1的可见光图像进行上采样得到可见光上采样图像特征图，将sar空间信息权重图与可见光上采样图像特征图相乘，完成对可见光上采样图像特征图进行空间维度重标定校准，最后相加重新调整的空间加权可见光图像特征图，实现特征融合。具体过程可以由公式(1)、(2)、(3)所示：
[0066][0067]
φ
sk
(x,y)＝αk(x,y)
×
φk(x,y)
ꢀꢀꢀꢀꢀꢀ
(2)，
[0068][0069]
在公式(1)-公式(3)中，φk(x,y)表示第k个输入图像的深层特征图在空间位置(x，y)处的值，是一个n维通道的向量，其中k∈1,...k且k＝2，具体在本实施例中k取值1，2分别代表输入的sar与可见光图像。
[0070]
x、y为sar图像空间细节特征图的坐标，x和y的取值在sar图像空间细节特征图长、宽的范围内。
[0071]
||
·
||1表示多通道sar图像空间细节特征图在某点处按通道维度求和操作，即将n维向量求和。
[0072]
αk(x,y)表softmax方式求得的sar图像空间细节特征图的空间信息权重，具体的softmax操作为：输入多个数值，求某一个数值占所有数值和的比值。
[0073]
φ
sk
(x,y)表示sar图像空间细节特征图的空间信息权重与第二可见光上采样图像特征图相乘得到的重定标的空间加权可见光图像特征图。
[0074]
φ
sf
(x,y)表示叠加重定标后空间加权可见光图像特征图的融合结果。
[0075]
下标sk和sf中的s表示特征的空间维度。
[0076]
与可见光图像数据相比，sar图像数据在空间信息上具有更高的准确性。利用其高精度的空间信息对从可见光图像中提取的特征图进行指导和加权，可以使可见光图像数据提取的空间特征更加准确和可靠。故本实施例基于空间注意力机制提取sar图像空间细节特征图的空间信息权重，并使用空间信息权重重新校准可见光图像光谱保持特征图。由此引入sar图像数据的空间信息来增强可见光图像数据。
[0077]
2、首先基于通道注意力机制将步骤2得到的可见光图像光谱保持特征图生成所述光谱信息权重；最后，将光谱信息权重与步骤2提取的sar图像的空间细节特征图相乘，得到通道加权sar特征图。
[0078]
在现有的基于深度学习的融合方法中，大多数融合策略仅仅计算特征的空间维度信息，但是深层特征是三维张量。因此，在融合策略中本实施例还需要考虑特征信道维度信息的差异性。结合通道注意力机制。本实施例通道注意力机制中重点关注深层特征中通道维度上的显著性特征图，并进行融合。本实施例首先将步骤2得到的可见光图像光谱保持特征图通过全局池化操作将h
×w×
n维度的特征空间维度压缩，得到1
×1×
n的数列值，然后数列值通过softmax操作求出光谱信息权重图，并将光谱信息权重图与sar图像的空间细节
特征图相乘得到通道维度重新调整的通道加权sar特征图。最后将调整后的通道加权sar特征图和空间加权可见光图像特征图相加进行级联融合。具体过程可以由公式(4)、(5)、(6)表示：
[0079]
βk(m)＝p(φk(m))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)，
[0080][0081][0082]
公式(4)-公式(6)中，φk(m)表示第k个输入图像深层特征中第m通道特征图，在本实施例中k取值1，2分别代表输入的sar与可见光图像。
[0083]
p(
·
)表示对可见光图像光谱保持特征图全局池化操作。
[0084]
βk(m)表示全局池化后1
×1×
n的数列值，本实施例通道注意力机制中，选择了两种全局池化操作算子，(a)平均算子：计算每个通道平均值；(b)最大算子：计算每个通道的最大值。
[0085]
β
ck
(m)表示对数列值softmax操作后得到的光谱信息权重图；
[0086]
β
cf
(m)表示k个深层特征与光谱信息权重图相乘之后并相加的结果，即得到融合后的通道加权sar特征图，其中下标c表示特征的通道维度。
[0087]
与sar图像数据相比，可见光图像数据具有更丰富的地物目标的轮廓和光谱信息。如果从sar图像数据直接融合可见光图像数据，则很明显就光谱信息信息而言，生成的可见光图像可靠性较低。因此，本实施例利用可见光图像数据的实际光谱信息来指导sar图像数据特征图的生成，使sar图像数据提取的特征图同时具有高精度轮廓和光谱信息和空间纹理信息。故本实施例中，基于通道注意力机制提取可见光图像光谱保持特征图的光谱信息权重，并重定标sar图像的空间细节特征图，由此引入可见光图像数据的光谱信息以增强sar图像数据。
[0088]
需要指出的是，与现有的通道注意力机制不同，本实施例的通道注意力机制考虑了sar数据和可见光数据的复杂数据分布。故本实施例删除了在现有通道注意力机制中广泛使用的池化操作，以避免由于均值池化或最大池化而导致的数字异常。本实施例通道注意力机制中，首先将步骤2得到的可见光图像光谱保持特征图通过全局池化操作将h
×w×
n维度的特征空间维度压缩，得到1
×1×
n的数列值，然后使用softmax函数直接进行归一化，以获得光谱信息权重；随后，本实施例将光谱信息权重与步骤2中提取的sar图像空间细节特征图相乘，以获得通道加权sar图像的特征图。
[0089]
并且，与现有通道注意力机制的全局通道注意权重不同，本实施例使用局部权重，可以更好地适应sar图像数据大动态范围的特点。采用级联策略将所述空间加权可见光图像特征图、通道加权sar特征图进行信息加权融合，得到融合特征图。
[0090]
3、为了平等地对待两个注意力机制提取的空间加权可见光图像特征图和通道加权sar特征图，本实施例使用级联策略对两个模块获得的空间加权可见光图像特征图、通道加权sar特征图进行信息融合，结合空间和通道注意力机制，先将深层特征通过两种注意力机制进行特征重标定，然后加权融合注意力模型的输出得到最终的融合特征，基于注意力机制的融合过程如图3所示。图3中，φ1和φ2分别分别表示sar与可见光图像经过编码器提取得到的深层特征提取块(即sar图像的空间细节特征图、可见光图像的光谱保持特征图)；
φs和φv分别表示通过空间注意力和通道注意力机制对特征在空间和通道维度重新标定和叠加融合的结果，最后将注意力机制输出的φs和φv加权融合得到融合特征图，过程可由公式(7)表示：
[0091]
φf＝(φ
s+
φv)*0.5
ꢀꢀ
(7)。
[0092]
步骤4、在解码器层，采用四层卷积层提取步骤3得到的融合特征图的细节信息，其中：
[0093]
第一层卷积层为3
×
3卷积核构成，由第一层卷积层基于从融合特征图生成112通道特征图；
[0094]
第二层卷积层为3
×
3卷积核构成，由第二层卷积层基于第一层卷积核输出结果生成64通道特征图；
[0095]
第三层卷积层为3
×
3卷积核构成，由第三层卷积层基于第二层卷积核输出结果生成32通道特征图；
[0096]
第四层卷积层为3
×
3卷积核构成，由第四层卷积核将第三层卷积核输出结果的特征通道维度降到3维，并输出清晰的融合特征图的细节信息。
[0097]
步骤5、将步骤4得到的细节信息叠加至步骤1得到的可见光的上采样图像，得到最终图像。
[0098]
具体的，采用跳线连接方式，将croam特征融合层分支输出的融合特征图的细节信息，叠加到步骤1得到的可见光的上采样图像上，得到最终图像，即可见光的光谱信息传递到融合图像中，其实现过程见公式(8)：
[0099]
f＝f
cro
⊕↑fvis
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)，
[0100]
公式(9)中：f
cro
表示步骤4得到的融合特征图的细节信息，
↑fvis
表示步骤1中经过双三次插值3倍上采样得到的可见光的上采样图像。
[0101]
实施例二
[0102]
本实施例公开了实施例一所述融合方法的实验结果与分析，具体说明如下：
[0103]
1、实验数据与参数设置
[0104]
实验选取了两组真实sar数据，训练数据为哨兵1号亚像素级别sar图像和landsat-8多光谱图像，经过图像预处理，共裁剪得到9600组sar与可见光图像对，其中90％用于训练，10％用于验证；测试数据包含两组：第一组测试数据选用区域为天津乐乐岛附近的哨兵1号sar图像与landsat-8卫星可见光图像，图中含有建筑、水体、农田等丰富地物类型。第二组测试数据区域为渤海港口，包含大量农作物和桥梁建筑等地物，且sar图像中含有可见光图像中无法觉察到的目标信息。sar和可见光数据集具体详细信息如下表1所示。
[0105]
表1sar和可见光图像信息的先验信息
[0106][0107]
本实施例所提算法的参数设置如下：
[0108]
本实施例实验环境为window10，64位操作系统，nvidia quadro m2000-4g显卡，在tensorflow框架下搭建双分支卷积神经网络。训练批大小100，迭代次数30000次，优化器选择adam，学习率0.001，动量衰减系数0.9。
[0109]
为验证实施例一所述融合方法在光谱保持和细节提升方面的有效性，本实施例选取与传统方法ihs、wavelet、ihs_nsst_sr、nsct_avg以及深度学习方法rsifnn作为对比实验组。
[0110]
2、实验对比分析
[0111]
(a)池化操作实验
[0112]
在上面通道注意力模型中采用两种不同的池化操作算子对图像深度特征的通道维度进行全局池化操作，其实验结果如下表2所示
[0113]
表2不同池化操作对应融合图像质量评价结果
[0114][0115]
注：“平均算子”、“最大算子”分别表示基于通道注意模型融合策略中不同全局池化操作算子。
[0116]
从表2可以看出，与基于注意模型的融合策略中的平均算子相比，最大算子在各项指标中几乎可以达到最佳的值，说明在通道注意模型中最大算子操作是有效的，可以从深度特征中捕获更多显著特征的信息用于图像融合中。故本章后续实验均以最大算子操作来进行通道维度的全局池化。
[0117]
(b)天津乐乐岛附近数据集变化检测结果分析
[0118]
第一组实验图像中含有大量建筑、农田和水体等地物，其中细节信息和光谱信息
丰富。从图5(a)和(b)中红色方框区域可以看出，可见光图像水中的岛屿可见度低，目标不明显，而在sar图像中的岛屿轮廓清晰，目标突出。从图5(c)和图5(d)来看，ihs算法和rsifnn算法显著增强了可见光图像的空间信息，但是也存在明显的颜色失真，比如融合图像下方的岛屿以及图中农田作物部分。图5(e)的wavelet变换算法在光谱信息保持上比ihs算法好，同时空间细节信息有了一定的改善，但是融合结果中锯齿现象明显。图5(f)的nsct_avg方法，耕田边界存在伪影，建筑区域细节模糊，融合不自然。图5(g)的ihs_nsst_sr方法在建筑区域的纹理整体块状明显，且耕田的边界较为模糊。图5(h)的双分支方法融合图像颜色更接近原多光谱图像，视觉效果较好，但是空间细节仍不够清晰。
[0119]
实施例一融合方法的图5(i)相比于其他算法取得了最优的融合效果。
[0120]
首先，实施例一融合方法的融合图像光谱信息保持良好，其次，融合图像中岛屿和建筑物边缘轮廓得到加强，对比图像5(h)的双分支方法，实施例一融合方法基于注意力模型使得sar与可见光图像深层特征得到重新标定，网络能够自适应地学习到对融合任务更有意义的特征，将sar图像中显著的空间细节信息注入到融合图像中，从局部放大图5(j)、图5(k)和图5(l)的屋顶可以看出，清晰度逐渐增强，说明实施例一融合方法进一步增强了融合图像的空间细节信息。
[0121]
(c)渤海港口数据集变化检测结果分析
[0122]
第二组实验图像含有的农田、住房和桥梁等地物，从图6(a)和(b)中方框区域可以看出，sar图像中明显存在可见光图像不存在的目标信息，如桥梁和岛屿等目标。各算法的融合结果分析，与上述分析基本相同。在图6(j)至图6(l)局部图像中的建筑区域也可以看出实施例一融合方法使得融合图像的空间细节更加清晰，图像质量得到进一步增强。通过主观评价可以看出本章所提算法效果理想。
[0123]
(d)客观分析
[0124]
为了更好地评价各个融合算法的优劣，还需要一些评价指标对融合图像质量进行客观评价。表3和表4展示了ihs、rsifnn、wavelet、nsct_avg、ihs_nsst_sr、双分支以及实施例一融合方法在两组数据上融合结果的评价。
[0125]
表3第一组实验数据评价结果
[0126]
[0127][0128]
在表3中，根据光谱评价指标cc和rmse可以看出，ihs方法表现最差，主成分替换方法存在明显的颜色失真；rsifnn方法提取sar的强度信息过多，也导致颜色扭曲，rmse指标较差；wavelet和nsct_avg方法光谱质量有了较大的改善，但仍有提高空间；ihs_nsst_sr方法在光谱质量上表现较好，而双分支方法和本发明方法进一步提升光谱质量。从空间质量评价指标psnr和ssim可以看出，ihs和rsifnn方法的psnr较差，表明这两种方法融合结果中存在着明显的图像失真；wavelet融合方法由于小波变换方向的约束，融合结果呈现锯齿状，在ssim指标上表现较差；nsct_avg方法和ihs_nsst_sr方法在空间信息保持方面有较大的改善，而双分支方法和实施例一融合方法的psnr和ssim指标进一步提升。
[0129]
图像的空间和光谱质量整体评价指标ergas可以得出，ihs和rsifnn方法的评价指标差，是因为两种方法中存在颜色畸变和图像失真现象，这与主观评价一致；wavelet和nsct_avg方法有了极大的提高，ihs_nsst_sr方法充分结合的多分辨率分析和成分替换方法的优势，提高整体评价指标。实施例一融合方法的综合指标进一步提升。
[0130]
表4第二组实验数据评价结果
[0131][0132][0133]
在表4中，各算法的融合结果评价指标变化趋势与表3相同。综上，实施例一融合方法在保持光谱信息的基础上，有效地增强了多光谱图像的空间细节信息。同时，实施例一融合方法在双分支方法基础上引入注意力模型，进一步增强多光谱图像的空间细节信息和光谱信息，图像的各项评价指标都最接近理想值。
[0134]
综上，本发明为了弥补卷积神经网络提取的深层特征只是采用简单的加法融合策略，没有考虑深层特征在不同空间位置和不同通道的差异性，不能充分地融合sar与多光谱
图像的深层特征等缺陷，提出了一种基于混合注意力卷积神经网络的sar与可见光图像融合方法，该方法特点为：
[0135]
(1)本发明方法在双分支卷积神经网络方法基础上引入空间和通道注意力模型，进一步增强可见光图像的空间细节信息和光谱信息，图像的各项评价指标都最接近理想值。
[0136]
(2)本发明方法较好地解决了传统融合算法中存在的颜色失真和空间细节模糊的问题，对于cnn网络提取的深层特征只是采用简单的加法融合策略，本发明方法较好地解决了该问题，同等地对待从sar与可见光图像中提取的深层特征，考虑了深层特征在不同空间位置和不同通道的差异性，充分地融合sar与可见光图像的深层特征，提高了融合质量。
[0137]
以上结合附图详细描述了本发明的优选实施方式，本发明所述的实施例仅仅是对本发明的优选实施方式进行的描述，并非对本发明构思和范围进行限定。在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，这种组合只要其不违背本发明的思想，其同样应当视为本公开所公开的内容。为了避免不必要的重复，本发明对各种可能的组合方式不再另行说明。
[0138]
本发明并不限于上述实施方式中的具体细节，在本发明的技术构思范围内以及不脱离本发明设计思想的前提下，本领域技术人员对本发明的技术方案作出的各种变型和改进，均应落入本发明的保护范围，本发明请求保护的技术内容，已经全部记载在权利要求书中。

技术特征：
1.基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，包括以下步骤：步骤1、获取目标的sar原始图像和可见光原始图像，分别对sar原始图像和可见光原始图像进行预处理，得到同等分辨率大小的sar图像和可见光图像，并对可见光图像进行上采样得到可见光的上采样图像；步骤2、分别提取所述sar图像的多尺度深层空间细节特征、所述可见光图像的多尺度深层光谱保持特征，由此对应得到sar图像的空间细节特征图、可见光图像的光谱保持特征图；步骤3、基于空间注意力机制提取步骤2得到的sar图像空间细节特征图的空间信息权重；随后对步骤1得到的可见光图像进行上采样，得到可见光上采样图像特征图；然后，基于所述空间信息权重对所述可见光上采样图像特征图进行校准，得到空间加权可见光图像特征图；基于通道注意力机制提取步骤2得到的可见光图像光谱保持特征图的光谱信息权重图，基于所述光谱信息权重图对步骤2得到的sar图像空间细节特征图进行校准，得到通道加权sar特征图；采用级联策略将所述空间加权可见光图像特征图、通道加权sar特征图进行信息加权融合，得到融合特征图；步骤4、提取步骤3得到的融合特征图的细节信息；步骤5、将步骤4得到的细节信息，叠加至步骤1得到的可见光的上采样图像，得到最终图像。2.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤1中，对sar图像的预处理依次包括辐射校正、几何校正、斑点滤波；对可见光图像的预处理依次包括辐射校正、大气校正、重采样、图像配准。3.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤2中，首先分别提取sar图像的高频信息、可见光图像的高频信息；然后基于sar图像的高频信息提取得到sar图像的小尺度浅层空间细节特征，并基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征；最后对sar图像的小尺度浅层空间细节特征、可见光图像的大尺度浅层光谱保持特征分别进行多尺度特征提取，对应得到sar图像的多尺度深层空间细节特征、可见光图像的多尺度深层光谱保持特征，由此获取sar图像的空间细节特征图、可见光图像的光谱保持特征图。4.根据权利要求3所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤2中，采用高通滤波器得到sar图像和可见光图像的高频信息，并通过上采样使sar图像和可见光图像的高频信息具有同等分辨率。5.根据权利要求3所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤2中，采用可分离卷积核基于sar图像的高频信息提取得到sar图像的小尺度浅层空间细节特征。6.根据权利要求3所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤2中，从rgb通道中采用9
×
9卷积核基于可见光图像的高频信息提取得到可见光图像的大尺度浅层光谱保持特征。7.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在
于，步骤3的空间注意力机制中，首先采用一个1
×
1卷积层对 sar图像的空间细节特征图沿通道方向进行降维；然后采用softmax函数对降维后的sar图像的空间细节特征图进行归一化处理，获得所述空间信息权重；接着采用转置卷积对步骤1可见光图像进行上采样，得到可见光上采样图像特征图；最后，将空间信息权重与所述可见光上采样图像特征图相乘以完成校准，得到空间加权可见光图像特征图。8.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤3中，首先基于通道注意力机制将步骤2得到的可见光图像光谱保持特征图进行全局池化处理和softmax函数处理，生成所述光谱信息权重图；最后，将光谱信息权重图与步骤 2得到的sar图像空间细节特征图相乘以完成校准，得到通道加权sar特征图。9.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤4中，采用四层卷积层提取步骤3得到的融合特征图的细节信息，其中：第一层卷积层为 3
×
3卷积核构成，由第一层卷积层基于所述从融合特征图生成112通道特征图；第二层卷积层为 3
×
3卷积核构成，由第二层卷积层基于第一层卷积核输出结果生成64通道特征图；第三层卷积层为 3
×
3卷积核构成，由第三层卷积层基于第二层卷积核输出结果生成32通道特征图；第四层卷积层为 3
×
3卷积核构成，由第四层卷积核将第三层卷积核输出结果的特征通道维度降到3维，并输出融合特征图的细节信息。10.根据权利要求1所述的基于交叉混合注意力的sar与可见光图像融合方法，其特征在于，步骤5中采用跳线连接方式将步骤 4得到的细节信息叠加至步骤1得到的可见光的上采样图像，得到最终图像。

技术总结
本发明公开了一种基于交叉混合注意力的SAR与可见光图像融合方法，首先以注意力机制为展开点，然后设计合理的注意力模型来指导SAR与可见光图像的深层特征在空间和通道维度的特征重标定和融合，并且介绍注意力模型的详细实现细节以及分析不同池化操作对融合结果的影响，最后在两组真实的SAR图像上进行实验，采用多种算法进行对比，并定量分析，实验结果表明本发明算法无论是主观评价还是客观评价都取得更好的效果，实验结果验证了论文的改进网络在SAR和可见光图像融合上的有效性。网络在SAR和可见光图像融合上的有效性。网络在SAR和可见光图像融合上的有效性。


技术研发人员：杨学志 朱佳佳 董张玉 梁宏博
受保护的技术使用者：合肥工业大学
技术研发日：2023.03.01
技术公布日：2023/8/24