一种基于信息最大化生成对抗网络的SAR图像目标生成方法

一种基于信息最大化生成对抗网络的sar图像目标生成方法
技术领域
1.本发明属于雷达技术领域，具体涉及一种基于信息最大化生成对抗网络的sar图像目标生成方法。


背景技术：

2.sar(synthetic aperture radar，合成孔雷达)具有特殊的成像机理，在军事侦察、民用遥感等多个领域都发挥重要作用。
3.sar图像的解译识别对其应用十分重要，需要大量数据提供支撑，然而由于sar图像的获取方式，目前公开的sar数据集数据量严重不足，限制了sar图像解译、目标识别等应用的发展，因此产生了很多仿真生成sar图像的方法，以扩充sar图像数据集。sar图像仿真技术能够模拟不同场景和成像条件下的仿真sar图像，可以应用于目标特性分析和sar自动目标识别(automatic target recognition，atr)等方面，为sar图像的解译工作提供大量数据，具有研究价值。
4.翻转、平移、放缩、加噪等常用于扩充数据集的方式无反映出真实世界的变化；基于电磁仿真技术生成的sar图像与真实图像存在较大差异，存在着目标轮廓特征、方位角度、阴影等信息不真实的问题，而且算力资源消耗大、效率低。
5.随着gan(generative adversarial network，生成对抗网络)在图像生成领域的广泛应用，使用gan生成高质量的sar图像具有重要意义。


技术实现要素：

6.本发明的目的在于扩充sar图像数据集，提出了一种基于改进的信息最大化生成对抗网络生成sar图像的方案，旨在实现高质量的sar图像生成。
7.为实现上述目的，本发明采用的技术方案为：
8.一种基于信息最大化生成对抗网络的sar图像目标生成方法，包括如下步骤：
9.s1、获取sar图像数据集，并进行预处理操作，构建训练集；
10.s2、构建生成模型、判别模型和辅助网络q，将生成模型、判别模型和辅助网络q级联成基于信息最大化的生成对抗网络；
11.s3、将sar图像输入到生成对抗网络中，对其进行训练，得到收敛的基于信息最大化的生成对抗网络；
12.s4、基于步骤s3训练后的生成对抗网络中的生成模型生成目标对象的sar图像。
13.进一步的，所述步骤s1具体为：
14.将sar图像数据集中的目标图像转换为单通道的灰度图像，再对图像尺寸进行归一化处理，例如将其大小调整为128
×
128
×
1。
15.进一步的，所述步骤s2中的生成对抗网络包括相互连接的生成模型和判别模型：
16.进一步的，所述生成模型对输入数据生成图像的处理方法具体为：
17.a1、生成一组服从正态分布的n(预设值，n大于2)维随机向量，使用其最后一个维
度作为隐含编码，通过这一个维度可以控制生成图像中指定目标的目标方位角进行连续细微变化。
18.a2、将随机向量输入生成模型，经过全连接层和维度重构层(reshape层)后变换为第一指定维度的数据矩阵；
19.a3、将维度重构层输出的数据矩阵经过若干层反卷积层，输出生成图像；
20.进一步的，所述判别模型对输入图像处理的方法具体为：
21.b1、将生成图像和预处理后的sar图像经过一层卷积层，将其转换为第二指定维度的数据矩阵；
22.b2、第二指定维度的数据矩阵再经过若干层卷积层转换为第三指定维度的的数据矩阵，然后分别通过判别模型的全连接层和辅助网络的全连接层。
23.进一步的，网络的目标函数为极小极大值博弈，为增强生成图像与真实图像的相似度，在损失函数中添加了结构相似度(structural similarity，ssim)损失。所述生成模型的损失函数为：
[0024][0025]
其中，lossg表示生成模型的损失，e[
·
]表示期望，g(
·
)表示生成模型输出的sar图像，z表示输入的随机噪声，x表示真实图像，pz(z)表示随机噪声向量服从的分布，c为输入的隐含编码，g(z,c)表示生成分布，loss
ssim
表示结构相似度损失。
[0026]
进一步的，所述结构相似度损失loss
ssim
的表达式为：
[0027]
l
ssim
(x,g(z))＝1-ssim(x,g(z))
ꢀꢀꢀꢀꢀꢀ
(2)
[0028]
其中，ssim(x,g(z))表示真实图像x与生成图像g(z)的结构相似度。
[0029]
所述判别模型的损失函数为：
[0030][0031]
其中，lossd表示判别模型的损失，p
data
(x)表示真实数据的分布，d(
·
)表示判别模型的输出。
[0032]
所述辅助网络q的互信息损失项为：
[0033]
loss
info
＝e
x～g(z,c)
[ec′
～p(c|x)
[logq(c
′
|x)]]+h(c)
ꢀꢀꢀꢀꢀ
(4)
[0034]
其中，h(
·
)表示信息熵，p(c|x)表示后验概率分布，q(c
′
|x)表示辅助网络q输出的编码c
′
。
[0035]
进一步的，所述步骤s3具体为：
[0036]
s31、从训练集样本集中随机选取一组sar图像；
[0037]
s32、获取服从正态分布的n维随机噪声向量；
[0038]
s33、将随机噪声向量和sar图像输入到生成对抗网络中；
[0039]
s34、交替训练生成模型和判别模型，使用梯度下降法，基于预置的优化器(例如adam优化器)更新网络的权重参数。
[0040]
进一步的，所述步骤s4具体为：
[0041]
s41、生成一组服从正态分布的n维随机向量，并复制多组，使每一组的最后一个维度作为隐含编码，从-1到1进行等间距(间距值优选0.2)的插值，构成输入生成器(训练好的生成模型)的固定噪声；
[0042]
s42、将固定噪声输入到训练好的生成模型中，输出目标方位角在一定范围内连续变化的sar图像；
[0043]
s43、生成一组服从正态分布的n维随机向量，输入到训练好的生成模型中，生成sar图像。
[0044]
上述方案的有益效果是，提供了一种改进的基于信息最大化生成对抗网络的sar图像目标生成方法，当网络收敛后，可以快速的产生大量的sar目标图像，不需要再提取sar图像特征。与现有技术中直接使用infogan网络生成sar图像的方法相比，该方法通过添加注意力机制和改进损失函有效提升了原模型生成sar图像的质量，缓解了用于sar图像识别的训练样本数据量不足的问题。
附图说明
[0045]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
[0046]
图1是本发明实施例提供的一种基于信息最大化生成对抗网络的sar图像目标生成方法的处理流程图。
[0047]
图2是本发明实施例中生成模型的网络结构图。
[0048]
图3是本发明实施例中判别模型的网络结构图。
[0049]
图4是本发明实施例中辅助网络q的网络结构图。
[0050]
图5是本发明实施例中输入噪声在生成模型各层的输出。
[0051]
图6是本发明实施例中输入图像在判别模型和辅助网络q各层的输出。
[0052]
图7是本发明实施例中基于原始infogan产生的sar图像。
[0053]
图8是本发明实施例中基于改进的infogan产生的sar图像。
[0054]
图9是本发明实施例中输入固定噪声产生的方位角连续变化的sar图像。
[0055]
图10是本发明实施例中真实sar图像的灰度分布直方图。
[0056]
图11是本发明实施例中基于原始infogan产生的sar图像的灰度分布直方图。
[0057]
图12是本发明实施例中基于改进的infogan产生的sar图像的灰度分布直方图。
具体实施方式
[0058]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
[0059]
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对
本发明的限定。
[0060]
实施例
[0061]
如图1所示，本发明实施例提供的一种基于信息最大化生成对抗网络的sar图像目标生成方法，包括如下步骤：
[0062]
s1、获取sar目标图像数据集，并进行预处理操作，构建训练集；
[0063]
本实施例中的sar目标图像数据集为美国空军实验室mstar数据集中的t72图像，在对其进行预处理时：将sar目标图像数据集中的各sar目标图像转换为单通道的灰度图像，并将其大小调整为128
×
128
×
1，构成训练样本集。
[0064]
s2、构建生成模型、判别模型和辅助网络q，将生成模型、判别模型和辅助网络q级联成基于信息最大化的生成对抗网络；
[0065]
s3、将sar图像输入到模型中，对其进行训练，得到收敛的基于信息最大化的生成对抗网络；
[0066]
s4、生成sar图像。
[0067]
如图2所示，本实例中，上述步骤s2中的生成模型的网络结构依次包括为：
[0068]
全连接层(linear，即线性层)、resahpe层(用于特征图维度重构)、第1归一化层(batchnorm)，反卷积块a、若干个带注意力机制的反卷积块a，以及一个反卷积块b，其中，反卷积块a依次包括反卷积层(conv2d_transpose)、归一化层(batchnorm，采用batch normalization函数)和激活函数层(leaky relu函数)，反卷积块b依次包括反卷积层和激活函数层(tanh函数)。
[0069]
优选的，本实例中，若干带注意力机制的反卷积块a的数量设置为3，即本实施例的生成模型一次包括：全连接层、resahpe层、归一化层，第1反卷积层，归一化层，第1激活函数层，第2反卷积层，归一化层，第2激活函数层，注意力层(attention)，第3反卷积层，归一化层，第3激活函数层，注意力层，第4反卷积层，第4激活函数层，注意力层，第5反卷积层，第5激活函数层，输出层；其中归一化层使用batch normalization函数；第1至第4激活函数层使用leaky relu函数，第5激活函数层采用tanh函数实现。输入噪声在生成模型各层的输出如图5所示。
[0070]
所述步骤s2中的所述判别模型和辅助网络q的网络结构具体为：
[0071]
如图3所示，判别模型的网络结构依次包括：
[0072]
若干个带注意力机制的卷积块a，若干个卷积块a、一层重构层(resahpe层)和一层全连接层，其中，卷积块a依次包括：卷积层(conv2d)、归一化层(batchnorm，采用batch normalization函数)和激活函数层(leaky relu函数)。本实施例中，带注意力机制的卷积块a的数量设置为3，卷积块a的数量设置为2。
[0073]
即本实施例中，判别模型的网络结构具体为：第1卷积层，归一化层，第1激活函数层，注意力层，第2卷积层，归一化层，第2激活函数层，注意力层，第3卷积层，归一化层，第3激活函数层，注意力层，第4卷积层，第4激活函数层，第5卷积层，第5激活函数层，resahpe层和全连接层。归一化层使用batch normalization函数；第1至第5激活函数层使用leaky relu函数。
[0074]
所述辅助网络q共用判别模型的全连接层前的卷积层，在最后一个卷积块a后设置一个采用带有sigmoid函数的全连接层。如图4所示，辅助网络q的网络结构依次为：若干个
带注意力机制的卷积块a，若干个卷积块a、一层重构层(resahpe层)和一层带sigmoid函数的全连接层，且卷积块a与带注意力机制的卷积块a的数量与判别模型一致，网络参数也复用。生成模型的输入图像在判别模型和辅助网络q各层的输出如图6所示。
[0075]
本实施例中，注意力层使用的是sa(soft attention)注意力机制，该机制通过通道随机混合操作，将通道注意力和空间注意力高效结合，分块并行使用。
[0076]
生成模型对输入数据生成图像的处理方法具体为：
[0077]
a1、生成一组服从正态分布的100维随机向量，使用其最后一个维度作为隐含编码c，通过这一个维度可以控制生成图像中t72目标方位角进行连续细微变化。即生成网络的输入向量可以视为随机噪声z与隐含编码c拼接后的随机向量。即在使用训练好的生成模型(生成器)生成目标对象的sar图像时，可以通过concat层对用户输入的随机噪声z与隐含编码c进行拼接后再作为生成器的输入。
[0078]
a2、将随机向量输入生成模型，经过全连接层，reshape后变换为4
×4×
1024的数据矩阵；
[0079]
a3、将4
×4×
1024的数据矩阵经过五层反卷积层，生成对应的128
×
128
×
1的生成图像；
[0080]
判别模型对输入图像处理的方法具体为：
[0081]
b1、将生成图像和预处理后的sar图像经过一层卷积层，将其转换为64
×
64
×
64的数据矩阵；
[0082]
b2、将数据矩阵经过五层卷积层转换为4
×4×
1024的矩阵，然后分别通过第1全连接层和第2全连接层；
[0083]
b3、第1全连接层的输出为判别模型的判别输出，第2全连接层的输出为辅助网络q的输出。
[0084]
所述生成模型的目标是能够生成欺骗判别模型的样本，其损失函数为：
[0085][0086]
其中，lossg表示生成模型的损失，e[
·
]表示期望，g(
·
)表示生成模型输出的sar图像，x表示真实图像，z表示输入的随机噪声，pz(z)表示随机噪声向量服从的分布，c为输入的隐含编码，g(z,c)表示生成分布，loss
ssim
表示结构相似度损失。
[0087]
优选的，所述结构相似度损失loss
ssim
的表达式为：
[0088]
l
ssim
(x,g(z))＝1-ssim(x,g(z))
ꢀꢀꢀꢀꢀꢀꢀ
(2)
[0089]
其中，ssim(x,g(z))表示真实图像x与生成图像g(z)的结构相似度，对于a图像与b图像，ssim(a,b)计算公式为：
[0090]
ssim(a,b)＝[lumin(a,b)]
α
·
[con(a,b)]
β
·
[str(a,b)]
γ
ꢀꢀꢀꢀꢀ
(3)
[0091]
其中，
·
表示相乘，α，β，γ表示权重参数(预设值)，本实施例均设为1，lumin(a,b)、con(a,b)和str(a,b)分别表示对比度、亮度和结构，其计算公式如下：
[0092][0093]
[0094][0095]
其中，μa表示图像a的均值，μb表示图像b的均值，σa表示图像a的方差，σb表示图像b的方差，σ
ab
表示协方差。c＝(k1×
l)2，d＝(k2×
l)2，e＝d/2，表示三个常量，防止分母为0，通常取k1＝0.01，k2＝0.03，l＝255(像素值动态范围)。
[0096]
所述判别模型的目标是将输入的真实样本标记为真，输入的生成样本标记为假，其损失函数为：
[0097][0098]
其中，lossd表示判别模型的损失，p
data
(x)表示真实数据的分布，d(
·
)表示判别模型的输出。
[0099]
所述辅助网络q的目标是为使隐含编码c与生成数据之间的相关性最大，即最大化二者之间的互信息，通过辅助网络q输出对输入生成器的隐含编码c的预测c'，对互信息的变分下界进行估计，使其最大化。互信息损失项可以用变分下界表示为：
[0100]
loss
info
＝e
x～g(z,c)
[ec′
～p(c|x)
[logq(c
′
|x)]]+h(c)
ꢀꢀꢀꢀꢀꢀ
(8)
[0101]
其中，h(
·
)表示信息熵，p(c|x)表示后验概率分布，q(c
′
|x)表示辅助网络q输出的编码c
′
。
[0102]
上述步骤s3训练模型的过程为：
[0103]
a1、从训练集样本集中随机选取64张sar图像；
[0104]
a2、获取服从正态分布的100维随机噪声向量；
[0105]
a3、将随机噪声向量和sar图像输入到网络中；
[0106]
a3、交替训练生成模型和判别模型，使用梯度下降法，用学习率为0.0002的adam优化器更新网络的权重参数。
[0107]
上述步骤s4具体为：
[0108]
s41、生成一组服从正态分布的100维随机向量，复制十组，使其最后一个维度作为隐含编码，从-1到1进行等间距0.2的插值，构成输入生成器的固定噪声；
[0109]
s42、将固定噪声输入到训练好的网络中，输出目标方位角在一定范围内连续变化的sar图像；
[0110]
s43、生成一组服从正态分布的100维随机向量，输入到训练好的网络中，生成sar图像。
[0111]
为了进一步验证本实施例的处理性能，本实施例的仿真实验使用的mstar数据集中俯仰角度15
°
和俯仰角度17
°
下的t72目标构成训练集。
[0112]
在本实施例的仿真实验中，采用原始infogan和本发明方法，分别训练300个epoch，在epoch＝0、epoch＝100、epoch＝200和epoch＝300时生成t72目标的sar图像，图7是原始infogan的生成图像，图8是本实施例的生成图像。本发明与原始infogan的不同在于，为提升生成图像的质量，在生成模型和判别模型中添加了sa注意力机制，并在生成模型的损失函数中添加了结构相似度损失。
[0113]
在本实施例的仿真实验中，生成一组服从正态分布的100维随机向量，复制十组，使其最后一个维度作为隐含编码，从-1到1进行等间距0.2的插值，构成输入生成器的固定噪声，将其输入到训练好的网络中，输出目标方位角在一定范围内连续变化的sar图像如图
9所示，说明通过使隐含编码和生成图像之间的互信息最大化，能使生成图像的语义特征具有可解释性。
[0114]
使用本发明和原始infogan分别生成200张t72目标的sar图像，计算图像均值μi、图像方差等效视数enl、辐射分辨率γ、灰度直方图这五个指标对生成的t72图像质量进行评价，其数学表达式如下：
[0115][0116][0117][0118][0119]
其中，l、w表示图像大小为l
×
w，i
ij
表示图像中(i,j)位置处的像素值。
[0120]
利用上述公式，分别计算真实sar图像、基于原始infogan产生的200张sar图像和基于本实施例产生的200张sar图像的四个参数，将计算结果统计成表1：
[0121]
表1
[0122][0123]
绘制真实sar图像的灰度分布直方图如图10所示，绘制基于原始infogan产生的sar图像的灰度分布直方图如图11所示，绘制本发明产生的sar图像的灰度分布直方图如图12所示。
[0124]
根据表1和图10～图12可见，相较于原始infogan模型，本发明生成的sar图像与真实sar图像具有更高的相似度，添加注意力机制和改进损失函数对模型生成效果产生了良好效果。
[0125]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于信息最大化生成对抗网络的sar图像目标生成方法，包括如下步骤：s1、获取sar图像数据集，并进行预处理操作，构建训练集；s2、构建生成模型、判别模型和辅助网络q，将生成模型、判别模型和辅助网络q级联成基于信息最大化的生成对抗网络；s3、将sar图像输入到生成对抗网络中，对其进行训练，得到收敛的基于信息最大化的生成对抗网络；s4、基于步骤s3训练后的生成对抗网络中的生成模型生成目标对象的sar图像。2.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，步骤s1中预处理操作具体为：将sar图像数据集中的目标图像转换为单通道的灰度图像，再对图像尺寸进行归一化处理。3.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述生成模型的网络结构依次包括：线性层、维度重构层、归一化层，反卷积块a、若干个带注意力机制的反卷积块a，以及一个反卷积块b；其中，反卷积块a依次包括反卷积层、归一化层和leaky relu激活函数层；反卷积块b依次包括反卷积层和tanh激活函数层。4.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述判别模型和辅助网络q的网络结构分别为：判别模型依次包括：若干个带注意力机制的卷积块a，若干个卷积块a、一层维度重构层和一层全连接层；其中，卷积块a依次包括：卷积层、归一化层和leaky relu激活函数层；所述辅助网络q的网络结构依次包括：若干个带注意力机制的卷积块a，若干个卷积块a、一层维度重构层和一层带sigmoid函数的全连接层，且卷积块a与带注意力机制的卷积块a的数量与判别模型一致，网络参数复用。5.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述生成模型对输入数据生成图像的处理方法具体为：a1、生成一组服从正态分布的n维随机向量，使用其最后一个维度作为隐含编码，其中，n大于2；a2、将随机向量输入生成模型，经过全连接层和维度重构层后变换为第一指定维度的数据矩阵；a3、将维度重构层输出的数据矩阵经过若干层反卷积层，输出生成图像。6.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述生成模型对输入数据生成图像的处理方法具体为：b1、将生成图像和预处理后的sar图像经过一层卷积层，将其转换为第二指定维度的数据矩阵；b2、第二指定维度的数据矩阵再经过若干层卷积层转换为第三指定维度的的数据矩阵，然后分别通过判别模型的全连接层和辅助网络的全连接层。7.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述步骤s3具体为：
s31、从训练集样本集中随机选取一组sar图像；s32、获取服从正态分布的n维随机噪声向量，其中，n大于2；s33、将随机噪声向量和sar图像输入到生成对抗网络中；s34、交替训练生成模型和判别模型，使用梯度下降法，基于预置的优化器更新网络的权重参数。8.根据权利要求1所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，所述步骤s4具体为：s41、生成一组服从正态分布的n维随机向量，并复制多组，使每一组的最后一个维度作为隐含编码，从-1到1进行等间距的插值，构成固定噪声；s42、将固定噪声输入到训练好的生成模型中，输出目标方位角在一定范围内连续变化的sar图像；s43、生成一组服从正态分布的n维随机向量，输入到训练好的生成模型中，生成sar图像。9.根据权利要求1至8任一项所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，生成模型的损失函数如下：其中，loss
g
表示生成模型的损失，e[
·
]表示期望，g(
·
)表示生成模型输出的sar图像，x表示真实图像，z表示输入的随机噪声，p
z
(z)表示随机噪声向量服从的分布，c为输入的隐含编码，g(z,c)表示生成分布，loss
ssim
表示结构相似度损失。10.根据权利要求1至8任一项所述的基于信息最大化生成对抗网络的sar图像目标生成方法，其特征在于，判别模型的损失函数为：其中，loss
d
表示判别模型的损失，e[
·
]表示期望，p
data
(x)表示真实图像x的分布，d(
·
)表示判别模型的输出，z表示输入的随机噪声，p
z
(z)表示随机噪声向量服从的分布，c为输入的隐含编码，g(z,c)表示生成分布，loss
ssim
表示结构相似度损失。

技术总结
本发明公开了一种基于信息最大化生成对抗网络的SAR图像目标生成方法，属于雷达技术领域。本发明用于生成高质量的SAR图像。本发明处理步骤包括：S1、获取SAR图像数据集，并进行预处理操作，构建训练集；S2、构建生成模型、判别模型和辅助网络Q，将生成模型、判别模型和辅助网络Q级联成基于信息最大化的生成对抗网络；S3、将SAR图像输入到模型中，对其进行训练，得到收敛的基于信息最大化的生成对抗网络；S4、生成SAR图像。本发明在相较于使用原始的InfoGAN模型生成SAR图像，在相同参数下生成的图像与真实图像具有更高相似度。图像与真实图像具有更高相似度。图像与真实图像具有更高相似度。


技术研发人员：曹建蜀 于昕凝 张伟 陈俊 邓志清
受保护的技术使用者：电子科技大学
技术研发日：2023.05.31
技术公布日：2023/8/21