一种基于遥感时敏目标智能检测的数据增强方法

1.本发明属于目标数据集增强方法应用技术领域，具体涉及一种基于遥感时敏目标智能检测的数据增强方法。


背景技术：

2.近几年，得益于深度学习以及计算机显卡等软硬件技术的研究发展，通过机器代替人眼进行判断和决策的计算机视觉算法作为人工智能的一项重要分支发展迅速，并在当今社会起到了极为广泛的应用。
3.基于深度学习的目标检测技术是计算机视觉领域最基本的问题之一，通过目标检测算法可以实现目标的定位和分类，并能够判读物体的大小和形状。如今目标检测技术在人脸识别、工业检测、无人驾驶等多重领域展开重大应用。但是时敏目标即时间敏感目标，该类目标的位置会随着时间的变化而变化，具有有限的时间窗口期，由于时敏目标数据获取难度高，因此为了提升时敏目标检测精度，研究数据集增强算法意义重大。


技术实现要素：

4.本发明所要解决的技术问题在于针对上述现有技术的不足，提供了一种基于遥感时敏目标智能检测的数据增强方法，该方法能够有效解决时敏目标数据数量少，从而导致深度学习检测模型训练不足，易产生过拟合等问题，能够通过少量的时敏目标数据生成大量包含时敏目标的图像，从而实现数据集增强，为目标检测任务提供良好的数据支撑。
5.为解决上述技术问题，本发明采用的技术方案是：一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，包括：
6.s1、构建图像增强多尺度目标生成模型；所述图像增强多尺度目标生成模型包括倒金字塔结构多尺度生成器和倒金字塔结构的多尺度判别器；
7.s2、获得图像样本数据集，然后利用对抗损失和重建损失对构建的图像增强多尺度目标生成模型进行训练，训练结束后得到图像增强多尺度目标生成模型；
8.s3、对含有目标的图像数据集，通过所述图像增强多尺度目标生成模型对三组含有目标的图像数据集进行数据集增强，每个数据集中的每张图片均生产多张图片。
9.优选地，利用倒金字塔结构构建多尺度生成器{g0,...,gn}，然后对金字塔中的图像x:{x0,...,xn}进行训练，金字塔中图像为图像样本数据集中的图片，其中生成的低维图像通过一个因子r上采样至高维图像；与多尺度生成器对应的，利用倒金字塔结构构建构建多尺度判别器{d0,...,dn}，生成器gn通过学习去欺骗其相对应的判别器dn，判别器的作用对生成的样本图像块与原始图像块进行辨别。
10.优选地，在金字塔的最底层，使用的是一个纯生成器，如式(1)：
[0011][0012]
其中，gn将高斯白噪声zn映射到一个图像样本；在该层中的有效感受野通常为图像高度的一半，因此gn生成图像的总体布局和目标的全局结构，每个具有更细尺度(n＜
n)的生成器gn都添加了以前尺度没有生成的细节；因此，除了噪声空间zn，每个生成器gn增加一个来自上层尺度图像的上采样版本，如式(2)：
[0013][0014]
使用的所有生成器具有相似的架构，在每个尺度架构n中，来自上一层尺度的图像通过上采样变成，然后被加入到输入噪声zn当中，然后将相加后的结果输入到五个卷积层当中，卷积层的作用是生成中缺失的详细信息；生成器gn生成的图像如式(3)：
[0015][0016]
其中，为一个拥有五个卷积块的全卷积网，每个卷积块包括3
×
3卷积层、批归一化层以及leakyrelu激活函数。
[0017]
优选地，第n个网络的训练的多尺度判别器损失由一个对抗性损失和一个重建损失组成：
[0018][0019]
对抗损失l
adv
用来惩罚xn中图像块分布与生成样本中图像块分布之间的距离；重建损失l
rec
确保了一组可以产生xn的特定噪声映射的存在；
[0020]
每个生成器gn都与一个马尔可夫判别器dn相耦合，该判别器将其输入的每个重叠块进行真或假分类，dn的架构与gn中的网络相同，他们中的图像块尺寸都为11
×
11；
[0021]
为了确保存在一组特定的输入噪声图可以生成原始图像x；分别选择其中z
*
为训练前先去的固定的噪声图，训练开始后将不再改变，重建损失如下：
[0022][0023]
重建的图像在训练中有另一个作用，即确定每个尺度中噪声zn的标准差σn。
[0024]
优选地，选取三组含有目标的图像数据集，分别为光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c，其中a＝{a0,a1,...,an}，b＝{b0,b1,...,bn}，c＝{c0,c1,
…
,cn}；对光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c中的每张图片进行数据集增强，每张图片均生产多张图片。
[0025]
优选地，每张图片均生产50张图片。
[0026]
本发明与现有技术相比具有以下优点：
[0027]
1、本发明针对时敏目标数据数量少，从而导致深度学习检测模型训练不足，易产生过拟合等问题，设计一种基于遥感时敏目标智能检测的数据增强方法，首先构建基于倒
金字塔结构的多尺度目标生成模型，然后构建图像生成模型并利用对抗损失和重建损失进行模型训练，最后实现基于可将光遥感图像、红外图像、sar图像的时敏目标数据集增强。该方法能够通过少量的时敏目标数据生成大量包含时敏目标的图像，从而实现数据集增强，为目标检测任务提供良好的数据支撑，具有一定的实用价值。
[0028]
下面通过附图和实施例对本发明的技术方案作进一步的详细说明。
附图说明
[0029]
图1为本发明实施例1公开的一种基于遥感时敏目标智能检测的数据增强方法的流程示意图。
[0030]
图2为本发明实施例1构建的图像增强多尺度目标生成模型的模型示意图。
[0031]
图3为本发明实施例1倒金字塔结构多尺度生成器的模型示意图。
[0032]
图4为利用本实施例1增强后的数据生成红外图像示意图。
[0033]
图5为利用本实施例1增强后的数据生成可见光遥感图像示意图。
[0034]
图6为利用本实施例1增强后的数据生成sar图像示意图。
[0035]
图7为sar检测示意图。
[0036]
图8为利用本实施例1增强后的数据训练混淆矩阵。
具体实施方式
[0037]
实施例1
[0038]
如图1所示，本发明实施例的一种基于遥感时敏目标智能检测的数据增强方法，该方法包括：
[0039]
s1、构建图像增强多尺度目标生成模型；所述图像增强多尺度目标生成模型包括倒金字塔结构多尺度生成器和倒金字塔结构的多尺度判别器；
[0040]
s2、获得图像样本数据集，然后利用对抗损失和重建损失对构建的图像增强多尺度目标生成模型进行训练，训练结束后得到图像增强多尺度目标生成模型；
[0041]
s3、对含有目标的图像数据集，通过所述图像增强多尺度目标生成模型对三组含有目标的图像数据集进行数据集增强，每个数据集中的每张图片均生产多张图片，从而实现了三组含有目标的图像数据集的数据增强。
[0042]
本实施例中，选取三组含有目标的图像数据集，分别为光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c，其中a＝{a0,a1,...,an}，b＝{b0,b1,...,bn}，c＝{c0,c1,...,cn}；对光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c中的每张图片进行数据集增强，每张图片均生产多张图片，具体可生成50张图片，每个数据集中的图片数量则可以扩展为原先的50倍，从而实现增加图像数量的同时增加图像中的目标个数。
[0043]
本实施例中，利用倒金字塔结构构建多尺度生成器{g0,
…
,gn}，然后对金字塔中的图像x:{x0,
…
,xn}进行训练，金字塔中图像为图像样本数据集，其中生成的低维图像通过一个因子r上采样至高维图像。与多尺度生成器对应的，利用倒金字塔结构构建构建多尺度判别器{d0,...,dn}，生成器gn通过学习去欺骗其相对应的判别器dn，判别器的作用对生成的样本图像块与原始图像块进行辨别。倒金字塔多尺度架构的多尺度目标生成模型如图2所示。
[0044]
图像样本的生成从粗粒度开始，然后依次通过所有生成器，达到细粒度图像生成，其中每个尺度都注入噪声。所有的生成器和判别器都具有相同的感受野，因此随着倒金字塔结构的进程，所能提取到的特征也从整体变为细节提取，不仅可以获取图像的全局属性，还可以学习图像的细节纹理信息。
[0045]
在金字塔的最底层，本实施例使用的是一个纯生成器，如式(1)，
[0046][0047]
其中，gn将高斯白噪声zn映射到一个图像样本。在该层中的有效感受野通常为图像高度的一半，因此gn生成图像的总体布局和目标的全局结构。每个具有更细尺度(n＜n)的生成器gn都添加了以前尺度没有生成的细节。因此，除了噪声空间zn，每个生成器gn增加一个来自上层尺度图像的上采样版本，如式(2)：
[0048][0049]
本实施例中使用的所有生成器具有相似的架构，生成器模型如图3所示，在每个尺度架构n中，来自上一层尺度的图像通过上采样变成，然后被加入到输入噪声zn当中，然后将相加后的结果输入到五个卷积层当中，卷积层的作用是生成中缺失的详细信息。生成器gn生成的图像如式(3)：
[0050][0051]
其中，为一个拥有五个卷积块的全卷积网，每个卷积块包括3
×
3卷积层、批归一化层以及leakyrelu激活函数。
[0052]
本实施例中，依次训练多尺度目标生成模型的多尺度架构，从最粗糙的尺度到最精细的尺度。一旦每层的网络都被训练好了，就会保持不变。对第n个网络的训练损失由一个对抗性损失和一个重建损失组成。
[0053][0054]
对抗损失l
adv
用来惩罚xn中图像块分布与生成样本中图像块分布之间的距离；重建损失l
rec
确保了一组可以产生xn的特定噪声映射的存在。
[0055]
每个生成器gn都与一个马尔可夫判别器dn相耦合，该判别器将其输入的每个重叠块进行真或假分类。dn的架构与gn中的网络相同，他们中的图像块尺寸都为11
×
11。
[0056]
为了确保存在一组特定的输入噪声图可以生成原始图像x。本实施例中分别选择其中z
*
为训练前先去的固定的噪声图，训练开始后将不再改变，重建损失如下：
[0057]
[0058]
重建的图像在训练中有另一个作用，即确定每个尺度中噪声zn的标准差σn。
[0059]
本实施例中，增加图像数量的同时增加图像中的目标个数，获得增强后的数据集，利用增强后的数据集分别在目标检测神经网络中训练，利用训练好的目标检测网络对待检测图像分别进行识别。
[0060]
1.仿真条件
[0061]
为了验证本实施例的有效性，对多组目标生成测试，得到了相应的增强后结果图。实验环境：操作系统为ubuntu18.04，处理器为intel(r)core(tm)i5-7300hq cpu@2.50ghz16gb的笔记本电脑。
[0062]
2.仿真实验
[0063]
将本实施例公开的一种基于遥感时敏目标智能检测的数据增强方法，有效的解决了时敏目标检测数据集中图像数量较少、时敏目标缺乏等问题，利用增强后的数据集进行yolov5目标检测任务训练，在一定程度上增强了模型的泛化能力，较好的增强了检测准确率。图4为利用本实施例1增强后的数据生成红外图像示意图，图5为利用本实施例1增强后的数据生成可见光遥感图像示意图，图6为利用本实施例1增强后的数据生成sar图像示意图，图7为sar检测示意图。利用本实施例1增强后的数据训练混淆矩阵如图8所示。
[0064]
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制。凡是根据发明技术实质对以上实施例所作的任何简单修改、变更以及等效变化，均仍属于本发明技术方案的保护范围内。

技术特征：
1.一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，包括：s1、构建图像增强多尺度目标生成模型；所述图像增强多尺度目标生成模型包括倒金字塔结构多尺度生成器和倒金字塔结构的多尺度判别器；s2、获得图像样本数据集，然后利用对抗损失和重建损失对构建的图像增强多尺度目标生成模型进行训练，训练结束后得到图像增强多尺度目标生成模型；s3、对含有目标的图像数据集，通过所述图像增强多尺度目标生成模型对三组含有目标的图像数据集进行数据集增强，每个数据集中的每张图片均生产多张图片。2.根据权利要求1所述的一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，利用倒金字塔结构构建多尺度生成器{g0,
…
,g
n
}，然后对金字塔中的图像x:{x0,...,x
n
}进行训练，金字塔中图像为图像样本数据集中的图片，其中生成的低维图像通过一个因子r上采样至高维图像；与多尺度生成器对应的，利用倒金字塔结构构建构建多尺度判别器{d0,...,d
n
}，生成器g
n
通过学习去欺骗其相对应的判别器d
n
，判别器的作用对生成的样本图像块与原始图像块进行辨别。3.根据权利要求2所述的一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，在金字塔的最底层，使用的是一个纯生成器，如式(1)：其中，g
n
将高斯白噪声z
n
映射到一个图像样本在该层中的有效感受野通常为图像高度的一半，因此g
n
生成图像的总体布局和目标的全局结构，每个具有更细尺度(n＜n)的生成器g
n
都添加了以前尺度没有生成的细节；因此，除了噪声空间z
n
，每个生成器g
n
增加一个来自上层尺度图像的上采样版本，如式(2)：使用的所有生成器具有相似的架构，在每个尺度架构n中，来自上一层尺度的图像通过上采样变成然后被加入到输入噪声z
n
当中，然后将相加后的结果输入到五个卷积层当中，卷积层的作用是生成中缺失的详细信息；生成器g
n
生成的图像如式(3)：其中，为一个拥有五个卷积块的全卷积网，每个卷积块包括3
×
3卷积层、批归一化层以及leakyrelu激活函数。4.根据权利要求2所述的一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，第n个网络的训练的多尺度判别器损失由一个对抗性损失和一个重建损失组成：对抗损失l
adv
用来惩罚x
n
中图像块分布与生成样本中图像块分布之间的距离；重建损失l
rec
确保了一组可以产生x
n
的特定噪声映射的存在；
每个生成器g
n
都与一个马尔可夫判别器d
n
相耦合，该判别器将其输入的每个重叠块进行真或假分类，d
n
的架构与g
n
中的网络相同，他们中的图像块尺寸都为11
×
11；为了确保存在一组特定的输入噪声图可以生成原始图像x；分别选择其中z
*
为训练前先去的固定的噪声图，训练开始后将不再改变，重建损失如下：重建的图像在训练中有另一个作用，即确定每个尺度中噪声z
n
的标准差σ
n
。5.根据权利要求1或2所述的一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，选取三组含有目标的图像数据集，分别为光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c，其中a＝{a0,a1,...,a
n
}，b＝{b0,b1,...,b
n
}，c＝{c0,c1,...,c
n
}；对光学遥感图像数据集a、可见光图像数据集b、sar图像数据集c中的每张图片进行数据集增强，每张图片均生产多张图片。6.根据权利要求5所述的一种基于遥感时敏目标智能检测的数据增强方法，其特征在于，每张图片均生产50张图片。

技术总结
本发明提出了一种基于遥感时敏目标智能检测的数据增强方法，该方法为：构建多尺度目标生成模型；获得图像样本数据集，然后利用对抗损失和重建损失对构建的图像增强多尺度目标生成模型进行训练，训练结束后得到图像增强多尺度目标生成模型；对含有目标的图像数据集，通过所述图像增强多尺度目标生成模型对三组含有目标的图像数据集进行数据集增强，每个数据集中的每张图片均生产多张图片。本发明效解决时敏目标数据数量少，从而导致深度学习检测模型训练不足，易产生过拟合等问题，能够通过少量的时敏目标数据生成大量包含时敏目标的图像，从而实现数据集增强，为目标检测任务提供良好的数据支撑。具有一定的实用价值。具有一定的实用价值。具有一定的实用价值。


技术研发人员：卢瑞涛 王思宇 杨小冈 李清格 李云松 范继伟 夏克寒 张涛
受保护的技术使用者：中国人民解放军火箭军工程大学
技术研发日：2023.05.23
技术公布日：2023/9/23