一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法

1.本发明涉及一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，属于图像生成领域、遥感领域和光学智能反侦察技术领域。


背景技术：

2.遥感智能目标检测的任务是返回给定遥感图像中的单个或多个特定目标的类别与矩形包围框坐标。近年来，随着遥感技术的成熟和无人机的使用量大幅增加。将遥感技术或无人机用于军事侦查，进行区域监视和感兴趣关键目标的跟踪已经越来越普遍。大量的光学图像可以在遥感平台或无人机平台监视期间进行收集，然而手动检查图像数据是一项庞大而低效的工程。随着计算机视觉的进步和计算能力的大幅提高，基于深度学习的智能目标检测算法以较高的检测精度、泛化性能以及端到端的自动化处理特性广受青睐，也逐渐在遥感感知领域流行。因而可以预计，在不久的将来，图像分析将越来越自动化，智能化。在遥感领域，已有大量的具有针对性的端到端目标检测算法被提出，这些算法在庞大的航空遥感数据集上训练出的深度神经网络模型可以用来自动地执行关键对象检测，例如飞机、车辆、建筑物等，然后将该自动分析步骤的结果呈现给操作员并将其用作进一步分析的线索。它们中的许多优秀算法被用于实际场景并达到了相当好的实际性能。因而，探索遥感航空场景下的光学智能反侦察技术是一项极为有意义的研究。
3.当前已有部分工作对于如何攻击深度网络模型有了一定的研究，szegedy等人于2013年首先发现当前的机器学习模型，包括神经网络等模型在内，容易受到对抗样本的攻击，同时于论文中提出一种于数据空间上产生用于攻击目标分类神经网络的对抗样本的实现算法(参见文献：塞盖迪等，神经网络的有趣性质[j]，arxiv未定稿版arxiv：1312.6199，2013.(szegedy c,zaremba w,sutskever i,et al.intriguing properties of neural networks[j].arxiv preprint arxiv:1312.6199,2013.))；xie等人探索了用于目标检测和语义分割任务的深度学习模型的脆弱性(参见文献：谢等，用于语义分割和目标检测的对抗样本[c]//美国电气和电子工程师协会，国际计算机视觉会议论文集，2017:1369-1378.(xie c,wang j,zhang z,et al.adversarial examples for semantic segmentation and object detection[c]//proceedings of the ieee international conference on computer vision.2017:1369-1378.))。由此可以认为，智能系统尽管在大量任务上表现极佳，但极易受到针对性的攻击从而失效。
[0004]
在遥感场景下，czaja等人在包含53000帧卫星拍摄的遥感图像序列数据集fmow上探索了针对分类卷积神经网络的攻击效果(参见文献：蔡等，遥感对抗实例[c]//第26届acm sigspatial地理信息系统进展国际会议论文集，2018:408-411.(czaja w,fendley n,pekala m,et al.adversarial examples in remote sensing[c]//proceedings of the 26th acm sigspatial international conference on advances in geographic information systems.2018:408-411.))，xu等人提出使用多种攻击方式的综合来产生通
用对抗扰动干扰分类卷积神经网络的决策结果(参见文献：徐等，遥感中的通用对抗样本：方法与基准[j]，美国电气和电子工程师协会，地球科学与遥感，2022,60:1-15.(xu y,ghamisi p.universal adversarial examples in remote sensing:methodology and benchmark[j].ieee transactions on geoscience and remote sensing,2022,60:1-15.))，du等人在sar图像上使用基于学习的模型来产生对抗扰动并取得一定效果(参见文献：杜等，一种利用深度卷积神经网络欺骗sar目标识别的快速对抗攻击算法[j]，美国电气和电子工程师协会，地球科学与遥感通讯，2021,19:1-5.(du c,huo c,zhang l,et al.fast c&w:a fast adversarial attack algorithm to fool sar target recognition with deep convolutional neural networks[j].ieee geoscience and remote sensing letters,2021,19:1-5.))。尽管上述工作证实了干扰遥感智能目标检测系统的可能性，但是其实验多止步于数据空间，产生的扰动在真实遥感场景中不具备可实现性，截止目前，遥感领域对于可物理实现的反侦察单元研究仍较为空白。
[0005]
本发明研究了智能系统的脆弱性，提出了光学遥感领域中针对关键地物目标检测的智能目标检测系统的物理对抗样本生成方法。首先针对关键地物目标隐身需求，设计隐蔽性致盲模块用于智能目标检测系统的致盲；其次针对关键地物目标类别误导需求，设计反目视解译的定向误导模块用于使智能目标检测系统产生虚警；针对有频繁移动需求的目标，设计反目视解译的致盲迷彩涂装，用于对应目标的隐身。本发明使用fast-rcnn、yolov5和swin transformer三类具有代表性的智能目标检测算法于在大量遥感图像上对所设计的隐蔽性致盲模块、反目视解译的定向误导模块和反目视解译的致盲迷彩涂装的性能进行检验，实验证明所设计的物理对抗样本运用使得智能目标检测平均精度下降近35％。最后在模拟沙盘上针对飞机、油罐等关键类别地物目标进行了致盲、误导实验，检验了所设计的物理对抗样本的有效性。


技术实现要素：

[0006]
1、目的：本发明的目的在于提供一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法。该方法针对关键地物目标隐身需求，设计隐蔽性致盲模块用于智能目标检测系统的致盲；其次针对关键地物目标类别误导需求，设计反目视解译的定向误导模块用于使智能目标检测系统产生虚警；针对有频繁移动需求的目标，设计反目视解译的致盲迷彩涂装，用于对应目标的隐身。
[0007]
2、技术方法：本发明是通过以下技术方法实现的：
[0008]
本发明是一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，主要通过深度学习、图像处理和优化实现。该方法的具体步骤如下：
[0009]
步骤一：数据与模型准备。
[0010]
本发明首先，参数化物理对抗样本，其初始值为随机生成的随机数数据或是预先定义的图像像素值，可依据设计需要进行确定初始值和原始尺寸大小，默认为随机生成的随机数数据。其次，导入预先准备的迷彩风格图像，用于作为风格参考图像进行风格约束。再次，导入于imagenet数据集上进行预训练的vgg-19卷积神经网络模型，用于提取风格特征图。
[0011]
本发明再搭建作为一系列智能目标检测系统，于大量遥感图像充分训练后，分别
用于训练和测试物理对抗样本，具体方法是：搭建fast r-cnn、yolov5和swin transformer为检测模型的智能目标检测系统各一个(以下简称为fast r-cnn模型、yolov5模型和swin transformer模型)，三个模型随机化初始权重并独立地在作为训练集的遥感图像上进行充分迭代训练，并于测试集上进行检验，统计其对于测试集的遥感图像中每一类别的目标的检测精度map@.5。随机其中的一个作为训练物理对抗样本的智能目标检测系统(以下简称辅助模型)，另外两个模型作为测试物理对抗样本的智能目标检测系统(以下简称测试模型)。所选取得遥感图像可以来自于诸多计算机视觉领域公开数据集，如dota、isaid等。
[0012]
步骤二：将参数化的物理对抗样本布置于训练集图像中。
[0013]
本发明依据用户需求，提供三类形式的参数化的物理对抗样本，分别为隐蔽性致盲模块，反目视解译的定向误导模块和反目视解译的致盲迷彩涂装。
[0014]
分别采用三种布置方式将隐蔽性致盲模块，反目视解译的定向误导模块和反目视解译的致盲迷彩涂装布置到训练集中，得到扰动后图像，以待训练。
[0015]
步骤三：训练参数化的物理对抗样本。
[0016]
将扰动后图像i
adv
输入辅助模型之中，然后根据辅助模型输出计算损失函数，并利用梯度下降法优化参数化的物理对抗样本，具体过程如下：
[0017]
对于每一个输入图像i，其包含n个目标，每一个目标tn分配有一个类别标签ln∈c和旋转标注框pn，其中c为遥感图像数据中含有的关键目标类别总数；智能目标检测系统f的任务是成功定位这n个目标的具体位置坐标rn，并准确分类。定义智能目标检测系统输出中，fc(i，tn)∈rc、fo(i，tn)∈r、分别为智能目标检测系统在对图像i进行检测时，对于目标tn计算的分类得分向量，存在置信度和预测位置坐标；智能检测系统的最终预测类别为分类得分向量中得分最高的元素所对应的标签，即max
id
(fc(i，tn))。本发明定义损失函数loss如下：
[0018]
loss＝α1l
cls
+α2l
obj
+α3l
tv
+α4l
nps
+α5l
style
ꢀꢀꢀ
(1)
[0019]
其中，l
cls
为分类置信损失，用于判断智能目标检测系统输出类别是否与类别标签ln一致，l
obj
为目标存在置信损失，用于判断目标是否被检测出来；本发明设计l
tv
为平滑损失函数，用于约束参数化的物理对抗样本的平滑度，减少高频噪声；本发明还设计l
nps
为不可打印得分损失函数，用于对参数化的物理对抗样本ε的可被如实打印、制作程度进行打分，确保生成的参数化的物理对抗样本最终可以被尽可能地如实制作出来发挥作用。此外，本发明在损失函数loss中设计l
style
，为风格损失函数，使物理对抗样本具备一定的隐蔽性和反目视解译能力；将参数化物理对抗样本的风格与输入迷彩图像的风格进行对比，确保风格的一致性；α1，α2，α3，α4，α5为预先定义的超参数，在对参数化的物理对抗样本进行训练时，α1，α2取值为负数；α3，α4，α5取正数；其中l
cls
和l
obj
的计算公式如下：
[0020]
l
cls
＝crossentropy(fc(i，tn)，ln)
ꢀꢀꢀ
(2)
[0021]
l
obj
＝crossentropy(fo(i，tn)，1(rn))
ꢀꢀꢀ
(3)
[0022][0023]
iou为交并比函数，1(rn)为指示函数，若利用交并比函数计算智能目标检测系统预测位置坐标和标签中的具体位置坐标的交并比大于某一阈值γ，则认为智能目标检测系统已正确定位目标位置，指示函数取1，否则取0；crossentorpy为交叉熵损失；对于参数化
物理对抗样本ε，l
tv
的计算公式如下：
[0024][0025]
i，j分别为v的横，纵坐标索引，ε(i，j)为ε中横坐标为i纵坐标为j处的像素值；m，n分别为ε的尺寸宽度和高度；对ε的平滑性产生约束；l
nps
计算公式如下：
[0026][0027]
式中p为所有可生产制作的rgb颜色三元组p集合，为参数化的物理对抗样本ε的某一像素值。
[0028]
l
style
的计算如下：使用vgg-19网络φ提取参数化的物理对抗样本ε和输入的迷彩风格图像m的特征，对于每一个输入vgg-19网络φ的图像x，设φj(x)为网络φ的第j层特征图像形状为cj×hj
×
wj，定义gram矩阵为cj×cj
的矩阵，其横坐标为c，纵坐标为c
′
的元素为：
[0029][0030]
其中，φj(x)
c，h，w
为网络φ的第j层特征图像第一维度索引为c，第二维度索引为h，第三维度索引为w的元素；风格损失l
style
为输出图像和目标图像的gram矩阵之间的差的平方frobenius范数：
[0031][0032]
将扰动后图像i
adv
输入辅助模型之中，根据上述公式(1)至(8)计算对应的损失函数loss，采用梯度下降的方式对参数化的物理对抗样本进行迭代更新；此外，在优化迭代过程中，由于光学图像的每一个像素取值范围为0至1区间，因此需要在每一次梯度下降更新后对参数化的物理对抗样本的像素取值进行裁剪，具体采用梯度下降的方式进行优化迭代公式如下：
[0033][0034]
其中lr为学习率，cilp
0-1
为裁剪函数，其作用是将小于0的像素值置为0，大于1的像素值置为1，其他像素值保持不变。在经过15轮迭代之后，可以获得具有较好性能的参数化的物理对抗样本ε
*
。
[0035]
步骤四：将优化后的参数化的物理对抗样本布置于测试集图像中，并使用测试模型进行对抗性能测试。
[0036]
将优化后的参数化的物理对抗样本ε
*
以与步骤二相同的布置方式布置于测试集图像中；随后对于完成优化后的参数化的物理对抗样本布置后的测试集，使用测试模型对其中每一张图像进行目标检测，并统计其对于测试集中每一类别的目标的检测精度map@.5。保留能使测试模型在某一类检测精度map@.5下降50％及以上的参数化的物理对抗样本，并利用opencv库进行保存得到对应该类别的物理对抗样本设计图。
[0037]
3、优点及功效：
[0038]
本发明是一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，优点是：针对当前广泛应用的智能目标检测系统，基于多任务损失函数优化设计了三种类型的光学物理对抗样本，相比于以普通迷彩为代表的传统光学隐蔽技术，本发明设计的光学物理对抗样本不仅能够实现对于智能目标检测系统的致盲和定向误导，同时具有隐蔽性好，反目视解译、便携性和支持多种应用场景需求的特点。基于所提出的生成方法制作的物理对抗样本经过数据空间和物理现实世界的性能测试，具备较高的针对智能目标检测系统的干扰能力。
附图说明
[0039]
图1为基于多任务损失函数优化的光学遥感物理对抗样本生成方法总体流程图。
[0040]
图2为隐蔽性致盲模块布置方式示意图。
[0041]
图3为反目视解译的定向误导模块布置示意图图。
[0042]
图4为反目视解译的致盲迷彩涂装布置示意图。
[0043]
图5a、图5b为数字显示器显示结果与打印制作设备成品的颜色差异。
[0044]
图6a、图6b为有无布置隐蔽性致盲模块的遥感图像检测结果对比图。
[0045]
图7a、图7b为有无布置反目视解译的定向误导模块的遥感图像检测结果对比图。
[0046]
图8a、图8b为普通迷彩涂装和反目视解译的致盲迷彩涂装设计图。
[0047]
图9a、图9b、图9c为有无布置反目视解译的迷彩涂装的遥感图像检测结果对比图。
[0048]
图10a、图10b为于模拟沙盘拍摄的有无布置物理对抗样本的飞机类别检测结果。
[0049]
图11a、图11b为于模拟沙盘拍摄的有无布置物理对抗样本的油罐类别检测结果。
具体实施方式
[0050]
为了更好地理解本发明的技术方法，以下结合附图对本发明的实施方式作进一步描述：
[0051]
本发明在pytorch框架下，使用python语言编程实现。首先数据与模型准备，参数化物理对抗样本，并设置训练和测试需要的相关参数和模型；再读入训练数据并将参数化的物理对抗样本布置其中；然后使用作为训练物理对抗样本的智能目标检测系统对参数化的物理对抗样本进行迭代训练，经过在整个训练集上15次迭代之后参数化物理对抗样本已经具备一定干扰能力；随后将经过训练的参数化物理对抗样本布置于测试集图像中，并使用测试模型进行对抗性能测试。全流程如图1所示，具体而言，本发明的基于多任务损失函数优化的光学遥感物理对抗样本生成方法包括如下步骤：
[0052]
步骤一：数据与模型准备。
[0053]
本发明首先参数化物理对抗样本，其初始值为随机生成的随机数数据或是预先定义的图像像素值，可依据设计需要进行确定初始值和原始尺寸大小，默认为随机生成的随机数数据。本发明其次导入预先准备的迷彩风格图像，用于作为风格参考图像进行风格约束。本发明再次导入于imagenet数据集上进行预训练的vgg-19卷积神经网络模型，用于提取风格特征图。
[0054]
本发明再搭建作为一系列智能目标检测系统，于大量遥感图像充分训练后，分别
用于训练和测试物理对抗样本，具体方法是：搭建fast r-cnn、yolov5和swin transformer为检测模型的智能目标检测系统各一个(以下简称为fast r-cnn模型、yolov5模型和swin transformer模型)，三个模型随机化初始权重并独立地在作为训练集的遥感图像上进行充分迭代训练，并于测试集上进行检验，统计其对于测试集的遥感图像中每一类别的目标的检测精度map@.5。随机其中的一个作为训练物理对抗样本的智能目标检测系统(以下简称辅助模型)，另外两个模型作为测试物理对抗样本的智能目标检测系统(以下简称测试模型)。所选取得遥感图像可以来自于诸多计算机视觉领域公开数据集，如dota、isaid等。
[0055]
步骤二：将参数化的物理对抗样本布置于训练集图像中。
[0056]
本发明依据用户需求，提供三类形式的参数化的物理对抗样本，分别为隐蔽性致盲模块，反目视解译的定向误导模块和反目视解译的致盲迷彩涂装。
[0057]
对于隐蔽性致盲模块，其原始尺寸为64
×
64；其布置方式为，对于在一张训练集图像i中的每个目标tn，获取其旋转框的标注区域pn；随后本发明选取标注区域pn内合适的布置位置进行隐蔽性致盲模块的布置，具体选取方式如下：对于实际场景中难以将模块完整覆盖至表面的关键目标类别(如飞机)，选取将隐蔽性致盲模块布置在标注区域pn的四个顶角矩形区域，每个顶角矩形区域的宽和高是标注区域pn的1/3；实际场景中允许将模块完整覆盖至表面的关键目标类别(如小型车辆、油罐)，选取将隐蔽性致盲模块布置在标注区域pn的中心矩形区域，每个顶角矩形区域的宽和高是标注区域pn的1/3；如图2所示；
[0058]
对于反目视解译的定向误导模块，其原始尺寸为64
×
64；其布置方式为，对于一张训练集图像i，随机生成4至8个区域pi，区域pi的宽、高、角度分别独立地取1至256的随机数。对于区域pi，将反目视解译的定向误导模块经过线性插值调整至尺寸和区域pi大小相同并旋转至对应角度，使得依据区域pi调整后的反目视解译的定向误导模块能够恰好和区域pi重合，再将区域pi中每一像素替换为依据区域pi调整后的反目视解译的定向误导模块中与之重合对应像素值。对所有训练集图像应用该布置方式，即可完成反目视解译的定向误导模块的布置。如图3所示。
[0059]
对于反目视解译的致盲迷彩涂装ε
camouflage
，其原始尺寸为64
×
64；其布置方式为，对于一张训练集图像i，从对应的标签文件labi中获取每个目标tn的旋转标注框pn，并获取语义分割掩膜图像maski，将反目视解译的致盲迷彩涂装ε
camouflage
线性插值到与pn同样的大小，并旋转至对应角度，再与掩膜图像maski相乘，得到调整后的与目标tn相同大小和相同角度的致盲迷彩涂装ε
′
camouflage
。考虑到直接以像素替换的方式会修改原目标的一些结构轮廓和纹理，不符合物理现实世界中迷彩涂装的使用，因此对于调整后反目视解译的致盲迷彩涂装ε
′
camouflage
，本发明以混合的方式布置到旋转标注框内部的目标tn上，公式如下：
[0060]dn
＝tn·
(1-eps)+ε
′
camouflage
·
eps
ꢀꢀ
(10)
[0061]
式中dn为布置涂装之后的目标，eps为混合系数，本发明中取混合系数为0.5；对每个目标tn进行反目视解译的致盲迷彩涂装布置之后得到扰动后图像i
adv
，如图4所示。
[0062]
步骤三：训练参数化的物理对抗样本。
[0063]
将扰动后图像i
adv
输入辅助模型之中，然后根据辅助模型输出计算损失函数，并利用梯度下降法优化参数化的物理对抗样本，具体过程如下：
[0064]
对于每一个输入图像i，其包含n个目标，每一个目标tn分配有一个类别标签ln∈c和的旋转标注框pn，其中c为遥感图像数据中含有的关键目标类别总数；智能目标检测系统
f的任务是成功定位这n个目标的具体位置坐标rn，并准确分类。定义智能目标检测系统输出中，fc(i，tn)∈ rc，fo(i，tn)∈r，分别为智能检测系统在对图像i进行检测时，对于目标tn计算的分类得分向量，存在置信度和预测位置坐标；智能检测系统的最终预测类别为分类得分向量中得分最高的元素所对应的标签，即max
id
(fc(i，tn))。本发明定义损失函数loss如下：
[0065]
loss＝α1l
cls
+α2l
obj
+α3l
tv
+α4l
nps
+α5l
style
ꢀꢀꢀ
(1)其中l
cls
为分类置信损失，用于判断智能目标检测系统输出类别是否与类别标签ln一致，l
obj
为目标存在置信损失，用于判断目标是否被检测出来；在先前的研究中，尽管所生成的扰动能够使智能系统产生错误决策，但多为高频噪声，如图5a和图5b所示；在感知距离大的遥感应用场景中，基于高频噪声制作的物理对抗样本易由于高度变化带来的分辨率变化从而丢失细节，进而影响其干扰性能，故本发明设计l
tv
为平滑损失函数，用于约束参数化的物理对抗样本的平滑度，减少高频噪声；在物理现实世界中，由于打印制作设备和数字显示器的颜色空间差异，通常打印制作设备无法如实地将呈现在数字显示器上的颜色打印制作；如图5a和图5b所示；为了使得最终制作的物理对抗样本不产生颜色偏差进而影响干扰性能，故本发明设计l
nps
为不可打印得分损失函数，用于对参数化的物理对抗样本ε的可被如实打印、制作程度进行打分，确保生成的参数化的物理对抗样本最终可以被尽可能地如实制作出来发挥作用。此外，遥感场景的特殊性通常要求关键目标以及相应的装备具有一定的隐蔽性，从而不易被操作员发现，故本发明在损失函数loss中设计l
style
，为风格损失函数，使物理对抗样本具备一定的隐蔽性和反目视解译能力；将参数化物理对抗样本的风格与输入迷彩图像的风格进行对比，确保风格的一致性；α1，α2，α3，α4，α5为预先定义的超参数，在对参数化的物理对抗样本进行训练时，α1，α2取值为负数，以使得参数化的物理对抗样本不断具备干扰辅助模型的能力；α3，α4，α5取正数，以使得参数化的物理对抗样本不断具备平滑特性、提高其能被如实打印制作的程度并使其具有迷彩风格，提升隐蔽性和反目视解译能力，本发明中取α1，α2，α3，α4，α5分别为-10，-1，2.5，0.5，5；其中l
cls
和l
obj
的计算公式如下：
[0066]
l
cls
＝crossentropy(fc(i，tn)，ln)
ꢀꢀꢀ
(2)
[0067]
l
obj
＝crossentropy(fo(i，tn)，1(rn))
ꢀꢀꢀ
(3)
[0068][0069]
iou为交并比函数，1(rn)为指示函数，若利用交并比函数计算智能目标检测系统预测位置坐标和标签中的具体位置坐标的交并比大于某一阈值γ，则认为智能目标检测系统已正确定位目标位置，指示函数取1，否则取0；本发明中取阈值γ为0.5；crossentorpy为交叉熵损失；对于参数化物理对抗样本ε，l
tv
的计算公式如下：
[0070][0071]
i，j分别为v的横，纵坐标索引，ε(i，j)为ε中横坐标为i纵坐标为j处的像素值；m，n分别为ε的尺寸宽度和高度；对ε的平滑性产生约束；l
nps
计算公式如下：
[0072][0073]
式中p为所有可生产制作的rgb颜色三元组p集合，为参数化的物理对抗样本ε的某一像素值。
[0074]
l
style
的计算如下：使用vgg-19网络φ提取参数化的物理对抗样本ε和输入的迷彩风格图像m的特征，对于每一个输入vgg-19网络φ的图像x，设φj(x)为网络φ的第j层特征图像形状为cj×hj
×
wj，定义gram矩阵为cj×cj
的矩阵，其横坐标为c，纵坐标为c
′
的元素为：
[0075][0076]
风格损失l
style
为输出图像和目标图像的gram矩阵之间的差的平方frobenius范数：
[0077][0078]
将扰动后图像i
adv
输入辅助模型之中，得到输出fc(i
adv
，tn)，fo(i
adv
，tn)和后，根据公式(2)至(4)计算对应的l
cls
和l
obj
；将参数化的物理对抗样本ε带入公式(5)至(6)计算对应的l
tv
和l
nps
；将参数化的物理对抗样本ε和预先准备的迷彩风格图像m带入公式(8)并取j为16计算l
style
；最后将得到的l
cls
，l
obj
，l
tv
，l
nps
和l
style
带入公式(1)计算对应的损失函数loss，采用梯度下降的方式对参数化的物理对抗样本进行迭代更新；此外，在优化迭代过程中，由于光学图像的每一个像素取值范围为0至1区间，因此需要在每一次梯度下降更新后对参数化的物理对抗样本的像素取值进行裁剪，具体采用梯度下降的方式进行优化迭代公式如下：
[0079][0080]
其中lr为学习率，本文取为0.005；cilp
0-1
为裁剪函数，其作用是将小于0的像素值置为0，大于1的像素值置为1，其他像素值保持不变。在经过15轮迭代之后，可以获得具有较好性能的参数化的物理对抗样本ε
*
。
[0081]
步骤四：将优化后的参数化的物理对抗样本布置于测试集图像中，并使用测试模型进行对抗性能测试。具体过程如下：
[0082]
将优化后的参数化的物理对抗样本ε
*
以与步骤二相同的布置方式布置于测试集图像中；随后对于完成优化后的参数化的物理对抗样本布置后的测试集，使用测试模型对其中每一张图像进行目标检测，并统计其对于测试集中每一类别的目标的检测精度map@.5。保留能使测试模型在某一类检测精度map@.5下降50％及以上的参数化的物理对抗样本，并利用opencv库进行保存得到对应该类别的物理对抗样本设计图。
[0083]
输出：物理对抗样本设计图。
[0084]
实验结果：从图6a至图9c可以看出，本发明提出的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法所制造的物理对抗样本在数据空间上具有很好的干扰性能，其中，图6a为无布置隐蔽性致盲模块的遥感图像，其中飞机被检测出，图6b为有布置
飞机类别隐蔽性致盲模块的遥感图像，其中飞机未被检测出；图7a为无布置反目视解译的定向误导模块的遥感图像，图7b为有布置飞机类别反目视解译的定向误导模块的遥感图像，其中部分背景区域误导智能检测系统检测出飞机；图8a与图8b分别为普通迷彩涂装和反目视解译的致盲迷彩涂装设计图，图9a为无布置迷彩涂装的遥感图像，图9b为布置普通迷彩涂装的遥感图像，图9c为布置反目视解译的致盲迷彩涂装的遥感图像，图9a、图9b中飞机均被检测出，而图9c未被检测出；此外本发明实际制作了针对飞机、油罐等类别的物理对抗样本于模拟沙盘上测试干扰性能，从图10a至图11b可以看出，制作的物理对抗样本可以很好地干扰智能目标检测系统对于关键目标的检测，图10a与图11a均为未布置物理对抗样本的拍摄图像，而图10b与图11b均为布置物理对抗样本的拍摄图像，图10b与图11b图像内关键目标多数未被检测出；实验结果充分说明了本发明提出生成方法的有效性，具有广阔的应用价值。

技术特征：
1.一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：包括如下步骤：步骤一：数据与模型准备；参数化物理对抗样本，初始值为随机生成的随机数数据或是预先定义的图像像素值，依据设计需要进行确定初始值和原始尺寸大小，默认为随机生成的随机数数据；导入预先准备的迷彩风格图像，用于作为风格参考图像进行风格约束；导入imagenet数据集上进行预训练的vgg-19卷积神经网络模型，用于提取风格特征图；步骤二：将参数化的物理对抗样本布置于训练集图像中；依据用户需求，提供三类形式的参数化的物理对抗样本，分别为隐蔽性致盲模块，反目视解译的定向误导模块和反目视解译的致盲迷彩涂装；并分别布置到训练集中，得到扰动后图像，以待训练；步骤三：训练参数化的物理对抗样本；将扰动后图像i
adv
输入辅助模型之中，然后根据辅助模型输出计算损失函数，并利用梯度下降法优化参数化的物理对抗样本；步骤四：将优化后的参数化的物理对抗样本布置于测试集图像中，并使用测试模型进行对抗性能测试。2.根据权利要求1所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在步骤一中，搭建智能目标检测系统，在大量遥感图像充分训练后，分别用于训练和测试物理对抗样本，具体方法是：搭建fast r-cnn模型、yolov5模型和swin transformer模型，三个模型随机化初始权重并独立地在作为训练集的遥感图像上进行充分迭代训练，并于测试集上进行检验，统计对于测试集的遥感图像中每一类别的目标的检测精度map@.5；随机其中的一个作为训练物理对抗样本的智能目标检测系统，以下简称辅助模型，另外两个模型作为测试物理对抗样本的智能目标检测系统，以下简称测试模型。3.根据权利要求1或2所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在步骤一中，所选取得遥感图像来自于计算机视觉领域公开数据集，包括dota、isaid。4.根据权利要求1所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在步骤三中，对于每一个输入图像i，其包含n个目标，每一个目标t
n
分配有一个类别标签l
n
∈c和旋转标注框p
n
，其中c为遥感图像数据中含有的关键目标类别总数；智能目标检测系统f的任务是成功定位这n个目标的具体位置坐标r
n
，并准确分类。5.根据权利要求1或4所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：定义智能目标检测系统输出中，f
c
(i，t
n
)∈r
c
、f
o
(i，t
n
)∈r、分别为智能目标检测系统在对图像i进行检测时，对于目标t
n
计算的分类得分向量，存在置信度和预测位置坐标；智能检测系统的最终预测类别为分类得分向量中得分最高的元素所对应的标签，即max
id
(f
c
(i，t
n
))。6.根据权利要求1所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：定义损失函数loss如下：loss＝α1l
cls
+α2l
obj
+α3l
tv
+α4l
nps
+α5l
style
ꢀꢀꢀꢀ
(1)其中，l
cls
为分类置信损失，用于判断智能目标检测系统输出类别是否与类别标签l
n
一
致，l
obj
为目标存在置信损失，用于判断目标是否被检测出来；l
tv
为平滑损失函数，l
nps
为不可打印得分损失函数。7.根据权利要求6所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在损失函数loss中设计l
style
，为风格损失函数，使物理对抗样本具备隐蔽性和反目视解译能力；将参数化物理对抗样本的风格与输入迷彩图像的风格进行对比，确保风格的一致性；α1，α2，α3，α4，α5为预先定义的超参数，在对参数化的物理对抗样本进行训练时，α1，α2取值为负数；α3，α4，α5取正数；其中l
cls
和l
obj
的计算公式如下：l
cls
＝crossentropy(f
c
(i，t
n
)，l
n
)
ꢀꢀꢀꢀ
(2)l
obj
＝crossentropy(f
o
(i，t
n
)，1(r
n
))
ꢀꢀꢀꢀ
(3)iou为交并比函数，1(r
n
)为指示函数，若利用交并比函数计算智能目标检测系统预测位置坐标和标签中的具体位置坐标的交并比大于某一阈值γ，则认为智能目标检测系统已正确定位目标位置，指示函数取1，否则取0；crossentorpy为交叉熵损失；对于参数化物理对抗样本ε，l
tv
的计算公式如下：i，j分别为ε的横，纵坐标索引，ε(i，j)为ε中横坐标为i纵坐标为j处的像素值；m，n分别为ε的尺寸宽度和高度；对ε的平滑性产生约束；l
nps
计算公式如下：式中p为所有可生产制作的rgb颜色三元组p集合，为参数化的物理对抗样本ε的某一像素值。8.根据权利要求7所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：l
style
的计算如下：使用vgg-19网络φ提取参数化的物理对抗样本ε和输入的迷彩风格图像m的特征，对于每一个输入vgg-19网络φ的图像x，设φ
j
(x)为网络φ的第j层特征图像形状为c
j
×
h
j
×
w
j
，定义gram矩阵为c
j
×
c
j
的矩阵，其横坐标为c，纵坐标为c
′
的元素为：其中，φ
j
(x)
c,h,w
为网络φ的第j层特征图像第一维度索引为c，第二维度索引为h，第三维度索引为w的元素；风格损失l
style
为输出图像和目标图像的gram矩阵之间的差的平方frobenius范数：将扰动后图像i
adv
输入辅助模型之中，根据上述公式(1)至(8)计算对应的损失函数loss，采用梯度下降的方式对参数化的物理对抗样本进行迭代更新。
9.根据权利要求8所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在优化迭代过程中，由于光学图像的每一个像素取值范围为0至1区间，因此需要在每一次梯度下降更新后对参数化的物理对抗样本的像素取值进行裁剪，具体采用梯度下降的方式进行优化迭代公式如下：其中，lr为学习率，cilp
0-1
为裁剪函数，其作用是将小于0的像素值置为0，大于1的像素值置为1，其他像素值保持不变。10.根据权利要求1所述的一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，其特征在于：在步骤四中，将优化后的参数化的物理对抗样本ε
*
以与步骤二相同的布置方式布置于测试集图像中；随后对于完成优化后的参数化的物理对抗样本布置后的测试集，使用测试模型对其中每一张图像进行目标检测，并统计其对于测试集中每一类别的目标的检测精度map@.5；保留能使测试模型在某一类检测精度map@.5下降50％及以上的参数化的物理对抗样本，并利用opencv库进行保存得到对应该类别的物理对抗样设计图。

技术总结
本发明提出一种基于多任务损失函数优化的光学遥感物理对抗样本生成方法，该方法步骤如下：步骤一：数据与模型准备；步骤二：将参数化的物理对抗样本布置于训练集图像中；步骤三：训练参数化的物理对抗样本；步骤四：将优化后的参数化的物理对抗样本布置于测试集图像中，并使用测试模型进行对抗性能性能测试；输出：物理对抗样本设计图；本发明依据所提出的生成方法制作一系列物理对抗样本在数据空间和物理现实世界中进行实验以检验物理对抗样本干扰能力；实验结果充分说明了本发明提出生成方法的有效性，具有广阔的应用价值。具有广阔的应用价值。具有广阔的应用价值。


技术研发人员：邹征夏 彭振邦 陈子轲 于千惠 吕仁钦 陈剑奇 史振威
受保护的技术使用者：北京航空航天大学
技术研发日：2023.04.13
技术公布日：2023/8/5