基于小波变换与注意力机制的对抗样本恢复方法及系统

1.本发明涉及人工智能技术领域，特别涉及一种基于小波变换与注意力机制的对抗样本恢复方法及系统。


背景技术：

2.随着人类社会数字化进程越来越快，产生了大量数据。通过机器学习技术可以自动化地挖掘数据中蕴藏的宝藏，经过大量数据训练出来的机器学习模型已经应用在各类场景中，正在深刻改变着我们的世界，例如图像分类、语音识别、自然语言理解等。在应用中，模型的精度、泛化能力等至关重要，而这些都赖于机器对大量数据的学习。
3.联邦学习本质上是一种分布式机器学习框架，其做到了在保障数据隐私安全及合法合规的基础上，实现数据共享，共同建模。它的核心思想是在多个数据源共同参与模型训练时，不需要进行原始数据流转的前提下，仅通过交互模型中间参数进行模型联合训练，原始数据可以不出本地。这种方式实现数据隐私保护和数据共享分析的平衡，即“数据可用不可见”的数据应用模式。
4.由于在设计时并未考虑攻击者的存在，机器学习包括联邦学习的安全问题渐渐显现出来，面临来自多个方面的威胁：包括学习框架中的软件实现漏洞、对抗样本攻击、训练数据的污染（数据投毒）、模型窃取等。其中对抗样本攻击指在不改变目标学习系统的情况下，通过向干净样本中添加精心设计的、人类无法感知的噪音来构造对抗性样本，从而达到不干扰人类认知而促使机器学习模型对精心构造的对抗性样本做出错误判断的目的。由于这种细微的扰动通常是人眼难以分辨的，因而使得攻击隐蔽性极强，但其足以改变模型的预测结果，危害性极大，从而给现实场景中，尤其是风险敏感场景中（如工业互联网）实际部署应用的联邦学习模型带来了巨大的安全威胁。因此，成功消除对抗扰动，重建恢复为干净样本，将有利于保护客户端的训练数据，保证联邦学习模型的准确性。
5.有研究表明，对于图像对抗样本，对抗扰动主要干扰了图像的高频部分。因此，典型的jpeg压缩的预处理防御方法就是在量化过程中舍弃了图像的部分高频信息，消除了对抗干扰，从而恢复为干净样本。但是，来自university of maryland和facebook ai research的研究指出，对抗干扰存在于高频部分不完全正确，其实验结果表明，对于不同数据集，高低频域的影响不存在统一规律。基于上述启发，应综合考虑对高频和低频分量的处理，不对任何一方进行单一舍弃，通过采用针对性的去噪方法尽可能消除对抗样本中的对抗扰动，重建恢复为可以使分类模型正确识别的干净样本。


技术实现要素：

6.本发明的目的在于提供一种基于小波变换与注意力机制的对抗样本恢复方法及系统，在面对图像对抗样本攻击时，能够将对抗样本中的对抗扰动消除，重建恢复为可以使分类模型正确识别的干净样本。
7.为了实现上述发明目的，本发明实施例提供了以下技术方案：
一种基于小波变换与注意力机制的对抗样本恢复方法，包括以下步骤：步骤s1，获取样本，所述样本包括干净样本、对抗样本，为图像样本；步骤s2，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；步骤s3，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；步骤s4，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；步骤s5，采用小波变换将待恢复样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；步骤s6，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本。
8.所述的基于小波变换与注意力机制的对抗样本恢复方法，所述步骤s3还包括：所述改进的去噪卷积神经网络（idncnn），其网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu以及注意力模块”级联的结构；所述卷积层（conv），采用3*3*c的卷积核，步长设置为1，卷积核的数量设置为64，其中c表示通道数；所述注意力模块，包括行空间注意力模块、列空间注意力模块；所述行空间注意力模块，是将尺寸为c*h*w的特征图分别输入最大池化层和平均池化层进行处理，形成2个尺寸为c*h*1的权重向量，其中c表示通道数，h表示高度，w表示宽度；再将得到的两个权重向量进行加和操作，形成1个尺寸为c*h*2的行空间权重向量；随后，经过1个1*1的卷积层操作，将行空间权重向量的维度从c*h*2变为c*h*1；最后，将得到的行空间权重向量与尺寸为c*h*w的特征图进行点乘操作，使得特征图的每一行信息都被赋予了注意力权重；所述列空间注意力模块，是对输入尺寸为c*h*w的特征图进行维度变换操作，将特征图的尺寸转变为c*w*h；之后，将特征图分别输入最大池化层和平均池化层进行处理，形成2个c*w*1的权重向量；将得到的两个权重向量进行加和操作，形成1个尺寸为c*w*2的列空间权重向量；随后，经过1个1*1卷积层操作，将列空间权重向量的维度从c*w*2降为c*w*1；将得到的列空间权重向量与尺寸为c*w*h的特征图进行点乘操作，使得特征图的每一列信息都被赋予了注意力权重；最后，将得到的尺寸为c*w*h的特征图再次进行维度变换操作，把特征图的尺寸转变为c*h*w。
9.所述的基于小波变换与注意力机制的对抗样本恢复方法，所述步骤s3还包括：所述改进的去噪卷积神经网络（idncnn），包括：含有行空间注意力模块的去噪卷积神经网络（hdncnn），含有列空间注意力模块的去噪卷积神经网络（vdncnn）以及含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）；所述含有行空间注意力模块的去噪卷积神经网络（hdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，
输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有列空间注意力模块的去噪卷积神经网络（vdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有行、列空间注意力模块的去噪卷积神经网络（ddncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核。
10.所述的基于小波变换与注意力机制的对抗样本恢复方法，所述步骤s4还包括：所述将样本的高频分量作为训练数据集，送入高频分量去噪模型，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。
11.另一方面，本发明实施例还提供了一种基于小波变换与注意力机制的对抗样本恢复系统,包括：样本获取模块，用于获取样本，所述样本包括干净样本、对抗样本，为图像样本；小波分解模块，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；模型训练模块，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；去噪处理模块，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；样本恢复模块，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本。
12.所述的基于小波变换与注意力机制的对抗样本恢复系统，所述去噪处理模块还包括：所述改进的去噪卷积神经网络（idncnn），其网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu以及注意力模块”级联的结构；所述卷积层（conv），采用3*3*c的卷积核，步长设置为1，卷积核的数量设置为64，其中c表示通道数；
所述注意力模块，包括行空间注意力模块、列空间注意力模块；所述行空间注意力模块，是将尺寸为c*h*w的特征图分别输入最大池化层和平均池化层进行处理，形成2个尺寸为c*h*1的权重向量，其中c表示通道数，h表示高度，w表示宽度；再将得到的两个权重向量进行加和操作，形成1个尺寸为c*h*2的行空间权重向量；随后，经过1个1*1的卷积层操作，将行空间权重向量的维度从c*h*2变为c*h*1；最后，将得到的行空间权重向量与尺寸为c*h*w的特征图进行点乘操作，使得特征图的每一行信息都被赋予了注意力权重；所述列空间注意力模块，是对输入尺寸为c*h*w的特征图进行维度变换操作，将特征图的尺寸转变为c*w*h；之后，将特征图分别输入最大池化层和平均池化层进行处理，形成2个c*w*1的权重向量；将得到的两个权重向量进行加和操作，形成1个尺寸为c*w*2的列空间权重向量；随后，经过1个1*1卷积层操作，将列空间权重向量的维度从c*w*2降为c*w*1；将得到的列空间权重向量与尺寸为c*w*h的特征图进行点乘操作，使得特征图的每一列信息都被赋予了注意力权重；最后，将得到的尺寸为c*w*h的特征图再次进行维度变换操作，把特征图的尺寸转变为c*h*w。
13.所述的基于小波变换与注意力机制的对抗样本恢复系统，所述去噪处理模块还包括：所述改进的去噪卷积神经网络（idncnn），包括：含有行空间注意力模块的去噪卷积神经网络（hdncnn），含有列空间注意力模块的去噪卷积神经网络（vdncnn）以及含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）；所述含有行空间注意力模块的去噪卷积神经网络（hdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有列空间注意力模块的去噪卷积神经网络（vdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有行、列空间注意力模块的去噪卷积神经网络（ddncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核。
14.所述的基于小波变换与注意力机制的对抗样本恢复系统，所述模型训练模块还包括：
所述将样本的高频分量作为训练数据集，送入高频分量去噪模型，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。
15.再一方面，本发明实施例同时提供了一种包括计算机可读指令的计算机可读存储介质，所述计算机可读指令在被执行时，使处理器执行本发明任一实施例中所述方法中的步骤。
16.再一方面，本发明实施例同时提供了一种电子设备，包括：存储器，存储程序指令；处理器，与所述存储器相连接，执行存储器中的程序指令，实现本发明任一实施例中所述方法。
17.与现有技术相比，本发明具有以下优点：（1）本发明从频域上考虑对抗样本的重建恢复，综合考虑了对抗样本高频和低频分量的处理，不对任何一方进行单一舍弃，对高频和低频分量分别采用了针对性的去噪方法，有效提升了对抗样本恢复的效果；（2）本发明在设计高频分量去噪模型时，对经典的去噪卷积神经网络（dncnn）进行了改进，引入了注意力模块，从而能够更有针对性地提升各方向分量细节信息的去噪效果：对于水平分量，反映了图像水平方向的细节信息，在dncnn中加入了行空间注意力模块；对于垂直分量，反映了图像垂直方向的细节信息，在dncnn中加入了列空间注意力模块；由于对角分量反映的图像对角方向的细节信息，所以针对对角分量，在dncnn中加入了行、列空间注意力融合模块；（3）本发明对高频分量采用改进的去噪卷积神经网络（idncnn）进行去噪处理，由于经过分解后的高频分量仅仅保留了图像关键的轮廓信息，去除了低频分量的大部分色域信息，从而大大降低了模型训练的成本和代价，有效提升了模型训练的效率。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单的介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
19.图1为本发明的基于小波变换与注意力机制的对抗样本恢复方法的流程图。
20.图2为经典的图像去噪卷积神经网络（dncnn）结构示意图。
21.图3为本发明的行空间注意力模块的结构示意图。
22.图4为本发明的列空间注意力模块的结构示意图。
23.图5本发明的训练高频分量去噪模型的流程图。
24.图6为本发明的基于小波变换与注意力机制的对抗样本恢复系统的功能模块图。
具体实施方式
25.下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在
此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
26.如图1所示，本实施例提供了一种基于小波变换与注意力机制的对抗样本恢复方法，包括以下步骤：步骤s1，获取样本，所述样本包括干净样本、对抗样本，为图像样本；在本实施例中，干净样本来自于cifar10数据集。cifar10数据集由60000张尺寸32*32的彩色图像组成，共有10个类别，其中50000张用于训练，构成了5个训练批，每一批10000张图，另外10000张用于测试，单独构成一批；在本实施例中，用于生成对抗样本的图像分类模型采用流行的vgg19和resnet50模型。针对cifar10数据集，本实施例分别采用快速梯度符号法（fgsm）、投影梯度下降法（pgd）以及c&w等三种攻击方法生成对抗样本。对于fgsm以及pgd攻击方法，由于扰动系数越大，对抗噪声越明显，越容易检验去噪模型的效果，因此本实施例分别采用epsilon为10/255、20/255、30/255的扰动系数进行无目标攻击。对于c&w攻击方法，采用应用广泛的l2范数定向攻击。
27.步骤s2，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量；小波变换将样本分解成不同的频分量，其中低频分量是样本最主要的部分，高频分量为样本的边缘、细节、噪声等信息。研究表明，高频分量人眼虽然无法辨别，但它和低频分量一样能够被卷积神经网络模型感知，且在模型决策过程中起到了更关键的作用，甚至仅仅采用人眼无法识别的高频分量，卷积神经网络模型就可以做到很高置信度的分类，而对去除了高频分量的人眼可以识别的低频分量，模型分类的效果却大大降低，甚至无法识别。
28.步骤s3，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；dncnn（denoising convolutional neural network）是经典的图像去噪卷积神经网络，是在广泛使用的卷积神经网络结构vgg(visual geometry group)基础上进行的修改，网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu”级联的结构，模型内部并不像残差网络resnet一样存在跳远连接，而是在网络的输出使用残差学习。如图2所示，假设dncnn的深度为d（一般设置为17），则dncnn由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）第2至(d-1)层为“conv+bn+relu”，每层有64个3*3*64的卷积核，每层的输入输出都为w*h*64的特征图，在卷积层（conv）和激活函数relu间添加了批量归一化层（bn）；（3）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出。另外，dncnn的每一层都采用零填充，使得每一层的输入输出尺寸保持一致，以此防止产生人工边界；所述改进的去噪卷积神经网络（idncnn），其网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu以及注意力模块”级联的结构；
所述卷积层（conv），采用3*3*c的卷积核，步长设置为1，卷积核的数量设置为64，其中c表示通道数；所述注意力模块，包括行空间注意力模块（row attention）、列空间注意力模块（col attention）；所述行空间注意力模块（row attention），如图3所示，是将尺寸为c*h*w的特征图分别输入最大池化层和平均池化层进行处理，形成2个尺寸为c*h*1的权重向量，其中c表示通道数，h表示高度，w表示宽度；再将得到的两个权重向量进行加和操作，形成1个尺寸为c*h*2的行空间权重向量；随后，经过1个1*1的卷积层操作，将行空间权重向量的维度从c*h*2变为c*h*1；最后，将得到的行空间权重向量与尺寸为c*h*w的特征图进行点乘操作，使得特征图的每一行信息都被赋予了注意力权重；所述列空间注意力模块（col attention），如图4所示，是对输入尺寸为c*h*w的特征图进行维度变换操作，将特征图的尺寸转变为c*w*h；之后，将特征图分别输入最大池化层和平均池化层进行处理，形成2个c*w*1的权重向量；将得到的两个权重向量进行加和操作，形成1个尺寸为c*w*2的列空间权重向量；随后，经过1个1*1卷积层操作，将列空间权重向量的维度从c*w*2降为c*w*1；将得到的列空间权重向量与尺寸为c*w*h的特征图进行点乘操作，使得特征图的每一列信息都被赋予了注意力权重；最后，将得到的尺寸为c*w*h的特征图再次进行维度变换操作，把特征图的尺寸转变为c*h*w；所述改进的去噪卷积神经网络（idncnn），包括：含有行空间注意力模块（row attention）的去噪卷积神经网络（hdncnn），含有列空间注意力模块（col attention）的去噪卷积神经网络（vdncnn）以及含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）；所述含有行空间注意力模块（row attention）的去噪卷积神经网络（hdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块（row attention）以及激活函数relu”级联的结构，在本实施例中级联了7次，每个卷积层有64个3*3*64的卷积核；所述含有列空间注意力模块（col attention）的去噪卷积神经网络（vdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、列空间注意力模块（col attention）以及激活函数relu”级联的结构，在本实施例中级联了7次，每个卷积层有64个3*3*64的卷积核；所述含有行、列空间注意力模块的去噪卷积神经网络（ddncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块（row attention）、列空间注意力模块（col attention）以及激活函数relu”级联的结构，在本实施例中级联了7次，每个卷积层有64个3*3*64的卷积核；
在本实施例中，在设计高频分量去噪模型时，对经典的去噪卷积神经网络（dncnn）进行了改进，引入了注意力模块，从而能够更有针对性地提升各方向分量细节信息的去噪效果：对于水平分量，反映了图像水平方向的细节信息，在dncnn中加入了行空间注意力模块；对于垂直分量，反映了图像垂直方向的细节信息，在dncnn中加入了列空间注意力模块；由于对角分量反映的图像对角方向的细节信息，所以针对对角分量，在dncnn中加入了行、列空间注意力融合模块。
29.步骤s4，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；由于高频分量去噪模型需要预先训练才能部署运行，如图5所示，所述将样本的高频分量作为训练数据集，送入高频分量去噪模型，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。在本实施例中，用于训练模型的干净样本来自cifar10数据集。设置超参数如下：batch size为32，执行50个epoch的训练。从训练损失曲线图可以看出，各对抗攻击算法的高频分量的训练在10个epoch左右趋向平稳。同时，不同攻击算法的各分量（包括水平、垂直和对角分量）之间的损失值存在差异，尤其是l2范数定向攻击的c&w算法各高频分量的损失值区分明显。
30.步骤s5，采用小波变换将待恢复样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；所述将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。
31.步骤s6，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本；本实施例是通过去噪的方式将对抗样本中的对抗扰动尽可能地清除，从而将对抗样本重建恢复为可以使分类模型正确识别的干净样本。因此，本实施例将采用模型分类的准确率来评估本实例方法的有效性，同时，模型分类的准确率越高，则表明重建恢复效果越好。除此之外，本实施例还采用了图像去噪领域广泛使用的评价指标psnr（peak signal-to-noise ratio）、ssim (structural similarity) 作为评价本实例方法性能的指标。其中psnr值越大，表示图像的质量越好，一般来说高于40db，说明图像质量极好(即非常接近原始图像)；30—40db，通常表示图像质量是好的(即失真可以察觉但可以接受)；20—30db，说明图像质量差；低于20db，图像质量不可接受。而ssim是一种衡量两幅图像相似度的指标；（1）模型分类的准确率测试。在采用本实施例进行对抗样本重建恢复前，在面对基于resnet50模型、来源于cifar10数据集、采用fgsm攻击方法产生的对抗样本时，随着fgsm攻击的扰动系数epsilon从0到30/255不断增加，resnet50模型的分类准确率逐渐下降，从
96.28%下降至5.88%。同样，在面对基于resnet50模型、来源于cifar10数据集、采用pgd攻击方法产生的对抗样本时，pgd攻击使得resnet50模型的分类准确率下降至0。反之，在采用了本实施例进行对抗样本恢复后，fgsm攻击的扰动系数epsilon=10/255时，resnet50模型的分类准确率由6.83%提升至91.46%；epsilon=20/255时，分类准确率由6.04%提升至90.54%；epsilon=30/255时，分类准确率由5.88%提升至87.46%。同样，pgd攻击的扰动系数epsilon=10/255时，resnet50模型的分类准确率由0.04%提升至91.73%； epsilon=20/255时，分类准确率由0.01%提升至88.78%；epsilon=30/255时，分类准确率由0提升至86.25%。由此看出，本实施例能够有效恢复fgsm、pgd等攻击方法产生的对抗样本。以上提供的仅仅是本实施例的一部分测试结果，而不是全部的测试结果。实际上，在此基础上，本实施例还开展了面对不同攻击方法如c&w等产生的对抗样本、基于不同的图像分类模型如vgg19等的分类准确性测试，结果表明：本实施例都能有效提升模型分类的准确率，对抗样本重建恢复效果好。（2）psnr和ssim性能测试。在采用本实施例进行对抗样本重建恢复前，在面对基于resnet50模型、来源于cifar10数据集、采用fgsm和pgd攻击方法产生的对抗样本时，对抗样本与干净样本的psnr值随着扰动系数的增加逐渐降低，说明扰动噪声的出现，降低了图像质量，且扰动系数越大，图像质量降低越显著，相应的，ssim值也逐渐减少，说明对抗样本与干净样本之间的差异越来越明显。在采用本实施例进行对抗样本重建恢复后，psnr值和ssim值有了显著提升。当epsilon=10/255时，fgsm生成的对抗样本与干净样本的psnr值由32.65提高至38.41，ssim值也由0.8113提高至0.9045；当epsilon=30/255时，pgd攻击生成的对抗样本与干净样本的psnr值由22.34提升至34.27，ssim值也由0.7016提升至0.8532，说明本实例方法能够有效消除对抗扰动，对抗样本重建恢复效果好。（3）为了让结果更加具有说服力，本实施例还与comdefend、wd+sr、me-net等方法进行了对比测试。测试结果表明：面对基于resnet50模型、来源于cifar10数据集、采用fgsm和pgd以及c&w等攻击方法产生的对抗样本，与comdefend、wd+sr、me-net等方法相比较，本实施例能够更好提升模型的分类准确率。
32.如图6所示，本实施例同时提供了一种基于小波变换与注意力机制的对抗样本恢复系统，包括：样本获取模块，用于获取样本，所述样本包括干净样本、对抗样本，为图像样本；小波分解模块，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；模型训练模块，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；去噪处理模块，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；样本恢复模块，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本。
33.本系统是基于图1所示方法相同的发明构思而提出的，因此，对于各个模块的具体处理操作可以参见前面方法实施例的相关描述。
34.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明。本领域的技术人员在不脱离权利要求书确定的本发明的精神和范围的条件下，还
可以对以上内容进行各种各样的修改。因此，本发明的范围并不仅限于以上的说明，而是由权利要求书的范围来确定的。

技术特征：
1.一种基于小波变换与注意力机制的对抗样本恢复方法，其特征在于，包括：步骤s1，获取样本，所述样本包括干净样本、对抗样本，为图像样本；步骤s2，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；步骤s3，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；步骤s4，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；步骤s5，采用小波变换将待恢复样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；步骤s6，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本。2.根据权利要求1所述的一种基于小波变换与注意力机制的对抗样本恢复方法，其特征在于，所述步骤s3，包括：所述改进的去噪卷积神经网络（idncnn），其网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu以及注意力模块”级联的结构；所述卷积层（conv），采用3*3*c的卷积核，步长设置为1，卷积核的数量设置为64，其中c表示通道数；所述注意力模块，包括行空间注意力模块、列空间注意力模块；所述行空间注意力模块，是将尺寸为c*h*w的特征图分别输入最大池化层和平均池化层进行处理，形成2个尺寸为c*h*1的权重向量，其中c表示通道数，h表示高度，w表示宽度；再将得到的两个权重向量进行加和操作，形成1个尺寸为c*h*2的行空间权重向量；随后，经过1个1*1的卷积层操作，将行空间权重向量的维度从c*h*2变为c*h*1；最后，将得到的行空间权重向量与尺寸为c*h*w的特征图进行点乘操作，使得特征图的每一行信息都被赋予了注意力权重；所述列空间注意力模块，是对输入尺寸为c*h*w的特征图进行维度变换操作，将特征图的尺寸转变为c*w*h；之后，将特征图分别输入最大池化层和平均池化层进行处理，形成2个c*w*1的权重向量；将得到的两个权重向量进行加和操作，形成1个尺寸为c*w*2的列空间权重向量；随后，经过1个1*1卷积层操作，将列空间权重向量的维度从c*w*2降为c*w*1；将得到的列空间权重向量与尺寸为c*w*h的特征图进行点乘操作，使得特征图的每一列信息都被赋予了注意力权重；最后，将得到的尺寸为c*w*h的特征图再次进行维度变换操作，把特征图的尺寸转变为c*h*w。3.根据权利要求1所述的一种基于小波变换与注意力机制的对抗样本恢复方法，其特征在于，所述步骤s3，包括：所述改进的去噪卷积神经网络（idncnn），包括：含有行空间注意力模块的去噪卷积神经网络（hdncnn），含有列空间注意力模块的去噪卷积神经网络（vdncnn）以及含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）；
所述含有行空间注意力模块的去噪卷积神经网络（hdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有列空间注意力模块的去噪卷积神经网络（vdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有行、列空间注意力模块的去噪卷积神经网络（ddncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核。4.根据权利要求1所述的一种基于小波变换与注意力机制的对抗样本恢复方法，其特征在于，所述步骤s4，包括：所述将样本的高频分量作为训练数据集，送入高频分量去噪模型，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。5.一种基于小波变换与注意力机制的对抗样本恢复系统，其特征在于，包括：样本获取模块，用于获取样本，所述样本包括干净样本、对抗样本，为图像样本；小波分解模块，采用小波变换将样本分解成低频分量和高频分量，高频分量包括水平分量、垂直分量和对角分量等；模型训练模块，将样本的高频分量作为训练数据集，送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；去噪处理模块，构建高频分量去噪模型，所述高频分量去噪模型采用改进的去噪卷积神经网络（idncnn）；将待恢复样本的高频分量送入训练好的高频分量去噪模型进行去噪处理；采用非局部均值滤波去噪算法（nlm）对待恢复样本的低频分量进行去噪处理；样本恢复模块，将经过去噪处理的待恢复样本的高频分量和低频分量进行小波逆变换，得到重建恢复的干净样本。6.根据权利要求5所述的一种基于小波变换与注意力机制的对抗样本恢复系统，其特征在于，所述去噪处理模块在构建高频分量去噪模型时，所述改进的去噪卷积神经网络（idncnn），其网络结构是“卷积层（conv）、批量归一化层（bn）、激活函数relu以及注意力模块”级联的结构；
所述卷积层（conv），采用3*3*c的卷积核，步长设置为1，卷积核的数量设置为64，其中c表示通道数；所述注意力模块，包括行空间注意力模块、列空间注意力模块；所述行空间注意力模块，是将尺寸为c*h*w的特征图分别输入最大池化层和平均池化层进行处理，形成2个尺寸为c*h*1的权重向量，其中c表示通道数，h表示高度，w表示宽度；再将得到的两个权重向量进行加和操作，形成1个尺寸为c*h*2的行空间权重向量；随后，经过1个1*1的卷积层操作，将行空间权重向量的维度从c*h*2变为c*h*1；最后，将得到的行空间权重向量与尺寸为c*h*w的特征图进行点乘操作，使得特征图的每一行信息都被赋予了注意力权重；所述列空间注意力模块，是对输入尺寸为c*h*w的特征图进行维度变换操作，将特征图的尺寸转变为c*w*h；之后，将特征图分别输入最大池化层和平均池化层进行处理，形成2个c*w*1的权重向量；将得到的两个权重向量进行加和操作，形成1个尺寸为c*w*2的列空间权重向量；随后，经过1个1*1卷积层操作，将列空间权重向量的维度从c*w*2降为c*w*1；将得到的列空间权重向量与尺寸为c*w*h的特征图进行点乘操作，使得特征图的每一列信息都被赋予了注意力权重；最后，将得到的尺寸为c*w*h的特征图再次进行维度变换操作，把特征图的尺寸转变为c*h*w。7.根据权利要求5所述的一种基于小波变换与注意力机制的对抗样本恢复系统，其特征在于，所述去噪处理模块在构建高频分量去噪模型时，所述改进的去噪卷积神经网络（idncnn），包括：含有行空间注意力模块的去噪卷积神经网络（hdncnn），含有列空间注意力模块的去噪卷积神经网络（vdncnn）以及含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）；所述含有行空间注意力模块的去噪卷积神经网络（hdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有列空间注意力模块的去噪卷积神经网络（vdncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核；所述含有行、列空间注意力模块的去噪卷积神经网络（ddncnn），由三种类型的神经网络层构成：（1）第一层为“conv+relu”，输入为w*h*c的图像，经过64个3*3*c的卷积核卷积，输出为64个特征图，之后进行relu激活操作，其中c表示通道数，h表示高度，w表示宽度；（2）最后一层为“conv”，通过c个3*3*64的卷积核，重建c维图像作为输出；（3）其余层是“卷积层（conv）、批量归一化层（bn）、行空间注意力模块、列空间注意力模块以及激活函数relu”级联的结构，每个卷积层有64个3*3*64的卷积核。
8.根据权利要求5所述的一种基于小波变换与注意力机制的对抗样本恢复系统，其特征在于，所述模型训练模块在将样本的高频分量作为训练数据集、送入高频分量去噪模型时，是分别将高频分量中的水平分量输入到含有行空间注意力模块的去噪卷积神经网络（hdncnn），垂直分量输入到含有列空间注意力模块的去噪卷积神经网络（vdncnn），对角分量输入到含有行、列空间注意力模块的去噪卷积神经网络（ddncnn）。9.一种包括计算机可读指令的计算机可读存储介质，其特征在于，所述计算机可读指令在被执行时，使处理器执行权利要求1-4任一所述方法中的步骤。10.一种电子设备，其特征在于，包括：存储器，存储程序指令；处理器，与所述存储器相连接，执行存储器中的程序指令，实现权利要求1-4任一所述方法。

技术总结
本发明公开了一种基于小波变换与注意力机制的对抗样本恢复方法及系统，所述方法包括：获取样本，包括干净样本、对抗样本，为图像样本；采用小波变换将样本分解成低频分量和高频分量；采用改进的去噪卷积神经网络（iDnCNN）构建高频分量去噪模型；将样本的高频分量送入高频分量去噪模型，以均方误差作为损失函数优化模型，得到训练好的高频分量去噪模型；采用小波变换将待恢复样本分解成低频分量和高频分量，分别采用NLM和高频分量去噪模型进行去噪处理；最后进行小波逆变换，得到重建恢复的干净样本。本发明能够将对抗样本中的对抗扰动消除，重建恢复为可以使分类模型正确识别的干净样本。净样本。净样本。


技术研发人员：刘兴伟 朱珂 何春兰 曾晟珂 熊玲 刘志才
受保护的技术使用者：西华大学
技术研发日：2023.04.15
技术公布日：2023/7/20