基于二值图像的对抗样本的生成方法、装置、电子设备及存储介质与流程

1.本发明属于人工智能安全技术领域，具体涉及一种基于二值图像的黑盒对抗攻击样本生成方法、装置、电子设备及存储介质。


背景技术：

2.深度学习模型和人工智能(ai)技术已经被广泛应用于图像识别、语义分割、目标检测等生活实践领域。然而，深度学习模型的安全性问题却逐渐引起人们的担忧和重视。这些精心生成的微小扰动，当被加入原始图像时，会使深度学习模型产生错误的输出结果，从而对深度学习模型的安全性产生威胁。这种加入微小扰动生成的图像被称为对抗样本(adversarial sample)，这种对抗样本由于与原图差距过小，常常无法被人眼分辨，因此可被用于反ai识别。
3.二值图像分类模型被广泛应用于收据处理、护照识别、检查处理和车牌识别等各种应用中，并且ocr系统也常用二值化作为预处理步骤来提高鲁棒性。近年来，针对彩色和灰度图像提出了大量的攻击和防御算法。相比之下，二值图像的对抗性攻击和防御算法没有得到很好的研究。与彩色和灰度图像相比，二值图像的攻击搜索空间受到极大的限制，噪声不能隐藏在每个像素的颜色值的微小扰动中，因此常规的深度学习系统攻击算法作用在二值图像时，会存在查询次数过多、噪声较大及对人眼可见的问题。因此，提出能够有效作用于二值图像的黑盒对抗攻击样本生成方法具有重要的应用价值。


技术实现要素：

4.1.要解决的问题
5.本发明的目的在于解决将现有攻击方法应用于二值图像场景时，存在查询次数过多、噪声较大的问题，而提供了一种基于二值图像的对抗样本的生成方法、装置、电子设备及存储介质。本发明通过空间和时间相关性评估像素处的离散导数，生成相应的对抗样本，从而可以有效解决以上问题。
6.2.技术方案
7.为了解决上述问题，本发明所采用的技术方案如下：
8.本发明的基于二值图像的对抗样本的生成方法，包括以下步骤：
9.步骤1、获取数据样本，训练得到目标攻击模型；
10.步骤2、翻转使目标攻击模型置信度下降最大的黑色像素点；
11.步骤3、翻转使目标攻击模型置信度下降最大的白色像素点；
12.步骤4、循环执行步骤2和步骤3，直到扰动图像对目标攻击模型的置信度达到性能要求或者翻转的像素数量达到数量限制k，即生成给定二值图像的对抗样本。
13.更进一步的，步骤1中若原图像为灰度图像或彩色图像，则先对其进行图像二值化处理，得到二值图像x，然后再进行训练。
14.更进一步的，步骤2包括以下步骤：
15.步骤2.1、优先翻转与上一个翻转的黑色像素空间相关的像素点
16.同一空间区域中的像素点可能具有相似的离散导数，优先翻转这样的像素点可以有效减少查询次数。因此，在第一次迭代过程中，计算所有像素对目标攻击模型置信度变化的离散导数，并对离散导数最大的像素进行翻转处理。在后续的每次迭代中，优先评估在算法前一次迭代中修改的像素p附近的像素，计算其附近像素对目标攻击模型置信度变化的离散导数；若其中离散导数最大的像素大于预设阈值t，则直接翻转该像素，不评估剩余的像素，也无需进行后续子步骤，否则继续执行步骤2.2。
17.步骤2.2、其次翻转与上一个翻转的黑色像素时间相关的像素点
18.一次迭代中具有较大离散导数的像素也可能在下一次迭代中具有较大的离散导数，优先翻转这样的像素点可以有效减少查询次数。因此，若步骤2.1中没有翻转任何像素，则考虑在前一次迭代中获得较大增益的像素。若其中一个像素对目标攻击模型置信度变化的离散导数大于预设阈值t，则直接翻转该像素，不评估剩余的像素，无需进行后续子步骤；否则继续执行步骤2.3。
19.步骤2.3、翻转黑色边界像素中对目标攻击模型置信度离散导数最大的像素点
20.计算所有黑色边界像素对目标攻击模型置信度的离散导数，翻转其中离散导数最大的那个黑色边界像素。
21.黑色边界像素是指相邻像素中至少有一个为白色像素的黑色像素。由于对二值图像的攻击只能反转像素的颜色或保持不变，如果噪声像素的颜色与其相邻像素的颜色均不同，则这个噪声像素是高度可见的，因此翻转边界像素能有效减少噪声干扰。本发明计算所有黑色边界像素对目标攻击模型置信度的离散导数，翻转其中离散导数最大的那个黑色边界像素。
22.更进一步的，步骤2.1中计算在算法前一次迭代中修改的像素p附近的8个像素对目标攻击模型置信度变化的离散导数；步骤2.2中将前一次迭代中的各像素按照增益大小进行降序排序，并对前n个像素对目标攻击模型置信度变化的离散导数进行评估，n的数值预先进行设定，比如对增益排名前10的像素进行评估。
23.更进一步的，步骤3包括以下步骤：
24.步骤3.1、优先考虑翻转与上一个翻转的白色像素空间相关的像素点；
25.步骤3.2、其次考虑翻转与上一个翻转的白色像素时间相关的像素点；
26.步骤3.3、最后考虑翻转白色边界像素中对目标攻击模型置信度离散导数最大的像素点。
27.在每次翻转一个黑色像素之后，用类似的方法选取白色像素点，从而可以保证翻转两个像素点之后，二值图像的总黑色像素点数量和总白色像素点不变，因而可以有效避免生成的对抗样本翻转过多的单一像素，使得噪声更容易对人眼可见。
28.更进一步的，步骤4中数量限制k计算如下：
[0029][0030]
其中，α为固定分数，人为进行设定；f(x)为二值图像x的总像素数，y为二值图像的总字符数。
[0031]
本发明的一种基于二值图像的对抗样本的生成装置，包括：
[0032]
目标攻击模型训练模块，用于获取二值图像数据样本，并对其进行训练以得到目标攻击模型；以及
[0033]
对抗样本生成模块，用于循环选取并翻转使目标攻击模型置信度变化最大的黑色和白色像素点，直至扰动图像对目标攻击模型的置信度达到性能要求或者翻转的像素数量达到数量限制k时，生成给定二值图像的对抗样本。
[0034]
本发明的一种电子设备，包括：
[0035]
存储器，存储有基于二值图像的对抗样本的生成程序；以及
[0036]
处理器，执行基于二值图像的对抗样本的生成程序，从而实现所述的对抗样本的生成方法。
[0037]
本发明的一种存储介质，该存储介质上存储有基于二值图像的对抗样本的生成程序，该程序被处理器执行时实现所述的对抗样本的生成方法。
[0038]
综上所述，相比于现有技术，本发明可以取得如下有益效果：
[0039]
本发明的一种基于二值图像的对抗样本的生成方法、装置、电子设备及存储介质，通过空间和时间相关性评估像素处的离散导数，即在保证二值图像的总黑色像素点数量和总白色像素点不变的情况下，不断选取使得目标攻击模型置信度变化最大的像素点，从而生成相应的对抗样本，可以有效解决现有针对二值图像的攻击中存在的效率太低和噪声对人眼可见的问题。
具体实施方式
[0040]
下面结合具体实施例对本发明进一步进行描述。
[0041]
实施例1
[0042]
本实施例的一种基于二值图像的对抗样本的生成方法，包括以下步骤：
[0043]
步骤1：获取数据样本，训练目标攻击模型
[0044]
具体的，本实施例中选取的数据样本是来源于手写数字mnist和字母emnist数据集，并对其使用阈值为0.5的全局阈值化方法对灰度图像进行二值化，数据集中的图像在0和1之间归一化。两个数据集都由28
×
28像素的图像组成，mnist和emnist分别有70000和145000个示例。
[0045]
进一步的，本实施例中选取mlp2对选取的数据样本进行模型训练。
[0046]
步骤2：翻转使目标攻击模型置信度下降最大的黑色像素点
[0047]
步骤2.1：选取离散导数的阈值t＝0.1(人为设定，可根据需要进行改变)，优先考虑评估在算法前一次迭代中修改的像素p附近的八个像素，计算这八个像素对目标攻击模型置信度变化的离散导数。如果其中离散导数最大的像素大于阈值t，则翻转这个像素，不评估剩余的像素，无需进行后续子步骤。
[0048]
步骤2.2：在每次迭代中，优先考虑在前一次迭代中获得较大增益的像素(按照增益由大到小进行排序，且每次迭代后进行实时更新，排名前n的像素)。如果其中一个像素对目标攻击模型置信度变化的离散导数大于阈值t，则翻转这个像素，不评估剩余的像素，无需进行后续子步骤。
[0049]
步骤2.3：翻转黑色边界像素中对目标攻击模型置信度离散导数最大的黑色像素
点
[0050]
计算所有黑色边界像素对目标攻击模型置信度的离散导数，翻转其中最大的那个黑色边界像素。
[0051]
步骤3：翻转使目标攻击模型置信度下降最大的白色像素点
[0052]
步骤3.1：选取离散导数的阈值t＝0.1，优先考虑评估在算法前一次迭代中修改的白色像素p附近的八个白色像素，计算这八个像素对目标攻击模型置信度变化的离散导数。如果其中离散导数最大的像素大于阈值t，则翻转这个像素，不评估剩余的像素，无需进行后续子步骤。
[0053]
步骤3.2：在每次迭代中，优先考虑在前一次迭代中获得较大增益的像素(按照增益由大到小进行排序，且每次迭代后进行实时更新，排名前n的像素)。如果其中一个像素对目标攻击模型置信度变化的离散导数大于阈值t，则翻转这个像素，不评估剩余的像素，无需进行后续子步骤。
[0054]
步骤3.3：翻转白色边界像素中对目标攻击模型置信度离散导数最大的白色像素点
[0055]
计算所有白色边界像素对目标攻击模型置信度的离散导数，翻转其中最大的那个白色边界像素。
[0056]
步骤4：循环执行步骤2-3，直到扰动图像对目标攻击模型的攻击成功率达到性能要求或者翻转的像素达到数量限制k。
[0057]
定义数量限制其中α为固定分数，本实施例取固定分数α＝0.2，f(x)为二值图像x的总像素数，y为二值图像的总字符数。
[0058]
本实施例的一种基于二值图像的对抗样本的生成装置，包括：
[0059]
目标攻击模型训练模块，用于获取二值图像数据样本，并对其进行训练以得到目标攻击模型；以及
[0060]
对抗样本生成模块，用于循环选取并翻转使目标攻击模型置信度变化最大的黑色和白色像素点，直至扰动图像对目标攻击模型的置信度达到性能要求或者翻转的像素数量达到数量限制k时，生成给定二值图像的对抗样本。
[0061]
本本实施例的一种电子设备，包括：
[0062]
存储器，存储有基于二值图像的对抗样本的生成程序；以及
[0063]
处理器，执行基于二值图像的对抗样本的生成程序，从而实现所述的对抗样本的生成方法。
[0064]
本本实施例的一种存储介质，该存储介质上存储有基于二值图像的对抗样本的生成程序，该程序被处理器执行时实现所述的对抗样本的生成方法。
[0065]
实施例2-5
[0066]
实施例2-5的基于二值图像的对抗样本的生成方法，其操作步骤基本同实施例1，其区别主要在于：实施例2-5的步骤1中分别选用lenet，resnet34，vgg16和tesseract 5对选取的数据样本进行模型训练。但需要说明的是，也可以采用其他模型训练方法。
[0067]
采用实施例1-5中的对抗样本生成方法，攻击成功率如下表1所示。根据表1可以看出，采用本发明的方法能有效生成一种基于二值图像的黑盒对抗攻击样本。
[0068]
表1实施例1-5中生成的对抗样本的攻击成功率
[0069]
目标模型mlp2lenetresnet34vgg16tesseract 5攻击成功率91.2％88.6％87.1％84.3％86.2％

技术特征：
1.基于二值图像的对抗样本的生成方法，其特征在于，包括以下步骤：步骤1、获取数据样本，训练得到目标攻击模型；步骤2、翻转使目标攻击模型置信度下降最大的黑色像素点；步骤3、翻转使目标攻击模型置信度下降最大的白色像素点；步骤4、循环执行步骤2和步骤3，直到扰动图像对目标攻击模型的置信度达到性能要求或者翻转的像素数量达到数量限制k，即生成给定二值图像的对抗样本。2.根据权利要求1所述的基于二值图像的对抗样本的生成方法，其特征在于，步骤1中若原图像为灰度图像或彩色图像，则先对其进行图像二值化处理，得到二值图像x，然后再进行训练。3.根据权利要求1所述的基于二值图像的对抗样本的生成方法，其特征在于，步骤2包括以下步骤：步骤2.1、优先翻转与上一个翻转的黑色像素空间相关的像素点在每次迭代中，优先评估在算法前一次迭代中修改的像素p附近的像素，计算其附近像素对目标攻击模型置信度变化的离散导数；若其中离散导数最大的像素大于预设阈值t，则直接翻转该像素，不评估剩余的像素，也无需进行后续子步骤，否则执行步骤2.2；步骤2.2、其次翻转与上一个翻转的黑色像素时间相关的像素点其次考虑在前一次迭代中获得较大增益的像素；若其中一个像素对目标攻击模型置信度变化的离散导数大于预设阈值t，则直接翻转该像素，不评估剩余的像素，无需进行后续子步骤，否则执行步骤2.3；步骤2.3、翻转黑色边界像素中对目标攻击模型置信度离散导数最大的像素点计算所有黑色边界像素对目标攻击模型置信度的离散导数，翻转其中离散导数最大的那个黑色边界像素。4.根据权利要求3所述的基于二值图像的对抗样本的生成方法，其特征在于，步骤2.1中计算在算法前一次迭代中修改的像素p附近的8个像素对目标攻击模型置信度变化的离散导数；步骤2.2中将前一次迭代中的各像素按照增益大小进行降序排序，并对前n个像素对目标攻击模型置信度变化的离散导数进行评估。5.根据权利要求3所述的基于二值图像的对抗样本的生成方法，其特征在于，步骤3包括以下步骤：步骤3.1、优先考虑翻转与上一个翻转的白色像素空间相关的像素点；步骤3.2、其次考虑翻转与上一个翻转的白色像素时间相关的像素点；步骤3.3、最后考虑翻转白色边界像素中对目标攻击模型置信度离散导数最大的像素点。6.根据权利要求1-5中任一项所述的基于二值图像的对抗样本的生成方法，其特征在于，步骤4中数量限制k计算如下：其中，α为固定分数，f(x)为二值图像x的总像素数，y为二值图像的总字符数。7.一种基于二值图像的对抗样本的生成装置，其特征在于，包括：目标攻击模型训练模块，用于获取二值图像数据样本，并对其进行训练以得到目标攻
击模型；以及对抗样本生成模块，用于循环选取并翻转使目标攻击模型置信度变化最大的黑色和白色像素点，直至扰动图像对目标攻击模型的置信度达到性能要求或者翻转的像素数量达到数量限制k时，生成给定二值图像的对抗样本。8.一种电子设备，其特征在于，包括：存储器，存储有基于二值图像的对抗样本的生成程序；以及处理器，执行基于二值图像的对抗样本的生成程序，从而实现权利要求1-6中任一项所述的方法。9.一种存储介质，其特征在于：该存储介质上存储有基于二值图像的对抗样本的生成程序，该程序被处理器执行时实现权利要求1-8中任一项所述的方法。

技术总结
本发明公开一种基于二值图像的对抗样本的生成方法、装置、电子设备及存储介质，属于人工智能安全技术领域。本发明的基于二值图像的对抗样本的生成方法包括如下步骤：步骤1：获取数据样本，训练目标攻击模型；步骤2：翻转使目标攻击模型置信度下降最大的黑色像素点；步骤3：翻转使目标攻击模型置信度下降最大的白色像素点；步骤4：循环执行步骤2和3，直到扰动图像对目标攻击模型的攻击成功率达到性能要求或者翻转的像素达到数量限制k，得到对抗样本。采用本发明的技术方案可以有效解决现有针对二值图像的攻击中存在的效率太低和噪声对人眼可见的问题。眼可见的问题。


技术研发人员：连德富 陈钢 刘凯 孔海春
受保护的技术使用者：长三角信息智能创新研究院
技术研发日：2023.06.09
技术公布日：2023/9/12