基于局部定向对抗攻击的人脸隐私保护方法和装置

1.本发明属于人工智能安全领域，尤其是涉及一种基于局部定向对抗攻击的人脸隐私保护方法和装置。


背景技术：

2.随着人工智能的快速发展，现在可以精确地从人脸图像中识别出各种语义属性，并将其应用于医疗和商业领域。人脸属性分析技术主要是通过自动提取人脸图像中的特征，从而预测和分析面部属性。例如，商家可以通过人脸属性分析，精准地判断消费者的年龄、性别和兴趣爱好，从而制定更加精准的营销策略。医疗领域可以通过人脸属性分析，判断患者面部属性所隐藏的疾病信息，为进一步的疾病检查提供参考和借鉴。
3.尽管人脸属性分析技术为我们的生活提供了很大的便利，但随着网络平台个性化多元化的发展和信息快速传播，用户规模庞大的社交网络中存在海量的个人图像信息，这存在一系列的隐患，因此，恶意利用人脸属性分析技术也对个人隐私构成了巨大的威胁，使得从各大社交媒体网站存储的个人生物特征数据中自动提取个人信息成为可能。如果未经个人同意就提取这些个人信息，对于不希望被披露个人信息的人来说，将会侵犯个人隐私权。
4.当前，针对人脸隐私保护的研究主要基于对抗样本的攻击策略。这种策略通过在人脸图像上添加一定程度的扰动，欺骗人脸属性分析模型，使得对人脸图像的真实面部特征属性识别失效，保护人脸图像的真实特征不被非法获取和利用，从而达到保护个人隐私信息的目的。
5.生成对抗样本作为人脸保护图像的方法主要有基于梯度的生成方式如fgsm、pgd和autoattack，基于优化的生成方式如cw和jsma，基于gan的生成方式如advgan等。尽管现有的对抗攻击方法已经可以生成攻击成功率很高的对抗样本，但是仍然存在一些问题，如基于梯度的方法和基于优化的方法迁移性不足，现有方法成功率仍有待提高，并且通过在人脸图像上添加全局扰动生成的对抗样本往往具有较低的自然性，肉眼可见的扰动会影响图像质量，不便于人们对人脸图像的正常识别。因此，在实际应用中，分辨率差的对抗样本具有一定局限性。
6.人脸属性分析对抗攻击方法的现有技术局限性已经被广泛认识，随着人们对隐私保护的关注度不断提高，保证图片自然性的人脸隐私保护方法的研究显得越来越重要，在保证自然性的同时能够拥有高攻击成功率，成为有待解决的问题，可以为人脸属性分析技术的应用和发展提供更加可靠和安全的保障。


技术实现要素：

7.本发明的目的是提供一种基于局部定向对抗攻击的人脸隐私保护方法和装置，通过搭建基于gan的局部定向攻击模型并设计定向扰动模块，对人脸图像添加不可见的局部扰动，提高人脸保护图像的自然性，同时，定向扰动模块引导gan向指定方向进行训练，生成
具有特定攻击效果的人脸保护图像，提高对抗恶意人脸属性检测的成功率，达到人脸隐私保护效果。
8.为实现上述发明目的，本发明实施例提供的一种基于局部定向对抗攻击的人脸隐私保护方法，包括以下步骤：
9.采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；
10.基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像；
11.搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，其中，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别；通过计算损失函数对局部定向攻击模型进行训练并优化参数；
12.将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。
13.优选地，所述以面部特征为依据进行图像分割，生成局部区域图像，包括：通过人脸检测工具识别面部特征点，以此设定置信区间分别生成局部区域图像，局部区域为眼部区域、鼻子区域、嘴唇区域、脸颊区域或这些区域之间任意组合形成的区域。
14.优选地，所述人脸属性分析模型包括resnet、googlenet、vggnet、moblilenet或alexnet。
15.所述利用人脸属性定位器对局部区域图像进行打分，包括：
16.以人脸属性分析模型的分类准确率为基准，通过多模型投票的方式选择重点攻击区域，人脸属性定位器的打分公式如下：
[0017][0018]
其中，scorek为各局部区域图像的得分，fq为人脸属性分析模型，xk为各局部区域图像的输入特征，q为人脸属性分析模型个数。
[0019]
所述定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，包括：
[0020]
将训练好的人脸属性分析模型作为恶意检测人脸属性的替代模型，对人脸图像在替代模型中的分类损失函数求导得到梯度，更改梯度的符号即可得到反向梯度；
[0021]
以反向梯度为基准，对局部定向攻击模型产生的扰动进行定向修正，定向扰动的修正公式为：
[0022]
perturbation＝clip
g(x)，∈
{gm(x)
×
cosδθm}
[0023]
其中，perturbation为定向扰动模块生成的定向扰动，clip(
·
)为范围控制函数，gm(x)为第m次训练gan生成器的生成的噪声，x为真人脸图像，δθm为gm(x)与替代模型反向梯度的夹角，
[0024]
根据向量的点乘定理，得到cosδθm的表达式为：
[0025][0026]
其中，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重；
[0027]
定向扰动的最终表达式为：
[0028][0029]
其中，k为常数。
[0030]
优选地，所述反向梯度包括基于损失函数的梯度、基于投影的梯度、基于动量加速的梯度和基于卷积的梯度中的至少一种。
[0031]
优选地，所述损失函数，包括gan损失、对抗损失、图片质量损失、图片语义损失和扰动损失，表述如下：
[0032]
所述gan损失记为
[0033][0034]
其中，为期望，为gan的判别器，x为真人脸图像，perturbation为定向扰动模块生成的定向扰动；
[0035]
所述对抗损失记为
[0036][0037]
其中，为期望，l(
·
)为距离度量函数，y为真人脸图像x对应的属性标签；
[0038]
所述图片质量损失记为
[0039][0040]
其中，λ
mmd
和λ
tv
为权重系数，为最大平均差损失函数，为总变差损失函数，和表述为：
[0041][0042]
其中，xn为第n张真人脸图像，为带有高斯核的再生核希尔伯特空间，函数φ(
·
)将原始样本映射到再生核希尔伯特空间，n为要进行比较的样本数，
[0043][0044]
其中，x
i,j
、x
i+1,j
、x
i,j+1
分别为输入图像中位置(i,j)的像素；
[0045]
所述图片语义损失记为
[0046][0047]
其中，λ
identity
、λ
cx
和λ
cross-entropy
为权重系数，为身份损失函数，
为交叉熵损失函数，为上下文损失函数，和表述为：
[0048][0049]
其中，sim
cos
为余弦相似度，f(
·
)为身份特征提取函数，
[0050][0051]
其中，f
l
(
·
)为在感知网络的第l层中提取的特征图，cx(
·
)为上下文相似性函数；
[0052]
所述扰动损失记为
[0053][0054]
其中，为期望，||
·
||2为二范数。
[0055]
所述定向扰动还能够通过以下方式修正：
[0056][0057]
其中，perturbation为定向扰动模块生成的定向扰动，gm(x)为第m次训练gan生成器的生成的噪声，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重。
[0058]
优选地，所述基于gan的局部定向攻击模型能够针对多个人脸属性生成人脸保护图像，同时对多个面部属性进行隐私保护。
[0059]
为实现上述发明目的，实施例还提供了一种基于局部定向对抗攻击的人脸隐私保护装置，包括图像预处理单元、人脸属性定位单元、模型构建单元、隐私图像生成单元；
[0060]
所述图像预处理单元用于采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；
[0061]
所述人脸属性定位单元用于基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像；
[0062]
所述模型构建单元用于搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，其中，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别；通过计算损失函数对局部定向攻击模型进行训练并优化参数；
[0063]
所述隐私图像生成单元用于将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。
[0064]
与现有技术相比，本发明具有的有益效果至少包括：
[0065]
(1)本发明采用局部扰动的机制，将人脸图像划分成若干个局部区域，通过基于gan的局部定向攻击模型对人脸属性分析模型关注的重点局部区域添加扰动，减少全局冗余的噪声，使得添加局部扰动的人脸保护图像更加自然；
[0066]
(2)本发明采用定向扰动的策略，基于gan并添加定向扰动模块构建了局部定向攻击模型，定向扰动模块引导gan向指定方向进行训练，生成具有特定保护效果的人脸保护图
像，能够提高对抗恶意的人脸属性检测的成功率，从而实现高效人脸隐私保护；
[0067]
(3)本发明综合了基于gan和基于梯度的噪声分布，提高了本发明方法的迁移性，大大提高了黑盒场景下的对抗人脸属性检测的成功率；
[0068]
(4)本发明提出的基于局部定向对抗攻击的人脸隐私保护方法和装置，能够为人脸隐私保护安全领域提供指导。
附图说明
[0069]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0070]
图1是本发明实施例提供的基于局部定向对抗攻击的人脸隐私保护方法的流程示意图；
[0071]
图2是本发明实施例提供的基于gan的局部定向攻击模型框架示意图；
[0072]
图3是本发明实施例提供的基于局部定向对抗攻击的人脸隐私保护装置示意图；
[0073]
图4是本发明实施例提供的评估自然性指标结果示意图；
[0074]
图5是本发明实施例提供的评估成功率指标结果示意图。
具体实施方式
[0075]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0076]
本发明的发明构思为：针对现有技术方法生成人脸保护图像自然性低，以及对抗人脸属性检测的成功率有待提高的问题，本发明实施例提供了一种基于局部定向对抗攻击的人脸隐私保护方法和装置，通过采用局部扰动机制和定向扰动策略，提高人脸保护图像自然性和对抗人脸属性检测成功率。
[0077]
图1是本发明实施例提供的基于局部定向对抗攻击的人脸隐私保护方法的流程示意图。如图1所示，实施例提供了一种基于局部定向对抗攻击的人脸隐私保护方法，包括以下步骤：
[0078]
s1，采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像。
[0079]
具体地，首先在相关的人脸数据集中采集人脸图像，利用dlib库的人脸检测模块对人脸图像进行对齐操作。利用人脸检测工具识别面部特征点，以人脸检测68个特征点为基准，置信区间为[-15
±
5，15
±
5]，本实施例中设定置信区间为[-15，+15]，分别生成局部区域图像，局部区域为眼部区域、鼻子区域、嘴唇区域、脸颊区域或这些区域之间任意组合形成的区域。
[0080]
s2，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，选择最佳的重点攻击区域。
[0081]
基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，
将训练好的多个人脸属性分析模型组成人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像。
[0082]
具体地，人脸属性分析模型包括resnet、googlenet、vggnet、moblilenet或alexnet。本实施例中同时选用resnet18，resnet34，mobilenet，googlenet和vgg16作为人脸属性分析模型构成人脸属性定位器。
[0083]
以人脸属性分析模型的分类准确率为基准，每个人脸属性分析模型的分类准确率作为每个局部区域图像的得分，通过多模型投票的方式选择重点攻击区域，人脸属性定位器的打分公式如下：
[0084][0085]
其中，scork为各局部区域图像的得分，fq为人脸属性分析模型，xk为各局部区域图像的输入特征，q为人脸属性分析模型个数，一般为5～10，本实施例中q＝5。
[0086]
s3，搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，通过计算损失函数对局部定向攻击模型进行训练并优化参数。
[0087]
如图2所示，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别。
[0088]
具体地，gan为advgan、aigan或advgan++，本实施例中采用advgan，对抗攻击的属性为年龄和性别。
[0089]
定向扰动模块设计包括：将训练好的人脸属性分析模型作为恶意检测人脸属性的替代模型，对人脸图像在替代模型中的分类损失函数求导得到梯度，更改梯度的符号即可得到反向梯度；以反向梯度为基准，对局部定向攻击模型产生的扰动进行定向修正，定向扰动的修正公式为：
[0090]
perturbation＝clip
g(x)，∈
{gm(x)
×
cosδθm}
[0091]
其中，perturbation为定向扰动模块生成的定向扰动，clip(
·
)为范围控制函数，gm(x)为第m次训练gan生成器的生成的噪声，x为真人脸图像，δθm为gm(x)与替代模型反向梯度的夹角，
[0092]
根据向量的点乘定理，得到cosδθm的表达式为：
[0093][0094]
其中，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重，本实施例中α和β均设为0.5；
[0095]
定向扰动的最终表达式为：
[0096][0097]
其中，k为常数，本实施例中k＝1。
[0098]
反向梯度包括基于损失函数的梯度、基于投影的梯度、基于动量加速的梯度和基于卷积的梯度中的至少一种。
[0099]
定向扰动还能够通过以下方式修正：
[0100][0101]
其中，perturbation为定向扰动模块生成的定向扰动，gm(x)为第m次训练gan生成器的生成的噪声，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重，本实施例中α和β均设为0.5。
[0102]
损失函数包括gan损失、对抗损失、图片质量损失、图片语义损失和扰动损失，表述如下：
[0103]
gan损失记为
[0104][0105]
其中，为期望，为gan的判别器，x为真人脸图像，perturbation为定向扰动模块生成的定向扰动；
[0106]
对抗损失记为
[0107][0108]
其中，为期望，l(
·
)为距离度量函数，y为真人脸图像x对应的属性标签；
[0109]
图片质量损失记为
[0110][0111]
其中，λ
mmd
和λ
tv
均为权重系数，本实施例中λ
mmd
和λ
tv
均设为0.5，为最大平均差损失函数，为总变差损失函数，和表述为：
[0112][0113]
其中，xn为第n张真人脸图像，为带有高斯核的再生核希尔伯特空间，函数φ(
·
)将原始样本映射到再生核希尔伯特空间，n为要进行比较的样本数，本实施例中n＝10，
[0114][0115]
其中，x
i,j
、x
i+1,j
、x
i,j+1
分别为输入图像中位置(i,j)的像素；
[0116]
图片语义损失记为
[0117][0118]
其中，λ
identity
、λ
cx
和λ
cross-entropy
为权重系数，本实施例中λ
identity
和λ
cx
设为0.3，λ
cross-entropy
设为1，为身份损失函数，为交叉熵损失函数，为上下文损失函数，和表述为：
[0119][0120]
其中，sim
cos
为余弦相似度，f(
·
)为身份特征提取函数，
[0121][0122]
其中，f
l
(
·
)为在感知网络的第l层中提取的特征图，cx(
·
)为上下文相似性函
数；
[0123]
扰动损失记为
[0124][0125]
其中，为期望，||
·
||2为二范数。
[0126]
对局部定向攻击模型进行训练优化，输入图像尺寸为128
×
128，批次大小设为64，训练的批次设为60，模型训练结束后可用于生成人脸保护图像。
[0127]
s4，将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。
[0128]
具体地，基于gan的局部定向攻击模型能够针对多个人脸属性生成人脸保护图像，同时对多个面部属性进行隐私保护。
[0129]
基于上述具体实施方式，将本发明方法和现有技术常用方法进行对比，对自然性指标进行评估，对于图像自然性的评估分别采用结构相似性(ssim，一种衡量两幅图像相似度的指标)和峰值信噪比(psnr，一种评价图像的客观标准)两种评价指标，ssim越高表示生成的对抗样本与原图像越接近，即添加的噪声越小，psnr越高，也反映了图像添加的噪声越小，图像越自然，如图4所示，与现有技术相比，本发明方法生成的人脸保护图像自然性始终表现出最好的效果，其ssim和psnr平均高于现有技术的24％左右。同时，对成功率指标进行评估，如图5所示，与现有技术相比，即使同时隐藏10个面部属性，本发明方法的成功率仍然在90％以上，保持最好的多属性隐私保护效果。
[0130]
综上，一种基于局部定向对抗攻击的人脸隐私保护方法，通过搭建基于gan的局部定向攻击模型并设计定向扰动模块，采用局部扰动机制和定向扰动策略，可大大提高人脸保护图像的自然性和对抗人脸属性检测的成功率。
[0131]
基于同样的发明构思，实施例还提供了一种基于局部定向对抗攻击的人脸隐私保护装置300，如图3所示，包括图像预处理单元301、人脸属性定位单元302、模型构建单元303、隐私图像生成单元304；
[0132]
其中，图像预处理单元301用于采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；
[0133]
人脸属性定位单元302用于基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像；
[0134]
所述模型构建单元303用于搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，其中，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别；通过计算损失函数对局部定向攻击模型进行训练并优化参数；
[0135]
所述隐私图像生成单元304用于将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。
[0136]
需要说明的是，上述实施例提供的基于局部定向对抗攻击的人脸隐私保护装置，
与基于局部定向对抗攻击的人脸隐私保护方法实施例属于同一构思，其具体实现过程详见基于局部定向对抗攻击的人脸隐私保护方法实施例，这里不再赘述。
[0137]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，包括以下步骤：采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像；搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，其中，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别；通过计算损失函数对局部定向攻击模型进行训练并优化参数；将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。2.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述以面部特征为依据进行图像分割，生成局部区域图像，包括：通过人脸检测工具识别面部特征点，以此设定置信区间分别生成局部区域图像，局部区域为眼部区域、鼻子区域、嘴唇区域、脸颊区域或这些区域之间任意组合形成的区域。3.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述人脸属性分析模型包括resnet、googlenet、vggnet、moblilenet或alexnet。4.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述利用人脸属性定位器对局部区域图像进行打分，包括：以人脸属性分析模型的分类准确率为基准，通过多模型投票的方式选择重点攻击区域，人脸属性定位器的打分公式如下：其中，score
k
为各局部区域图像的得分，f
q
为人脸属性分析模型，x
k
为各局部区域图像的输入特征，q为人脸属性分析模型个数。5.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，包括：将训练好的人脸属性分析模型作为恶意检测人脸属性检测器的替代模型，对人脸图像在替代模型中的分类损失函数求导得到梯度，更改梯度的符号即可得到反向梯度；以反向梯度为基准，对局部定向攻击模型产生的扰动进行定向修正，定向扰动的修正公式为：perturbation＝clip
g(x)，∈
{g
m
(x)
×
cosδθ
m
}其中，perturbation为定向扰动模块生成的定向扰动，clip(
·
)为范围控制函数，g
m
(x)为第m次训练gan生成器的生成的噪声，x为真人脸图像，δθ
m
为g
m
(x)与替代模型反向梯度的夹角，
根据向量的点乘定理，得到cosδθ
m
的表达式为：其中，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重；定向扰动的最终表达式为：其中，k为常数。6.根据权利要求5所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述反向梯度包括基于损失函数的梯度、基于投影的梯度、基于动量加速的梯度和基于卷积的梯度中的至少一种。7.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述损失函数，包括gan损失、对抗损失、图片质量损失、图片语义损失和扰动损失，表述如下：所述gan损失记为所述gan损失记为其中，为期望，为gan的判别器，x为真人脸图像，perturbation为定向扰动模块生成的定向扰动；所述对抗损失记为所述对抗损失记为其中，为期望，l(
·
)为距离度量函数，y为真人脸图像x对应的属性标签；所述图片质量损失记为所述图片质量损失记为其中，λ
mmd
和λ
tv
为权重系数，为最大平均差损失函数，为总变差损失函数，和表述为：其中，x
n
为第n张真人脸图像，为带有高斯核的再生核希尔伯特空间，函数φ(
·
)将原始样本映射到再生核希尔伯特空间，n为要进行比较的样本数，其中，x
i,j
、x
i+1,j
、x
i,j+1
分别为输入图像中位置(i,j)的像素；所述图片语义损失记为所述图片语义损失记为其中，λ
identity
、λ
cx
和λ
cross-entropy
为权重系数，为身份损失函数，为
交叉熵损失函数，为上下文损失函数，和表述为：其中，sim
cos
为余弦相似度，f(
·
)为身份特征提取函数，其中，f
l
(
·
)为在感知网络的第l层中提取的特征图，cx(
·
)为上下文相似性函数；所述扰动损失记为所述扰动损失记为其中，为期望，||
·
||2为二范数。8.根据权利要求5所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述定向扰动还能够通过以下方式修正：其中，perturbation为定向扰动模块生成的定向扰动，g
m
(x)为第m次训练gan生成器的生成的噪声，为替代模型的反向梯度，y为真人脸图像x对应的属性标签，α和β分别为权重。9.根据权利要求1所述的基于局部定向对抗攻击的人脸隐私保护方法，其特征在于，所述基于gan的局部定向攻击模型能够针对多个人脸属性生成人脸保护图像，同时对多个面部属性进行隐私保护。10.一种基于局部定向对抗攻击的人脸隐私保护装置，包括图像预处理单元、人脸属性定位单元、模型构建单元、隐私图像生成单元；所述图像预处理单元用于采集人脸图像并进行对齐裁剪预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；所述人脸属性定位单元用于基于真人脸图像训练多个人脸属性分析模型，使各模型达到预设的分类准确率，利用训练好的多个人脸属性分析模型搭建人脸属性定位器，利用人脸属性定位器对局部区域图像进行打分，选择最佳的重点攻击区域得到重点局部区域图像；所述模型构建单元用于搭建基于gan的局部定向攻击模型，包括生成器、定向扰动模块以及判别器，其中，生成器用于对重点局部区域图像添加噪声；定向扰动模块通过计算人脸属性分析模型的反向梯度设计，用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像；判别器用于对真人脸图像和伪人脸图像进行真伪判别；通过计算损失函数对局部定向攻击模型进行训练并优化参数；所述隐私图像生成单元用于将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中生成人脸保护图像，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。

技术总结
本发明公开了一种基于局部定向对抗攻击的人脸隐私保护方法和装置，包括：采集人脸图像并预处理后作为真人脸图像，以面部特征为依据进行图像分割，生成局部区域图像；基于真人脸图像训练多个人脸属性分析模型并搭建人脸属性定位器，利用人脸属性定位器确定重点局部区域图像；搭建基于GAN的局部定向攻击模型，其中生成器用于对重点局部区域图像添加噪声，定向扰动模块用于对生成器产生的噪声进行定向修正得到定向扰动，基于定向扰动生成伪人脸图像，判别器用于对真人脸图像和伪人脸图像进行真伪判别；将优化后的局部定向攻击模型生成的定向扰动以补丁形式嵌入到人脸图像中，基于人脸保护图像进行人脸属性检测能够实现人脸隐私保护。私保护。私保护。


技术研发人员：王总辉 杨勇 纪守领
受保护的技术使用者：浙江大学
技术研发日：2023.06.14
技术公布日：2023/10/8