一种基于虚拟身份的人脸识别隐私保护方法与流程

1.本发明涉及隐私保护以及人脸识别领域，尤其涉及一种基于虚拟身份的人脸识别隐私保护方法。


背景技术：

2.人脸识别已迅速成为万物互联社会中身份管理的默认技术。高度的安全性和便利性促使人脸识别广泛应用于各个领域，例如智能安防。特别地，各种智能手机应用需要人脸识别进行身份验证，以实现电子支付或访问控制。
3.然而，因人脸识别收集的海量人脸图像中包含了大量敏感的个人信息。目前基于深度学习的计算机视觉技术已经具有自动提取此类信息的能力。一旦这些人脸图像被不受监管的服务提供商或劫机者非法滥用，用户隐私将面临潜在且日益严重的威胁。因此，有必要在享受人脸识别带来的便利的同时，考虑对人脸隐私的保护。
4.现有保护人脸识别隐私的工作侧重于去除敏感信息，同时保留原始身份特征进行识别。但是，敏感信息(例如软生物识别属性)仍存在于原始身份特征中，从而留下了隐私泄露的潜在风险。


技术实现要素：

5.本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于虚拟身份的人脸识别隐私保护方法，通过利用虚拟身份特征而不是真实身份特征执行人脸识别，保证可识别性的同时有效保护了用户隐私；同时用户在不同服务器上具有不同的虚拟身份，避免了服务端之间的数据匹配。
6.本发明为解决上述技术问题采用以下技术方案：
7.一种基于虚拟身份的人脸识别隐私保护方法，包括以下步骤：
8.步骤1)，执行人脸识别的服务端为用户选择虚拟身份并传送至客户端，随后客户端根据接收到的虚拟身份为用户求解身份残差，其中，求解身份残差的具体步骤如下：
9.步骤1.1)，选择n张用户的人脸图像，分别提取出其中用户的身份特征；
10.步骤1.2)，根据以下公式计算身份残差δz
id
：
[0011][0012]
式中，表示从第c张人脸图像提取到的身份特征，z
vid
为客户端接收到的虚拟身份特征；
[0013]
解得，
[0014]
步骤2)，在身份残差的协助下，客户端使用身份转换网络将用户提供用于人脸识别的图像转换成和虚拟身份对应的受保护图像；所述身份对抗网络包括身份编码器、属性编码器、生成器、鉴别器，其中，身份编码器用于提取人脸中的身份特征，属性编码器用于提
取人脸中的属性特征，生成器用于耦合身份特征和属性特征以生成新人脸，鉴别器用于提高生成的新人脸的视觉质量，具体转换步骤如下：
[0015]
步骤2.1)，采用身份转换网络中的身份编码器和属性编码器分别从用户提供的用于人脸识别的图像中提取出身份特征和属性特征；
[0016]
步骤2.2)，将提取出的身份特征加上身份残差得到虚拟身份特征；
[0017]
步骤2.3)，将得到的虚拟身份特征和属性特征共同输入到生成器中生成受保护人脸；
[0018]
步骤3)，客户端将受保护人脸传送给服务端；
[0019]
步骤4)，服务端对受保护人脸执行人脸检测后使用人脸识别器提取虚拟身份特征，然后在虚拟身份数据库中进行匹配并给出匹配结果。
[0020]
作为本发明一种基于虚拟身份的人脸识别隐私保护方法进一步的优化方案，所述步骤1)中服务端为用户选择虚拟身份的方式为：服务端通过随机种子初始化伪随机数生成器，之后根据生成器的输出结果在虚拟身份数据库中选择对应的虚拟身份。
[0021]
作为本发明一种基于虚拟身份的人脸识别隐私保护方法进一步的优化方案，通过在celeba数据集中随机选取若干个真实身份进行组合来生成虚拟身份数据库，以避免真实身份的泄露。
[0022]
作为本发明一种基于虚拟身份的人脸识别隐私保护方法进一步的优化方案，所述步骤2)中的身份转换网络中，身份编码器采用预先训练好的轻量级lightcnn；属性编码器采用u-net结构；生成器采用若干反卷积层堆叠而成，同时采用自适应注意力归一化来耦合身份和属性特征；鉴别器采用若干卷积层堆叠而成。
[0023]
作为本发明一种基于虚拟身份的人脸识别隐私保护方法进一步的优化方案，所述身份转换网络的训练损失函数为：
[0024]
式中，为对抗损失，xi为用户提供的用于人脸识别的人脸，x
p
为受保护人脸，m为鉴别器采用的尺度数量，dj(
·
)表示尺度j鉴别器输出的结果，relu(
·
)为relu激活函数；
[0025]
为身份转换损失，λ1为平衡身份转换损失的超参数，e
id
(
·
)为身份编码器提取到的身份特征，cos(
·
,
·
)表示余弦相似度；
[0026]
为属性保留身份损失，λ2为平衡属性保留身份损失的超参数，为平衡属性保留身份损失的超参数，表示属性编码器第k层的属性特征，k为属性编码器的层数；
[0027]
为重构损失，λ3为平衡重构损失的超参数，
[0028]
作为本发明一种基于虚拟身份的人脸识别隐私保护方法进一步的优化方案，所述身份转换网络采用adam优化器进行训练，β1＝0，β2＝0.99，设置训练批次大小为8，初始学习率为0.0002，超参数为：λ1＝10、λ2＝20、λ3＝10。
[0029]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0030]
1、现有保护人脸识别隐私的工作需要保留原始身份特征，但原始身份特征中依旧泄露了部分敏感信息。本发明采用虚拟身份完全删除了用户的敏感信息，具有更强的隐私保护效果。
[0031]
2、现有保护人脸识别隐私的工作不可避免地损失了部分身份信息，因此人脸识别的准确率会有所降低。本发明采用虚拟身份避免了此类问题，保留了更高的人脸识别准确度。
[0032]
3、不同于现有保护人脸识别隐私的工作在多个服务器上采用同一身份，本发明为用户分配不同的虚拟身份，避免了服务端之间的数据匹配。
附图说明
[0033]
图1是本发明的流程示意图；
[0034]
图2是本发明的步骤1初始化；
[0035]
图3是本发明的步骤2保护人脸生成；
[0036]
图4是本发明的步骤3人脸识别。
具体实施方式
[0037]
下面结合附图对本发明的技术方案做进一步的详细说明：
[0038]
本发明可以以许多不同的形式实现，而不应当认为限于这里所述的实施例。相反，提供这些实施例以便使本公开透彻且完整，并且将向本领域技术人员充分表达本发明的范围。在附图中，为了清楚起见放大了组件。
[0039]
如图1所示，本发明公开了一种基于虚拟身份的人脸识别隐私保护方法，具体包括以下步骤：
[0040]
步骤1：初始化：执行人脸识别的服务端为用户选择虚拟身份并传送至客户端，随后客户端根据给定的虚拟身份为用户求解身份残差；
[0041]
步骤2：保护人脸生成：在身份残差的协助下，客户端使用身份转换网络将用户提供用于人脸识别的图像转换成具有虚拟身份的受保护图像；
[0042]
步骤3：人脸识别：客户端将受保护图像传送给服务端以执行人脸识别。
[0043]
如图2所示，步骤1中服务端首先通过随机种子初始化伪随机数生成器，其中随机种子选择为服务端的id或服务端自定义的密钥。
[0044]
通过在celeba数据集中随机选取若干个真实身份进行组合来生成虚拟身份数据库，避免了真实身份的泄露。
[0045]
随后，根据伪随机数生成器的输出结果，客户端为用户在虚拟身份数据库中选择对应的虚拟身份并传送到客户端。
[0046]
客户端选取n张来自用户的人脸图像，并分别提取这些图像表示的身份特征，根据以下公式计算身份残差δz
id
：
[0047][0048]
式中，表示从第c张人脸图像提取到的身份特征，z
vid
为客户端接收到的虚拟身份特征；
[0049]
解得，
[0050]
如图3所示，步骤2中，用户在客户端提供人脸图像用于人脸识别时，人脸图像先传输至身份转换网络。身份对抗网络包括身份编码器、属性编码器、生成器、鉴别器，其中，身份编码器用于提取人脸中的身份特征，属性编码器用于提取人脸中的属性特征，生成器用于耦合身份特征和属性特征以生成新人脸，鉴别器用于提高生成的新人脸的视觉质量。
[0051]
身份转换网络中的身份编码器和属性编码器分别从用户提供的用于人脸识别的图像中提取出身份特征和属性特征，随后身份特征加上身份残差得到虚拟身份特征，最后虚拟身份特征和属性特征共同输入到生成器中生成受保护人脸。
[0052]
所述身份转换网络的具体地网络结构为，身份编码器采用预先训练好的轻量级lightcnn，属性编码器采用u-net结构，生成器采用若干反卷积层堆叠而成同时采用自适应注意力归一化来耦合身份和属性特征，鉴别器采用若干卷积层堆叠而成。
[0053]
所述身份转换网络的训练损失函数为：
[0054]
式中，为对抗损失，xi为原始人脸，x
p
为受保护人脸，m为鉴别器采用的尺度数量，dj(
·
)表示尺度j鉴别器输出的结果，relu(
·
)为relu激活函数；
[0055]
为身份转换损失，λ1为平衡身份转换损失的超参数，e
id
(
·
)为身份编码器提取到的身份特征，cos(
·
,
·
)表示余弦相似度；
[0056]
为属性保留身份损失，λ2为平衡属性保留身份损失的超参数，为平衡属性保留身份损失的超参数，表示属性编码器第k层的属性特征，k为属性编码器的层数；
[0057]
为重构损失，λ3为平衡重构损失的超参数，
[0058]
在代码实现中，采用pytorch深度学习框架在3090ti服务器上进行训练，采用adam优化器进行参数优化，其中β1＝0,β2＝0.99。设置训练批次大小为8，初始学习率为0.0002，超参数分别为λ1＝10,λ2＝20,λ3＝10。
[0059]
如图4所示，客户端将受保护图像传输至服务端进行人脸识别。
[0060]
人脸识别步骤为，首先对受保护图像执行人脸检测，之后使用人脸识别器提取虚拟身份特征，最后在虚拟身份数据库中进行匹配并给出匹配结果。
[0061]
本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0062]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于虚拟身份的人脸识别隐私保护方法，其特征在于，包括以下步骤：步骤1)，执行人脸识别的服务端为用户选择虚拟身份并传送至客户端，随后客户端根据接收到的虚拟身份为用户求解身份残差，其中，求解身份残差的具体步骤如下：步骤1.1)，选择n张用户的人脸图像，分别提取出其中用户的身份特征；步骤1.2)，根据以下公式计算身份残差δz
id
：式中，表示从第c张人脸图像提取到的身份特征，z
vid
为客户端接收到的虚拟身份特征；解得，步骤2)，在身份残差的协助下，客户端使用身份转换网络将用户提供用于人脸识别的图像转换成和虚拟身份对应的受保护图像；所述身份对抗网络包括身份编码器、属性编码器、生成器、鉴别器，其中，身份编码器用于提取人脸中的身份特征，属性编码器用于提取人脸中的属性特征，生成器用于耦合身份特征和属性特征以生成新人脸，鉴别器用于提高生成的新人脸的视觉质量，具体转换步骤如下：步骤2.1)，采用身份转换网络中的身份编码器和属性编码器分别从用户提供的用于人脸识别的图像中提取出身份特征和属性特征；步骤2.2)，将提取出的身份特征加上身份残差得到虚拟身份特征；步骤2.3)，将得到的虚拟身份特征和属性特征共同输入到生成器中生成受保护人脸；步骤3)，客户端将受保护人脸传送给服务端；步骤4)，服务端对受保护人脸执行人脸检测后使用人脸识别器提取虚拟身份特征，然后在虚拟身份数据库中进行匹配并给出匹配结果。2.根据权利要求1所述的基于虚拟身份的人脸识别隐私保护方法，其特征在于，所述步骤1)中服务端为用户选择虚拟身份的方式为：服务端通过随机种子初始化伪随机数生成器，之后根据生成器的输出结果在虚拟身份数据库中选择对应的虚拟身份。3.根据权利要求2所述的基于虚拟身份的人脸识别隐私保护方法，其特征在于，通过在celeba数据集中随机选取若干个真实身份进行组合来生成虚拟身份数据库，以避免真实身份的泄露。4.根据权利要求1所述的基于虚拟身份的人脸识别隐私保护方法，其特征在于，所述步骤2)中的身份转换网络中，身份编码器采用预先训练好的轻量级lightcnn；属性编码器采用u-net结构；生成器采用若干反卷积层堆叠而成，同时采用自适应注意力归一化来耦合身份和属性特征；鉴别器采用若干卷积层堆叠而成。5.根据权利要求1所述的基于虚拟身份的人脸识别隐私保护方法，其特征在于，所述身份转换网络的训练损失函数为：式中，为对抗损失，x
i
为用户提供的用于人脸识别的人脸，x
p
为受保护人脸，m为鉴别器采用的尺度数量，d
j
(
·
)表示尺度j鉴别器输
出的结果，relu(
·
)为relu激活函数；为身份转换损失，λ1为平衡身份转换损失的超参数，e
id
(
·
)为身份编码器提取到的身份特征，cos(
·
,
·
)表示余弦相似度；为属性保留身份损失，λ2为平衡属性保留身份损失的超参数，为平衡属性保留身份损失的超参数，表示属性编码器第k层的属性特征，k为属性编码器的层数；为重构损失，λ3为平衡重构损失的超参数，6.根据权利要求5所述的基于虚拟身份的人脸识别隐私保护方法，其特征在于，所述身份转换网络采用adam优化器进行训练，β1＝0，β2＝0.99，设置训练批次大小为8，初始学习率为0.0002，超参数为：λ1＝10、λ2＝20、λ3＝10。

技术总结
本发明公开了一种基于虚拟身份的人脸识别隐私保护方法，具体包括如下步骤：执行人脸识别的服务端通过种子初始化伪随机序列生成器，并根据输出的结果在虚拟身份数据库中为用户选择虚拟身份；客户端求解身份残差来将从用户人脸图像中提取到的身份特征转换成虚拟身份；之后在身份残差的协助下，客户端使用身份转换网络将用户提供的人脸图像转换成具有虚拟身份的受保护人脸；最后，受保护人脸被传输到服务端以执行身份识别。本发明利用虚拟身份代替真实身份用于人脸识别，保留了更高的识别准确度同时增强了隐私保护效果；此外，要求不同服务端为用户分配不同的虚拟身份，避免了服务端之间的数据匹配，最终推动形成安全可用的人脸识别技术。人脸识别技术。人脸识别技术。


技术研发人员：汪涛 张玉书 孙晓盼 姚凯强
受保护的技术使用者：郑州信大先进技术研究院
技术研发日：2023.04.27
技术公布日：2023/8/24