基于深度神经网络编码的个人化人脸生物密钥生成方法

1.本发明属于生物密钥生成技术领域，涉及一种基于深度神经网络编码的个人化人脸生物密钥生成方法。


背景技术：

2.在如今的大数据时代中，随着生物特征识别技术的飞快发展，生物特征认证(比如指纹，虹膜，人脸等)已经逐渐融入人们的生活之中。但随着生物特征认证准确率的提升，人们开始逐渐关注生物特征的隐私问题。越来越多的生物特征被直接采集存放在数据库中。这些生物特征直接关系到个人的财产安全。一旦这些无保护的生物特征数据库被攻击泄露，将会带来很大的隐私风险。因此，生物特征保护模板就显得至关重要。生物特征模板保护一般需要具有三个基本性质:不可链接性，不可逆性和可撤销性。不可链接性目的在无法使用相同的特征模板匹配不同数据库。不可逆性目的在无法通过生物特征保护模板还原出原生物特征。可撤销性目的在于可以频繁的更换生物特征保护模板来防止泄露。
3.传统生物保护模板都是使用对称密码系统或者公钥密码系统进行加解密操作。但密钥的存在增加了密钥拥有者的负担，一旦密钥泄露，生物特征就会直接暴露。因此近年来生物密钥的方法被研究者广泛研究，通过生物特征直接生成生物密钥的方法既保证了生物特征的安全性，也减轻了密钥记忆的难度。目前基于人脸的生物密钥研究较少，传统的人脸生物密钥使用模糊承诺和模糊保险库的方法，通过模糊提取，允许有限的错误来进行匹配。但这两种方法在识别的准确率和误识率上表现不理想。随着深度神经网络得发展，研究者选择使用深度神经网络端到端直接学习人脸特征到随机二进制码的映射。但端到端直接学习随机二进制码的方法在可解释上有所欠缺，难以直接应用在千人人脸系统中。此外，端到端生成人脸生物密钥的方法在密钥强度上有所欠缺，一般小于512bit，并且准确率一般会随着密钥强度的增强有所降低。
4.现有的生物密钥生成技术有主要有：(1)中国专利号201410075104.9公开了一种正面人脸图像生物密钥生成方法：利用正面人脸图像经特征空间变换后，向高维空间中投影，在高维空间中将人脸特征信息稳定到可接受的波动范围内，再对稳定后的特征向量提取数字序列，从数字序列中编码生成生物密钥。利用传统特征提取方法pca提取人脸特征向量一方面会导致稳定生物密钥长度较短(一般为256bit)，另一方面在准确率上得不到理想的效果。(2)中国专利号202110350155.8公开了一种基于深度神经网络编码的指纹生物密钥生成方法：利用经典指纹图像处理方法与深度神经网络方法相结合，更为精准地提取同枚指纹不同样本的稳定特征分量，并通过深度神经网络的处理，进一步稳定指纹特征于特征值。但指纹中可稳定的特征并不多，最终生物密钥比特序列较短(一般为512bit左右)，随着生物密钥比特长度的提升，识别准确率会明显下降，且在识别中误识率较高。


技术实现要素：

5.本发明针对目前人脸生物密钥方法普遍存在强度低、识别准确率低、误识率高的
问题。提出了一种基于深度神经网络编码的个人化人脸生物密钥生成方法。
6.为实现本发明的目的，本发明采用了以下技术方案:
7.对人脸图像进行预处理；通过个人化特征提取器feature_extraction将预处理后的人脸图像转换为稳定度≥80％的特征图；通过稳定器stabilizer输出稳定度≥99.5％的人脸生物密钥；采用纠错码和模糊提取结合的方法，通过纠错编码模块对输出的生物密钥进行纠错码纠错后，采用模糊提取得到稳定度＞99.5％的人脸生物密钥。
8.个人化特征提取器包括基于个人化训练的深度神经网络模块fmap_e、特征点筛选模块和二值化量化容错模块。稳定器是基于编码器-解码器结构的特征稳定卷积网络。预处理后人脸特征图依次经过个人化特征点提取、筛选、二值化量化容错，特征点稳定，生物密钥模糊提取后得到稳定的人脸生物密钥。
9.通过预处理从较复杂的图像中定位人脸，尽可能去除环境等其他信息。通过基于个人化训练的深度神经网络模块fmap_e个人化学习人脸特征并提出含有特征点的特征图。通过特征点筛选去除所有人脸特征图中的共有特征，并选择特征图中特定人脸的专有特征。通过二值化量化容错在特征点筛选的基础上将特征图中的特征点进行选择量化处理，特征点筛选选取到了人脸的专有特征而二值化量化放大了这些特征，有利于稳定器的稳定。通过稳定器stabilizer将筛选后的特征图转化为更为稳定的人脸生物密钥。通过纠错码纠错对稳定后的密钥相对于目的生物密钥进行纠错后，采用模糊提取提取出最终的生物密钥。
10.本发明具体包括以下步骤：
11.步骤1.图像预处理：
12.将公开人脸数据集作为预训练数据集，并对人脸数据集中的图像进行预处理操作；从图像中分割出人脸区域，将分割的人脸区域图像缩放到相同的尺寸，得到人脸特征图。
13.步骤2.预训练：
14.将经步骤1预处理后的图像使用深度神经网络进行预训练，预训练后的网络能准确识别预训练数据集中的人脸。
15.步骤3.个人化特征提取，为提升图像在稳定器上的学习效果，将人脸图像转换为稳定度≥80％的人脸生物密钥：
16.步骤3.1.构建基于个人化训练的深度神经网络模块fmap_e：
17.将需训练的个人人脸图集经步骤1预处理后输入步骤2预训练后的深度神经网络上进行迁移学习。将迁移学习后的深度神经网络截取一部分，形成基于个人化训练的深度神经网络模块fmap_e，用于提取到个人化的人脸特征图。
18.步骤3.2特征图筛选：
19.依据全部人脸特征图去除掉特征图中的共有特征，依据单类人脸特征图选择特征图中的专有特征，经特征筛选点后的特征图稳定度≥60％。
20.步骤3.3二值化量化：
21.通过单类人脸特征图集得到单类人脸平均特征图，使用二值化处理单类人脸平均特征图得到二值化矩阵，依据二值化矩阵处理单类人脸特征图集。经过二值化处理后的单类人脸平均特征图视为人脸生物密钥，经过量化后的人脸生物密钥稳定度≥80％。
22.步骤4.稳定器学习：
23.稳定器为编码器-解码器结构的特征稳定卷积网络，将步骤3输出的稳定度≥80％的人脸生物密钥输入稳定器进行稳定学习，输出稳定度≥99.5％的人脸生物密钥。
24.步骤5.模糊提取：
25.采用纠错编码和模糊提取结合的方法，通过纠错编码模块对步骤4输出的生物密钥进行纠错码纠错后，采用模糊提取得到稳定度＞99.5％的人脸生物密钥。
26.进一步的，步骤2所述的深度神经网络选用卷积神经网络中的残差网络resnet。
27.进一步的，所述的步骤3.2包括全局筛选和局部筛选：
28.全局筛选利用所有特征图faces_featuremap，通过对每个像素点累计平均的方法得到全局特征图all_fm：其中，all_fm为全局特征图，len()为数据集中的图片数量。
29.局部筛选则是第i类人脸特征图集face_featuremapi累加平均得到局部特征图i_fm：其中i_fm为第i类人脸的局部特征图，len()为数据集中图片数量。
30.第i类人脸特征图集face_featuremapi的每张特征图选取同时满足且的特征点作为特征图的初步筛选点，并将满足选取要求的特征点位置在特征点选择矩阵mi中的对应横坐标位置a和纵坐标位置b的点mi(a,b)＝1,否则mi(a,b)＝0；θ1和θ2为设定的阈值。
31.特征点选择后得到筛选后特征图集f_mi和特征点选择矩阵mi。mi为和face_featuremapi大小相同的二进制矩阵。choose()为face_featuremapi中特征点的选择过程，对中每张图像进行特征点遍历，如果mi(a,b)＝1保留的特征点，mi(a,b)＝0则舍弃特征点。
[0032][0033]
f_mi＝choose(face_featuremapi,mi)，choose()为特征点选择运算，f_mi为第i类人脸的特征点筛选结果，face_featuremapi为第i类人脸的特征图集，mi为第i类人脸的特征点选择矩阵。
[0034]
进一步的，所述的步骤3.3具体为：
[0035]
在二值化量化前，先对特征图集进行加和平均得
sequencen)；
[0052]
random binary sequencen为原始随机二进制序列，random binary sequence'n为reed-solomon解码后的二进制序列，fuzzy_extraction()为模糊提取运算。
[0053]
通过个人化训练深度神经网络提出含有较多个人人脸特征的特征图，但是特征图中特征点零散而不稳定，难以直接使用。因此提出特征图容错方法，采用特征选择与量化技术，提取含个人专有特征点的人脸特征图。然后，设计编码器-解码器结构的卷积网络对特征图进行稳定，编码器-解码器结构的网络通过不同步长的卷积可以学习到特征图的浅层与深层特征，实现特征图到生物密钥的稳定。最后使用模糊提取对编码器-解码器稳定后的密钥进行模糊提取，生成了高强度，识别准确率高，误识率低的人脸生物密钥。
[0054]
本发明和目前已有的人脸生物密钥生成方法相比有以下优势:
[0055]
1.个人化特征提取过程中提出特征点数目多，最终生成人脸生物密钥比特强度≥4096比特。
[0056]
2.通过特征提取器和稳定器结合的方法，比对深度神经网络的结果特征向量直接进行模糊提取的端到端生成人脸生物密钥方法准确率更优秀。端到端准确率＜85％，而特征提取器与稳定器结合的方法正确率＞99.5％。
[0057]
3.人脸生物密钥生成过程中的深度神经网络以及矩阵运算都是不可逆运算，因此人脸生物密钥满足不可逆性。人脸生物密钥可作为密钥直接应用在对称密码系统(如aes)和公钥密码系统(如rsa)中，满足可撤销性和不可链接性。
附图说明
[0058]
图1为本发明人脸生物密钥生成流程图；
[0059]
图2为基于个人化训练的深度神经网络模块fmap_e结构图；
[0060]
图3为特征点筛选流程图；
[0061]
图4为特征图不同二值化方法结果图；
[0062]
图5为稳定器网络结构图；
[0063]
图6为纠错码编码；
[0064]
图7为纠错码解码和模糊提取。
具体实施方式
[0065]
为了更好的理解本发明，接下来将结合符合对本发明做出一些详细的实施方式和具体的操作过程。
[0066]
如图1所示，一种基于深度神经网络编码的个人化人脸生物密钥生成方法，具体包括如下步骤：
[0067]
步骤1.预处理预训练数据集。预训练人脸数据集选择的含有较大数据量的公开人脸数据集。并将其通过mtcnn方法进行人脸定位，最后统一为n1
×
m1大小的人脸图像，一般取n1＝m1＝160。mtcnn方法为本领域内通用的人脸图像预处理方法。
[0068]
步骤2.预训练深度神经网络e1，本实施例中e1为卷积神经网络中的残差网络resnet。预处理后的预训练人脸数据集在renset上使用如下的损失函数loss进行预训练，经过预训练后的resnet能对公开数据集中的人脸进行准确识别。
[0069][0070]
其中，s和m为常量，本实施例中选取s＝30,m＝0.35。θ
yi
为特征向量xi和xi的学习权重向量wj之间的角度，xi为e1的结果特征向量，i为分类类别。
[0071]
步骤3.构建个人化特征提取器feature_extraction提取个人化特征，将人脸图像转换为稳定度≥80％的特征图：
[0072]
稳定度指同一类型图像的所有样本，在相同位置具有相同像素值的像素点占总像素点的比例，稳定度≥80％的图像在稳定器上学习后有较好的效果：
[0073]
stability为同一类型图像集合img的稳定度，size_pixel()为图像含有的像素点数量，num_equal()图像集中所有样本在相同位置具有相同像素值的像素数量。
[0074]
步骤3.1.构建基于个人化训练的深度神经网络模块fmap_e，对预训练后的深度神经网络e1进行迁移学习。
[0075]
对实际需要生成人脸生物密钥的数据集faces(faces中数据可以是通过手机或摄像头等方式采集的人脸图像)使用和预训练数据集相同的预处理方法后，在预训练后的深度神经网络e1(本实施例中为resnet)上进行迁移学习，所使用的迁移学习方法为本领域内的通用方法，使得深度神经网络可以准确识别faces中的人脸，学习后获得深度神经网络e2。
[0076]
本实施例中e2为resnet网络，resnet50结构。如图2所示，截取迁移学习后的深度神经网络e2形成fmap_e(分离resnet50的后两层平均池化层avgpool和全连接层liner，余下的部分作为特征提取器fmap_e)，并通过fmap_e提取faces中的人脸特征图。经过迁移学习后的深度神经网络e2可更有效的识别faces中的人脸，从而使得fmap_e可提取出更具有个人化特征的人脸特征图。
[0077]
faces通过特征提取器fmap_e得到特征图集faces_featuremap：
[0078][0079]
其中fmap_e为基于个人化训练的深度神经网络模块，resnet为迁移学习后的网络，liner()为resnet最后一层全连接层，avgpool()为resnet倒数第二次平均池化层，faces为迁移学习的人脸数据集，facs_featuremap为人脸特征图集；
[0080]
步骤3.2.特征点筛选，筛选特征图集faces_featuremap：
[0081]
如图3所示，提取特征图后对特征图集faces_featuremap进行特征点筛选，包括全局筛选和局部筛选。
[0082]
全局筛选利用所有特征图faces_featuremap，通过对每个像素点累计平均的方法得到全局特征图all_fm：
[0083][0084]
其中，all_fm为全局特征图，len()为数据集中的图片数量。
[0085]
局部筛选则是第i类人脸特征图集face_featuremapi累加平均得到局部特征图i_fm：
[0086][0087]
其中i_fm为第i类人脸的局部特征图，len()为数据集中图片数量。
[0088]
选取两个阈值θ1＝n1,θ2＝n2，本实施例中取n1＝2,n2＝50。
[0089]
第i类人脸特征图集face_featuremapi的每张特征图选取同时满足且的特征点作为特征图的初步筛选点，并将满足选取要求的特征点位置在特征点选择矩阵mi中的对应横坐标位置a和纵坐标位置b的点mi(a,b)＝1,否则mi(a,b)＝0。
[0090]
特征点选择后得到筛选后特征图集f_mi和特征点选择矩阵mi。mi为和face_featuremapi大小相同的二进制矩阵。choose()为face_featuremapi中特征点的选择过程，对中每张图像进行特征点遍历，如果mi(a,b)＝1保留的特征点，mi(a,b)＝0则舍弃特征点。
[0091][0092]
f_mi＝choose(face_featuremapi,mi)，choose()为特征点选择运算，f_mi为第i类人脸的特征点筛选结果，face_featuremapi为第i类人脸的特征图集，mi为第i类人脸的特征点选择矩阵。
[0093]
步骤3.3.二值化量化:
[0094]
在二值化量化前，先对特征图集f_mi(内含同一个人的多份不同人脸采样)进行加和平均得到平均特征图avgi为第i类人脸的经过特征点筛选后的f_mi数据集的平均特征图，len(f_mi)为f_mi中人脸图像数量，对avgi进行glb二值化操作即可得到初步人脸生物密钥b_ki。
[0095]
glb二值化使用全局二值化和局部二值化相结合的方法，如图4所示，全局二值化后的图像点分布较为稀疏，会增加后续识别的误识率，而仅使用局部二值化后的图像点过于密集，会降低识别的准确率。因此选取全局与局部结合的二值化方法可以更好的量化特
征点。
[0096]
首先通过全局二值化otsu方法得到全局阈值t_alli，otsu方法为图像全局二值化领域内的通用方法。其次将avgi依据s
×
s的块大小分块(s一般选取3或者5)，每块计算块均值与标准差，如果均值小于阈值θ3＝n3(为设定值)且标准差小于阈值θ4＝n4(为设定值)，则对该块使用局部二值化处理的方法。局部二值化中则使用高斯滤波器处理该块，高斯滤波器的结果为该块的阈值矩阵，既ts×s＝gauss filter(avg
is
×s)，gauss filter为高斯滤波器，高斯滤波为领域内通用方法。否则对该块使用全局阈值t_alli进行二值化，此时阈值矩阵为ts×s＝t_alli。对avgi遍历后可得到二值化阈值矩阵ti，利用ti对f_mi中的特征图进行二值化处理。
[0097]
二值化量化后可得到f_mi二值化后的待稳定生物密钥b_ki。根据特征二值化阈值矩阵ti，计算avgi＞ti，如果avgi(a,b)＞ti(a,b)，b_ki＝255，否则b_ki＝0。a和b分别为横坐标和纵坐标。
[0098]
b_ki＝glbinarization(avgi,ti)
[0099]
b_ki＝glbinarization(f_mi,ti)，
[0100]
glbinarization()为二值化量化运算，ti为第i类人脸的二值化阈值矩阵。
[0101]
步骤3.1-步骤3.3获得的基于个人化训练的深度神经网络模块fmap_e、特征筛选矩阵mi和二值化量化矩阵ti构成了个人化特征提取器feature_extraction。
[0102]
步骤4.稳定器学习b_ki到b_ki的稳定，b_ki为预设的生物密钥目标值。
[0103]
如图5所示，稳定器stabilizer为包括编码器-解码器结构的深度神经网络，本实施例中为unet，unet结构与其他编码器-解码器结构不同的地方在于unet在上采用过程中使用了下采样的数据，有利于更好的还原图像。但单纯的unet并不能学习b_ki到b_ki的有效稳定，于是在unet顶层上增加了一个学习矩阵w(图5中黑色填充框)，w通过学习点与点之间的关系来增加稳定器的效果，w的增添极大程度增加了网络的稳定能力。将b_ki作为稳定器的输入，b_ki作为目标进行学习。使用交叉熵bce(binary crossentropy)和sigmoid的结合作为损失函数loss＝bce(sigmoid(),b_ki)。交叉熵和sigmod函数为本领域通用函数。交叉熵计算为稳定器经sigmod处理后的输出值与b_ki目标值之间的交叉熵。学习后的稳定器输出值记为b_k'i＝stabilizer(b_ki)，b_k'i一般情况下不等于b_ki，并且两者仍有一定的差距。
[0104]
步骤5.分纠错码和模糊提取，将b_k'i稳定到b_ki。
[0105]
选择reed-solomon纠错，如图6所示，选择分块纠错法，reed-solomon编码过程如下：
[0106]
b_ki以512bit分为8块，每块先于512bit的随机二进制序列random binary sequencen异或运算后采用每块纠错64bit的方式进行reed-solomon编码得到8块n
in
。随机二进制码的添加增加了人脸生物密钥的随机性。
[0107]
如图7所示，reed-solomon解码过程如下：
[0108]
匹配过程同样进行分块匹配，将b_ki通过稳定器stabilizer后产生的b_k'i同样分为8块，和编码中产生的8块异或运算后进行reed-solomon解码，解码后即可得到random binary sequence'n。
[0109][0109]
为目的
生物密钥，random binary sequence'n为随机二进制码，reed-solomon-recode()为reed-solomon纠错码编码运算。
[0110][0111]
将random binary sequence'n与最初的random binary sequencen进行匹配后进行模糊提取fuzzy_extraction()，如过满足模糊提取条件既提取出目标生物密钥b_ki。模糊提取为本领域通用方法，可通过允许部分的错误来获取密钥。完全匹配块数λ为模糊提取要求，如果匹配块数λ≥n5则认为满足模糊提取要求，可提取到b_ki，本实施例中设置n5≥6：
[0112]
b_ki＝fuzzy_extraction(random binary sequence'n,random binary sequencen)；
[0113]
random binary sequencen为原始随机二进制序列，random binary sequence'n为reed-solomon解码后的二进制序列，fuzzy_extraction()为模糊提取运算。
[0114]
人脸生物密钥提取过程为：对于一张属于数据集faces第i类的新人脸fi，依次经过训练后的个人化特征提取器feature_extraction得到个人化特征图。然后对feature_extraction提出的个人化特征图使用训练后的稳定器stabilizer进行稳定，最后通过reed-solomon解码和模糊提取便可得到人脸生物密钥。其中feature_extraction中包括使用fmap_e提出人脸特征图，使用特征点选择矩阵mi进行特征点选择，使用二值化阈值矩阵ti进行二值化量化。形式化表示如下：
[0115]
b_ki＝fuzzy_extraction(reed-solomon(stabilizer(feature_extraction(fi))))
[0116]
feature_extraction(fi)＝glbinarization(choose(fmap_e(fi),mi),ti)
[0117]
采用上述方法，利用迁移学习的方法，通过大量人脸数据图集的预训练让卷积网络学习到人脸特征，其次将预训练后的网络在实际所需人脸数据库上迁移学习，使得卷积网络可以更精确的学习到目的人脸的特征。利用特征筛选和二值化的处理选取每个人的专有特征。再通过筛选，量化后特征提取提取出人脸生物密钥，并通过以解码器-编码器结构的稳定器进行稳定，最后分纠错码和模糊提取结合提取符合目标的生物密钥。
[0118]
最后，对比了通过端到端直接生成生物密钥的方法。端到端生成方法有目前有3种，分别是基于senet的端到端的生物密钥生成方法，基于vggnet的端到端的生物密钥生成方法和基于二值化容错的端到端生物密钥生成方法，三种方法均为本领域已知方法。基于senet的端到端生物密钥生成方法通过叠加多个senet网络模块和全连接层学习网络结果特征向量与随机二进制码之间的映射，senet为本领域通用网络。基于vggnet的端到端学习方法则是通过在vggnet后增添数个全连接层学习结果特征向量与随机二进制码的映射，vggnet为本领域通用网络。两种方法均是学习特征向量与随机二进制码之间的映射，实际上由于密钥本身的随机性和生物特征的近似随机性，这两种方法的结果表现较差。基于二值化容错的端到端生成方法是在特征提取网络后直接增添sigmoid层和以p为阙值的二值化层，p一般取0.5。三种端到端方法实验所用数据和本发明相同，均为faces。实验结果对比如下:
[0119][0120]
个人化特征提取过程中提出特征点数目多，生成人脸生物密钥比特强度≥4096比特，比使用卷积网络的结果特征向量直接进行模糊提取的端到端直接人脸生成生物密钥的结果更为出色，端到端生成生物密钥方法准确率＜85％。特征提取器与稳定器结合在实验中准确率＞99.5％，误识率＜0.1％。产生的生物密钥为二进制序列，因此不含原人脸的生物特征信息，有效的防止了隐私泄露风险。产生的生物密钥可以直接应用于对称密钥系统(如aes)以及公钥密码系统(如rsa)，与密钥系统的结合可以保证生物密钥的可撤销性和不可链接性，最后提取密钥过程中的深度神经网络和矩阵运算都是不可逆过程，因此人脸生物密钥满足不可逆性。所提出的人脸生物密钥方法有效提高了人脸特征的安全性和灵活性。
[0121]
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

技术特征：
1.基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：具体包括如下步骤：步骤1.图像预处理：将公开人脸数据集作为预训练数据集，并对人脸数据集中的图像进行预处理操作；从图像中分割出人脸区域，将分割的人脸区域图像缩放到相同的尺寸，得到人脸特征图；步骤2.预训练：将经步骤1预处理后的图像使用深度神经网络进行预训练，预训练后的网络能准确识别预训练数据集中的人脸；步骤3.个人化特征提取，为提升图像在稳定器上的学习效果，将人脸图像转换为稳定度≥80％的人脸生物密钥：步骤3.1.构建基于个人化训练的深度神经网络模块fmap_e：将需训练的个人人脸图集经步骤1预处理后输入步骤2预训练后的深度神经网络上进行迁移学习；将迁移学习后的深度神经网络截取一部分，形成基于个人化训练的深度神经网络模块fmap_e，用于提取到个人化的人脸特征图；步骤3.2特征图筛选：依据全部人脸特征图去除掉特征图中的共有特征，依据单类人脸特征图选择特征图中的专有特征，经特征筛选点后的特征图稳定度≥60％；步骤3.3二值化量化：通过单类人脸特征图集得到单类人脸平均特征图，使用二值化处理单类人脸平均特征图得到二值化矩阵，依据二值化矩阵处理单类人脸特征图集；经过二值化处理后的单类人脸平均特征图视为人脸生物密钥，经过量化后的人脸生物密钥稳定度≥80％；步骤4.稳定器学习：稳定器为编码器-解码器结构的特征稳定卷积网络，将步骤3输出的稳定度≥80％的人脸生物密钥输入稳定器进行稳定学习，输出稳定度≥99％的人脸生物密钥；步骤5.模糊提取：采用纠错编码和模糊提取结合的方法，通过纠错编码模块对步骤4输出的生物密钥进行纠错码纠错后，采用模糊提取得到稳定＞99.5％的人脸生物密钥。2.如权利要求1所述的基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：步骤2所述的深度神经网络选用卷积神经网络中的残差网络resnet。3.如权利要求1所述的基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：所述的步骤3.2包括全局筛选和局部筛选：全局筛选利用所有特征图faces_featuremap，通过对每个像素点累计平均的方法得到全局特征图all_fm：其中，all_fm为全局特征图，len()为数据集中的图片数量；局部筛选则是第i类人脸特征图集face_featuremap
i
累加平均得到局部特征图i_fm：
其中i_fm为第i类人脸的局部特征图，len()为数据集中图片数量；第i类人脸特征图集face_featuremap
i
的每张特征图选取同时满足且的特征点作为特征图的初步筛选点，并将满足选取要求的特征点位置在特征点选择矩阵m
i
中的对应横坐标位置a和纵坐标位置b的点m
i
(a,b)＝1,否则m
i
(a,b)＝0；θ1和θ2为设定的阈值；特征点选择后得到筛选后特征图集f_m
i
和特征点选择矩阵m
i
；m
i
为和face_featuremap
i
大小相同的二进制矩阵；choose()为face_featuremap
i
中特征点的选择过程，对中每张图像进行特征点遍历，如果m
i
(a,b)＝1保留的特征点，m
i
(a,b)＝0则舍弃特征点；f_m
i
＝choose(face_featuremap
i
,m
i
)，choose()为特征点选择运算，f_m
i
为第i类人脸的特征点筛选结果，face_featuremap
i
为第i类人脸的特征图集，m
i
为第i类人脸的特征点选择矩阵。4.如权利要求1所述的基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：所述的步骤3.3具体为：在二值化量化前，先对特征图集进行加和平均得到平均特征图avg
i
为第i类人脸的经过特征点筛选后的f_m
i
数据集的平均特征图，len(f_m
i
)为f_m
i
中人脸图像数量，对avg
i
进行全局二值化和局部二值化相结合操作得到初步人脸生物密钥b_k
i
；首先通过全局二值化otsu方法得到全局阈值t_all
i
，其次将avg
i
依据s
×
s的块大小分块，每块计算块均值与标准差，如果均值小于阈值θ3且标准差小于阈值θ4，则对该块使用局部二值化处理的方法；局部二值化中则使用高斯滤波器处理该块，高斯滤波器的结果为该块的阈值矩阵，既t
s
×
s
＝gauss filter(avg
is
×
s
)，gauss filter为高斯滤波器；否则对该块使用全局阈值t_all
i
进行二值化，此时阈值矩阵为t
s
×
s
＝t_all
i
；对avg
i
遍历后可得到二值化阈值矩阵t
i
，利用t
i
对f_m
i
中的特征图进行二值化处理；二值化量化后可得到f_m
i
二值化后的待稳定生物密钥b_k
i
；根据特征二值化阈值矩阵t
i
，计算avg
i
＞t
i
，如果avg
i
(a,b)＞t
i
(a,b)，b_k
i
＝255，否则b_k
i
＝0；a和b分别为横坐标和
纵坐标；b_k
i
＝glbinarization(avg
i
,t
i
)；b_k
i
＝glbinarization(f_m
i
,t
i
)；glbinarization()为二值化量化运算，t
i
为第i类人脸的二值化阈值矩阵。5.如权利要求1所述的基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：步骤4所述的稳定器为包括编码器-解码器结构的深度神经网络unet，在unet顶层上增加了一个学习矩阵w，w通过学习点与点之间的关系来增加稳定器的效果；使用交叉熵和sigmoid的结合作为损失函数loss＝bce(sigmoid(),b_k
i
)，将待稳定生物密钥b_k
i
作为稳定器的输入，初步人脸生物密钥b_k
i
作为目标进行学习。6.如权利要求1所述的基于深度神经网络编码的个人化人脸生物密钥生成方法，其特征在于：所述的步骤5具体为：采用reed-solomon纠错，reed-solomon编码过程如下：b_k
i
以512bit分为8块，每块先于512bit的随机二进制序列random binary sequence
n
异或运算后采用每块纠错64bit的方式进行reed-solomon编码得到8块reed-solomon解码过程如下：匹配过程同样进行分块匹配，将b_k
i
通过稳定器stabilizer后产生的b_k'
i
同样分为8块，和编码中产生的8块异或运算后进行reed-solomon解码，解码后即可得到random binary sequence'
n
；；为目的生物密钥，random binary sequence'
n
为随机二进制码，reed-solomon-recode()为reed-solomon纠错码编码运算；将random binary sequence'
n
与最初的random binary sequence
n
进行匹配后进行模糊提取fuzzy_extraction()，如过满足模糊提取条件既提取出目标生物密钥b_k
i
；完全匹配块数λ为模糊提取要求，如果匹配块数λ≥n5则认为满足模糊提取要求，可提取到b_k
i
：b_k
i
＝fuzzy_extraction(random binary sequence'
n
,random binary sequence
n
)；random binary sequence
n
为原始随机二进制序列，random binary sequence'
n
为reed-solomon解码后的二进制序列，fuzzy_extraction()为模糊提取运算。

技术总结
本发明涉及基于深度神经网络编码的个人化人脸生物密钥生成方法。本发明对人脸图像进行预处理；通过个人化特征提取器Feature_Extraction将预处理后的人脸图像转换为稳定度≥80％的特征图；通过稳定器Stabilizer输出稳定度≥99％的人脸生物密钥；采用纠错码和模糊提取结合的方法，通过纠错编码模块对输出的生物密钥进行纠错码纠错后，采用模糊提取得到稳定度>99.5％的人脸生物密钥。本发明最终生成人脸生物密钥比特强度，识别准确率高，可作为密钥直接应用在对称密码系统(如AES)和公钥密码系统(如RSA)中，满足可撤销性和不可链接性。性。性。


技术研发人员：吴震东 黄炎华
受保护的技术使用者：杭州电子科技大学
技术研发日：2023.05.26
技术公布日：2023/8/24