一种用于部分被遮挡的人脸的识别算法

1.本发明涉及一种人脸识别算法，特别涉及一种用于部分被遮挡的人脸的识别算法。


背景技术：

2.由于新冠病毒的蔓延，新冠病毒可以通过接触的污染表面传播；因此，基于密码和指纹的经典生物识别系统不再安全。人脸识别更安全，无需通过触摸设备即可达到识别要求。人脸识别是一种广泛应用于安防、金融等领域的技术，而图神经网络则能够提高人脸识别的准确性和鲁棒性。例如，在安防领域，我们可以通过图神经网络对监控视频中的人脸进行识别，从而提高监控系统的安全性；在金融领域，我们可以通过图神经网络对客户的人脸进行识别，从而提高银行等机构的客户认证效率。此外，图神经网络还可以用于人脸聚类、人脸检测等相关任务中，为人脸识别技术的发展提供了有力的支持。通过对冠状病毒的大量研究证明，健康以及受感染的人群可以通过佩戴口罩来大大减少这类病毒的传播。然而，佩戴口罩会导致以下的问题：(1)不法分子可以利用佩戴口罩，在不被识别的情况下进行违法犯罪行为；(2)当人脸的大部分区域被佩戴口罩遮挡时，校园以及社区的人脸认证会成为十分困难的任务；(3)现有的人脸识别方法中少有针对口罩遮挡人脸的描述；(4)人脸识别的任务中，眼、口、鼻区域对于识别认证是非常重要的，它们可以用于人脸识别的姿势校正和人脸匹配。由于这些问题，遮挡对现有的人脸识别方法来说有着很大的挑战。


技术实现要素：

3.本发明目的是为了解决现有因遮挡造成的人脸识别效果不佳的问题，而提出的一种用于部分被遮挡的人脸的识别算法。
4.本发明提出了引用图神经网络的模型结构用于解决上述的问题。第一个方面，由于现有的遮挡人脸数据集稀有，我们选择从现有数据集中对其进行数据预处理，以达到人脸遮挡的效果。另一个方面，遮挡的人脸识别旨在于基于眼睛以及前额区域的识别任务。我们通过使用预先训练的基于深度学习的模型对其未被遮挡的区域进行特征提取，在我们的实验中，由于只针对造成的面部遮挡区域以外的识别任务，我们通过模型训练可以指导性的有效处理这个问题。
5.上述目的通过以下的技术方案实现：
6.一种用于部分被遮挡的人脸的识别算法，所述方法通过以下步骤实现：
7.步骤一、针对人脸图像数据集完成预处理；
8.步骤二、提取预处理后的人脸图像中的关键点特征；
9.步骤三、将特征输入到融合注意力机制的图神经网络并计算出输出特征；
10.步骤四、特征输入到分类器识别佩戴口罩的遮挡人脸；
11.步骤一所述的针对人脸图像数据集完成预处理的具体步骤为：利用opencv工具对数据集中的人脸图像按固定尺寸并根据dlib中通用关键特征点定位裁剪，根据设定的人脸
关键点，分别从人脸区域提取出68个关键特征点定位，将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点，将鼻子、嘴巴、轮廓等关键点遮挡后，从而得到遮挡的人脸数据集。
12.步骤二所述的提取预处理后的人脸图像中的关键点特征的具体步骤为：对裁剪后的遮挡人脸数据集特征提取，考虑到遮挡问题，我们只对未被遮挡人脸图像区域进行关键特征点提取,其中经过对遮挡的人脸图像分析，我们对未被遮挡的人脸图像区域提取特征关键点，最后关键特征点确定为26个。
13.权利点为步骤三所述的将特征输入到含注意力机制的图神经网络并计算出输出特征；是指对特征点引入注意力机制并输入到图神经网络。具体包括：
14.第一、对所提取的关键特征点训练出一个权值矩阵：
[0015][0016]
第二、针对每个关键特征点实行self-attention机制，机制为：
[0017][0018]
第三、计算出关键特征点之间的注意力互相关系数：并对其进行正则化处理：在注意力机制中加入了leakyrelu的非线性激活得到如下注意力机制，机制为：
[0019][0020]
第四、得到每个关键特征点的输出特征，特征为：
[0021][0022]
第五、将输出特征输入到图神经网络中，首先经过图卷积层，再经过激活函数和平均池化层，后经过3次卷积网络和平均池化的网络结构，最后通过聚合模块将特征输出输入到分类器进行判断，从而对遮挡的人脸达到识别的效果。
[0023]
本发明得有益效果为：
[0024]
1、针对遮挡人脸识别这一课题，解决了遮挡人脸数据集稀少的问题。
[0025]
2、在人脸识别算法中引入注意力机制以改进人脸识别算法，更有效的提取出遮挡人脸中的关键特征图。
[0026]
具体地，首先本发明在数据预处理阶段通过制造遮挡，以达到遮挡人脸数据集较少的情况，用于后面网络模型的数据训练以及测试，其次在特征提取阶段通过提取关键特征点并与注意力机制融合在一起，输入到图神经网络，实现端到端的学习，达到提升网络性能，实现更好的人脸识别效果以及获得更强的鲁棒性。
附图说明
[0027]
附图1为本发明的方法流程图
[0028]
附图2为本发明涉及的人脸数据预处理模型
[0029]
附图3为本发明涉及的注意力机制模型结构
[0030]
附图4为本发明涉及的一层图神经网络中卷积结构示意图
具体实施方式
[0031]
为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明方式中的附图、对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
[0032]
本发明优选的实施例：
[0033]
本发明提供一种用于部分被遮挡的人脸的识别算法。
[0034]
如图1所示，所述的检测算法包括：
[0035]
步骤一、针对人脸图像数据集完成预处理；
[0036]
步骤二、提取预处理后的人脸图像中的关键点特征；
[0037]
步骤三、将特征输入到融合注意力机制的图神经网络并计算出输出特征；
[0038]
步骤四、特征输入到分类器识别佩戴口罩的遮挡人脸；
[0039]
步骤一所述的针对人脸图像数据集完成预处理的具体步骤为：利用opencv工具对数据集中的人脸图像按固定尺寸并根据dlib中通用关键特征点定位裁剪，根据设定的人脸关键点，分别从人脸区域提取出68个关键特征点定位，将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点，将鼻子、嘴巴、轮廓等关键点遮挡后，从而得到遮挡的人脸数据集。
[0040]
步骤二所述的提取预处理后的人脸图像中的关键点特征的具体步骤为：对裁剪后的遮挡人脸数据集特征提取，考虑到遮挡问题，我们只对未被遮挡人脸图像区域进行关键特征点提取,其中经过对遮挡的人脸图像分析，我们对未被遮挡的人脸图像区域提取特征关键点，最后关键特征点确定为26个。
[0041]
步骤四所述的将特征输入到含注意力机制的图神经网络并计算出输出特征；是指对特征点引入注意力机制并输入到图神经网络。具体包括：
[0042]
第一、对所提取的关键特征点训练出一个权值矩阵：
[0043][0044]
第二、针对每个关键特征点实行self-attention机制，机制为：
[0045][0046]
第三、计算出关键特征点之间的注意力互相关系数：并对其进行正则化处理：在注意力机制中加入了leakyrelu的非线性激活得到如下注意力机制，机制为：
[0047]
[0048]
第四、得到每个关键特征点的输出特征，特征为：
[0049][0050]
第五、将输出特征输入到图神经网络中，首先经过图卷积层，再经过激活函数和平均池化层，后经过3次卷积网络和平均池化的网络结构，最后通过聚合模块将特征输出输入到分类器进行判断，从而对遮挡的人脸达到识别的效果。
[0051]
本发明的实施例公布的是较佳的实施例，但不局限于此，本领域的普通技术人员，极易根据上述实施例，领会发明的精神，并做出不同的引申和变化，但只要不脱离本发明的精神，都在本发明的保护范围内。

技术特征：
1.一种用于部分被遮挡的人脸的识别算法，其特征在于：所述方法通过以下步骤实现步骤一、针对人脸图像数据集完成预处理；步骤二、提取预处理后的人脸图像中的关键点特征；步骤三、将特征输入到融合注意力机制的图神经网络并计算出输出特征；步骤四、特征输入到分类器识别佩戴口罩的遮挡人脸。2.步骤一所述的针对人脸图像数据集完成预处理的具体步骤为：利用opencv工具对数据集中的人脸图像按固定尺寸并根据dlib中通用关键特征点定位裁剪，根据设定的人脸关键点，分别从人脸区域提取出68个关键特征点定位，将人脸关键点分为内部关键点和轮廓关键点，内部关键点包含眉毛、眼睛、鼻子、嘴巴共计51个关键点，轮廓关键点包含17个关键点，将鼻子、嘴巴、轮廓等关键点遮挡后，从而得到遮挡的人脸数据集。3.步骤二所述的提取预处理后的人脸图像中的关键点特征的具体步骤为：对裁剪后的遮挡人脸数据集特征提取，考虑到遮挡问题，我们只对未被遮挡人脸图像区域进行关键特征点提取,其中经过对遮挡的人脸图像分析，我们对未被遮挡的人脸图像区域提取特征关键点，最后关键特征点确定为26个。4.根据权利要求1所述的一种用于部分被遮挡的人脸的识别算法，其特征在于：步骤三所述的将特征输入到含注意力机制的图神经网络并计算出输出特征；是指对特征点引入注意力机制并输入到图神经网络。具体包括：：第一、对所提取的关键特征点训练出一个权值矩阵：第二、针对每个关键特征点实行self-attention机制，机制为：第三、计算出关键特征点之间的注意力互相关系数：并对其进行正则化处理：在注意力机制中加入了leakyrelu的非线性激活得到如下注意力机制，机制为：第四、得到每个关键特征点的输出特征，特征为：第五、将输出特征输入到图神经网络中，首先经过图卷积层，再经过激活函数和平均池化层，后经过3次卷积网络和平均池化的网络结构，最后通过聚合模块将特征输出输入到分类器进行判断，从而对佩戴口罩所造成的遮挡人脸达到识别的效果。

技术总结
一种用于部分被遮挡的人脸的识别算法，属于人脸识别算法领域。现有因遮挡造成的人脸识别效果不足的问题，我们选择从现有数据集中对其进行数据预处理，以达到人脸遮挡的效果。一种用于部分被遮挡的人脸的识别算法，所述检测算法通过以下步骤实现：在人脸图像中检测出人脸区域并提取人脸区域，对提取所含人脸区域的人脸图像进行预处理，提取预处理后人脸图像中的关键点特征，将特征输入到融合注意力机制的图神经网络并计算出输出特征，特征输入到分类器以识别遮挡的人脸。针对部分遮挡所造成的面部遮挡区域以外的识别任务，我们通过模型训练可以指导性的有效处理这个问题。注意力机制的融合以及图神经网络的使用可以实现端到端的学习，提升网络性能，实现更好的人脸识别效果以及获得更强的鲁棒性。以及获得更强的鲁棒性。


技术研发人员：姜义 何金灿
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.05.22
技术公布日：2023/8/23