基于级联双生成器的人脸正面化方法及系统

1.本公开涉及图像数据转换技术领域，具体涉及基于级联双生成器的人脸正面化方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.人脸识别技术是生活中常用的生物特征识别技术，具有非接触性和非强制性的优点，不需要用户高度配合便能实现远距离快速获取被识别者的身份信息。然而在非受限的环境中，如监控视频中，现有人脸识别模型受到姿态、光照和遮挡等因素的影响，导致性能严重下降。近年来，人们对人脸识别的研究逐渐从受限环境下的研究转为非受限环境下的研究。其中，多姿态人脸识别是一个研究热点。目前主流的多姿态人脸识别研究方法是：首先从姿态人脸图像中恢复出保留身份信息的正面人脸图像，这个过程也称为人脸正面化，再对得到的正面人脸图像进行特征提取与识别。使用正面化后的人脸图像进行识别与直接使用姿态人脸图像进行识别相比准确率有了较高提升，因此研究人脸正面化有助于多姿态人脸识别任务的完成，具有重要的实际意义。
4.人脸正面化任务是在姿态人脸图像的基础上生成一张全新的正面人脸图像，本质上是一种图像生成任务。近年来，生成对抗网络的出现大大提升了图像生成任务的视觉效果，在图像生成领域有着广泛应用。很多基于生成对抗网络的人脸正面化方法也被提出，这些方法能够生成逼真的正面人脸图像，提升多姿态人脸识别准确率。
5.但是现有的一些先进方法仍然存在一些问题，包括有的网络需要依赖输入人脸图像以外的先验知识，比如人脸偏转角度，并且生成的图像的质量不高，仍有进一步的提升空间。


技术实现要素：

6.本公开为了解决上述问题，提出了基于级联双生成器的人脸正面化方法及系统，整体网络结构基于生成对抗网络，其中生成网络部分由两个设置成不同网络层数的生成器级联组成，结合深层特征和浅层特征，对多种姿态的人脸图像进行正面化。
7.根据一些实施例，本公开采用如下技术方案：
8.基于级联双生成器的人脸正面化方法，包括：
9.获取多姿态人脸图像并进行预处理；
10.将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；最后，通过人脸识别准确率评估生成图像的质量；
11.其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均
有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
12.根据一些实施例，本公开采用如下技术方案：
13.基于级联双生成器的人脸正面化系统，包括：
14.图像获取模块，用于获取多姿态人脸图像并进行预处理；
15.图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
16.其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
17.根据一些实施例，本公开采用如下技术方案：
18.一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
19.根据一些实施例，本公开采用如下技术方案：
20.一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
21.与现有技术相比，本公开的有益效果为：
22.本公开人脸正面化模型基于生成对抗网络进行搭建，生成网络由两个不同深度生成器级联组成。深层生成器可以提取粗粒度特征(人脸轮廓)，生成在整体结构上更接近真实情况的正面人脸图像；浅层生成器可以提取细粒度特征(纹理特征)，生成在面部细节上更接近真实情况的正面人脸图像。
23.本公开利用残差块加深生成网络和判别网络，增强网络的拟合能力，从而使生成器生成的图像在整体上更接近真实图像，使判别器对图像有更强的判别能力。
24.本公开提出的方法能有效为监控、门禁等场景下的人脸识别提供帮助，同时满足准确性和实时性要求。
附图说明
25.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
26.图1为本公开实施例1的流程图；
27.图2为本公开实施例1的网络框架示意图；
28.图3为本公开实施例1的深层生成器示意图；
29.图4为本公开实施例1的浅层生成器示意图。
具体实施方式：
30.下面结合附图与实施例对本公开作进一步说明。
31.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
32.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
33.实施例1
34.本公开的一种实施例中提供了一种基于级联双生成器的人脸正面化方法，包括：
35.步骤一：获取多姿态人脸图像并进行预处理；
36.步骤二：将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
37.其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
38.本公开的整体思路为：获取人脸图像，依据获取的多姿态人脸图像，以及预设的人脸正面化模型，得到正面人脸图像；
39.其中，所述人脸正面化模型通过生成对抗网络训练得到。
40.利用人脸正面化模型对人脸图像库中的多姿态人脸图像转换成正面人脸图像，多姿态人脸图像可以理解为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度，人脸正面化模型可以理解为级联双生成器的生成对抗网络。
41.作为一种实施例，本公开的人脸正面化模型的训练过程包括：
42.步骤1：获取多姿态人脸图像并进行预处理；
43.步骤2：将多姿态人脸图像输入至人脸正面化模型的生成网络中，先通过深层生成器生成在轮廓上更接近真实情况的正面人脸图像，再通过浅层生成器生成在面部纹理细节上更接近真实情况的正面人脸图像；
44.步骤3：将生成的正面人脸图像和真实的正面人脸图像输入至人脸正面化模型的判别网络中，对生成的图像判别真假，和损失函数一起指导生成网络的生成过程。
45.步骤4：重复上述步骤直至生成对抗网络达到“纳什均衡”。
46.作为一种实施例，具体的实施方式为：
47.s1、获取人脸图像并进行预处理，组成人脸图像库，其中每张姿态人脸图像必须有对应的正面人脸图像。对人脸图像库的图像划分形成训练集和测试集。
48.步骤s1的具体过程为：预处理的方式为对图像进行裁剪，进行图像大小格式的统一裁剪，使得图像大小为相同尺寸。
49.对获取的人脸图像，可以先采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过pil裁剪图像为相同尺寸大小。
50.s2、将预处理之后的人脸照片图像的训练集输入到如图2所示的生成对抗网络中进行训练，训练过程通过两个级联的生成器完成图像的合成，每个生成器均有对应的判别
器和损失函数；
51.步骤s2的具体过程为：
52.s2.1、深层生成器g1的网络结构如图3所示，采用u-net骨干网络结构，包括下采样和上采样两个过程。下采样部分依次通过一个步长为1卷积核为7
×
7的卷积层，一个步长为2卷积核为5
×
5的卷积层，以及三个步长为2卷积核为3
×
3的卷积层，每个卷积层后均包括一个残差块，残差块不改变特征图的大小，然后将得到的特征通过全连接层和池化层整合为一维特征。上采样部分采用了和下采样对称的结构，经过五次反卷积层将特征的宽和高恢复到原图像尺寸大小，每个反卷积层后均包括一个残差块，残差块不改变特征图的大小，最后接两个卷积层做降维处理，将通道数降低至特定的数量，得到正面人脸图像。同时，在上采样过程中使用了跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图(编码器提取得到的)在通道维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图(编码器提取得到的)和对应尺度的姿态人脸图像(输入图像)在通道维度上进行拼接，跳跃连接结构能够起到补全信息的作用。
53.s2.2、浅层生成器g2的网络结构如图4所示，采用u-net骨干网络结构，包括下采样和上采样两个过程。下采样部分依次通过一个步长为1卷积核为7
×
7的卷积层，一个步长为2卷积核为5
×
5的卷积层，以及一个步长为2卷积核为3
×
3的卷积层，然后将得到的特征通过全连接层和池化层整合为一维特征。上采样部分首先通过四个反卷积层将特征图恢复至原图像尺寸，再经过两个卷积层将特征图的通道数降维至特定数量，得到最终的正面人脸图像。同时，在上采样过程中使用了跳跃连接结构，后三层反卷积层将前一层反卷积特征图、对应尺度的侧脸特征图(编码器提取得到的)和对应尺度的姿态人脸图像在通道维度进行拼接，起到补全信息的作用。
54.s2.3、每个生成器均有对应的判别器，两个判别器的结构相同，包括一个下采样模块和一个卷积层。其中，下采样模块包括四个步长为2卷积核为3
×
3的卷积层，且每个卷积层后均包括一个残差块。下采样后网络通过一个1卷积核为4
×
4的卷积层得到判别结果。
55.作为一种实施例，损失函数分为深层生成器的损失函数和浅层生成器的损失函数，其中，深层生成器的损失函数包括对抗损失和像素损失：
56.对抗损失：
[0057][0058]
其中，d1为深层生成器对应的判别器，if代表真实的人脸图像，代表深层生成器生成的人脸图像。
[0059]
像素损失：
[0060][0061]
其中，if为真实的人脸图像，为深层生成器生成的人脸图像。
[0062]
深层生成器总的损失函数为上述损失函数的加权和：
[0063]
l1＝λ1l
adv1
+λ2l
pixel1
。
[0064]
其中，浅层生成器的损失函数包括对抗损失、多尺度像素损失函数、感知损失函
数、身份保留损失函数和总变分损失函数：
[0065]
对抗损失：
[0066][0067]
其中，d2为浅层生成器对应的判别器，if代表真实的人脸图像，代表浅层生成器生成的人脸图像。
[0068]
多尺度像素损失函数为：
[0069][0070]
其中，if为真实的正面人脸图像，为最终生成的正面人脸图像，三个尺度i分别为128
×
128,64
×
64,32
×
32。c为图像通道数，w和h为对应的宽度和高度。
[0071]
感知损失函数为：
[0072][0073]
其中，if为真实的正面人脸图像，为最终生成的正面人脸图像。c为特征图通道数，w和h为对应的宽度和高度。代表求取特征图的网络(vgg16)。
[0074]
身份保留损失函数为：
[0075][0076]
其中，if为真实的正面人脸图像，为最终生成的正面人脸图像。i从1到2，代表的是分类网络的最后两层卷积层。代表求取特征图的网络(light-cnn)。
[0077]
总变分损失函数为：
[0078][0079]
其中，if为真实的正面人脸图像，为最终生成的正面人脸图像。c为图像通道数，w和h为对应的宽度和高度。
[0080]
浅层生成器总的损失函数为上述损失函数的加权和：
[0081]
l2＝λ3l
adv2
+λ4l
pixel2
+λ5l
percep
+λ6l
ip
+λ7l
tv
[0082]
本实施例通过级联双生成器的生成对抗网络解决了多姿态人脸正面化问题；对人脸照片库中的人脸照片划分形成训练集和测试集，对人脸照片的图像进行预处理，得到相同尺寸的图像，输入到神经网络中；通过级联双生成器的生成对抗网络，先提取多姿态人脸图像的粗粒度信息，再提取多姿态人脸图像的细粒度信息，高效结合富含粗粒度信息的深层特征和富含细粒度的浅层特征，使生成的人脸图像在整体结构和面部细节上有更真实的表现，提高人脸正面化效果，从而提高多姿态人脸识别准确率；本实施例提出的人脸正面化算法能有效为监控视频等非受控环境下的人脸识别应用领域提供帮助，同时满足准确性和
实时性要求，且不需要输入人脸图像以外的先验知识。
[0083]
实施例2
[0084]
本公开的一种实施例中提供了一种基于级联双生成器的人脸正面化系统，包括：
[0085]
图像获取模块，用于获取多姿态人脸图像并进行预处理；
[0086]
图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像。
[0087]
其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。
[0088]
实施例3
[0089]
本公开的一种实施例中提供了一种计算机可读存储介质，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
[0090]
实施例4
[0091]
本公开的一种实施例中提供了一种终端设备，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行所述的基于级联双生成器的人脸正面化方法。
[0092]
本公开是参照根据本公开实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

技术特征：
1.基于级联双生成器的人脸正面化方法，其特征在于，包括：获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。2.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述预处理的步骤包括：对于获取的多姿态人脸图像现采用python库处理不同的格式文件和图像类型，使用numpy ndarray存储图像，再通过pil裁剪图像为相同尺寸大小。3.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，所述人脸正面化模型为级联双生成器的生成对抗网络，所述人脸正面化模型实现将多姿态人脸图像转换成正面人脸图像，多姿态人脸图像为多种视角的人脸图像，包括水平偏转角度和垂直俯仰角度。4.如权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，深层生成器采用u-net骨干网络结构，包括下采样和上采样两个过程，上采样部分采用和下采样对称的结构，下采样部分包括不同步长的卷积层，每个卷积层后包括一个残差块，所述残差块将得到的特征通过全连接层和池化层整合为一维特征。5.权利要求4所述的基于级联双生成器的人脸正面化方法，其特征在于，在上采样过程中使用跳跃连接结构进行特征融合，前两层反卷积将前一层的反卷积特征图和对应尺度的侧脸特征图在通过维度上进行拼接，后三层反卷积将前一层反卷积特征图、对应尺度的侧脸特征图和对应尺度的姿态人脸图像在通道维度上进行拼接，通过跳跃连接结构进行补全信息。6.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，每个生成器均有对应的判别器，两个判别器的结构相同，包括一个下采样结构和一个卷积层，下采样结构包括四个相同步长的卷积层，且每个卷积层后均包括一个残差块，下采样后网络通过一个卷积层得到判别结果。7.权利要求1所述的基于级联双生成器的人脸正面化方法，其特征在于，生成对抗网络的损失函数分为深层生成器的损失函数和浅层生成器的损失函数，深层生成器的损失函数包括对抗损失和像素损失，浅层生成器的损失函数包括对抗损失、多尺度像素损失函数、感知损失函数、身份保留损失函数和总变分损失函数，浅层生成器总的损失函数为多个损失函数的加权和。8.基于级联双生成器的人脸正面化系统，其特征在于，包括：图像获取模块，用于获取多姿态人脸图像并进行预处理；图像生成模块，用于将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；
其中，深层生成器和浅层生成器的网络结构均采用u-net骨干网络，每个生成器均有对应的判别器，两个判别器的结构相同，所述深层生成器和浅层生成器级联合成输出最终正面人脸图像。9.一种计算机可读存储介质，其特征在于，其中存储有多条指令，所述指令适于由终端设备的处理器加载并执行权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。10.一种终端设备，其特征在于，包括处理器和计算机可读存储介质，处理器用于实现各指令；计算机可读存储介质用于存储多条指令，所述指令适于由处理器加载并执行如权利要求1-7中任一项所述的基于级联双生成器的人脸正面化方法。

技术总结
本公开提供了一种基于级联双生成器的人脸正面化方法及系统，涉及图像数据转换技术领域，方法包括获取多姿态人脸图像并进行预处理；将多姿态人脸图像输入至人脸正面化模型的生成对抗网络中，首先通过深层生成器提取正面人脸图像的轮廓深层特征，输出正面人脸图像；将合成人脸图像再通过浅层生成器提取合成人脸图像的面部细节的纹理浅层特征，输出最终的正面人脸图像；本公开能够使生成的人脸图像在面部细节和整体结构上有更好的表现。面部细节和整体结构上有更好的表现。面部细节和整体结构上有更好的表现。


技术研发人员：刘成云 曹佳倩 陈振学 张玉娇 王文成
受保护的技术使用者：山东大学
技术研发日：2023.05.16
技术公布日：2023/8/13