一种带有小波变换特性的人脸图像编辑方法

1.本发明涉及一种带有小波变换特性的人脸图像编辑方法，属于计算机视觉领域。


背景技术：

2.作为来自人类本身的图像数据，人脸图像在人类社会交互中占有极其重要的地位。得益于互联网技术、电子信息技术和成像技术的发展，对自拍照与肖像照进行编辑与分享已经成了现代人生活中重要的组成部分。同时，在线上分享自拍照片的流行与普及也加快了人脸编辑工具的发展，这也刺激了工业界对于更有效、更简洁的人脸编辑工具和方法的需求。
3.最近以生成对抗网络为代表的生成式模型在人脸编辑任务上取得了巨大的成功，表现出了远超传统方法的性能。生成对抗网络降低了人脸编辑任务对标注数据集的需求，还可以在对人脸的任意区域进行编辑。采用生成式模型生成出的图像通常都是高分辨率，高质量的，并且可以表现出与真实图像相似的效果，具有更高的保真度。


技术实现要素：

4.本发明提供了一种带有小波变换特性的人脸图像编辑方法，解决了传统人脸编辑方案对人脸细节信息保留能力不足的问题，弥补现有人脸图像编辑方案对潜码可解释性不足的缺点，本发明提出了一种带有小波变换特性的生成对抗网络模型来实现高质量的人脸编辑。该方法有针对性地区分编辑区域和细节保留区域，提升了人脸编辑的操控能力和细节保留能力，可以生成质量更高的人脸编辑结果。
5.为了解决上述技术问题，本发明所采用的技术方案是：一种带有小波变换特性的人脸图像编辑方法，包括如下步骤：
6.步骤1、潜空间w通过由8层全连接层组成的映射网络后被转换为中间潜空间w
+
，在映射网络的输出端，中间潜空间w
+
通过reshape层被转换为风格图空间w
*
；
7.步骤2、步骤1得到的风格图空间w
*
进入带有小波变换特性的卷积模块，该模块包含卷积层、小波变换层和还原层，风格图空间w
*
中包含的风格图经过卷积层后转化为特征图f
style
；
8.步骤3、步骤2得到的特征图f
style
进入小波变换层进行特征分离，小波变换层通过哈尔小波变换，从特征图f
style
中分离出4个频域信息，分别为ll，lh，hl，hh，通过组合lh、hl以及hh得到图像中包含的隐藏信息的近似f
hidden
；
9.步骤4、步骤3中提取到的f
hidden
进入还原层，还原层在特征维度上对分解出的信号分量进行还原重构，从而重建原始图像中包含的全部信息特征，从而将f
hidden
还原为f
style
；
10.步骤5、步骤3中经过小波变换层提取到的f
hidden
通过affine变换，得到两个带有风格图特征的参数γi以及βi，步骤4中经过还原层得到的f
style
进入卷积层后同样通过affine变换得到两个带有风格图特征的参数γk以及βk，将参数输入由逐元素乘法和加法组成的调制层中控制输出图像的风格；
11.步骤6、步骤4中还原后的f
style
进入上采样层，重复步骤3、步骤4、步骤5，最终得到编辑后的人脸图像。
12.进一步地，所述步骤3中卷积层采用3
×
3的卷积核，步长设定为2；卷积后得到特征图f
style
，f
style
进入小波池化层进行特征分离；小波池化层包含4个卷积核，分别为{ll
t
，lh
t
，hl
t
，hh
t
}，l代表低通滤波器，h代表高通滤波器
13.进一步地，所述步骤5中，将参数输入由逐元素乘法和加法组成的调制层中控制输出图像的风格的过程为：
14.其中μi，σi∈r是第i层激活的平均值和标准差，
[0015]15.分别代表逐元素乘法以及加法。
[0016]
进一步地，所述步骤6中，还原后的f
style
进入上采样层放大2倍。
[0017]
相应地，一种存储一个或多个程序的计算机可读存储介质：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据上述的方法中的任一方法。
[0018]
相应地，一种计算设备，包括：
[0019]
一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据上述的方法中的任一方法的指令。
[0020]
本发明所达到的有益效果：
[0021]
1、通过小波变换分离图像的高低频，使得生成器网络能够专注于图像本身包含的高频细节信息，减少循环一致性对图像编辑的影响，提高了编辑的质量。
[0022]
2、在保留人脸细节的前提下，本发明提出的模型对图像特征可以进行更加充分的解耦，避免图像受到特征纠缠的影响，在编辑后不会产生不必要的伪影或者歪曲。
[0023]
3、本发明提出的模型通过在映射网络加入reshape层的做法，在潜空间中引入了空间维度，这种做法可以更轻松的将图像的局部语义编码到潜空间中，提高生成图像的保真度。
附图说明
[0024]
图1是本发明的网络模型整体架构图；
[0025]
图2是本发明的映射网络结构图；
[0026]
图3是本发明的小波模块结构图；
[0027]
图4是本发明的系统流程图。
具体实施方式
[0028]
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0029]
本发明提出基于对生成对抗模型的带有小波变换特性的人脸图像编辑方法，其整体框架如图1所示，包括以下步骤：
[0030]
步骤1：如图2所示，将由向量z(z∈z)组成的潜空间w输入由8个全连接层构成的映射网络中，映射网络将输入的向量编码为中间向量z
+
，这一过程可以视作对潜空间的解耦，中间向量重新构成了中间潜空间w
+
。
[0031]
步骤2：如图2所示，中间潜空间w
+
中包含的向量经过重塑层进行重塑操作，这一过程可以视作对中间向量的升维。升维后的向量由于包含了原始数据的特征可以简单的称之为风格图。
[0032]
步骤3：如图1所示，风格图作为映射网络的最终输出，进入小波变换网络，作为小波变换模块的输入。如图3所示，小波变换模块主要由3部分构成，分别是卷积层，小波池化层以及还原层。卷积层采用3
×
3的卷积核，步长设定为2。卷积后得到特征图f
style
，f
style
进入小波池化层进行特征分离。小波池化层包含4个卷积核，分别为{ll
t
，lh
t
，hl
t
，hh
t
}，l代表低通滤波器，h代表高通滤波器通过小波池化层，可以得到f
style
包包含的四个频域信息(即ll、lh、hl、hh)，其中ll主要由低频域中的信息组成，描述图像的整体外观(比如色彩)，包含最多的信息。lh、hl以及hh包含丰富的细节信息(比如线条)。通过组合lh、hl、hh可以构成包含f
style
中大部分隐藏信息的特征图f
hidden
，这一步骤在每个通道上进行。
[0033]
步骤4：如图1所示，步骤3中得到的特征图f
hidden
经过学习到的仿射变换a提取出两个能够表示特征的参数γi以及参数进入生成器网络中的mod层进行调制。调制操作为其中μi，σi∈r是第i层激活的平均值和标准差，的平均值和标准差，分别代表逐元素乘法以及加法。
[0034]
步骤5：步骤3中得到的特征图f
hidden
进入小波变换模块的还原层，在每个特征通道上对f
hidden
进行还原重构，将f
hidden
重新转换成f
style
，f
style
进入卷积层同样通过学习到的仿射变换a提取出两个能够表示特征的参数γi以及βi，进入生成器网络中的mod层进行调制。
[0035]
步骤6：步骤5中经过卷积后的f
style
进入上采样层放大2倍，进入下一个小波变换层，重复步骤3、4、5、6，最终生成器网络可以输出编辑后的人脸图像。
[0036]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。
[0037]
一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指
令，所述指令当由计算设备执行时，使得所述计算设备执行一种带有小波变换特性的人脸图像编辑方法。
[0038]
一种计算设备，包括一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行一种带有小波变换特性的人脸图像编辑方法的指令。
[0039]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0040]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0041]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0042]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0043]
以上仅为本发明的实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均包含在申请待批的本发明的权利要求范围之内。

技术特征：
1.一种带有小波变换特性的人脸图像编辑方法，其特征在于，包括如下步骤：步骤1、潜空间w通过由8层全连接层组成的映射网络后被转换为中间潜空间w
+
，在映射网络的输出端，中间潜空间w
+
通过reshape层被转换为风格图空间w
*
；步骤2、步骤1得到的风格图空间w
*
进入带有小波变换特性的卷积模块，该模块包含卷积层、小波变换层和还原层，风格图空间w
*
中包含的风格图经过卷积层后转化为特征图f
style
；步骤3、步骤2得到的特征图f
style
进入小波变换层进行特征分离，小波变换层通过哈尔小波变换，从特征图f
style
中分离出4个频域信息，分别为ll，lh，hl，hh，通过组合lh、hl以及hh得到图像中包含的隐藏信息的近似f
hidden
；步骤4、步骤3中提取到的f
hidden
进入还原层，还原层在特征维度上对分解出的信号分量进行还原重构，从而重建原始图像中包含的全部信息特征，从而将f
hidden
还原为f
style
；步骤5、步骤3中经过小波变换层提取到的f
hidden
通过affine变换，得到两个带有风格图特征的参数γ
i
以及β
i
，步骤4中经过还原层得到的f
style
进入卷积层后同样通过affine变换得到两个带有风格图特征的参数γ
k
以及β
k
，将参数输入由逐元素乘法和加法组成的调制层中控制输出图像的风格；步骤6、步骤4中还原后的f
style
进入上采样层，重复步骤3、步骤4、步骤5，最终得到编辑后的人脸图像。2.根据权利要求1所述的带有小波变换特性的人脸图像编辑方法，其特征在于，所述步骤3中卷积层采用3
×
3的卷积核，步长设定为2；卷积后得到特征图f
style
，f
style
进入小波池化层进行特征分离；小波池化层包含4个卷积核，分别为{ll
t
，lh
t
，hl
t
，hh
t
}，l代表低通滤波器，h代表高通滤波器3.根据权利要求1所述的带有小波变换特性的人脸图像编辑方法，其特征在于，所述步骤5中，将参数输入由逐元素乘法和加法组成的调制层中控制输出图像的风格的过程为：其中μ
i
，σ
i
∈r是第i层激活的平均值和标准差，标准差，分别代表逐元素乘法以及加法。4.根据权利要求1所述的带有小波变换特性的人脸图像编辑方法，其特征在于，所述步骤6中，还原后的f
style
进入上采样层放大2倍。5.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至4所述的方法中的任一方法。6.一种计算设备，其特征在于，包括：一个或多个处理器、一个或多个存储器以及一个或多个程序，其中一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至4所述的方法中的任一方法的指令。

技术总结
本发明公开了一种带有小波变换特性的人脸图像编辑方法，为了解决传统人脸编辑方案对人脸细节信息保留能力不足的问题，弥补现有人脸图像编辑方案对潜码可解释性不足的缺点，本发明提出了一种带有小波变换特性的生成对抗网络模型来实现高质量的人脸编辑。该方法有针对性地区分编辑区域和细节保留区域，提升了人脸编辑的操控能力和细节保留能力，可以生成质量更高的人脸编辑结果。量更高的人脸编辑结果。量更高的人脸编辑结果。


技术研发人员：马云鹏 张涛 倪世松 沈剑
受保护的技术使用者：南京信息工程大学
技术研发日：2023.05.29
技术公布日：2023/8/16