姿态表情鲁棒的特征空间解耦妆容迁移方法

1.本发明涉及图像处理技术领域，具体涉及一种姿态表情鲁棒的特征空间解耦妆容迁移方法。


背景技术：

2.自古以来，人类就有追求美的天性，化妆在提升个人外在形象气质方面具有重要意义，它可以弥补个人面貌缺陷，美化个人容貌。随着中国经济的飞速发展，人们对于自身外在形象的追求也日益高涨，因此，化妆逐渐成为人们日常生活中不可或缺的一部分，越来越多的消费者开始重视自身形象，通过化妆来塑造自己的形象和提高自信心。随着互联网文化的普及，自媒体视频和个人摄影的流行，以及广告宣传的影响，80后和90后年轻人的化妆品消费比例显著提高，对彩妆产品的需求也日趋多样化、个性化，成为化妆品市场中的主要消费群体。随着化妆技术的不断发展和成熟，消费者越来越倾向于选择能够适应不同季节、肤质、年龄和场合的彩妆产品，以达到更加完美的妆容效果。因此，随着消费者对于美妆的认知不断提高，化妆品市场的总体需求持续扩大，进一步促进了彩妆行业的迅速发展。根据国家统计局数据显示，2021年全年，中国化妆品零售总额突破4026亿元，同比增长了18.41％，是最近八年来我国化妆品零售总额的最大增幅。
3.尽管美妆可以给人们带来诸多益处，但并非每个人都拥有高超的化妆技巧和艺术鉴赏能力，大多数人只能通过不断的尝试来找到最适合自己、能够突显优点和掩盖缺点的妆容。然而，传统的到店试妆方式也存在不可避免的问题，其中最突出的问题是时间和精力的消耗，频繁的试妆和卸妆可能会对皮肤造成损害，尤其是当试妆产品不适合个人肤质时。此外，随着需要不同妆容风格的人群数量日益增多，数字化的上妆方法已成为人们迫切需要的一种解决方案，它可以让用户在短时间内了解化妆品的效果，定制个性化妆容风格，并提供更多妆容选择。
4.虽然传统的妆容迁移算法取得了一定成果，但算法鲁棒性较低，过于依赖人脸关键点的准确度，难以处理人脸受遮挡的情况，在迁移过程中可能存在身份信息丢失、妆容风格特征丢失等问题，几乎所有的方法都将妆容风格视为不同成分的简单组合，生成的结果真实性低，含有明显的伪影。


技术实现要素：

5.本发明提出了一种姿态表情鲁棒的特征空间解耦妆容迁移方法，以解决在迁移过程中身份信息丢失和妆容风格特征丢失的技术问题。
6.为解决上述技术问题，本发明提供了一种姿态表情鲁棒的特征空间解耦妆容迁移方法，包括以下步骤：
7.步骤s1：构建妆容迁移网络，所述妆容迁移网络包括编码器、空间语义分类器和生成器；
8.所述编码器用于提取无妆容源图像和带妆容参考图像的特征生成特征变量，所述
空间语义分类器用于对所述特征变量进行解耦得到妆容特征和妆容无关特征，所述生成器用于将带妆容参考图像的妆容特征迁移至无妆容源图像生成妆容迁移结果；
9.所述空间语义分类器对特征变量解耦得到妆容特征和妆容无关特征的方法包括：通过自注意力模块捕获人脸结构和妆容风格的对称关系，使所述妆容迁移网络专注于妆容相关区域；通过多个卷积层进行特征提取；特征提取的特征通过sigmoid激活函数以输出属于妆容无关特征的概率图；通过所述概率图和特征变量进行点乘，计算妆容特征和妆容无关特征；
10.步骤s2：通过伪成对数据对所述妆容迁移网络进行训练，通过辨别器进行比对至小于设定阈值，完成所述妆容迁移网络的训练；
11.步骤s3：将无妆容的源图像和带有妆容的参考图像输入所述妆容迁移网络，得到妆容迁移图像。
12.优选地，步骤s1中计算妆容特征sn和妆容无关特征bn的表达式为：
13.bn＝fn⊙
pn14.sn＝fn⊙
(1-pn)
15.式中，fn表示特征变量，pn表示属于妆容无关特征的概率图。
16.优选地，所述妆容迁移网络还包括流场生成器，所述流场生成器用于计算无妆容源图像到带妆容参考图像的流场和带妆容参考图像到无妆容源图像的反向流场，并通过所述流场和反向流场，计算每个像素点的偏移量，完成妆容迁移定位。
17.优选地，计算所述流场和反向流场的方法包括以下步骤：
18.步骤s11：通过含有适应层的编码器提取无妆容源图像和带妆容参考图像的空间特征；
19.步骤s12：通过逐元素相乘的方式计算相似性度量矩阵；
20.步骤s13：基于所述相似性度量矩阵，并通过带核函数的argmax函数，计算任意空间位置的最佳匹配位置；
21.步骤s14：基于所述最佳匹配位置，计算源图像到参考图像的流场和参考图像到源图像的反向流场。
22.优选地，步骤s12中所述相似性度量矩阵的表达式为：
23.s(cn，dm)＝fn(cn)
tfm
(dm)
24.式中，cn表示源图像的任意一个像素点的二维坐标，dm表示参考图像的任意一个像素点的二维坐标，fn(cn)和fm(dm)分别表示位于源图像坐标cn处和参考图像坐标dm处的局部特征变量，s(cn,dm)∈[0,1]表示cn和dm之间的关联程度。
[0025]
优选地，步骤s13中所述最佳匹配位置的表达式为：
[0026][0027][0028]
式中，mc(d)表示匹配概率，d表示所有的坐标对，nc表示相似性度量矩阵的l2归一化版本，β表示离散参数，kc是一个二维高斯核函数。
[0029]
优选地，步骤s14中计算流场wn(c)和反向流场wm(c)的表达式为：
[0030][0031][0032]
式中，c表示源图像任意空间位置，表示c在参考图像中的最佳匹配位置，d表示参考图像任意空间位置，表示d在源图像中的最佳匹配位置。
[0033]
本发明还提供了一种电子设备，包括：存储器、处理器和计算机程序，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法。
[0034]
本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行以实现所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法。
[0035]
本发明的有益效果至少包括：为了解决妆容迁移任务中特征解耦过程中未考虑妆容风格的面部语义分布特征以及未化妆图像与参考图像空间位置不对齐等问题，本发明通过空间语义分类器将提取的特征解耦为妆容特征和妆容无关特征，同时作为附加技术特征，嵌入流场实现像素级的人脸对齐，解决空间位置不对齐导致妆容无法迁移到正确位置的问题，提高了妆容迁移的准确性，在源图像和参考图像姿态表情不一致时，依然可以将妆容渲染至正确位置，同时更好地保留了图像背景等妆容无关信息。
附图说明
[0036]
图1为本发明实施例的妆容迁移网络结构示意图；
[0037]
图2为本发明实施例的空间语义分类器结构示意图；
[0038]
图3为本发明实施例的流场生成器结构示意图；
[0039]
图4为本发明实施例的带流场生成器的网络结构示意图；
[0040]
图5为本发明实施例的妆容迁移结果示意图；
[0041]
图6为本发明实施例的妆容移除结果示意图。
具体实施方式
[0042]
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
[0043]
本发明实施例提供了一种姿态表情鲁棒的特征空间解耦妆容迁移方法，包括以下步骤：
[0044]
步骤s1：构建妆容迁移网络：针对特征解耦过程中未考虑妆容风格面部语义分布特征的问题，即妆容样式重点分布在眼部、唇部、面部及其以内的区域，导致解耦得到的妆容信息并非完全来自于面部区域，同时妆容无关信息中也包含了部分妆容信息，存在特征纠缠现象，从而导致最终生成的图像与参考图像的妆容风格不一致，同时也会改变妆容无关区域，如人物身份特征、姿态和表情、人物背景等，提出了妆容迁移网络，其网络结构如图
1所示，包括编码器、空间语义分类器和生成器。
[0045]
编码器用于提取无妆容源图像和带妆容参考图像的特征生成特征变量，空间语义分类器用于对特征变量进行解耦得到妆容特征和妆容无关特征，生成器用于将带妆容参考图像的妆容特征迁移至无妆容源图像生成妆容迁移结果。
[0046]
在妆容迁移任务中，解耦妆容信息和妆容无关信息是至关重要的一个步骤，妆容信息集中分布于唇部、眼部和面中等重点区域，涵盖唇妆、眼影、腮红和粉底等妆容元素，与之对应，妆容无关信息则涵盖人脸面部结构特征、头部姿势、人物背景等。通过将参考图像的妆容信息与未化妆图像的妆容无关信息进行融合，生成最终的妆容迁移结果。然而，由于现有的利用解耦表示的方法在特征解耦的过程中未考虑妆容风格的面部语义分布特征，导致解耦得到的妆容信息并非完全来自于面部区域，同时妆容无关信息中也包含了部分妆容信息，存在特征纠缠现象，从而导致最终生成的图像与参考图像的妆容风格不一致，同时也会改变妆容无关区域的特征。如何在解耦过程中充分利用妆容风格的面部语义分布特征来更好地解耦妆容信息和妆容无关信息，是提升妆容迁移效果并保护妆容无关区域的关键所在，也是当前妆容迁移研究中亟待解决的难题。
[0047]
因此，本发明实施例中，空间语义分类器对特征变量解耦得到妆容特征和妆容无关特征的方法包括：通过自注意力模块捕获人脸结构和妆容风格的对称关系，使妆容迁移网络专注于妆容相关区域；通过多个卷积层进行特征提取；特征提取的特征通过sigmoid激活函数以输出属于妆容无关特征的概率图；通过概率图和特征变量进行点乘，计算妆容特征和妆容无关特征。
[0048]
具体地，为了捕获妆容样式的面部语义分布信息，进一步区分妆容的相关区域和无关区域，本发明提出了一个可学习的空间语义分类器，由于人脸结构和妆容风格存在显著的对称关系，因此在空间语义分类器c中引入自注意力模块来有效捕获这种关系。通过引入自注意力机制，可以有效地将输入图像的重点放在核心区域，从而使网络更加专注于妆容相关区域，忽视妆容无关区域等非重点信息。空间语义分类器c的具体网络结构如图2所示，fn表示编码器提取的原始图像特征，经过一个自注意力模块和多个卷积层后，最后使用sigmoid函数来输出属于妆容无关特征的概率图pn，pn每一个空间位置上的大小表示fn中与之对应特征属于妆容无关特征的概率。因此将fn与pn点乘得到妆容无关特征bn，将fn与1-pn点乘得到妆容特征s
_
n，公式描述如下：
[0049]bn
＝fn⊙
pn[0050]
sn＝fn⊙
(1-pn)
[0051]
式中，fn表示特征变量，pn表示属于妆容无关特征的概率图。
[0052]
未化妆图像与参考图像空间位置通常是不对齐的，与风格迁移任务不同，妆容风格由多种局部风格组成，如眼影、唇妆、腮红和粉底等。在日常生活场景中，未经化妆的源图像和含有任意妆容元素的参考图像在头部姿势、面部表情等方面通常具有较大变动，这些变动会导致参考图像中的妆容样式在目标图像上位置、尺度和方向等方面发生变化。输入图像空间位置不对齐可能导致妆容样式被迁移到错误的位置，或导致妆容颜色平均化，从而使生成图像的妆容风格在视觉上与参考妆容不一致。此外，表情和姿态的差异也会极大地降低迁移结果的鲁棒性。
[0053]
因此，本发明实施例中为了实现任意位置对齐，使迁移结果更为准确，在妆容迁移
网络中采用了流场生成器，其网络框架如图3所示，流场生成器用于计算无妆容源图像到带妆容参考图像的流场和带妆容参考图像到无妆容源图像的反向流场，并通过流场和反向流场，计算每个像素点的偏移量，利用流场扭曲解耦的妆容特征，从而实现源图像和参考图像之间的像素对齐和准确的妆容迁移，如图4所示。该算法可提高妆容迁移网络的鲁棒性，确保在不同的姿态表情下，妆容都能够正确地迁移到目标位置。
[0054]
具体地，包括以下步骤：
[0055]
步骤s11：通过含有适应层的编码器e
al
提取无妆容源图像和带妆容参考图像的空间特征f。
[0056]
步骤s12：通过逐元素相乘的方式计算相似性度量矩阵。
[0057]
具体地，本发明实施例中输入一对大小为320
×
320的图像，经过特征提取得到一组尺寸大小为20
×
20
×
1024，另一组尺寸大小为20
×
20
×
2048，接着，对于每个空间位置上的局部特征变量，通过逐元素相乘的方式计算得到大小为20
×
20
×
20
×
20的相关性矩阵，以此得到空间位置的相似性度量，公式描述如下：
[0058]
s(cn，dm)＝fn(cn)
tfm
(dm)
[0059]
式中，cn表示源图像的任意一个像素点的二维坐标，dm表示参考图像的任意一个像素点的二维坐标，fn(cn)和fm(dm)分别表示位于源图像坐标cn处和参考图像坐标dm处的局部特征变量，s(cn，dm)∈[0，1]表示cn和dm之间的关联程度。该分数越接近0表示这两个位置之间的关联程度越低，越接近1表示关联程度越高。
[0060]
步骤s13：基于相似性度量矩阵，并通过带核函数的argmax函数，计算任意空间位置的最佳匹配位置。
[0061]
理想情况下，每个空间位置c都能找到一个与之对应的最佳关联空间位置d，因此，对于全部空间位置的特征变量fm(d)与空间位置c的二维相关性矩阵sc(d)＝s(c，d)应用argmax函数来确定最佳匹配。然而，argmax函数是离散的，且不可微分。相比之下，softargmax函数可微，并且可以在亚像素级别上实现细粒度的定位，但它的输出受到所有空间位置的影响，无法实现空间位置的精准匹配，导致匹配的结果存在误差和模糊性。
[0062]
为解决上述问题，本发明实施例引入了一种混合版本的argmax函数，即带核函数的argmax函数。
[0063]
在计算时，对于任意的空间位置c而言，与之最佳匹配的空间位置定义为为所有坐标对d＝(d
x
,dy)的加权平均值，权重由匹配概率mc(d)决定，公式定义如下：
[0064][0065]
匹配概率mc是通过对相似性度量sc的l2归一化版本nc应用空间softmax函数来计算的，公式定义如下：
[0066][0067]
式中，mc(d)表示匹配概率，d表示所有的坐标对，nc表示相似性度量矩阵的l2归一
化版本，β表示离散参数，用于调整softmax函数输出的分布，随着β地增大，softmax函数趋近于具有明显峰值的离散函数，可能会导致训练时的梯度流不稳定。kc是一个二维高斯核函数，通过将argmax操作应用到nc，可以得到kc的中心点。通过使用带核函数的argmax函数，可以定位源图像中任意像素点在参考图像中与之关联程度最高的像素点，同时抑制其他关联程度较低的像素点的关注程度，这有助于减少多模态分布对对应关系的影响，同时保持了匹配概率mc的可微性，这是因为本文不训练高斯核本身，离散的argmax也不传播任何梯度信息。
[0068]
步骤s14：基于最佳匹配位置，计算流场和反向流场。
[0069]
具体地，本发明实施例中流场的定义为：
[0070][0071][0072]
其中表示参考图像中与源图像中c点最为匹配的空间位置，式中，d表示参考图像任意空间位置，表示d在源图像中的最佳匹配位置。
[0073]
wn则表示源图像xn到参考图像ym的流场，同理wm表示参考图像ym到源图像xn的流场。
[0074]
步骤s2：通过伪成对数据对妆容迁移网络进行训练，通过辨别器进行比对至小于设定阈值，完成妆容迁移网络的训练；
[0075]
步骤s3：将无妆容的源图像和带有妆容的参考图像输入妆容迁移网络，得到妆容迁移图像。
[0076]
为了实现姿态表情鲁棒的妆容迁移，将源图像的妆容无关特征变量bn与扭曲后的参考图像妆容特征变量dm在通道维度上进行拼接，融合以生成妆容迁移的结果如图5所示；将参考图像的妆容无特征变量bm与扭曲后的源图像妆容特征变量dn在通道维度上进行拼接，融合以生成妆容移除的结果如图6所示。
[0077]
从图5和图6中可以看出，通过本发明实施例所提供的妆容迁移网络进行妆容迁移，本发明实施例不仅有效地将口红、眼影、腮红、粉底等妆容风格成功地渲染到了无妆容图像中，且更好地保留了图像背景等妆容无关信息。针对未化妆图像与参考图像空间位置不对齐的问题，采用流场生成器进行干预，利用流场描述未化妆图像与参考图像中对应像素点的空间位置移动，实现未化妆图像和参考图像之间的像素对齐和妆容迁移，通过提取源图像和目标图像的空间特征进行特征对齐，建立像素点之间一对一的对应关系，并利用空间位置坐标偏移量将源图像中的妆容特征映射到目标图像中的正确位置上，在源图像和参考图像姿态表情不一致时，依然可以将妆容渲染至正确位置。
[0078]
本发明还提供了一种电子设备，包括：存储器、处理器和计算机程序，计算机程序存储在存储器中，并被配置为由处理器执行以实现上述一种姿态表情鲁棒的特征空间解耦妆容迁移方法。
[0079]
本发明还提供了一种计算机可读存储介质，计算机可读存储介质中存储有计算机程序，计算机程序被处理器执行以实现上述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法。
[0080]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，仅表达了本发明的较佳实施例而已，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0081]
应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：包括以下步骤：步骤s1：构建妆容迁移网络，所述妆容迁移网络包括编码器、空间语义分类器和生成器；所述编码器用于提取无妆容源图像和带妆容参考图像的特征生成特征变量，所述空间语义分类器用于对所述特征变量进行解耦得到妆容特征和妆容无关特征，所述生成器用于将带妆容参考图像的妆容特征迁移至无妆容源图像生成妆容迁移结果；所述空间语义分类器对特征变量解耦得到妆容特征和妆容无关特征的方法包括：通过自注意力模块捕获人脸结构和妆容风格的对称关系，使所述妆容迁移网络专注于妆容相关区域；通过多个卷积层进行特征提取；特征提取的特征通过sigmoid激活函数以输出属于妆容无关特征的概率图；通过所述概率图和特征变量进行点乘，计算妆容特征和妆容无关特征；步骤s2：通过伪成对数据对所述妆容迁移网络进行训练，通过辨别器进行比对至小于设定阈值，完成所述妆容迁移网络的训练；步骤s3：将无妆容的源图像和带有妆容的参考图像输入所述妆容迁移网络，得到妆容迁移图像。2.根据权利要求1所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：步骤s1中计算妆容特征s
n
和妆容无关特征b
n
的表达式为：b
n
＝f
n
⊙
p
n
s
n
＝f
n
⊙
(1-p
n
)式中，f
n
表示特征变量，p
n
表示属于妆容无关特征的概率图。3.根据权利要求1所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：所述妆容迁移网络还包括流场生成器，所述流场生成器用于计算无妆容源图像到带妆容参考图像的流场和带妆容参考图像到无妆容源图像的反向流场，并通过所述流场和反向流场，计算每个像素点的偏移量，完成妆容迁移定位。4.根据权利要求3所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：计算所述流场和反向流场的方法包括以下步骤：步骤s11：通过含有适应层的编码器提取无妆容源图像和带妆容参考图像的空间特征；步骤s12：通过逐元素相乘的方式计算相似性度量矩阵；步骤s13：基于所述相似性度量矩阵，并通过带核函数的argmax函数，计算任意空间位置的最佳匹配位置；步骤s14：基于所述最佳匹配位置，计算源图像到参考图像的流场和参考图像到源图像的反向流场。5.根据权利要求4所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：步骤s12中所述相似性度量矩阵的表达式为：s(c
n
,d
m
)＝f
n
(c
n
)
t
f
m
(d
m
)式中，c
n
表示源图像的任意一个像素点的二维坐标，d
m
表示参考图像的任意一个像素点的二维坐标，f
n
(c
n
)和f
m
(d
m
)分别表示位于源图像坐标c
n
处和参考图像坐标d
m
处的局部特征变量，s(c
n
,d
m
)∈[0,1]表示c
n
和d
m
之间的关联程度。6.根据权利要求4所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在
于：步骤s13中所述最佳匹配位置的表达式为：的表达式为：式中，m
c
(d)表示匹配概率，d表示所有的坐标对，n
c
表示相似性度量矩阵的l2归一化版本，β表示离散参数，k
c
是一个二维高斯核函数。7.根据权利要求6所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法，其特征在于：步骤s14中计算流场w
n
(c)和反向流场w
m
(c)的表达式为：(c)的表达式为：式中，c表示源图像任意空间位置，表示c在参考图像中的最佳匹配位置，d表示参考图像任意空间位置，表示d在源图像中的最佳匹配位置。8.一种电子设备，包括：存储器、处理器和计算机程序，其特征在于：所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现权利要求1至7任一项所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法。9.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至7任一项所述的一种姿态表情鲁棒的特征空间解耦妆容迁移方法。

技术总结
本发明提供了一种姿态表情鲁棒的特征空间解耦妆容迁移方法，构建妆容迁移网络，妆容迁移网络包括编码器、空间语义分类器和生成器；编码器用于提取无妆容源图像和带妆容参考图像的特征生成特征变量，空间语义分类器用于对特征变量进行解耦得到妆容特征和妆容无关特征，生成器用于将带妆容参考图像的妆容特征迁移至无妆容源图像生成妆容迁移结果；通过伪成对数据对妆容迁移网络进行训练，通过辨别器进行比对至小于设定阈值，完成妆容迁移网络的训练；将无妆容的源图像和带有妆容的参考图像输入妆容迁移网络，得到妆容迁移图像。提高了妆容迁移的准确性，同时更好地保留了图像背景等妆容无关信息。等妆容无关信息。等妆容无关信息。


技术研发人员：熊盛武 周晋丽 孙朝阳
受保护的技术使用者：武汉理工大学
技术研发日：2023.06.20
技术公布日：2023/10/8