基于深度学习的三维人脸重构方法、系统、设备及介质与流程

1.本发明涉及三维人脸重构
技术领域：
：，尤其是涉及一种基于深度学习的三维人脸重构方法、系统、设备及介质。
背景技术：
：：2.传统三维人脸重构工作中虽然能重构出三维人脸结构模型，但整体的生产周期很长，效率很低。在基于神经网络的技术方法中，由于目前制作对应训练数据集的成本较高，导致训练集大多为低分辨率且都为欧美人，因此训练出的网络模型对亚洲人的人脸鲁棒性不高，加上该技术中使用的是resnet-50作为backbone网络对二维人脸照片进行特征提取，网络层次较为简单且没有使用辅助训练方法，造成人脸细节性特征丢失，使得重构出的三维人脸模型的表情看起来很生硬，三维人脸重构精确度低。技术实现要素：3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于深度学习的三维人脸重构方法、系统、设备及介质，能够提高三维人脸重构精确度。4.第一方面，本发明实施例提供了一种基于深度学习的三维人脸重构方法，所述基于深度学习的三维人脸重构方法包括：5.获取二维人脸图像；6.将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；7.将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；8.将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；9.根据所述带有细节特征的三维重构人脸，获得重构三维人脸。10.与现有技术相比，本发明第一方面具有以下有益效果：11.本方法通过获取二维人脸图像，将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数，其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得，细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征，通过基于老师网络和学生网络训练细节模型参数编解码器网络，能够提高训练效果；将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸，根据带有细节特征的三维重构人脸，获得重构三维人脸，通过将细节特征参数融入粗略三维重构人脸中，根据带有细节特征的三维重构人脸自动生成三维重构人脸，能够提高三维人脸重构精确度，并且生产周期短，效率高，成本低。12.根据本发明的一些实施例，所述细节模型参数编解码器网络包括特征提取层和中间层，在所述中间层中加入eca-block模块，所述细节模型参数编解码器网络的训练过程包括：13.获取二维人脸图像样本集；14.采用pgd对抗网络在所述二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；15.将所述二维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络的特征提取层；16.根据所述二维人脸图像样本和所述二维人脸图像对抗样本，获得联合损失目标函数；17.根据所述联合损失目标函数进行剃度回归，并通过tckd知识蒸馏方法训练加入所述eca-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。18.根据本发明的一些实施例，所述tckd知识蒸馏方法中的kl散度损失计算公式为：[0019][0020]其中，表示老师网络输出的结果向量，表示学生网络输出的结果向量，tckd表示kl散度损失。[0021]根据本发明的一些实施例，通过如下公式获得所述联合损失目标函数：[0022][0023]其中，e表示所述细节模型参数编解码器网络训练的总期望，d表示所有训练样本，x表示单批次采样原始样本，y表示原始样本对应的标签，l表示损失函数，s表示当前批次原始样本进入对抗样本生成网络后产生的噪音总分布，ε表示单批次采样噪音数据样本，x+ε表示单批次采样对抗样本。[0024]根据本发明的一些实施例，在将所述二维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络之后，所述基于深度学习的三维人脸重构方法还包括：[0025]在所述二维人脸图像样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用批归一化处理；[0026]在所述二维人脸图像对抗样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用auxiliary-bn处理。[0027]根据本发明的一些实施例，在将所述eca-block模块加入至所述细节模型参数编解码器网络的中间层之后，所述基于深度学习的三维人脸重构方法还包括：[0028]通过所述eca-block模块每次进行多个一维卷积操作，并通过如下公式计算操作所述一维卷积的数量：[0029][0030]其中，k表示一维卷积的数量，c表示eca-block的通道数量，b和γ表示超参数。[0031]根据本发明的一些实施例，所述粗略特征参数包括照相机参数、反照率参数、照明参数、面部特征参数、姿态参数和表情参数。[0032]第二方面，本发明实施例还提供了一种基于深度学习的三维人脸重构系统，所述基于深度学习的三维人脸重构系统包括：[0033]人脸图像获取单元，用于获取二维人脸图像；[0034]第一人脸重构单元，用于将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；[0035]特征参数获取单元，用于将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；[0036]细节特征融合单元，用于将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；[0037]第二人脸重构单元，用于根据所述带有细节特征的三维重构人脸，获得重构三维人脸。[0038]第三方面，本发明实施例还提供了一种基于深度学习的三维人脸重构设备，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如上所述的一种基于深度学习的三维人脸重构方法。[0039]第四方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如上所述的一种基于深度学习的三维人脸重构方法。[0040]可以理解的是，上述第二方面至第四方面与相关技术相比存在的有益效果与上述第一方面与相关技术相比存在的有益效果相同，可以参见上述第一方面中的相关描述，在此不再赘述。附图说明[0041]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：[0042]图1是本发明一实施例的一种基于深度学习的三维人脸重构方法的流程图；[0043]图2是本发明另一实施例的一种基于深度学习的三维人脸重构方法的流程图；[0044]图3是本发明一实施例的常规网络训练层的结构示意图；[0045]图4是本发明一实施例的本实施例训练层的结构示意图；[0046]图5是本发明一实施例的一种基于深度学习的三维人脸重构系统的结构图。具体实施方式[0047]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。[0048]在本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。[0049]在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。[0050]本发明的描述中，需要说明的是，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属
技术领域：
：技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。[0051]传统三维人脸重构工作中虽然能重构出三维人脸结构模型，但整体的生产周期很长，效率很低。在基于神经网络的技术方法中，由于目前制作对应训练数据集的成本较高，导致训练集大多为低分辨率且都为欧美人，因此训练出的网络模型对亚洲人的人脸鲁棒性不高，加上该技术中使用的是resnet-50作为backbone网络对二维人脸照片进行特征提取，网络层次较为简单且没有使用辅助训练方法，造成人脸细节性特征丢失，使得重构出的三维人脸模型的表情看起来很生硬，三维人脸重构精确度低。[0052]为了解决上述问题，本发明通过获取二维人脸图像，将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数，其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得，细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征，通过基于老师网络和学生网络训练细节模型参数编解码器网络，能够提高训练效果；将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸，根据带有细节特征的三维重构人脸，获得重构三维人脸，通过将细节特征参数融入粗略三维重构人脸中，根据带有细节特征的三维重构人脸自动生成三维重构人脸，能够提高三维人脸重构精确度，并且生产周期短，效率高，成本低。[0053]参照图1，本发明实施例提供了一种基于深度学习的三维人脸重构方法，本基于深度学习的三维人脸重构方法包括但不限于步骤s100至步骤s500，其中：[0054]步骤s100、获取二维人脸图像；[0055]步骤s200、将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；[0056]步骤s300、将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；[0057]步骤s400、将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸；[0058]步骤s500、根据带有细节特征的三维重构人脸，获得重构三维人脸。[0059]在一些实施例的步骤s100至步骤s500中，为了能够提高训练效果，本实施例通过获取二维人脸图像，将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数，其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得，细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；为了提高三维人脸重构精确度，本实施例通过将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸，根据带有细节特征的三维重构人脸，获得重构三维人脸。[0060]在一些实施例中，细节模型参数编解码器网络包括特征提取层和中间层，在中间层中加入eca-block模块，细节模型参数编解码器网络的训练过程包括：[0061]获取二维人脸图像样本集；[0062]采用pgd对抗网络在二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；[0063]将二维人脸图像样本和二维人脸图像对抗样本输入至细节模型参数编解码器网络的特征提取层；[0064]根据二维人脸图像样本和二维人脸图像对抗样本，获得联合损失目标函数；[0065]根据联合损失目标函数进行剃度回归，并通过tckd知识蒸馏方法训练加入eca-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。[0066]在本实施例中，通过加入二维人脸图像对抗样本，并使用联合损失目标函数进行剃度回归，能够显著增加细节模型参数编解码器网络的鲁棒性和泛化能力；通过加入eca-block模块，在参数量没有明显增加的情况下，能够使细节模型参数编解码器网络具有很好的特征抽取能力；通过tckd知识蒸馏方法进行训练，能够提高三维人脸重构精确度。[0067]在一些实施例中，tckd知识蒸馏方法中的kl散度损失计算公式为：[0068][0069]其中，表示老师网络输出的结果向量，表示学生网络输出的结果向量，tckd表示kl散度损失。[0070]在一些实施例中，通过如下公式获得联合损失目标函数：[0071][0072]其中，e表示细节模型参数编解码器网络训练的总期望，d表示所有训练样本，x表示单批次采样原始样本，y表示原始样本对应的标签，l表示损失函数，s表示当前批次原始样本进入对抗样本生成网络后产生的噪音总分布，ε表示单批次采样噪音数据样本，x+ε表示单批次采样对抗样本。[0073]在一些实施例中，在将二维人脸图像样本和二维人脸图像对抗样本输入至细节模型参数编解码器网络之后，基于深度学习的三维人脸重构方法还包括：[0074]在二维人脸图像样本经过细节模型参数编解码器中特征提取层的最后一层卷积后，采用批归一化处理；[0075]在二维人脸图像对抗样本经过细节模型参数编解码器中特征提取层的最后一层卷积后，采用auxiliary-bn处理。[0076]在本实施例中，通过批归一化和auxiliary-bn分别对二维人脸图像样本和二维人脸图像对抗样本进行处理，能够提高细节模型参数编解码器网络的训练效果。[0077]在一些实施例中，在将eca-block模块加入至细节模型参数编解码器网络的中间层之后，基于深度学习的三维人脸重构方法还包括：[0078]通过eca-block模块每次进行多个一维卷积操作，并通过如下公式计算操作一维卷积的数量：[0079][0080]其中，k表示一维卷积的数量，c表示eca-block的通道数量，b和γ表示超参数。[0081]在一些实施例中，粗略特征参数包括照相机参数、反照率参数、照明参数、面部特征参数、姿态参数和表情参数。[0082]为方便本领域人员理解，以下提供一组最佳实施例：[0083]参照图2，通过如下方式获得完整的重构三维人脸：[0084]1.将二维人脸图像分别输入到粗略模型参数编码器和细节模型参数编解码器网络中；[0085]2.通过粗略模型参数编码器输出c照相机参数、α反照率参数、l照明参数、β面部特征参数、θ姿态参数以及φ表情参数；[0086]3.通过训练好的细节模型参数编解码器网络输出e细节特征参数；其中，e细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；其中，通过如下方式获得训练好的细节模型参数编解码器网络：[0087]获取二维人脸图像样本集；采用pgd对抗网络在二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；将二维人脸图像样本和二维人脸图像对抗样本输入至原始的细节模型参数编解码器网络的特征提取层；根据二维人脸图像样本和二维人脸图像对抗样本，获得联合损失目标函数；根据联合损失目标函数进行剃度回归，并通过tckd知识蒸馏方法训练加入eca-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。[0088]4.将α反照率参数经由uv解码器形成当前uv分布图；[0089]5.将β面部特征参数、θ姿态参数和φ表情参数经由flame人脸重构网络形成粗略三维重构人脸；[0090]6.通过特征融合器将e细节表情特征参数融入粗略三维重构人脸中共同形成带有细节性特征的三维重构人脸；[0091]7.将带有细节性特征的三维重构人脸、l照明参数、c照相机参数、uv分布图输入至可微渲染器中，输出完整的重构三维人脸。其中：[0092]c照相机参数：主要由s和t两个特征参数构成；其中s参数代表三维人脸材质的各向同性度量值，t参数代表二维到三维的映射平移值，c照相机参数的作用是将2d图片的人脸参数映射到3d人脸材质模型上；α反照率参数的作用是生成适用于3d人脸模型的uv贴图(uv贴图可以理解为皮肤)；i照明参数的作用是对2d图片进行光影分析，提取光照估计度以下是flame模型所需的特定参数；β面部特征参数是人脸面部的整体形状(可以理解为是瓜子脸还是圆脸)；θ姿势参数是人脸面部的具体关节点参数(可以理解为上颈部、下颌、眼球)；φ表情参数是人脸面部的五官分布位置及粗略的五官形变表达(例如，笑、哭、平静)；e细节特征参数(中频表面细节)是这个参数跟以上的参数是同级分类，都是提取出来的特征值，该参数具体作用是提取的人脸面部五官形变细节、皮肤褶皱特征表达(详细的表情表达，例如大笑、微笑、大哭、小哭)转换为多维向量来进行计算、训练。[0093]在获得训练好的细节模型参数编解码器网络的过程中，在原始的细节模型参数编解码器网络中加入对抗性样本进行训练，具体为：[0094]参照图3至图4，二维人脸图像样本经过基础数据处理后送入到细节模型参数编解码器网络中进行训练，常规网络的训练层如图3，数据经过卷积(conv)后，再进行bn(批次归一化)层处理，而本实施例的细节模型参数编解码器网络中则采用如图4，首先采用pgd对抗网络在二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本x_adv，将二维人脸图像对抗样本x_adv和二维人脸图像样本x_ori分别送入到细节模型参数编解码器网络中，经过最后一层卷积(conv)后，会经过不同的bn(批次归一化)层处理，即在二维人脸图像样本经过细节模型参数编解码器中特征提取层的最后一层卷积后采用批归一化处理，在二维人脸图像对抗样本经过细节模型参数编解码器中特征提取层的最后一层卷积后采用auxiliary-bn处理，最后将对抗样本损失和原始样本损失进行联合损失计算。具体训练步骤为：[0095]1.从二维人脸图像样本集中采样batch二维人脸图像样本x1以及对应的标签y；[0096]2.根据噪音生成算法(pgd算法)生成二维人脸图像对抗样本x2；[0097]3.计算经过普通的bn层处理的损失l1(θ，x1，y)；[0098]4.计算经过额外的auxiliary-bn层处理的损失l2(θ，x2，y)；[0099]5.计算获得联合损失目标函数l1(θ，x1，y)+l2(θ，x2，y)，根据联合损失目标函数进行剃度回归，并更新θ参数。[0100]需要说明的是，粗略模型参数编码器和原始的细节模型参数编解码器网络可参照文献“fengy,fengh,blackmj,etal.learningananimatabledetailed3dfacemodelfromin-the-wildimages[j].2020”，本实施例不做具体描述。[0101]在本实施例中，通过加入二维人脸图像对抗样本，并使用联合损失目标函数进行剃度回归，能够显著增加细节模型参数编解码器网络的鲁棒性和泛化能力。[0102]将eca-block模块加入细节模型参数编解码器网络中的中间层，取消传统se-block中的降维操作，每次只进行k数量一维卷积操作。其中k的取值为与层通道数映射的非线性关系，计算公式如下：[0103][0104]通过大量实验得出，适合本实施例数据环境的γ＝2，b＝0.5。[0105]在本实施例中，在参数量没有明显增加的情况下，将eca-block模块加入细节模型参数编解码器网络中，能够使细节模型参数编解码器网络具有很好的特征抽取能力。[0106]由于本实施例中加入了对抗样本(对当前批次数据加入梯度噪音)进行训练，数据集拟合难度整体变高，而tckd蒸馏方法在训练数据拟合难度变高时，能有效的传递有关样本拟合难度的知识，所以在本实施例的训练中使用tckd蒸馏算法，其中老师网络选择resnet-101模型，学生网络选择resnet-50模型，同时本实施例只在学生网络当中进行对抗样本的辅助训练。采用tckd知识蒸馏方法训练加入eca-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。具体为：[0107]使用老师网络和学生网络的输出结果计算kl散度损失，从而实现特征知识的传递，利用老师网络学到的知识帮助学生网络来进行特征知识的收敛。由于本实施例采用的是回归算法，用的是单向正样本向量，因此，本实施例的kl散度损失计算公式为：[0108][0109]其中，表示老师网络输出的结果向量，表示学生网络输出的结果向量，tckd表示kl散度损失。[0110]在本实施例中，通过tckd知识蒸馏方法进行训练，能够提高三维人脸重构精确度。[0111]参照图5，本发明实施例还提供了一种基于深度学习的三维人脸重构系统，本基于深度学习的三维人脸重构系统包括人脸图像获取单元100、第一人脸重构单元200、特征参数获取单元300、细节特征融合单元400和第二人脸重构单元500，其中：[0112]人脸图像获取单元100，用于获取二维人脸图像；[0113]第一人脸重构单元200，用于将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；[0114]特征参数获取单元300，用于将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；[0115]细节特征融合单元400，用于将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸；[0116]第二人脸重构单元500，用于根据带有细节特征的三维重构人脸，获得重构三维人脸。[0117]需要说明的是，由于本实施例中的一种基于深度学习的三维人脸重构系统与上述的一种基于深度学习的三维人脸重构方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。[0118]本发明实施例还提供了一种基于深度学习的三维人脸重构设备，包括：至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器。[0119]存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。[0120]实现上述实施例的一种基于深度学习的三维人脸重构方法所需的非暂态软件程序以及指令存储在存储器中，当被处理器执行时，执行上述实施例中的一种基于深度学习的三维人脸重构方法，例如，执行以上描述的图1中的方法步骤s100至步骤s500。[0121]以上所描述的系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。[0122]本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的一种基于深度学习的三维人脸重构方法，例如，执行以上描述的图1中的方法步骤s100至步骤s500的功能。[0123]本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。[0124]以上是对本技术实施例的较佳实施进行了具体说明，但本技术实施例并不局限于上述实施方式，熟悉本领域的技术人员在不违背本技术实施例精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本技术实施例权利要求所限定的范围内。当前第1页12当前第1页12
技术特征：
1.一种基于深度学习的三维人脸重构方法，其特征在于，所述基于深度学习的三维人脸重构方法包括：获取二维人脸图像；将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；根据所述带有细节特征的三维重构人脸，获得重构三维人脸。2.根据权利要求1所述的基于深度学习的三维人脸重构方法，其特征在于，所述细节模型参数编解码器网络包括特征提取层和中间层，在所述中间层中加入eca-block模块，所述细节模型参数编解码器网络的训练过程包括：获取二维人脸图像样本集；采用pgd对抗网络在所述二维人脸图像样本上加入噪声干扰，获得二维人脸图像对抗样本；将所述二维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络的特征提取层；根据所述二维人脸图像样本和所述二维人脸图像对抗样本，获得联合损失目标函数；根据所述联合损失目标函数进行剃度回归，并通过tckd知识蒸馏方法训练加入所述eca-block模块后的细节模型参数编解码器网络，获得训练好的细节模型参数编解码器网络。3.根据权利要求2所述的基于深度学习的三维人脸重构方法，其特征在于，所述tckd知识蒸馏方法中的kl散度损失计算公式为：其中，表示老师网络输出的结果向量，表示学生网络输出的结果向量，tckd表示kl散度损失。4.根据权利要求3所述的基于深度学习的三维人脸重构方法，其特征在于，通过如下公式获得所述联合损失目标函数：其中，e表示所述细节模型参数编解码器网络训练的总期望，d表示所有训练样本，x表示单批次采样原始样本，y表示原始样本对应的标签，l表示损失函数，s表示当前批次原始样本进入对抗样本生成网络后产生的噪音总分布，ε表示单批次采样噪音数据样本，x+ε表示单批次采样对抗样本。5.根据权利要求4所述的基于深度学习的三维人脸重构方法，其特征在于，在将所述二
维人脸图像样本和所述二维人脸图像对抗样本输入至所述细节模型参数编解码器网络之后，所述基于深度学习的三维人脸重构方法还包括：在所述二维人脸图像样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用批归一化处理；在所述二维人脸图像对抗样本经过所述细节模型参数编解码器中特征提取层的最后一层卷积后，采用auxiliary-bn处理。6.根据权利要求2所述的基于深度学习的三维人脸重构方法，其特征在于，在将所述e ca-block模块加入至所述细节模型参数编解码器网络的中间层之后，所述基于深度学习的三维人脸重构方法还包括：通过所述eca-block模块每次进行多个一维卷积操作，并通过如下公式计算操作所述一维卷积的数量：其中，k表示一维卷积的数量，c表示eca-block的通道数量，b和γ表示超参数。7.根据权利要求1所述的基于深度学习的三维人脸重构方法，其特征在于，所述粗略特征参数包括照相机参数、反照率参数、照明参数、面部特征参数、姿态参数和表情参数。8.一种基于深度学习的三维人脸重构系统，其特征在于，所述基于深度学习的三维人脸重构系统包括：人脸图像获取单元，用于获取二维人脸图像；第一人脸重构单元，用于将所述二维人脸图像输入至粗略模型参数编码器，获得所述粗略模型参数编码器输出的粗略特征参数，并根据所述粗略特征参数，获得粗略三维重构人脸；特征参数获取单元，用于将所述二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，所述细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；所述细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；细节特征融合单元，用于将所述细节特征参数融入所述粗略三维重构人脸中，获得带有细节特征的三维重构人脸；第二人脸重构单元，用于根据所述带有细节特征的三维重构人脸，获得重构三维人脸。9.一种基于深度学习的三维人脸重构设备，其特征在于，包括至少一个控制处理器和用于与所述至少一个控制处理器通信连接的存储器；所述存储器存储有可被所述至少一个控制处理器执行的指令，所述指令被所述至少一个控制处理器执行，以使所述至少一个控制处理器能够执行如权利要求1至7任一项所述的基于深度学习的三维人脸重构方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1至7任一项所述的基于深度学习的三维人脸重构方法。

技术总结
本发明公开了一种基于深度学习的三维人脸重构方法、系统、设备及介质，本方法通过将二维人脸图像输入至粗略模型参数编码器，获得粗略模型参数编码器输出的粗略特征参数，并根据粗略特征参数，获得粗略三维重构人脸；将二维人脸图像输入至训练好的细节模型参数编解码器网络，获得细节特征参数；其中，细节模型参数编解码器网络基于老师网络和学生网络通过二维人脸图像对抗样本和二维人脸图像样本集训练获得；细节特征参数包括表情特征、皮肤褶皱特征、五官细节纹理特征；将细节特征参数融入粗略三维重构人脸中，获得带有细节特征的三维重构人脸；根据带有细节特征的三维重构人脸，获得重构三维人脸。本发明能够提高三维人脸重构精确度。构精确度。构精确度。


技术研发人员：欧阳霁 周瑜 李鑫 蒋至朗 刘栋 刘强
受保护的技术使用者：湖南芒果无际科技有限公司
技术研发日：2023.02.23
技术公布日：2023/8/23