一种虚拟数字人形原图像集人脸动画模型生成方法与流程

1.本发明涉及数字课程和融合出版领域，具体为一种虚拟数字人形原图像集人脸动画模型生成方法。


背景技术：

2.人脸动画模型指从二维人脸图像出发，合成出该人的表情动画，人脸动画具有广阔的应用前景，可广泛应用在数字课程和融合出版中，数字课程是指将教学内容、教学活动和教学环境有机结合的应用形式，融合出版是针对整个出版的流程而言，它是一个系统工程，需要通过平台，去整合出版队伍、渠道营销、网络销售、读者互动、信息反馈，其实质就是出版所有环节整体的联动，通过人脸图像合成，可提升数字课程和融合出版的生动性，提升二者的呈现效果，但是，在现有的基于二维人像特征的人脸驱动模型中，生成合成视频质量最好的是tpsmm模型，该模型的输入为一张目标人物的二维图片可一段驱动人物的视频，模型将通过计算生成一段目标人物做出和驱动人物相同动作表情的合成视频，现有的模型通过将源图像中各像素按密集运动图谱进行扭曲得到源人物变换到驱动视频中人物动作的特征图，由于动作变换时存在遮挡关系，如将正脸图片扭曲到侧脸时，脸颊部分的像素在正脸图像中无法找到，即侧脸脸颊在正脸图片中被遮挡，因此扭曲得到的特征图并不完整，存在一些缺失区域，导致生成的合成视频会出现明显的失真。


技术实现要素：

3.(一)解决的技术问题
4.针对现有技术的不足，本发明提供了一种虚拟数字人形原图像集人脸动画模型生成方法，解决现有的基于二维图像的人脸驱动模型在驱动视频中人物头部发生较大角度转动时合成视频失真严重的问题。
5.(二)技术方案
6.为实现以上目的，本发明通过以下技术方案予以实现：一种虚拟数字人形原图像集人脸动画模型生成方法，具体包括以下步骤：
7.s1.原始数据获取
8.通过图像采集装置获取多组原始图像及视频数据，通过图像处理软件，将采集的原始数据划分为多个原图像集和驱动视频组；
9.s2.模型训练
10.将采集的多个原图像集和驱动视频组按等比例划分为两组，一组作为训练组，另一组作为对比组，将两组数据输入到resnet18网络和resnet50网络中，对resnet18网络进行关键点提取训练，对resnet50网络进行特征信息提取训练；
11.s3.特征信息提取
12.将需要进行模型生成的原图像集作为目标原图像集进行提取，将提取的原图像集导入到训练后的resnet50网络中，通过resnet50网络对原图像集中人脸图像的欧拉角进行
提取，并通过全连接网络对提取的数据进行回归拟合，得到具体的角度值；
13.s4.特征信息判断
14.将回归拟合得到的具体的角度值输入到头部姿态估计网络中，通过头部姿态估计网络判断原图像中人脸姿态的偏移情况，计算原图像身份信息失真值，判断是否需要注入人物身份特征，如果达到身份信息失真阈值，从原图像集中选取与当前人脸姿态最接近的原图像，将身份信息补充到输出的图像中，如果没有达到身份信息失真阈值，直接将采集的图像进行输出；
15.s5.密集运动场生成
16.通过关键点检测器检测驱动视频中运动最剧烈的像素点作为表征驱动视频运动信息的关键点，通过驱动视频当前帧与驱动视频第一帧中对应关键点之间的位移信息得到稀疏运动场，并同时提取原图像的对应关键点，再利用薄板样条插值根据稀疏运动场估计得到密集运动场，同时估计得到缺失人脸区域，生成掩膜；
17.s6.图像补全
18.根据密集运动场和掩膜对源图像进行像素级的扭曲，得到粗合成帧，通过对掩膜标定的缺失区域利用生成对抗网络进行补全得到最终的合成帧。
19.优选的，所述s1中，图像采集装置包括摄像头，摄像机，相机，扫描仪和其他带有拍照功能的设备。
20.优选的，所述s1中，原图像集为一组姿态彼此间隔15度的图像。
21.优选的，所述s2中，对resnet18网络和resnet50网络采用无监督的训练方法进行训练。
22.优选的，所述s3中，欧拉角由俯仰角，偏航角，滚动角三个角组成。
23.优选的，所述s4中，身份信息失真值通过图像清晰度评价函数进行计算，图像清晰度评价函数公式为
24.优选的，所述s5中，关键点检测器基于resnet18网络实现检测原图像集和驱动视频中人脸的关键点信息。
25.优选的，所述s3中，身份信息补充具体包括以下步骤：
26.s301.通过表情评估网络对源图像集中与驱动视频当前帧中人脸头部位姿最接近的新源图像和当前驱动帧进行表情评估，计算得到表情差；
27.s302.通过头部姿态估计网络对新源图像和当前驱动帧进行姿态评估，计算得到姿态差；
28.s303.将表情差、姿态差和新源图像输入stylegan，利用stylegan生成得到新源图像改变到驱动视频当前帧的表情和姿态的图像。
29.(三)有益效果
30.本发明提供了一种虚拟数字人形原图像集人脸动画模型生成方法。具备以下有益效果：
31.1、本发明提供了一种虚拟数字人形原图像集人脸动画模型生成方法，相较于现有的人脸动画模型生成方法，该人脸动画模型生成方法通过随驱动视频中人物位姿的改变逐步注入源图像集中最近临的源图像的身份特征的方式为人脸驱动模型提供更丰富的源人
物身份信息，将基于单张源图像的二维人脸动画模型的可接受身份失真的偏转角度范围从
±
30度提升至
±
75度，避免进行人脸动画模型生成时因人物头部转动较大引发视频失真，提升该方法整体进行人脸动画模型生成的使用效果，提升其在数字课程和融合出版的展示过程中所呈现的人脸效果，提升二者的生动形象的特性。
32.2、本发明提供了一种虚拟数字人形原图像集人脸动画模型生成方法，相较于现有的人脸动画模型生成方法，该人脸动画模型生成方法通过使用一组姿态彼此间隔15度的源图像集进行人脸动画，并采用头部姿态估计网络判断是否需要注入人物身份特征，使得合成视频中的人物形象是真实目标人物而非目标人物三维近似建模的二维映射，使本模型无需提前对目标人脸进行建模，通过不一次性的将全部源图像的身份信息注入人脸驱动网络，而是在人脸动画过程中随角度变化逐步注入缺失身份信息，提升通过该方法进行人脸动画模型生成时的生成速率，加快该方法整体应用到数字课程和融合出版过程中的工作效率，提升该方法整体的实用性。
具体实施方式
33.下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
34.实施例：
35.本发明实施例提供一种虚拟数字人形原图像集人脸动画模型生成方法，具体包括以下步骤：
36.s1.原始数据获取
37.通过图像采集装置获取多组原始图像及视频数据，通过图像处理软件，将采集的原始数据划分为多个原图像集和驱动视频组，有利于实现该方法进行使用时基本的数据采集功能；
38.s2.模型训练
39.将采集的多个原图像集和驱动视频组按等比例划分为两组，一组作为训练组，另一组作为对比组，将两组数据输入到resnet18网络和resnet50网络中，对resnet18网络进行关键点提取训练，对resnet50网络进行特征信息提取训练，有利于提升该模型整体的使用效果；
40.s3.特征信息提取
41.将需要进行模型生成的原图像集作为目标原图像集进行提取，将提取的原图像集导入到训练后的resnet50网络中，通过resnet50网络对原图像集中人脸图像的欧拉角进行提取，并通过全连接网络对提取的数据进行回归拟合，得到具体的角度值，便于使用者通过该方法对保证合成帧中人物的身份信息相较于目标人物真实值的失真在可接受的范围内；
42.s4.特征信息判断
43.将回归拟合得到的具体的角度值输入到头部姿态估计网络中，通过头部姿态估计网络判断原图像中人脸姿态的偏移情况，计算原图像身份信息失真值，判断是否需要注入人物身份特征，如果达到身份信息失真阈值，从原图像集中选取与当前人脸姿态最接近的
原图像，将身份信息补充到输出的图像中，如果没有达到身份信息失真阈值，直接将采集的图像进行输出，提升输出图像的清晰度；
44.s5.密集运动场生成
45.通过关键点检测器检测驱动视频中运动最剧烈的像素点作为表征驱动视频运动信息的关键点，通过驱动视频当前帧与驱动视频第一帧中对应关键点之间的位移信息得到稀疏运动场，并同时提取原图像的对应关键点，再利用薄板样条插值根据稀疏运动场估计得到密集运动场，同时估计得到缺失人脸区域，生成掩膜，掩膜用于标定出源图像人脸扭曲到目标动作、位置后所缺失的部分，方便下游图像补全模块对人脸进行补全；
46.s6.图像补全
47.根据密集运动场和掩膜对源图像进行像素级的扭曲，得到粗合成帧，通过对掩膜标定的缺失区域利用生成对抗网络进行补全得到最终的合成帧，有利于补全粗略合成帧中掩膜标定的缺失区域。
48.s1中，图像采集装置包括摄像头，摄像机，相机，扫描仪和其他带有拍照功能的设备，便于使用者对原图像进行采集，s1中，原图像集为一组姿态彼此间隔15度的图像，有利于提升输出图像的清晰度，s2中，对resnet18网络和resnet50网络采用无监督的训练方法进行训练，有利于提升训练效果，s3中，欧拉角由俯仰角，偏航角，滚动角三个角组成，s4中，身份信息失真值通过图像清晰度评价函数进行计算，s5中，关键点检测器基于resnet18网络实现检测原图像集和驱动视频中人脸的关键点信息，有利于提升人脸关键点提取的效果，s3中，身份信息补充具体包括以下步骤：
49.s301.通过表情评估网络对源图像集中与驱动视频当前帧中人脸头部位姿最接近的新源图像和当前驱动帧进行表情评估，计算得到表情差；
50.s302.通过头部姿态估计网络对新源图像和当前驱动帧进行姿态评估，计算得到姿态差；
51.s303.将表情差、姿态差和新源图像输入stylegan，利用stylegan生成得到新源图像改变到驱动视频当前帧的表情和姿态的图像，有利于使这个图像同时具备了之前源图像的动作、表情信息和新源图像的身份信息。进而达到将新源图像身份特征信息注入的目的。
52.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：
1.一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于，具体包括以下步骤：s1.原始数据获取通过图像采集装置获取多组原始图像及视频数据，通过图像处理软件，将采集的原始数据划分为多个原图像集和驱动视频组；s2.模型训练将采集的多个原图像集和驱动视频组按等比例划分为两组，一组作为训练组，另一组作为对比组，将两组数据输入到resnet18网络和resnet50网络中，对resnet18网络进行关键点提取训练，对resnet50网络进行特征信息提取训练；s3.特征信息提取将需要进行模型生成的原图像集作为目标原图像集进行提取，将提取的原图像集导入到训练后的resnet50网络中，通过resnet50网络对原图像集中人脸图像的欧拉角进行提取，并通过全连接网络对提取的数据进行回归拟合，得到具体的角度值；s4.特征信息判断将回归拟合得到的具体的角度值输入到头部姿态估计网络中，通过头部姿态估计网络判断原图像中人脸姿态的偏移情况，计算原图像身份信息失真值，判断是否需要注入人物身份特征，如果达到身份信息失真阈值，从原图像集中选取与当前人脸姿态最接近的原图像，将身份信息补充到输出的图像中，如果没有达到身份信息失真阈值，直接将采集的图像进行输出；s5.密集运动场生成通过关键点检测器检测驱动视频中运动最剧烈的像素点作为表征驱动视频运动信息的关键点，通过驱动视频当前帧与驱动视频第一帧中对应关键点之间的位移信息得到稀疏运动场，并同时提取原图像的对应关键点，再利用薄板样条插值根据稀疏运动场估计得到密集运动场，同时估计得到缺失人脸区域，生成掩膜；s6.图像补全根据密集运动场和掩膜对源图像进行像素级的扭曲，得到粗合成帧，通过对掩膜标定的缺失区域利用生成对抗网络进行补全得到最终的合成帧。2.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s1中，图像采集装置包括摄像头，摄像机，相机，扫描仪和其他带有拍照功能的设备。3.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s1中，原图像集为一组姿态彼此间隔15度的图像。4.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s2中，对resnet18网络和resnet50网络采用无监督的训练方法进行训练。5.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s3中，欧拉角由俯仰角，偏航角，滚动角三个角组成。6.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s4中，身份信息失真值通过图像清晰度评价函数进行计算，图像清晰度评价函数
公式为7.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于：所述s5中，关键点检测器基于resnet18网络实现检测原图像集和驱动视频中人脸的关键点信息。8.根据权利要求1所述的一种虚拟数字人形原图像集人脸动画模型生成方法，其特征在于，所述s3中，身份信息补充具体包括以下步骤：s301.通过表情评估网络对源图像集中与驱动视频当前帧中人脸头部位姿最接近的新源图像和当前驱动帧进行表情评估，计算得到表情差；s302.通过头部姿态估计网络对新源图像和当前驱动帧进行姿态评估，计算得到姿态差；s303.将表情差、姿态差和新源图像输入stylegan，利用stylegan生成得到新源图像改变到驱动视频当前帧的表情和姿态的图像。

技术总结
本发明提供一种虚拟数字人形原图像集人脸动画模型生成方法，涉及数字课程和融合出版领域。该虚拟数字人形原图像集人脸动画模型生成方法，具体包括以下步骤，S1.原始数据获取，S2.模型训练，S3.特征信息提取，S4.特征信息判断，S5.密集运动场生成，S6.图像补全。通过随驱动视频中人物位姿的改变逐步注入源图像集中最近临的源图像的身份特征的方式为人脸驱动模型提供更丰富的源人物身份信息，将基于单张源图像的二维人脸动画模型的可接受身份失真的偏转角度范围从


技术研发人员：陈建文 王文一 朱翌帆 梅渊宗 白树伟
受保护的技术使用者：四川萃雅教育科技有限公司
技术研发日：2023.05.29
技术公布日：2023/8/16