基于生成模型的人脸渲染方法和装置与流程

1.本技术涉及计算机图像处理领域，具体涉及基于生成模型的人脸渲染方法和装置。


背景技术：

2.人脸渲染是通过计算的方式将三维人脸模型网格呈现出二维真实感高的图像。人脸渲染被广泛地应用在3d游戏、影视作品、虚拟人直播、虚拟现实等领域中。传统的图形学渲染主要通过光栅化或光学追踪等复杂的算法来完成，根据不同的场景和要求，需要手动调整算法参数来达到理想效果。人脸渲染的真实性同时也取决于3d引擎的好坏。当前主流的基于计算机图形学的建模方法，例如基于通用模型3dmm，candid-3的方法，存在对于人脸毛发，瞳孔，皮肤纹理等细节建模较差的问题，不仅较难满足当下人们对于3d场景真实化体验的需求，而且由于其需要手动调整复杂的参数设置，极大降低了用户体验。
3.目前可以解决以上人脸建模问题的方法是利用精密设备（例如三维扫描仪）来全方位捕捉人脸细节特征，将其精准还原到三维空间。但此种方法不仅价格高昂，且针对不同人物皆需要重新扫描，无法大批量生产，应用范围较窄。
4.因此，需要提供一种能够方便高效地改善3d引擎对人脸的渲染效果的方法。


技术实现要素：

5.有鉴于此，本技术提供了一种基于生成模型的人脸渲染方法和装置，用于解决现有技术中的上述技术问题。
6.根据本技术的一个方面，提供了一种基于生成模型的人脸渲染方法，该方法包括：s1，获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；s2，根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；s3，利用经修复的人脸视频帧替换原始人脸视频帧，生成包括人脸的3d视频，其中，所述渲染辅助信息包括目标效果人脸纹理图像。
7.根据本技术的一些实施例，渲染辅助信息还包括人脸深度信息和/或光照信息。
8.根据本技术的一些实施例，人脸深度信息包括渲染管线的深度缓冲数据，光照信息包括光源的位置、强度和/或颜色信息。
9.根据本技术的一些实施例，步骤s2包括：s21，从原始人脸视频帧中提取原始人脸图像；s22，将原始人脸图像和渲染辅助信息输入所述人脸修复生成模型，获得经修复的人脸图像；s23，利用经修复的人脸图像替换原始人脸视频帧中的原始人脸图像，获得经修复的人脸视频帧。
10.根据本技术的一些实施例，所述方法包括，针对染管线生成的每个原始人脸视频帧依次执行步骤s2。
11.根据本技术的一些实施例，人脸修复生成模型包括：外形编码器，用于对输入的原始人脸图像进行编码；以及纹理编码器，用于对输入的目标效果人脸纹理图像进行编码。
12.根据本技术的一些实施例，人脸修复生成模型还包括：深度信息编码器，用于对输入的人脸深度信息进行编码；和/或光照信息编码器，用于对输入的光照信息进行编码。
13.根据本技术的一方面，提供了一种基于生成模型的人脸渲染装置，该装置包括：获取单元，用于获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；修复单元，用于根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；替换单元，用于利用经修复的人脸视频帧替换原始人脸视频帧，获得包括人脸的3d视频，其中，渲染辅助信息包括目标效果人脸纹理图像。
14.根据本技术的一方面，提供了一种电子设备，该电子设备包括：一个或多个处理器；存储器，其用于存储可执行指令；所述一个或多个处理器被配置为经由所述可执行指令来实现以上描述的方法。
15.根据本技术的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行以上描述的方法。
16.根据本技术实施例的基于生成模型的人脸渲染方法和装置在3d引擎的渲染管线生成人脸视频帧后进行后续修复处理，从而在不改变现有3d引擎的3d模型的情况下改善3d引擎输出的3d视频中人脸的渲染效果。
附图说明
17.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，但并不构成对本技术技术方案的限制。
18.图1示出了本技术示例性实施例所提供的基于生成模型的人脸渲染方法的流程图；图2示出了本技术示例性实施例所提供的人脸修复生成模型的结构示意图；图3示出了本技术示例性实施例中未经修复的人脸视频帧的示例图；图4示出了本技术示例性实施例中经修复的人脸视频帧的示例图；图5示出了本技术示例性实施例所提供的基于生成模型的人脸渲染装置的结构框图；图6示出了本技术示例性实施例所提供的电子设备的结构框图。
具体实施方式
19.下面将参照附图来详细描述本技术的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本技术及其应用或使用的任何限制。本技术可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本技术透彻且完整，并且向本领域技术人员充分表达本技术的范围。
20.除非上下文另外明确地表明，如果未特意限定要素的数量，则该要素可以是一个也可以是多个。如本说明书使用的，术语“多个/若干/这些”意指两个或更多，并且术语“基于/根据”应解释为“至少部分地基于/根据”。此外，术语“和/或”以及
“…
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
21.本技术实施例提供的人脸渲染方法利用生成模型对3d引擎的渲染管线生成的人脸视频帧进行修复，从而在不改变3d引擎的情况下提高3d引擎生成的视频中的人脸的渲染效果。
22.参考图1，其示出了本技术示例性实施例所提供的基于生成模型的人脸渲染方法的流程图。如图1所示，本技术示例性实施例所提供的基于生成模型的人脸渲染方法包括：s1，获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；s2：根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；s3：利用经修复的人脸视频帧替换原始人脸视频帧，生成包括人脸的3d视频。
23.在步骤s1中，获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息。3d引擎可以是现有的常规3d引擎。3d引擎的渲染管线能够对人脸进行渲染以生成包括人脸图像的视频帧（即人脸视频帧）。由于3d引擎的渲染管线的渲染能力有限，渲染管线的输出是低质量的人脸渲染图像（例如简化或卡通版的人脸渲染图像），低质量的人脸渲染图像的渲染效果与目标效果的形状（geometry）和纹理（texture）相差较大。低质量人脸渲染图可以理解为利用低质量人脸模型和低质量纹理图所渲染的人脸图像。
24.在渲染管线对人脸进行渲染时所使用的渲染辅助信息包括例如目标效果人脸纹理图像。目标效果人脸纹理图像是指渲染管线中用作纹理贴图时使用的人脸纹理图原图，此纹理图像应是高质量的图像。应当理解，此图像是渲染管线的输入之一而不是渲染后的纹理图。在一些实施例中，渲染辅助信息还可以进一步包括人脸深度信息和/或光照信息等。人脸深度信息（或人脸深度图）指渲染管线的深度缓冲数据（depth buffer），用于表示物体的深度信息。光照信息是指渲染管线中用于计算光照的信息，如光源的位置、强度、颜色等信息。渲染辅助信息可以指导人脸修复生成模型对渲染管线生成的人脸视频帧进行修复，以便改善了3d视频中的人脸渲染效果。
25.在步骤s2中，根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧。可以针对每个原始人脸视频帧依次执行步骤s2，以便对每个原始人脸视频帧进行修复，从而得到每个原始人脸视频帧对应的经修复的人脸视频帧。在一些实施例中，可以仅针对部分原始人脸视频帧（例如重点帧）进行修复而不必对每个原始人脸视频帧进行修复，从而降低人脸图像修复所需要的资源消耗，改善本技术实施例提
供的方法的执行效率。
26.本技术实施例中的人脸修复生成模型利用生成对抗网络强大的模拟真实图片细节特征的能力来生成对应的人脸图片。生成对抗网络由生成器和判别器两部分组成，通过训练生成器生成虚假图片，判别器学习如何分辨虚假图片和给定数据集的真实图片并给予生成器负反馈，网络可以在这种对抗训练中逐渐学会如何模拟真实图片的细节与特征，达到以假乱真的效果。人脸修复生成模型因此能够将图像缺损或质量较差的人脸图像修复成完整且高质量的人脸图像。
27.在步骤s2中使用了步骤s1中获取的渲染辅助信息，用于辅助人脸修复生成模型对原始人脸视频帧进行修复。渲染辅助信息包括例如目标效果人脸纹理图像、人脸深度图以及光照信息等。目标效果人脸纹理图像可以给人脸修复生成模型提供指引，引导人脸修复生成模型生成想要的纹理细节，例如低质量渲染图中缺失的斑点、皱纹、毛孔等细节。人脸深度信息可以提供人脸渲染图的三维信息，从而辅助人脸修复生成模型生成立体度更好的高质量人脸图像。另外，由于人脸纹理图像通常是没有经过光照算法处理的人脸，光照信息可以辅助人脸修复生成模型生成光照更符合渲染目标要求的人脸图像。
28.根据本技术实施例的人脸修复生成模型按功能包括编码器和生成器。编码器用于提取人脸特征并对其进行编码，生成器利用编码器提取的特征进行人脸的重建以及修复。根据本技术实施例的人脸修复生成模型可以包括多个编码器以及与多个编码器连接的生成器，每个编码器负责编码一种输入类型。在图2示出的人脸修复生成模型中包括两个编码器，一个编码器用于对输入的低质量渲染人脸图像（即原始人脸图像）进行编码，另一个编码器用于对目标人脸纹理图像进行编码。两个编码器将提取的特征编码输入到生成器中，以便生成经修复的人脸图像。在一些实施例中，人脸修复生成模型还可以进一步包括深度信息编码器和/或光照信息编码器，分别用于对深度信息和/或光照信息进行编码。人脸修复生成模型也可以仅包括一个编码器，在此情况下需要对编码器输入的不同类型的信息进行例如纬度对齐和/或拼接的操作，然后将编码后的提取的特征输入给生成器。
29.本技术实施例中描述的人脸修复生成模型可以通过预先训练得到。人脸修复生成模型的训练数据包括预先获得的高质量人脸图像以及通过已有算法反向获取的渲染辅助信息和低质量的3d人脸渲染图像。将低质量的3d人脸渲染图像和渲染辅助信息作为人脸修复生成模型的输入，通过将高质量的人脸图像与人脸修复生成模型输出的修复后图像进行比较来对人脸修复生成模型进行训练，从而得到经训练的人脸修复生成模型。
30.经训练的人脸修复生成模型能够保留原始人脸的结构特征并且增加真实细节。图3示出了本技术示例性实施例中未经修复的原始人脸视频帧以及人脸眼部的局部放大图。图4示出了通过本技术实施例的人脸修复生成模型对图3中的原始人脸视频帧中的人脸图像进行修复得到的经修复的人脸视频帧以及人脸眼部的局部放大图。通过对比图4和图3可以清楚地看出，人脸修复模型改善了瞳孔真实化渲染效果。修复后的瞳孔在通透度、立体度以及细节方面都取得了极大的提升。由于眼睛是体现人脸真实性的重要部分，通过对眼部的优化，使得整个人脸的真实性都得到了整体改善。除了对人脸眼部进行修复外，人脸修复生成模型还能够对例如面部毛发进行优化，改善面部毛发的真实性。
31.根据本技术的一些实施例，步骤s2具体可以包括：s21，从原始人脸视频帧中提取原始人脸图像；
s22，将原始人脸图像和渲染辅助信息输入人脸修复生成模型，获得经修复的人脸图像；s23，利用经修复的人脸图像替换原始人脸视频帧中的原始人脸图像，获得经修复的人脸视频帧。
32.在步骤s21中，从原始人脸视频帧中提取原始人脸图像。由于人脸视频帧中通常包括人脸图像以及背景图像，通过提取视频帧中的人脸图像可以避免背景图像对人脸图像修复的影响，提高人脸图像修复的执行效率。
33.在步骤s22中，将原始人脸图像和渲染辅助信息输入人脸修复生成模型，获得经修复的人脸图像。人脸修复生成模型的编码器分别对输入的原始人脸图像和渲染辅助信息进行编码，然后将编码的特征信息传送给生成器。渲染辅助信息的特征信息能够指导生成器生成经修复的人脸图像。
34.在步骤s23中，利用经修复的人脸图像替换原始人脸视频帧中的原始人脸图像，获得经修复的人脸视频帧。具体地，可以根据人脸图像对应的仿射变换位置将其复原到原始人脸视频帧中，从而得到经修复的人脸视频帧。
35.在步骤s3中，利用经修复的人脸视频帧替换原始视频中的原始人脸视频帧，生成包括人脸的3d视频。由于经修复的人脸视频帧是基于原始人脸视频帧获得的，因此将原始人脸视频帧替换为对应的经修复的人脸视频帧，可以获得具有改善的人脸渲染效果的3d视频。
36.根据本技术实施例的基于生成模型的人脸渲染方法在3d引擎的渲染管线后添加人脸修复生成模型对原始人脸视频帧进行后处理，改善了渲染管线生成的人脸视频帧的渲染效果，从而解决现有3d人脸模型的渲染效果不够真实的技术问题。
37.同时，由于人脸修复模型可以修复真实人脸特征的特性，通过将原有渲染管线中高保真但耗时耗算力的算法替换为质量稍差但效率高的算法，可以在不降低渲染真实性的前提下，提高3d引擎的运行效率。
38.根据本技术实施例的基于生成模型的人脸渲染方法可以广泛应用于3d游戏、动画以及虚拟人等应用场景，以便改善3d引擎输出的人脸视频的渲染效果。
39.参考图5，其示出了本技术示例性实施例提供的一种基于生成模型的人脸渲染装置。如图5所示，该装置200包括：获取单元201，用于获取经3d引擎的渲染管线生成的包括人脸的原始视频帧以及渲染管线使用的渲染辅助信息；修复单元202，用于根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；替换单元203，用于利用经修复的人脸视频帧替换原始视频中的原始人脸视频帧，生成包括人脸的3d视频，其中，渲染辅助信息包括目标效果人脸纹理图像。
40.根据本技术的一些实施例，修复单元202具体可以包括：提取单元，用于从原始人脸视频帧中提取原始人脸图像；执行单元，用于将原始人脸图像和渲染辅助信息输入人脸修复生成模型，获得经修复的人脸图像；
生成单元，用于利用经修复的人脸图像替换原始人脸视频帧中的原始人脸图像，获得经修复的人脸视频帧。
41.应当理解，图5中所示的装置与本说明书前文描述的方法相对应。由此，上面针对方法描述的操作、特征和优点同样适用于装置及其包括的单元模块；上面针对装置及其包括的单元模块描述的操作、特征和优点同样适用于方法。为了简洁起见，实质相同/相似的操作、特征和优点在此不再赘述。
42.虽然上面参考特定模块讨论了特定功能，但是应当注意，本技术技术方案中各个单元模块的功能也可以分为多个单元模块进行实现，和/或多个单元模块的至少一些功能可以组合成单个单元模块进行实现。本技术技术方案中特定单元模块执行动作的方式包括，该特定单元模块本身执行动作，或者由该特定单元模块调用或以其他方式访问执行动作（或结合该特定单元模块一起执行动作）。因此，执行动作的特定单元模块可以包括执行动作的该特定单元模块本身和/或该特定单元模块调用或以其他方式访问的、执行动作的另一单元模块。
43.除上述技术方案外，本技术还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。
44.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。
45.在本说明书的以下部分，将结合图6来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
46.图6示出了本技术示例性实施例所提供的电子设备的结构框图。本技术技术方案所提供的系统也可以全部或至少部分地由电子设备900或类似设备或系统实现。
47.电子设备900可以是各种不同类型的设备。电子设备900的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机等。
48.电子设备900可以包括能够诸如通过系统总线911或其他适当的连接彼此通信的至少一个处理器902、存储器904、（多个）通信接口909、显示设备901、其他输入/输出（i/o）设备910以及一个或更多大容量存储设备903。
49.处理器902可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器902可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器902可以被配置成获取并且执行存储在存储器904、大容量存储设备903或者其他计算机可读介质中的计算机可读指令，诸如操作系统905的程序代码、应用程序906的程序代码、其他程序907的程序代码等。
50.存储器904和大容量存储设备903是用于存储指令的计算机可读存储介质的示例，指令由处理器902执行来实施前面所描述的各种功能。举例来说，存储器904一般可以包括易失性存储器和非易失性存储器。此外，大容量存储设备903一般可以包括硬盘驱动器、固态驱动器、可移除介质等。存储器904和大容量存储设备903在本技术中都可以被统称为存储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储
为计算机程序代码的非暂态介质，计算机程序代码可以由处理器902作为被配置成实施在本技术的示例中所描述的操作和功能的特定机器来执行。
51.多个程序可以存储在大容量存储设备903上。这些程序包括操作系统905、一个或多个应用程序906、其他程序907和程序数据908，并且它们可以被加载至存储器904以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本技术所提供的方法（包括该方法的任何合适的步骤）和/或本技术描述的另外的实施例。
52.虽然在图6中被图示成存储在电子设备900的存储器904中，但是操作系统905、一个或多个应用程序906、其他程序907和程序数据908或者其部分可以使用可由电子设备900访问的任何形式的计算机可读介质来实施。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
53.通信介质包括例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质，以及能传播能量波的无线介质。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质中的已调制数据信号。调制可以是模拟的、数字的或混合调制技术。
54.作为示例性说明，计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器，例如随机存储器；以及非易失性存储器，例如闪存、各种只读存储器、磁性和铁磁/铁电存储器；以及磁性和光学存储设备；或其它已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
55.一个或更多通信接口909用于诸如通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口、有线或无线接口、wi-max接口、以太网接口、通用串行总线接口、蜂窝网络接口、bluetooth接口、nfc接口等。通信接口909可以促进在多种网络和协议类型内的通信，其中包括有线网络和无线网络、因特网等。通信接口909还可以提供与诸如存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。
56.在一些示例中，可以包括诸如监视器之类的显示设备901，以用于向用户显示信息和图像。其他i/o设备910可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。本技术描述的技术方案可以由电子设备900的这些各种配置来支持，并且不限于本技术所描述的技术方案的具体示例。
57.虽然在附图和前面的描述中已经详细地说明和描述了本技术，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。
58.因此，本技术所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本技术的保护范围内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，
单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

技术特征：
1.一种基于生成模型的人脸渲染方法，其特征在于，所述方法包括：s1，获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；s2，根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；s3，利用经修复的人脸视频帧替换原始人脸视频帧，生成包括人脸的3d视频，其中，所述渲染辅助信息包括目标效果人脸纹理图像。2.根据权利要求1所述的方法，其特征在于，所述渲染辅助信息还包括人脸深度信息和/或光照信息。3.根据权利要求2所述的方法，其特征在于，所述人脸深度信息包括所述渲染管线的深度缓冲数据，所述光照信息包括光源的位置、强度和/或颜色信息。4.根据权利要求1所述的方法，其特征在于，步骤s2包括：s21，从所述原始人脸视频帧中提取原始人脸图像；s22，将所述原始人脸图像和渲染辅助信息输入所述人脸修复生成模型，获得经修复的人脸图像；s23，利用经修复的人脸图像替换原始人脸视频帧中的原始人脸图像，获得经修复的人脸视频帧。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法包括，针对染管线生成的每个原始人脸视频帧依次执行步骤s2。6.根据权利要求4所述的方法，其特征在于，所述人脸修复生成模型包括：外形编码器，用于对输入的原始人脸图像进行编码；以及纹理编码器，用于对输入的目标效果人脸纹理图像进行编码。7.根据权利要求6所述的方法，其特征在于，所述人脸修复生成模型还包括：深度信息编码器，用于对输入的人脸深度信息进行编码；和/或光照信息编码器，用于对输入的光照信息进行编码。8.一种基于生成模型的人脸渲染装置，其特征在于，所述装置包括：获取单元，用于获取3d引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；修复单元，用于根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；替换单元，用于利用经修复的人脸视频帧替换原始人脸视频帧，获得包括人脸的3d视频，其中，所述渲染辅助信息包括目标效果人脸纹理图像。9.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储器，其用于存储可执行指令；所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行
时，使所述处理器执行权利要求1至7中任一项所述的方法。

技术总结
本申请提供了一种基于生成模型的人脸渲染方法和装置。基于生成模型的人脸渲染方法包括：S1，获取3D引擎的渲染管线生成的包括人脸的原始人脸视频帧以及渲染管线使用的渲染辅助信息；S2，根据渲染辅助信息，利用人脸修复生成模型对原始人脸视频帧进行修复，获得经修复的人脸视频帧；S3，利用经修复的人脸视频帧替换原始人脸视频帧，生成包括人脸的3D视频。本申请提供的方法和装置能够在不改变现有3D引擎的情况下，高效地改善3D视频中人脸的渲染效果。果。果。


技术研发人员：林诗琪 张磊 高熙和
受保护的技术使用者：瀚博半导体（上海）有限公司
技术研发日：2023.08.09
技术公布日：2023/9/9