一种人脸动作捕捉方法、系统、电子设备及介质与流程

1.本发明涉及人脸动作捕捉技术领域，特别是涉及一种用于皮肤病区域标记的人脸动作捕捉方法、系统、电子设备及介质。


背景技术：

2.由于地理位置以及其他原因的关系，许多皮肤病患者存在在线看医生的需求。然而面部皮肤病发病时，皮肤病患者往往会对于自己的皮肤状况感到焦虑、害羞、或者是不想暴露个人的面部信息，不愿意和医生进行面对面的接触，也无法向医生展示自己的病灶区域。这会影响医生与皮肤病患者的沟通，不利于医生对皮肤病患者的病情了解。
3.现有技术中，皮肤病患者可对面部皮肤病区域以外区域进行遮掩和包裹，但大多是人为手动的遮挡，且无法准确显露出皮肤病区域。另外，皮肤病患者会不定时转动面部，对于面部的遮挡也需要同时移动，而这会影响医生的看病效率。


技术实现要素：

4.本发明的目的是提供一种人脸动作捕捉方法、系统、电子设备及介质，对人脸进行动态检测，精准显露人脸的皮肤病区域。
5.为实现上述目的，本发明提供了如下方案：
6.第一方面，本发明提供一种人脸动作捕捉方法，包括：
7.获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域；
8.基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像；
9.基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点；
10.将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域；
11.根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像；所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。
12.可选地，所述基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点，具体包括：
13.将所述初级面具式图像输入至卷积神经网络进行特征提取，以得到第一人脸特征图；
14.对所述第一人脸特征图进行傅里叶池化操作，以得到第二人脸特征图；
15.将所述第二人脸特征图输入至预训练的逻辑回归分类器中，以得到待处理人脸关
键点。
16.可选地，所述人脸动作捕捉方法还包括：
17.采用delaunay算法对所述待处理人脸关键点进行三角分割，以得到待处理人脸三角网。
18.可选地，所述目标检测模型的训练过程，包括：
19.获取多张人脸样本图像；
20.对于每张所述人脸样本图像进行标注，以确定所述人脸样本图像对应的病灶区域；所述多张人脸样本图像以及每张所述人脸样本图像对应的病灶区域构成训练样本集；
21.将所述训练样本集输入至神经网络模型进行训练，以得到最优的神经网络模型；所述最优的神经网络模型为目标检测模型。
22.可选地，根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像，具体包括：
23.将所述待处理病灶区域与所述待处理人脸关键点进行匹配，以确定病灶关键点；
24.基于所述病灶关键点，对所述初级面具式图像进行病灶图像分割操作，以得到次级面具式图像。
25.第二方面，本发明提供一种人脸动作捕捉系统，包括：
26.动态信息获取模块，用于获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域；
27.面具图像生成模块，用于基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像；
28.人脸关键点确定模块，用于基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点；
29.人脸病灶确定模块，用于将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域；
30.人脸病灶面具显示模块，用于根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像；所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。
31.第三方面，本发明提供一种电子设备，所述电子设备包括存储器和处理器；
32.所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行人脸动作捕捉方法。
33.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序；
34.所述计算机程序被处理器执行时实现人脸动作捕捉方法的步骤。
35.根据本发明提供的具体实施例，本发明公开了以下技术效果：
36.本发明提供了一种人脸动作捕捉方法、系统、电子设备及介质，对于检测到的待处理人脸动态信息按帧进行处理，基于facemoji通用接口对每帧待处理人脸图像进行捕捉和面具遮掩，得到初级面具式图像；且由于采用的是facemoji通用接口，其对图像处理更便利。然后基于人脸关键点匹配算法确定待处理人脸关键点，利用目标检测模型得到待处理人脸图像对应的待处理病灶区域，结合所述的初级面具式图像，得到能够遮掩人脸中非病
灶区域、同时显示人脸中病灶区域的次级面具式图像。本发明能够实现精准的皮肤病区域的检测，并将其显露，同时遮掩其他非皮肤病区域，以达到精准的皮肤病区域标记的人脸动作捕捉。另外，本发明获取的是人脸动态信息，对于每帧人脸图像均进行上述检测处理，从而在皮肤病患者转动面部时，也能够精准实现面部遮挡，便于进一步提高医生的问诊效率。
附图说明
37.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
38.图1为本发明人脸动作捕捉方法的流程示意图；
39.图2为本发明人脸动作捕捉系统的结构示意图。
具体实施方式
40.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
41.本发明提出一种人脸动作捕捉方法、系统、电子设备及介质，皮肤病患者的面部被面捕虚拟形象面具包裹，在不暴露自己面部的情况下，和医生对于病情进行沟通。并在动态展示病灶区域的同时，不暴露其他面部区域。
42.为使本发明的目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
43.实施例一
44.如图1所示，本实施例提供一种人脸动作捕捉方法，包括：
45.步骤100，获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域。其中，病灶区域包括人脸上的玫瑰痤疮、毛囊炎等。
46.具体地，在皮肤病患者与医生视频就诊时，获取皮肤病患者与医生的视频数据。
47.步骤200，基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像。
48.facemoji通用接口用于在皮肤病患者与医生视频交流时，实时地对患者的每帧面部图像进行面部捕捉，生成面具式的动态遮掩效果，而非对静态的图片进行个性化处理。且具体面具式的动态遮掩动漫效果可由皮肤病患者自行选择动漫形象。
49.步骤300，基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点；在获得动漫形象样式的人脸后，采用人脸关键点匹配算法来确定面部部位的具体方位，如鼻子、嘴巴之类的位置。人脸关键点匹配算法是以卷积神经网络为基础。
50.步骤300，具体包括：
51.1)将所述初级面具式图像输入至卷积神经网络进行特征提取，以得到第一人脸特征图。
52.2)对所述第一人脸特征图进行傅里叶池化操作，以将第一人脸特征图压缩到一维的频域，得到第二人脸特征图，从而更好地捕捉患者面部信息的非线性特征。
53.3)将所述第二人脸特征图输入至预训练的逻辑回归分类器中，以得到待处理人脸关键点。所述预训练的逻辑回归分类器为线性的，能够将捕捉到的非线性特征(即第二人脸特征图)映射到人脸关键点上，从而获得目标图像的关键点信息。其中，人脸关键点包括鼻子位置、嘴巴位置以及眼睛位置等。
54.所述人脸动作捕捉方法还包括：
55.在获得人脸关键点位置后，采用delaunay算法对所述待处理人脸关键点进行三角分割，以得到待处理人脸三角网。所述待处理人脸三角网中人脸被划分为多个三角形区域。
56.步骤400，将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域。
57.其中，所述目标检测模型的训练过程，包括：
58.1)获取多张人脸样本图像。
59.2)对于每张所述人脸样本图像进行标注，以确定所述人脸样本图像对应的病灶区域；所述多张人脸样本图像以及每张所述人脸样本图像对应的病灶区域构成训练样本集。具体地，对人脸样本图像进行人工标注。
60.3)将所述训练样本集输入至神经网络模型进行训练，以得到最优的神经网络模型；所述最优的神经网络模型为目标检测模型。
61.步骤500，根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像。所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。
62.步骤500，具体包括：
63.1)将所述待处理病灶区域与所述待处理人脸关键点进行匹配，以确定病灶关键点。比如病灶发生在脸颊，则通过待处理人脸关键点将脸颊上病灶区域对应的边缘关键点划出，然后再查找在病灶区域内部的面部关键点。
64.2)基于所述病灶关键点，对所述初级面具式图像进行病灶图像分割操作，以得到次级面具式图像。
65.在一个具体应用中，在确定了待处理病灶区域之后，当皮肤病患者点击面捕区域(初级面具式图像)的时候，只有病灶相关区域的真实面部会显露出来，以供医生进行诊断。比如患者是脸颊区域的玫瑰痤疮，当患者点击脸颊时，脸颊部分中含有病灶区域的真实皮肤(包含有玫瑰痤疮)会在视频中显示出来，其他部分都被面捕面具覆盖。相比于静态的动漫化图像生成，本发明的这种病灶区域可以随着视频聊天中的患者摆动头部，多角度地呈现给医生，且不会暴露患者的全部面部信息。
66.实施例二
67.如图2所示，为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，本实施例提供了一种人脸动作捕捉系统，包括：
68.动态信息获取模块101，用于获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域。
69.面具图像生成模块201，用于基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像。
70.人脸关键点确定模块301，用于基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点。
71.人脸病灶确定模块401，用于将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域。
72.人脸病灶面具显示模块501，用于根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像；所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。
73.实施例三
74.本实施例提供一种电子设备，包括存储器和处理器。
75.所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行实施例一中的人脸动作捕捉方法。
76.可选地，所述电子设备为服务器。
77.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序；计算机程序被处理器执行时实现实施例一中的人脸动作捕捉方法的步骤。
78.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
79.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种人脸动作捕捉方法，其特征在于，所述人脸动作捕捉方法包括：获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域；基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像；基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点；将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域；根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像；所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。2.根据权利要求1所述的人脸动作捕捉方法，其特征在于，所述基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点，具体包括：将所述初级面具式图像输入至卷积神经网络进行特征提取，以得到第一人脸特征图；对所述第一人脸特征图进行傅里叶池化操作，以得到第二人脸特征图；将所述第二人脸特征图输入至预训练的逻辑回归分类器中，以得到待处理人脸关键点。3.根据权利要求1所述的人脸动作捕捉方法，其特征在于，所述人脸动作捕捉方法还包括：采用delaunay算法对所述待处理人脸关键点进行三角分割，以得到待处理人脸三角网。4.根据权利要求1所述的人脸动作捕捉方法，其特征在于，所述目标检测模型的训练过程，包括：获取多张人脸样本图像；对于每张所述人脸样本图像进行标注，以确定所述人脸样本图像对应的病灶区域；所述多张人脸样本图像以及每张所述人脸样本图像对应的病灶区域构成训练样本集；将所述训练样本集输入至神经网络模型进行训练，以得到最优的神经网络模型；所述最优的神经网络模型为目标检测模型。5.根据权利要求1所述的人脸动作捕捉方法，其特征在于，根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像，具体包括：将所述待处理病灶区域与所述待处理人脸关键点进行匹配，以确定病灶关键点；基于所述病灶关键点，对所述初级面具式图像进行病灶图像分割操作，以得到次级面具式图像。6.一种人脸动作捕捉系统，其特征在于，所述人脸动作捕捉系统包括：动态信息获取模块，用于获取待处理人脸动态信息；所述待处理人脸动态信息包括多帧待处理人脸图像；每帧所述待处理人脸图像包括病灶区域和非病灶区域；面具图像生成模块，用于基于facemoji通用接口对每帧所述待处理人脸图像进行捕捉
和面具遮掩，以生成初级面具式图像；人脸关键点确定模块，用于基于人脸关键点匹配算法，对所述初级面具式图像进行关键点匹配，以确定待处理人脸关键点；人脸病灶确定模块，用于将所述待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；所述目标检测模型是根据训练样本集和神经网络训练得到的；所述训练样本集中的每个样本包括人脸样本图像以及所述人脸样本图像对应的病灶区域；人脸病灶面具显示模块，用于根据所述待处理病灶区域、所述待处理人脸关键点和所述初级面具式图像，确定次级面具式图像；所述次级面具式图像用于采用面具遮掩所述待处理人脸图像中的非病灶区域，同时显示所述待处理人脸图像中的病灶区域。7.一种电子设备，其特征在于，所述电子设备包括存储器和处理器；所述存储器用于存储计算机程序，所述处理器用于运行所述计算机程序以执行权利要求1-5任一项所述的人脸动作捕捉方法。8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序；所述计算机程序被处理器执行时实现权利要求1-5任一项所述的人脸动作捕捉方法的步骤。

技术总结
本发明公开一种人脸动作捕捉方法、系统、电子设备及介质，涉及人脸动作捕捉技术领域，方法包括：获取待处理人脸动态信息；基于facemoji通用接口对每帧待处理人脸图像进行捕捉和面具遮掩，以生成初级面具式图像；基于人脸关键点匹配算法，对初级面具式图像进行关键点匹配，以确定待处理人脸关键点；将待处理人脸图像输入至目标检测模型中，以得到待处理病灶区域；根据待处理病灶区域、待处理人脸关键点和初级面具式图像，确定次级面具式图像；次级面具式图像用于采用面具遮掩待处理人脸图像中的非病灶区域，同时显示待处理人脸图像中的病灶区域。本发明对人脸进行动态检测，精准显露人脸的皮肤病区域。准显露人脸的皮肤病区域。准显露人脸的皮肤病区域。


技术研发人员：胡锟 李寰宇 唐义祺 魏子昆 沈玥
受保护的技术使用者：李寰宇
技术研发日：2023.03.31
技术公布日：2023/7/12