人脸建模与面罩模型分区匹配方法、装置、终端与介质与流程

1.本发明涉及美容面罩技术领域，尤其涉及一种人脸建模与面罩模型分区匹配方法、装置、终端与介质。


背景技术：

2.目前，基于人脸建模美容方法的工作原理是通过二维图像生成出对应的三维人脸模型，便于与美容面罩的三维结构进行匹配，以达到美容面罩上更好的控制灯珠照射光线的效果。因此，人脸建模的准确性和与美容面罩在三维空间下的匹配的精准度是决定美容效果的关键因素，对后续使用效果至关重要。故需要对人脸的纹理、形状、表情进行精准建模，并与美容面罩精准匹配。
3.然而，传统的人脸模型建模大多采用粗粒度建模，不会对人脸的纹理、表情等细微之处进行精确建模，针对于遮挡和大表情的效果也很差，导致生成的3d人脸模型的精度不高。同时，传统的3d人脸模型匹配大多采用人脸特征点与美容面罩上特征点的一一对比匹配，忽略了针对人脸关键治疗区域，如额头、双颊、下颚的匹配，而人脸非关键治疗区域，如眉毛、鼻子、嘴唇等区域的匹配准确性对实际使用影响较小，使得人脸关键区域与美容面罩的匹配效果不佳，影响了美容面罩的治疗效果。
4.鉴于此，实有必要提供一种人脸建模与面罩模型分区匹配方法、装置、终端与介质以克服上述缺陷。


技术实现要素：

5.本发明的目的是提供一种人脸建模与面罩模型分区匹配方法、装置、终端与介质，旨在解决目前人脸建模精度不高且与美容面罩匹配效果不佳的问题，使得美容面罩后续能对人脸关键区域提供更好的、有针对性的治疗，提高美容面罩的治疗效果。
6.为了实现上述目的，本发明第一方面提供一种人脸建模与面罩模型分区匹配方法，包括：步骤s10：获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型；步骤s20：将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到所述3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到所述2d人脸图片上对应特征点之间的距离；步骤s30：根据所述2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将所述3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；步骤s40：提取所述3d人脸模型的特征点和所述2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配；
步骤s50：计算所述3d人脸模型与所述2d人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重；步骤s60：通过预设的3d模型匹配系统对所述3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。
7.在一个优选实施方式中，在步骤s20中，将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化包括：通过以下公式获得纹理t与形状s的特征向量：，是平均面部形状，是平均面部纹理，、、分别是特征、表情、纹理通过pca处理的基向量；、、是生成3d人脸模型的相应系数向量；其中，形状相关的参数通过mlp多层感知机训练获得，纹理相关的系数通过cnn卷积神经网络训练获得。
8.在一个优选实施方式中，在所述步骤s40之前，还包括步骤：将根据所述2d人脸图片生成的所述3d人脸模型，通过降采样减少顶点个数；具体包括：预先设定单位体素大小，把点云放到预规定大小的单位体素盒中，若一个预设范围局部的点群都落在了一个单位体素盒里，那么该单位体素盒中所有的点都用一个重心点来表示。
9.在一个优选实施方式中，在所述步骤s30中，根据所述2d人脸图片生成人脸特征点的三维坐标点包括：通过采用mediapipe人脸识别算法，对所述2d人脸图片钟的人脸进行468个特征点的定位，并返回每个特征点的三维坐标点。
10.在一个优选实施方式中，在所述步骤s40中，特征匹配的具体步骤包括s411-s412；步骤s411：使用快速点特征直方图fpfh特征对三维点云进行特征提取；步骤s412：分别计算查询点的k邻域中每一个点的简化点特征直方图spfh，再通过加权统计将所有的spfh加权成最后的快速点特征直方图；初始位置获取的具体步骤包括s421-s425；步骤s421：从源点云s中随机选取至少三个非共线的数据点，再从目标点云t中选取与之对应的点；其中，对应的点为根据计算的fpfh特征向量进行比较得到最接近的点；步骤s422：根据源点云s选取的数据点和目标点云t选取的对应的点，通过最小二乘算法计算出旋转平移矩阵h；步骤s423：将源点云s中所有点经过旋转平移矩阵h后得到点云s’，通过比较点云s’和目标点云t，将距离小于给定阈值t的所有点提取出来构成一个一致性点云集合s1，并记录这个点云集合s1中拥有的点数量n；步骤s424：通过不断地循环迭代步骤s421-s423，若达到循环次数k后仍无法获取
到一致性集合，则结束循环；否则，当迭代次数小于k就已经找到了一致性集合，则将这些一致性集合中拥有最多数据点集的一致性集合返回；步骤s425：通过这个最多数据点集的一致性集合中的所有点通过最小二乘算法计算出最佳的旋转平移矩阵h
_best
，将源点云s通过h
_best
变换后的位置作为源点云后续进行icp配准的初始位置。
11.在一个优选实施方式中，在所述步骤s50中，预设的损失函数为： ，是特征点的权重值，为2d人脸图片中特征点的地标值，为3d人脸模型地标投影到2d人脸图片上的地标值。
12.在一个优选实施方式中，在所述步骤s50中，优化具体步骤包括s511-s513；步骤s511：通过计算源点云s和目标点云t中点的距离，找到源点云s对应目标点云t的对应点；步骤s512：在已知点的对应关系的情况下，设，分别表示源点云s和目标点云t的质心，令，令,通过svd分解来计算最优旋转平移矩阵h，得到，则最优旋转矩阵为，最优平移矩阵为；其中，u、v、σ均为矩阵，u为进行奇异值分解得到的左奇异向量，v为进行奇异值分解得到的右奇异向量，σ为由奇异值组成的矩阵，t为矩阵转置，为源点云s的点，为目标点云t的点；步骤s513：通过将源点云s按照旋转、平移矩阵变换后获得点云s’；循环迭代步骤s511-s512，当迭代次数小于预设的最大迭代次数k时，若点云s’与目标点云t的均方误差loss变化量小于给定阈值或计算的匹配度大于给定阈值时则停止迭代，否则达到最大迭代次数k后退出迭代。
13.本发明第二方面提供一种人脸建模与面罩模型分区匹配装置，包括：预处理模块，用于获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型；特征获取模块，用于将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到所述3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到所述2d人脸图片上对应特征点之间的距离；区域划分模块，用于根据所述2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将所述3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；特征匹配模块，用于提取所述3d人脸模型的特征点和所述2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配；优化配准模块，用于计算所述3d人脸模型与所述2d人脸图片两部分特征点之间对
应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重；面罩匹配模块，用于通过预设的3d模型匹配系统对所述3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。
14.本发明第三方面提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
15.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
16.本发明第五方面提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令在被处理执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
17.本发明提供的人脸建模与面罩模型分区匹配方法、装置、终端与介质，通过计算3d人脸模型与所述人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化，来获取到使得3d人脸和2d图像匹配效果最好的点，从而完成3d模型与2d图像匹配的效果。通过给定额头、双颊、下颚区域较高的权重值，而给予眉毛、鼻子、嘴唇等区域的点较低的权重，当通过随机梯度下降算法优化损失函数时，使得权重值设定高的区域能有更强的优化，而权重值设定小的区域优化力度较小，减少了匹配时人脸非关键区域对匹配结果的影响。
18.同时，3d人脸模型与美容面罩匹配，采用了将人脸进行分区处理，针对关键治疗区域与美容面罩进行强匹配，而非关键区域与美容面罩进行弱匹配的方式，使得人脸关键区域与美容面罩的匹配效果更好，且减少了非关键区域匹配对结果的影响，使得美容面罩后续能对人脸关键区域提供更好的、有针对性的治疗，提高美容面罩的治疗效果。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
20.图1为本发明提供的人脸建模与面罩模型分区匹配方法的流程图；图2为美容面罩3d模型与人脸3d模型的特征点处于初始位置的示意图；图3为美容面罩3d模型与人脸3d模型的特征点匹配后位置的示意图；图4为美容面罩3d模型与人脸3d美容的特征点匹配后并进行特征点筛选的示意图；图5为本发明提供的人脸建模与面罩模型分区匹配方法装置的框架图。
具体实施方式
21.为了使本发明的目的、技术方案和有益技术效果更加清晰明白，以下结合附图和具体实施方式，对本发明进行进一步详细说明。应当理解的是，本说明书中描述的具体实施方式仅仅是为了解释本发明，并不是为了限定本发明。
22.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
23.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
24.实施例一在本发明的本实施例中，提供一种人脸建模与面罩模型分区匹配方法，用于根据2d人脸图片有针对性的构建用户的3d人脸模型，并将该人脸模型与美容面罩进行精确匹配，便于在使用美容面罩时，针对用户特定区域进行特殊处理，提高美容面罩的治疗效果。
25.如图1所示，人脸建模与面罩模型分区匹配方法包括步骤s10-s60。
26.步骤s10：获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型。本发明将以2d人脸图片作为数据集，训练获得生成对应的3d人脸的模型。
27.其中，2d人脸图片可通过拍摄用户的脸部获得，包括但不限于正面拍摄、大面积遮挡（例如戴口罩）、小部分遮挡（例如头发遮住侧脸）等。
28.步骤s20：将2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到2d人脸图片上对应特征点之间的距离。
29.具体地，将2d人脸图片中人脸的纹理、形状与表情进行特征向量化包括：通过以下公式获得纹理t与形状s的特征向量：，是平均面部形状，是平均面部纹理，、、分别是特征、表情、纹理通过pca（principal components analysis，主成分分析）处理的基向量，可引用现有技术的数据，例如将100张男性和100张女性通过3d扫描得到的数据。、、是生成3d人脸模型的相应系数向量；其中，形状相关的参数通过mlp（multilayer perceptron，多层感知机）训练获得，纹理相关的系数通过cnn（convolutional neural network，卷积神经网络）训练获得。
30.因此，通过将2d人脸图片中人脸的纹理、形状、表情等特征向量化，使用卷积神经网络训练其参数，经过训练后获取能充分拟合2d人脸图片特征的参数，使得输出的3d人脸模型与2d人脸图片在人脸纹理、形状和表情等特征上更接近。
31.步骤s30：根据2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域。
32.具体地，可通过采用mediapipe人脸识别算法，对2d人脸图片钟的人脸进行468个
特征点的定位，并返回每个特征点的三维坐标点。
33.步骤s40：提取3d人脸模型的特征点和2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配。
34.进一步的，在步骤s40之前，还包括步骤：将根据2d人脸图片生成的3d人脸模型，通过降采样减少顶点个数。具体地，采用点云体素化的方式进行降采样，预先设定合适的单位体素大小，把点云放到预规定大小的单位体素盒中，若一个预设范围局部的点群都落在了一个单位体素盒里，那么该单位体素盒中所有的点都用一个重心点来表示。因此，将初步生成的3d人脸模型，通过降采样减少顶点个数，从而降低后续计算量，通过这个降采样过程，点云数据会大大被过滤，但是模型的体态还保持着完整性。
35.在本步骤s40中，特征匹配的具体步骤包括s411-s412。
36.步骤s411：使用快速点特征直方图fpfh（fast point feature histograms）特征对三维点云进行特征提取。
37.步骤s412：分别计算查询点的k邻域中每一个点的简化点特征直方图spfh，再通过加权统计将所有的spfh加权成最后的快速点特征直方图。
38.因此，通过fpfh把算法的计算复杂度降低到了o(nk)，但是任然保留了大部分的识别特性。其中，默认的fpfh实现使用11个统计子区间，特征直方图被分别计算，然后合并得出了浮点值的一个33元素的特征向量。
39.在本步骤s40中，初始位置获取的具体步骤包括s421-s425。
40.步骤s421：从源点云s中随机选取至少三个非共线的数据点，再从目标点云t中选取与之对应的点；其中，对应的点为根据计算的fpfh特征向量进行比较得到最接近的点。
41.步骤s422：根据源点云s选取的数据点和目标点云t选取的对应的点，通过最小二乘算法计算出旋转平移矩阵h。
42.步骤s423：将源点云s中所有点经过旋转平移矩阵h后得到点云s’，通过比较点云s’和目标点云t，将距离小于给定阈值t的所有点提取出来构成一个一致性点云集合s1，并记录这个点云集合s1中拥有的点数量n。
43.步骤s424：通过不断地循环迭代步骤s421-s423，若达到循环次数k后仍无法获取到一致性集合，则结束循环；否则，当迭代次数小于k就已经找到了一致性集合，则将这些一致性集合中拥有最多数据点集的一致性集合返回。其中，为避免陷入死循环可预先给定循环次数k。
44.步骤s425：通过这个最多数据点集的一致性集合中的所有点通过最小二乘算法计算出最佳的旋转平移矩阵h
_best
，将源点云s通过h
_best
变换后的位置作为源点云后续进行icp（iterative closest point，基于数据配准法，利用最近点搜索法，从而解决基于自由形态曲面的一种算法）配准的初始位置。
45.步骤s50：计算3d人脸模型与2d人脸图片两部分特征点之间对应位置的距离之和，并通过预设损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重。
46.具体地，在本实施例中，预设的损失函数为：，
是特征点的权重值，为2d人脸图片中特征点的地标值，为3d人脸模型地标投影到2d人脸图片上的地标值。通过给定额头、双颊、下颚区域较高的权重值，而给予眉毛、鼻子、嘴唇等区域的点较低的权重，通过随机梯度下降算法优化损失函数时，使得权重值设定高的区域能有更强的优化，而权重值设定小的区域优化力度较小，减少了匹配时人脸非关键区域对匹配结果的影响。
47.其中，在本步骤s50中，优化具体步骤包括s511-s513。此优化过程即为基于上述的初始位置进行icp配准的过程。通过不断优化该距离之和的值，来获取到使得3d人脸模型和2d人脸图片匹配效果最好的点，从而实现3d人脸模型与2d人脸图片匹配更精准的效果。
48.步骤s511：通过计算源点云s和目标点云t中点的距离，找到源点云s对应目标点云t的对应点；步骤s512：在已知点的对应关系的情况下，设，分别表示源点云s和目标点云t的质心，令，令,通过svd分解（singular value decomposition，奇异值分解）来计算最优旋转平移矩阵h，得到，则最优旋转矩阵为，最优平移矩阵为；其中，u、v、σ均为矩阵，u为进行奇异值分解得到的左奇异向量，v为进行奇异值分解得到的右奇异向量，σ为由奇异值组成的矩阵，t为矩阵转置，为源点云s的点，为目标点云t的点；步骤s513：通过将源点云s按照旋转、平移矩阵变换后获得点云s’；循环迭代步骤s511-s512，当迭代次数小于预设的最大迭代次数k时，若点云s’与目标点云t的均方误差loss变化量小于给定阈值或计算的匹配度大于给定阈值时则停止迭代，否则达到最大迭代次数k后退出迭代。
49.步骤s60：通过预设的3d模型匹配系统对所述3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。
50.其中，结合图2-图4所示，3d人脸模型与美容面罩匹配，采用了将人脸进行分区处理，针对关键治疗区域与美容面罩进行强匹配，而非关键区域与美容面罩进行弱匹配的方式，使得人脸关键区域与美容面罩的匹配效果更好，且减少了非关键区域匹配对结果的影响，使得美容面罩后续能对人脸关键区域提供更好的、有针对性的治疗，提高美容面罩的治疗效果。
51.实施例二本实施例提供一种人脸建模与面罩模型分区匹配装置100，该装置与上述方法的各步骤一一对应，用于根据2d人脸图片有针对性的构建用户的3d人脸模型，并将该人脸模型与美容面罩进行精确匹配。需要说明的是，该装置的功能作用、实现原理与具体实施方式与上述的人脸建模与面罩模型分区匹配方法相一致，故以下不再赘述。
52.如图5所示，人脸建模与面罩模型分区匹配装置100包括：预处理模块10，用于获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型；
特征获取模块20，用于将2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到2d人脸图片上对应特征点之间的距离；区域划分模块30，用于根据2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；特征匹配模块40，用于提取3d人脸模型的特征点和2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配；优化配准模块50，用于计算3d人脸模型与2d人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重；面罩匹配模块60，用于通过预设的3d模型匹配系统对3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。
53.实施例三本实施例提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
54.实施例四本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
55.实施例五本实施例提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令在被处理执行时实现如上述实施方式任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。
56.综上所述，本发明提供的人脸建模与面罩模型分区匹配方法、装置、终端与介质，通过计算3d人脸模型与所述人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化，来获取到使得3d人脸和2d图像匹配效果最好的点，从而完成3d模型与2d图像匹配的效果。通过给定额头、双颊、下颚区域较高的权重值，而给予眉毛、鼻子、嘴唇等区域的点较低的权重，当通过随机梯度下降算法优化损失函数时，使得权重值设定高的区域能有更强的优化，而权重值设定小的区域优化力度较小，减少了匹配时人脸非关键区域对匹配结果的影响。
57.同时，3d人脸模型与美容面罩匹配，采用了将人脸进行分区处理，针对关键治疗区域与美容面罩进行强匹配，而非关键区域与美容面罩进行弱匹配的方式，使得人脸关键区域与美容面罩的匹配效果更好，且减少了非关键区域匹配对结果的影响，使得美容面罩后续能对人脸关键区域提供更好的、有针对性的治疗，提高美容面罩的治疗效果。
58.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功
能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述系统的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
59.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
60.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
61.在本发明所提供的实施例中，应该理解到，所揭露的系统或装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的系统或装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，系统或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
62.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
63.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
64.本发明并不仅仅限于说明书和实施方式中所描述，因此对于熟悉领域的人员而言可容易地实现另外的优点和修改，故在不背离权利要求及等同范围所限定的一般概念的精神和范围的情况下，本发明并不限于特定的细节、代表性的设备和这里示出与描述的图示示例。

技术特征：
1.一种人脸建模与面罩模型分区匹配方法，其特征在于，包括：步骤s10：获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型；步骤s20：将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到所述3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到所述2d人脸图片上对应特征点之间的距离；步骤s30：根据所述2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将所述3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；步骤s40：提取所述3d人脸模型的特征点和所述2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配；步骤s50：计算所述3d人脸模型与所述2d人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重；步骤s60：通过预设的3d模型匹配系统对所述3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。2.如权利要求1所述的人脸建模与面罩模型分区匹配方法，其特征在于，在步骤s20中，将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化包括：通过以下公式获得纹理t与形状s的特征向量：，是平均面部形状，是平均面部纹理，、、分别是特征、表情、纹理通过pca处理的基向量；、、是生成3d人脸模型的相应系数向量；其中，形状相关的参数通过mlp多层感知机训练获得，纹理相关的系数通过cnn卷积神经网络训练获得。3.如权利要求1所述的人脸建模与面罩模型分区匹配方法，其特征在于，在所述步骤s40之前，还包括步骤：将根据所述2d人脸图片生成的所述3d人脸模型，通过降采样减少顶点个数；具体包括：预先设定单位体素大小，把点云放到预规定大小的单位体素盒中，若一个预设范围局部的点群都落在了一个单位体素盒里，那么该单位体素盒中所有的点都用一个重心点来表示。4.如权利要求1所述的人脸建模与面罩模型分区匹配方法，其特征在于，在所述步骤s30中，根据所述2d人脸图片生成人脸特征点的三维坐标点包括：通过采用mediapipe人脸识别算法，对所述2d人脸图片钟的人脸进行468个特征点的定位，并返回每个特征点的三维坐标点。5.如权利要求1所述的人脸建模与面罩模型分区匹配方法，其特征在于，在所述步骤s40中，
特征匹配的具体步骤包括s411-s412；步骤s411：使用快速点特征直方图fpfh特征对三维点云进行特征提取；步骤s412：分别计算查询点的k邻域中每一个点的简化点特征直方图spfh，再通过加权统计将所有的spfh加权成最后的快速点特征直方图；初始位置获取的具体步骤包括s421-s425；步骤s421：从源点云s中随机选取至少三个非共线的数据点，再从目标点云t中选取与之对应的点；其中，对应的点为根据计算的fpfh特征向量进行比较得到最接近的点；步骤s422：根据源点云s选取的数据点和目标点云t选取的对应的点，通过最小二乘算法计算出旋转平移矩阵h；步骤s423：将源点云s中所有点经过旋转平移矩阵h后得到点云s’，通过比较点云s’和目标点云t，将距离小于给定阈值t的所有点提取出来构成一个一致性点云集合s1，并记录这个点云集合s1中拥有的点数量n；步骤s424：通过不断地循环迭代步骤s421-s423，若达到循环次数k后仍无法获取到一致性集合，则结束循环；否则，当迭代次数小于k就已经找到了一致性集合，则将这些一致性集合中拥有最多数据点集的一致性集合返回；步骤s425：通过这个最多数据点集的一致性集合中的所有点通过最小二乘算法计算出最佳的旋转平移矩阵h
_best
，将源点云s通过h
_best
变换后的位置作为源点云后续进行icp配准的初始位置。6.如权利要求5所述的人脸建模与面罩模型分区匹配方法，其特征在于，在所述步骤s50中，预设的损失函数为：，是特征点的权重值，为2d人脸图片中特征点的地标值，为3d人脸模型地标投影到2d人脸图片上的地标值。7.如权利要求6所述的人脸建模与面罩模型分区匹配方法，其特征在于，在所述步骤s50中，优化具体步骤包括s511-s513；步骤s511：通过计算源点云s和目标点云t中点的距离，找到源点云s对应目标点云t的对应点；步骤s512：在已知点的对应关系的情况下，设，分别表示源点云s和目标点云t的质心，令，令,通过svd分解来计算最优旋转平移矩阵h，得到，则最优旋转矩阵为，最优平移矩阵为；其中，u、v、σ均为矩阵，u为进行奇异值分解得到的左奇异向量，v为进行奇异值分解得到的右奇异向量，σ为由奇异值组成的矩阵，t为矩阵转置，为源点云s的点，为目标点云t的点；步骤s513：通过将源点云s按照旋转、平移矩阵变换后获得点云s’；循环迭代步骤s511-s512，当迭代次数小于预设的最大迭代次数k时，若点云s’与目标点云t的均方误差loss变
化量小于给定阈值或计算的匹配度大于给定阈值时则停止迭代，否则达到最大迭代次数k后退出迭代。8.一种人脸建模与面罩模型分区匹配装置，其特征在于，包括：预处理模块，用于获取2d人脸图片中人脸区域的关键特征点的像素坐标值，并基于卷积神经网络预构建的3d人脸模型；特征获取模块，用于将所述2d人脸图片中人脸的纹理、形状与表情进行特征向量化，并输入到所述3d人脸模型中进行参数训练；其中，本步骤的损失函数设置为输出3d人脸投影到所述2d人脸图片上对应特征点之间的距离；区域划分模块，用于根据所述2d人脸图片生成人脸特征点的三维坐标点，并通过三维坐标点的下标值，将所述3d人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；特征匹配模块，用于提取所述3d人脸模型的特征点和所述2d人脸图片生成的特征点的特征向量，进行匹配并获取到3d人脸模型匹配后的初始位置，从而完成3d人脸模型与2d人脸图片的匹配；优化配准模块，用于计算所述3d人脸模型与所述2d人脸图片两部分特征点之间对应位置的距离之和，并通过预设的损失函数采用随机梯度下降算法对该距离之和进行优化；其中，给定额头、双颊、下颚区域的权重值大于给定眉毛、鼻子、嘴唇区域的权重；面罩匹配模块，用于通过预设的3d模型匹配系统对所述3d人脸模型和3d美容面罩模型进行分区匹配，并将匹配的结果进行保存，便于在使用美容面罩时，针对用户特定区域进行特殊处理。9.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-7任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的人脸建模与面罩模型分区匹配方法的各个步骤。

技术总结
本发明公开一种人脸建模与面罩模型分区匹配方法、装置、终端与介质，所述方法包括：将2D人脸图片中人脸的纹理、形状与表情进行特征向量化；将3D人脸模型对应人脸特征点的所属区域分为额头、双颊、下颚、眉毛、鼻子、嘴唇区域；提取特征点的特征向量，完成匹配；计算特征点之间对应位置的距离之和并优化；对3D人脸模型和3D美容面罩模型进行分区匹配。本发明当通过随机梯度下降算法优化损失函数时，使得权重值设定高的区域能有更强的优化，而权重值设定小的区域优化力度较小，减少了匹配时人脸非关键区域对匹配结果的影响；将人脸进行分区处理，使得人脸关键区域与美容面罩的匹配效果更好。使得人脸关键区域与美容面罩的匹配效果更好。使得人脸关键区域与美容面罩的匹配效果更好。


技术研发人员：程泽 黄少墅 高翔 宋志诚 江再风
受保护的技术使用者：深圳宇石科技有限公司
技术研发日：2023.08.02
技术公布日：2023/8/31