一种人脸识别模型的训练方法、人脸验证方法及装置与流程
未命名
08-22
阅读:116
评论:0
1.本技术涉及数据处理技术领域,尤其涉及一种人脸识别模型的训练方法、人脸验证方法及装置。
背景技术:
2.在终端设备上进行人脸验证时,通常借助于部署在终端设备上的,已训练人脸识别模型,实现人脸特征的提取,进而基于提取的人脸特征实现人脸特征的匹配验证。
3.相关技术下,为了在保障人脸特征的提取精度的同时,降低在终端设备上进行人脸验证时的处理时间,可以采用参数量级高的参考人脸识别模型,训练参数量级低的待训练人脸识别模型,或者,可以通过对参数量级高的人脸识别模型进行量化,得到轻量级的人脸识别模型。
4.然而,在采用参数量级高的参考人脸识别模型,对待训练人脸识别模型进行训练时,需要对多个层级的模型输出分别进行约束调整,不仅增加了训练难度,而且极易出现模型过拟合的问题,另外,对参数量级高的人脸识别模型进行量化时,无法保障得到的,轻量级的人脸识别模型的处理精度和准确率。
5.因此,无法基于部署在终端设备上的人脸识别模型,实现对人脸特征的有效提取,进而导致无法有效进行人脸验证。
技术实现要素:
6.本技术实施例提供一种人脸识别模型的训练方法、人脸验证方法及装置,以解决现有技术下无法对人脸特征进行有效提取,以及无法有效进行人脸验证的问题。
7.第一方面,提出一种人脸识别模型的训练方法,包括:
8.获取样本图像集合,其中,所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及所述各个样本对象各自对应的分类标签;
9.基于所述样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心;
10.将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型;
11.基于所述目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。
12.第二方面,提出一种人脸验证方法,包括:
13.获取针对目标对象采集的待识别图像;
14.采用训练后的目标人脸识别模型,对所述待识别图像进行人脸特征识别,获得所述目标对象对应的待匹配人脸特征信息,其中,所述目标人脸识别模型是采用上述第一方面中任一项所述的训练方法训练得到的;
15.基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似
度,确定所述目标对象的验证结果。
16.可选的,所述基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的识别结果,包括:
17.获取预先采集的各个人脸特征信息,并分别计算所述待匹配人脸特征信息与所述各个人脸特征信息之间的向量相似度;
18.确定各个向量相似度中,存在满足预设条件的目标向量相似度时,判定所述目标对象的人脸验证成功。
19.第三方面,提出一种人脸识别模型的训练装置,包括:
20.获取单元,用于获取样本图像集合,其中,所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及所述各个样本对象各自对应的分类标签;
21.第一训练单元,用于基于所述样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心;
22.第二训练单元,用于将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型;
23.生成单元,用于基于所述目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。
24.可选的,所述参考人脸分类模型中包括参考特征提取网络和参考分类网络,对所述参考人脸分类模型进行一轮迭代训练时,所述第一训练单元用于执行以下操作:
25.将读取的第一样本图像输入所述参考特征提取网络,获得所述第一样本图像对应的参考人脸特征信息;
26.通过所述参考分类网络,分别计算所述参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息,并基于各个参考距离信息,映射确定针对所述第一样本图像预测的参考分类结果;
27.基于所述参考分类结果与所述第一样本图像对应的分类标签之间的分类差异,调整所述参考人脸分类模型的模型参数和所述各个预测类中心。
28.可选的,所述将各个目标类中心迁移至初始人脸分类模型中,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型时,所述第二训练单元用于:
29.将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合,对所述初始人脸分类模型进行多轮迭代训练,获得训练后的中间人脸分类模型;
30.基于所述样本图像集合和所述目标参考模型,对所述中间人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型。
31.可选的,所述初始人脸分类模型中包括初始特征提取网络和初始分类网络,对所述初始人脸分类模型进行一轮迭代训练时,所述第二训练单元用于执行以下操作:
32.将读取的第二样本图像输入所述初始特征提取网络,获得所述第二样本图像对应的第一初始人脸特征信息;
33.将所述第一初始人脸特征信息输入所述初始分类网络,获得基于所述第一初始人脸特征信息和所述各个目标类中心向量,预测的第一初始分类结果;
34.基于所述第一初始分类结果与所述第二样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数。
35.可选的,所述获得基于所述第一初始人脸特征信息和所述各个类目标中心向量,输出的第一初始分类结果时,所述第二训练单元用于:
36.通过所述初始分类网络,分别计算所述第一初始人脸特征信息与所述各个目标类中心之间的第一初始距离信息;
37.基于各个第一初始距离信息,映射确定针对所述第二样本图像预测的第一初始分类结果。
38.可选的,所述中间人脸分类模型中包括中间特征提取网络和中间分类网络,对所述中间人脸分类模型进行一轮知识蒸馏训练时,所述第二训练单元用于执行以下操作:
39.将读取的第三样本图像输入所述目标参考模型,获得所述目标参考模型提取的第一参考人脸特征信息;
40.将所述第三样本图像输入训练后的所述中间特征提取网络,获得对应的中间人脸特征信息,并通过所述中间分类网络,基于所述中间人脸特征信息和所述各个目标类中心,获得预测的中间分类结果;
41.基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,调整所述中间人脸分类模型的模型参数。
42.可选的,所述基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,调整所述中间人脸分类模型的模型参数时,所述第二训练单元用于:
43.基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,计算第一蒸馏损失值,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,计算第一分类损失值;
44.基于所述第一蒸馏损失值和所述第二分类损失值,调整所述中间人脸分类模型的模型参数。
45.可选的,对所述初始人脸分类模型进行一轮知识蒸馏训练时,所述第二训练单元用于执行以下操作:
46.将读取的第四样本图像输入所述目标参考模型,获得所述目标参考模型提取的第二参考人脸特征信息,并将所述第四样本图像输入所述初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果;
47.基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数。
48.可选的,所述初始人脸分类模型中包括初始特征提取网络和初始分类网络,所述将所述第四样本图像输入所述初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果时,所述第二训练单元用于:
49.将所述第四样本图像输入所述初始特征提取网络,获得提取的第二初始人脸特征信息;
50.通过所述初始分类网络,基于所述第二初始人脸特征信息和所述各个目标类中心,获得预测的第二初始分类结果。
51.可选的,所述基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数时,所述第二训练单元用于:
52.基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,计算第二蒸馏损失值,并基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异,计算第二分类损失值;
53.基于所述第二蒸馏损失值和所述第二分类损失值,调整所述初始待训练人脸分类模型的模型参数。
54.第四方面,提出一种人脸验证装置,包括:
55.获取单元,用于获取针对目标对象采集的待识别图像;
56.识别单元,用于采用训练后的目标人脸识别模型,对所述待识别图像进行人脸特征识别,获得所述目标对象对应的待匹配人脸特征信息,其中,所述目标人脸识别模型是采用上述第一方面中任一项所述的训练方法训练得到的;
57.确定单元,用于基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的验证结果。
58.可选的,所述基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的识别结果时,所述确定单元用于:
59.获取预先采集的各个人脸特征信息,并分别计算所述待匹配人脸特征信息与所述各个人脸特征信息之间的向量相似度;
60.确定各个向量相似度中,存在满足预设条件的目标向量相似度时,判定所述目标对象的人脸验证成功。
61.第五方面,提出一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述第一方面和第二方面中任一项所述的方法。
62.第六方面,提出一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面和第二方面中任一项所述的方法。
63.第七方面,提出一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现上述第一方面和第二方面中任一项所述的方法。
64.本技术有益效果如下:
65.本技术实施例中,通过将训练完成的目标参考模型所构建的各个目标类中心,设置为初始人脸识别模型中固定的各个类中心,能够将目标参考模型构建的各个类中心迁移至初始人脸分类模型中,并在初始人脸分类模型的训练过程中不发生更新和移动,使得后续训练结束后,初始人脸特征识别模型的收敛位置逼近目标参考模型的收敛位置,另外,借助于目标参考模型和样本图像集合,能够对初始人脸识别模型进行知识蒸馏,不仅使得初始人脸识别模型在训练的过程中,能够学习到目标参考模型的特征处理能力,还使得初始
人脸识别模型能够学习到目标参考模型的特征分布,因而基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型,能够更准确的识别人脸特征,且目标人脸识别模型的生成过程中,不存在额外的样本需求,一定程度上简化了模型的训练难度,能够在保证模型处理性能的同时降低模型训练过程中的资源消耗,再者,由于目标人脸分类模型是基于知识蒸馏机制训练得到的,因而目标人脸分类模型能够以较少的参数量级,实现较高的参数量级的模型所实现的处理功能,为目标分类模型在终端设备上的有效部署提供了便利。
附图说明
66.图1为本技术实施例中可能的一种应用场景示意图;
67.图2为本技术实施中目标人脸识别模型的训练过程示意图;
68.图3为本技术实施例中训练得到目标参考模型的流程示意图;
69.图4为本技术实施例中训练参考人脸分类模型的步骤与功能模块的关系示意图;
70.图5为本技术实施例中训练得到目标人脸分类模型的流程示意图;
71.图6为本技术实施中训练得到中间人脸模型的流程示意图;
72.图7为本技术实施例中对中间人脸分类模型进行知识蒸馏训练得到目标人脸分类模型的流程示意图;
73.图8为本技术实施例中训练初始人脸分类模型的步骤与功能模型的关系示意图;
74.图9为本技术实施例中训练得到目标人脸分类模型的流程示意图;
75.图10为本技术实施例中基于获得的目标人脸识别模型进行人脸验证的流程示意图;
76.图11为本技术实施中训练得到目标人脸识别模型的训练阶段示意图;
77.图12为本技术实施例中部署有目标人脸识别模型的处理设备实现人脸验证时的功能模块示意图;
78.图13为本技术实施例中训练得到目标人脸分类模型的流程示意图;
79.图14为本技术实施例中针对待识别图像进行特征提取的示意图;
80.图15为本技术实施例中人脸识别模型的训练装置的逻辑结构示意图;
81.图16为本技术实施例中人脸验证装置的逻辑结构示意图;
82.图17为本技术实施例的一种电子设备的一个硬件组成结构示意图;
83.图18为本技术实施例中的一个计算装置的结构示意图。
具体实施方式
84.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合本技术实施例中的附图,对本技术的技术方案进行清楚、完整地描述,显然,所描述的实施例是本技术技术方案的一部分实施例,而不是全部的实施例。基于本技术文件中记载的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术技术方案保护的范围。
85.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情
况下可以互换,以便这里描述的本发明的实施例能够在除了这里图示或描述的那些以外的顺序实施。
86.以下对本技术实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
87.目标参考模型:由参考人脸分类模型训练得到,内部包括训练后的参考特征提取网络和训练后的参考分类网络,本技术实施例中,将目标参考模型用于在知识蒸馏训练中的“教师”模型,辅助初始人脸分类模型学习目标参考模型的特征提取能力,并将目标参考模型构建的各个目标类中心迁移至初始人脸分类模型,使得初始人脸分类模型在训练的过程中,基于目标参考模型构建的目标类中心完成实现分类。其中,相比于初始人脸分类模型而言,参考人脸分类模型具有较大的模型深度(神经网络层数)和模型宽度(神经网络内部的特征维度)。
88.类中心:是分类模型能够收敛至最优解位置的前提条件,能够表征各个分类类别各自的综合特征,是实现准确分类的依据,本技术实施例中,初始情况下存在两个分类模型,分别为参考人脸分类模型和初始人脸分类模型,在对参考人脸分类模型进行训练得到目标参考模型的过程中,借助于参考人脸分类模型中高参数量级的复杂网络,使得提取的特征能够稳定支撑用于人脸识别的各个类中心的构建,使得能够得到稳定的各个目标类中心,进而将各个目标类中心迁移至初始人脸分类模型中,并在初始人脸分类模型的训练过程中保持各个目标类中心不发生偏移更新。
89.知识蒸馏:是指通过教师-学生网络结构,通过具体任务训练参数规模较小的模型,来学习参数规模较大的模型的特征表示,并将训练参数规模小的模型的过程称为知识蒸馏,本技术实施中,是指根据训练后的目标参考模型训练初始人脸分类模型。
90.初始人脸分类模型:包括初始特征提取网络和初始分类网络,本技术实施例中,基于初始人脸分类模型训练得到目标人脸分类模型后,基于目标人脸分类模型中包括的,训练后的初始特征提取网络,生成目标人脸识别模型。
91.目标人脸识别模型:是指能够识别出图像中的人脸特征信息的模型,本技术实施例中,目标人脸识别模型中包括的目标特征提取网络具体可以是卷积神经网络(convolutional neural networks,cnn),用以实现人脸特征信息的提取。
92.下面对本技术实施例的设计思想进行简要介绍:
93.相关技术下,在终端设备上进行人脸验证时,通常借助于人脸识别模型,提取人脸特征,那么,通常对于部署在终端设备上的人脸识别模型存在两方面的要求,一方面希望部署的人脸识别模型参数量级低,使得无需过高的算力支撑,另一方面,希望部署的人脸识别模型的性能高,使得能够准确提取出人脸特征。因此,基于上述两方面的矛盾需求,在训练部署在终端设备上的人脸识别模型时,可以采用参数量级高的参考人脸识别模型,约束参数量级低的待训练人脸识别模型,或者,可以通过对参数量级高的人脸识别模型进行量化,得到轻量级的人脸识别模型。
94.然而,对于采用参数量级高的人脸识别模型,约束参数量级低的待训练人脸识别模型的方式来说,通常人脸识别模型在各个阶段的特征图进行逐阶段约束,在强行建立约束的情况下,一方面可能造成模型的过拟合,另一方面极大的增加了训练难度,与此同时,由于不同阶段所约束的损失数量级并不一致,且计算损失的过程中涉及到的计算量极大,因此在延长了训练周期的同时,极大的影响了训练效果。
95.对于通过对参数量级高的人脸识别模型进行量化,得到轻量级的人脸识别模型的方式来说,虽然参数量级高的人脸识别模型能够保证特征提取的准确性,但是经过量化过程后,将无法保证模型的识别准确率,而且,考虑到模型量化会对模型的表达精度进行压缩,因此会导致模型准确率下降,另外,进行额外的量化训练,将需要额外构建特定应用场景下的样本数据,复杂了模型的训练过程,而且需要耗费较多的资源。
96.有鉴于此,本技术实施例中,提出了一种人脸识别模型的训练方法、人脸验证方法及装置,获取样本图像集合后,先基于样本图像集合对参考人脸分类模型进行多轮迭代训练,得到训练后的目标参考模型,并获取目标参考模型内部构建的各个目标类中心,然后将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,并基于目标参考模型和前述样本图像集合,对初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型,进而基于目标人脸分类模型中的特征提取网络,生成目标人脸识别模型。
97.这样,通过将训练完成的目标参考模型所构建的各个目标类中心,设置为初始人脸识别模型中固定的各个类中心,能够将目标参考模型构建的各个类中心迁移至初始人脸分类模型中,并在初始人脸分类模型的训练过程中不发生更新和移动,使得后续训练结束后,初始人脸特征识别模型的收敛位置逼近目标参考模型的收敛位置,另外,借助于目标参考模型和样本图像集合,能够对初始人脸识别模型进行知识蒸馏,不仅使得初始人脸识别模型在训练的过程中,能够学习到目标参考模型的特征处理能力,还使得初始人脸识别模型能够学习到目标参考模型的特征分布,因而基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型,能够更准确的识别人脸特征,且目标人脸识别模型的生成过程中,不存在额外的样本需求,一定程度上简化了模型的训练难度,能够在保证模型处理性能的同时降低模型训练过程中的资源消耗,再者,由于目标人脸分类模型是基于知识蒸馏机制训练得到的,因而目标人脸分类模型能够以较少的参数量级,实现较高的参数量级的模型所实现的处理功能,为目标分类模型在终端设备上的有效部署提供了便利。
98.以下结合说明书附图对本技术的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本技术,并不用于限定本技术,并且在不冲突的情况下,本技术实施例及实施例中的特征可以相互组合。
99.参阅图1所示,为本技术实施例中可能的应用场景示意图。该应用场景示意图中,包括处理设备110,以及图像采集设备120。
100.需要说明的是,当图像采集设备120为具有信息发送功能的图像采集设备时,处理设备110与图像采集设备120之间,可以通过有线网络或无线网络进行通信,当图像采集设备120中为不具有信息发送功能的图像采集设备时,处理设备110可以在获取图像采集设备120中存储的图像或视频流后,进行针对性处理。
101.在本技术实施例中,处理设备110可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。也可以是终端设备,终端设备包括但不限于手机、电脑、智能语音交互设备、电子书阅读器、智能家电、车载终端、飞行器,以及门禁闸机等具有一定计算能力的计算机设备,或者,可以是具有图像采集能力的服务器或终端设备。本技术实施例可应用于各种场景,包括但不限于云
技术、人工智能、智慧交通、辅助驾驶等。
102.图像采集设备120,具体可以摄像头;相机;能够采集图像或视频的其他设备终端的任意一项或组合。
103.本技术提出的技术方案,可以在各样的应用场景中,基于采集的图像,实现人脸识别检测。
104.场景一、应用于闸机上的身份核验场景下。
105.具体的,在车站核票、小区门禁,以及公司园区门禁等场景下,当处理设备可以是与闸机联动的设备,能够在采集目标对象的人脸图像的同时,实现对目标对象的人脸识别,并在确定通过人脸识别验证后,开启闸机。
106.这样,能够在诸如车站核票这类人脸1对1比对的场景下,或者,在小区门禁这类人脸1比n核对的场景下,实现有效检测。
107.场景二、应用于实现私密业务之前的人脸验证场景下。
108.具体的,在解锁终端设备,以及实现人脸支付的场景下,处理设备具体可以是用户终端或者完成人脸支付的设备,处理设备响应于目标对象发起的设备解锁或者人脸支付请求,采集目标对象的人脸图像,并实现人脸识别,并在识别验证通过后,完成后续的其他业务。
109.场景三、应用于基于安防数据进行人脸验证的场景下。
110.具体的,在需要识别出安防视频内的对象身份的场景下,处理设备可以在获取图像采集设备采集的视频流后,对视频流进行分帧处理,得到各个待识别的视频帧,进而分别识别视频帧中出现的各个对象的身份信息。
111.场景四、应用于针对识别未成年人进行约束限制的场景下。
112.具体的,本技术可以在限制未成年人的游戏状态,以及识别是否有未成年人进入异常场所的应用场景中。
113.在一些可能的实施例中,本技术可以应用于对未成年人的游戏时间进行限制的场景中,当验证确定当前进入游戏对象的是先前记录的未成年人时,则在当前的未成年人进入游戏界面的同时,对其游戏时间进行计时,并在确定计时时长达到针对未成年人预设的游戏时长时,显示当前对局结束后则会退出登录状态的提示信息,并在当前对局结束后,返回至游戏登录验证页面。
114.在一些可能的实施例中,本技术可以应用于相关部门对于未成年人进入异常场所的识别场景中,合法保存有未成年人的人脸特征信息的相关部门,通过对未成年人进行人脸识别验证,以判定是否存在未成年人进入异常场所的情况,其中,异常场所具体可以指不允许未成年人进入的场所,如,娱乐场所等。
115.需要说明的是,在本技术一些可能的应用场景中,目标人脸识别模型可以安装于处理设备110上,使得处理设备110可以直接采用该目标人脸识别模型对直接或者间接获得的图像进行处理,其中,目标人脸识别模型可以是处理设备110自行训练得到的,或者,可以由其他设备完成训练后,提供给处理设备110的,处理设备110识别的图像可能是自行采集的,或者,可以是从其他设备处获取的。以下的说明中,将以处理设备实现目标人脸识别模型的训练为例,对相关的训练过程进行详细说明。
116.本技术提出的技术方案中,在实际的方案处理过程中应用的各个人脸特征信息,
以及与目标对象相关的各类数据,均是经过相关对象授权后采集和使用的,而且对于相关对象的各类数据的使用符合法律法规的约束。
117.另外,本技术实施例中,根据实际的处理需要,处理设备训练得到目标人脸识别模型可以是一个周期性的过程,可以周期性的重新训练生成人脸识别模型。
118.下面首先结合附图,对本技术实施例中目标人脸识别模型的训练过程进行说明:
119.参阅图2所示,其为本技术实施中目标人脸识别模型的训练过程示意图,下面结合附图2,对本技术实施例中,处理设备生成目标人脸识别模型的过程进行说明:
120.步骤201:处理设备获取样本图像集合。
121.需要说明的是,本技术实施例中,在实现对人脸识别模型的训练时,通过对包括特征提取网络的分类模型进行训练,进而最终基于训练得到的目标特征提取网络,生成最终的目标人脸识别模型,因此,为了满足本技术中对于分类模型的训练需要,需要针对性地确定各个分类类别,以及分别获取各个分类类别各自对应的样本图像,其中,本技术实施例中,相关的分类模型的分类类别具体是指不同的样本对象。
122.具体的,处理设备可以先选定参与进行分类模型训练的各个样本对象,并分别设置各个样本对象各自对应的分类标签,其中,样本对象的分类标签具体可以是对应的样本对象的身份标识信息(identity,id)。
123.处理设备在确定各个样本对象后,分别针对各个样本对象,获取对应采集的各个样本图像,并分别基于对应各个样本对象分别采集的各个样本图像,生成各个样本对象各自对应的样本图像子集,因此,相当于建立了各个样本图像子集与对应的样本对象的分类标签之间的对应的关系。
124.这样,处理设备建立的样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及各个样本对象各自对应的分类标签。
125.需要说明的是,本技术可能的实施例中,处理设备在基于各个样本对象各自对应的各个样本图像,建立样本图像集合时,可以对样本图像进行筛选,避免由于样本图像自身的质量问题,干扰模型的训练质量。
126.本技术实施例中,筛选样本图像的方式可以是,剔除人脸区域中质量差的样本图像,具体的,处理设备可以通过计算人脸区域内的图像质量评价值,过滤掉图像质量评价值低于设定值的样本图像,其中,在图像中确定人脸区域是本领域的常规技术,本技术在此不做具体限定,另外,用于确定图像质量评价值的图像指标可以是图像的清晰度等,本技术不做具体限制。
127.步骤202:处理设备基于样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得目标参考模型针对各个样本对象分别构建的目标类中心。
128.处理设备获得样本图像集合后,基于样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,其中,目标参考模型是在参考人脸分类模型的训练满足预设的第一收敛条件后得到的。
129.需要说明的是,本技术实施例中,参考人脸分类模型中包括参考特征提取网络和参考分类网络,其中,参考特征提取网络具体可以是cnn网络,cnn网络能够实现卷积(convolution)计算、非线性激活函数(relu)计算,以及池化(pooling)计算等操作;参考分
类网络在获得参考特征提取网络提取的人脸特征之后,基于人脸特征和建立的类中心,获得参考距离信息,进而通过分类函数,基于参考距离信息,得到预测的分类结果,其中,得到的分类结果具体可能是图像属于各个分类类别的概率值,分类函数可能是逻辑回归(softmax)函数,或者,可以是各类添加有边界(margin)的softmax函数,或者,可以是其他能够实现分类的函数,本技术在此不做具体限制。
130.参阅图3所示,其为本技术实施例中训练得到目标参考模型的流程示意图,下面结合附图3,对执行步骤202时执行的处理流程进行说明:
131.步骤2021:处理设备从样本图像集合中读取第一样本图像。
132.具体的,处理设备根据实际的处理需要,在对参考人脸分类模型进行一轮迭代训练时,根据设置的一批(batch)中同时输入的样本图像数目,从样本图像集合中读取相应数目的样本图像,作为一次输入,即一轮训练过程中所使用的第一样本图像,其中,根据实际的处理需要,处理设备一次读取的第一样本图像中包括的图像数目可能是一个或多个。
133.步骤2022:处理设备将读取的第一样本图像输入参考特征提取网络,获得第一样本图像对应的参考人脸特征信息。
134.具体的,处理设备获取第一样本图像后,将读取的第一样本图像输入参考人脸分类模型中的参考特征提取网络,得到参考特征提取网络基于第一样本图像输出的参考人脸特征信息,其中,在输入的第一样本图像中包括多个样本图像的情况下,参考特征提取网络针对各个样本图像分别进行了人脸特征提取,使得能够得到各个样本图像各自对应的参考人脸子特征信息,并将各个样本图像各自对应的参考人脸子特征信息,统称为第一样本图像对应的参考人脸特征信息。
135.需要说明的是,本技术实施中参考特征提取网络具体为cnn网络,而采用cnn网络对图像进行处理,得到人脸特征信息是本领域的成熟技术,本技术在此将不对特征提取过程进行具体说明。
136.步骤2023:处理设备通过参考分类网络,分别计算参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息,并基于各个参考距离信息,映射确定针对第一样本图像预测的参考分类结果。
137.处理设备获得参考特征识别网络识别得到的参考人脸特征信息后,将参考人脸特征信息输入参考分类网络,并通过参考分类网络,分别计算参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息,进而基于各个参考距离信息,分别映射得到针对第一样本图像预测的参考分类结果。
138.具体的,在参考分类网络中,针对各个分类类别分别构建有对应的预测类中心,在本技术的场景下,构建的各个预测类中心对应各个样本对象的id,其中,预测类中心的形状形如d
×
m,d为特征维度,m为样本图像集合中涉及到的样本对象总数,即样本对象id的id总数,各个预测类中心在参考人脸分类模型的训练过程中被设置为可学习。
139.进一步的,处理设备将当前的各个预测类中心,分别与提取的参考人脸特征信息进行矩阵乘法运算,得到参考距离信息,进而借助于诸如softmax等分类函数,基于参考距离信息,确定针对第一样本图像预测的参考分类结果。
140.具体的,在一批输入的第一样本图像中包括多个样本图像的情况下,得到的参考分类结果具体为,每个样本图像属于各个分类类别的概率值。
141.步骤2024:处理设备基于参考分类结果与第一样本图像对应的分类标签之间的分类差异,调整参考人脸分类模型的模型参数和各个预测类中心。
142.具体的,处理设备获得与第一样本图像对应的参考分类结果后,基于参考分类结果与第一样本图像对应的分类标签之间的分类差异,采用预设的交叉熵损失函数,计算损失值,并基于计算得到的损失值调整参考人脸分类模型的模型参数,以及基于损失值调整参考人脸分类模型构建的各个预测类中心。
143.需要说明的是,本技术实施例中,在第一样本图像中包括多个样本图像时,则针对各个样本图像,分别根据样本图像对应的参考分类结果与对应的分类标签之间的分类差异,采用交叉熵损失函数计算损失值,进而基于计算得到的各个损失值的均值,调整参考人脸分类模型的模型参数和各个预测类中心。
144.另外,在基于得到的损失值进行反向传播时,处理设备可以基于梯度下降的方式,对参考特征提取网络和参考分类网络进行训练优化,其中,采用的梯度下降方式具体可以是随机梯度下降、带动量项的随机梯度下降、优化算法(adaptive momentum estimation,adam),以及自适应梯度算法(adaptive gradient,adagard)等方式,相关的梯度下降方式是本领域的成熟技术,本技术在此将不做具体说明。
145.步骤2025:处理设备判定当前是否满足预设的第一收敛条件,若是,执行步骤2026,否则,返回执行步骤2021。
146.具体的,处理设备在当前一轮迭代训练后,基于当前对于参考人脸分类模型的训练情况,判定是否满足预设的第一收敛条件,其中,一轮迭代训练是指基于一个batch的第一样本图像完成的一次反向传播过程,预设的第一收敛条件具体可以是进行迭代训练的轮数满足第一设定值,或者,预设的第一收敛条件可以是计算得到的损失值连续低于第二设定值的次数达到第三设定值,第一设定值、第二设定值,以及第三设定值的具体取值根据实际处理需要设置,本技术不做具体说明。
147.本技术实施例中,处理设备根据当前的训练情况,确定满足预设的第一收敛条件时,则可以确定参考人脸分类模型收敛,进而执行步骤2026的操作,否则,若确定不满足预设的第一收敛条件,则返回执行步骤2021的操作,继续从样本图像集合中,读取先前未读取过的第一样本图像,并重复执行后续的步骤2022-2025的操作。
148.步骤2026:处理设备输出训练后的目标参考模型。
149.具体的,处理设备确定当前的训练情况,满足预设的第一收敛条件时,则认为参考人脸识别模型已经收敛,进而将最后一轮训练得到的参考人脸分类模型,作为训练完成的目标参考模型,并将最后一轮训练得到的参考人脸分类模型中构建的各个预测类中心,作为针对各个样本对象分别构建的目标类中心。
150.需要说明的是,处理设备考量的当前的训练情况,具体可以通过先前的各轮训练过程分别计算得到的损失值;已训练的总轮数中的至少一种或组合来表征。
151.这样,通过对参数量级高的参考人脸分类模型的训练,不仅能够得到能够基于图像进行有效分类的目标参考模型,还能够得到目标参考模型内部构建的,稳定的目标类中心,为后续对初始人脸分类模型的训练提供了参考依据。
152.进一步的,参阅图4所示,其为本技术实施例中训练参考人脸分类模型的步骤与功能模块的关系示意图,下面结合附图4,对处理设备在进行参考人脸分类模型的训练时,各
个步骤对应的功能模块进行说明;
153.处理设备针对参考人脸分类模型的训练,建立有训练数据准备模块、人脸特征提取模块、类中心存储模块、损失函数计算模块,以及反向传播优化模块,其中,
154.训练数据准备模块:用于在训练过程中,从样本图像集合中读取第一样本图像,并将读取到的第一样本图像组成一个batch,输入参考人脸分类模型的参考特征提取网络,即,实现步骤2021的功能。
155.人脸特征提取模块:用于借助于参考特征提取网络,对样本图像进行空间特征的提取,得到能够表征人脸特征的空间结构信息,即,获得参考人脸特征信息,能够实现步骤2022的处理功能,其中,参考人脸特征信息的存在形式根据实际的处理需要而定,具体可能是特征图,或者,可能是特征向量。
156.类中心存储模块:用于存储参考人脸分类模型针对各个分类类别构建的预测类中心,能够为步骤2023的处理提供参考信息,其中,参考人脸分类模型的分类类别总数,是在构建参考人脸分类模型时配置的。
157.损失函数计算模块:用于分别针对参考特征提取网络提取的参考人脸特征信息,以及各个预测类中心进行矩阵乘法的计算,得到参考距离信息,并借助于分类函数,将参考距离信息映射至概率空间,确定每个样本图像归属于各个分类类别的概率值,得到参考分类结果,进而基于参考分类结果与第一样本图像对应的分类标签之间的差异,计算损失值,即,实现步骤2023的功能。
158.反向传播优化模块:用于采用梯度下降的方式,对参考人脸分类模型进行参数优化,并调整构建的各个预测类中心,即,用于实现步骤2024的功能。
159.步骤203:处理设备将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,并基于样本图像集合和目标参考模型,对初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型。
160.需要说明的是,本技术实施例中,处理设备训练得到目标参考模型,以及得到目标参考模型内部构建的各个目标类中心后,将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,其中,固定的各个类中心表征在初始人脸分类模型的训练过程中,各个类中心稳定不变,即,初始人脸分类模型中的各个类中心被设置为不可学习。进而基于目标参考模型和样本图像集合,对初始人脸分类模型进行多轮迭代训练,直至满足预设的第一收敛条件后,得到训练后的目标人脸分类模型。
161.本技术实施例中,考虑到在对初始人脸分类模型进行训练时经过的不同训练阶段,可能存在以下两种对于初始人脸分类模型的训练方式,其中,初始人脸分类模型中包括初始特征提取网络和初始分类网络,初始特征提取网络的结构可以是cnn网络,初始分类网络可以是基于softmax或者添加有margin的softmax函数实现分类的网络。下面以两种不同的训练方式,对初始人脸分类模型的训练过程进行说明。
162.方式一、处理设备先采用训练样本集合,基于固定设置有各个类中心的初始人脸分类模型,训练得到中间人脸分类模型,进而基于样本图像集合和目标参考模型,对中间人脸分类模型进行知识蒸馏训练,得到训练后的目标人脸分类模型。
163.需要说明的是,在方式一的场景中,在目标参考模型和初始人脸分类模型之间的参数量级差异较大的情况下,即,虽然目标参考模型和初始人脸分类模型中具有类似的网
络结构,但是模型深度和模型宽度差异较大。为了避免强行控制初始人脸分类模型学习目标参考模型的处理能力时,造成初始人脸分类模型的过拟合,故在方式一的训练方式中,可以对初始人脸分类模型进行阶段性的训练。
164.在进行阶段性训练时,处理设备可以先对固定有各个目标类中心的初始人脸分类模型进行初步训练,使得初始人脸分类模型提取的人脸特征信息,逐渐收敛至各个目标类中心附近,学习目标参考模型的特征分布,得到中间人脸分类模型,再采用知识蒸馏的机制,对中间人脸分类模型进行进一步的知识蒸馏训练,联合目标参考模型和中间人脸分类模型提取的人脸特征信息的特征差异,以及中间人脸分类模型的分类差异,将中间人脸分类模型进行微调训练,得到目标人脸分类模型。
165.参阅图5所示,其为本技术实施例中训练得到目标人脸分类模型的流程示意图,下面结合附图5,对目标人脸分类模型的训练流程进行说明:
166.步骤2031:处理设备将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,并基于样本图像集合,对初始人脸分类模型进行多轮迭代训练,获得训练后的中间人脸分类模型。
167.在执行步骤2031时,处理设备将目标参考模型构建的各个目标类中心迁移至初始人脸分类模型中,并控制初始人脸分类模型中的类中心在训练过程中保持稳定不偏移,进而处理设备采用样本图像集合,对设置有各个类中心的初始人脸分类模型进行多轮迭代训练,得到训练后的中间人脸分类模型。
168.具体执行步骤2031时,参阅图6所示,其为本技术实施中训练得到中间人脸模型的流程示意图,下面结合附图6,对具体训练得到中间人脸分类模型的过程进行说明:
169.步骤2031-1:处理设备从样本图像集合中读取第二样本图像。
170.具体的,处理设备根据实际的处理需要,在对初始人脸分类模型进行一轮迭代训练时,根据设置的一个batch中同时输入的样本图像数目,从样本图像集合中读取相应数目的样本图像,作为一次输入,即一轮训练过程中所使用的第二样本图像,其中,根据实际的处理需要,处理设备一次读取的第二样本图像中包括的图像数目可能是一个或多个。
171.步骤2031-2:处理设备将读取的第二样本图像输入初始特征提取网络,获得第二样本图像对应的第一初始人脸特征信息。
172.具体的,处理设备获取第二样本图像后,将读取的第二样本图像输入初始人脸分类模型中的初始特征提取网络,得到初始特征提取网络基于第二样本图像输出的初始人脸特征信息,其中,在输入的第二样本图像中包括多个样本图像的情况下,初始特征提取网络针对各个样本图像分别进行了人脸特征提取,使得能够得到一个batch中的各个样本图像各自对应的初始人脸特征信息,并将一个batch中的各个样本图像,各自对应的初始人脸子特征信息,统称为第二样本图像对应的初始人脸特征信息。
173.需要说明的是,本技术实施中初始特征提取网络具体为cnn网络,换言之,处理设备通过初始特征提取网络,实现包括卷积计算、非线性激活函数计算,以及池化计算等操作,执行的操作虽然看似与目标参考模型的训练过程相同,但由于初始人脸分类模型中的参数量级远小于目标参考模型,故进行前向推理所需耗时较短,另外,而采用cnn网络对图像进行处理,得到人脸特征信息是本领域的成熟技术,本技术在此将不对特征提取过程进行具体说明。
174.步骤2031-3:处理设备将第一初始人脸特征信息输入初始分类网络,获得基于第一初始人脸特征信息和各个目标类中心向量,预测的第一初始分类结果。
175.处理设备获得初始特征识别网络识别得到的第一初始人脸特征信息后,将第一初始人脸特征信息输入初始分类网络,并通过初始分类网络,分别计算第一初始人脸特征信息与当前被设置的各个目标类中心之间的第一初始距离信息,进而基于各个第一初始距离信息,映射得到针对第一样本图像预测的第一初始分类结果。
176.具体的,本技术实施例中,处理设备通过初始分类网络,分别计算第一初始人脸特征信息与各个目标类中心之间的第一初始距离信息,再基于各个第一初始距离信息,映射确定针对第二样本图像预测的第一初始分类结果。
177.本技术实施例中,在初始分类网络中,处理设备将第一初始人脸特征信息,分别与当前配置的各个目标类中心进行矩阵乘法运算,得到各个第一初始距离信息,进而借助于诸如softmax的分类函数,基于各个第一初始距离信息,确定针对第二样本图像预测的第一初始分类结果,其中,初始分类网络内部的分类原则是,对于与第一初始人脸特征信息之间的第一初始距离信息越小的目标类中心,第一样本图像归属于相应的目标类中心所对应的分类类别上的概率越大。
178.其中,在一批输入的第二样本图像中包括多个样本图像的情况下,得到的第一初始分类结果具体为,每个样本图像属于各个分类类别的概率值。
179.这样,借助于初始分类网络,能够根据固定设置的各个目标类中心以及提取的第一初始人脸特征,确定对应的分类结果,为在初始人脸分类模型的训练过程中,逐步调整使得提取的人脸特征信息分布在各个目标类中心提供了调整依据。
180.步骤2031-4:处理设备基于第一初始分类结果与第二样本图像对应的分类标签之间的分类差异,调整初始人脸分类的模型参数。
181.具体的,处理设备获得与第二样本图像对应的第一初始分类结果后,基于第一初始分类结果与第二样本图像对应的分类标签之间的分类差异,采用预设的交叉熵损失函数,计算损失值,并基于计算得到的损失值调整初始人脸分类模型的模型参数。
182.需要说明的是,本技术实施例中,在第二样本图像中包括多个样本图像时,针对各个样本图像,分别根据对应样本图像预测的初始分类结果与对应的分类标签之间的分类差异,采用交叉熵损失函数计算损失值,进而基于计算得到的各个损失值的均值,反向传播调整初始人脸分类模型的模型参数。
183.另外,在基于得到的损失值进行反向传播时,处理设备可以基于梯度下降的方式,对初始特征提取网络和初始分类网络进行训练优化,其中,采用的梯度下降方式具体可以是随机梯度下降、带动量项的随机梯度下降、adam,以及adagard等方式,相关的梯度下降方式是本领域的成熟技术,本技术在此将不做具体说明。
184.步骤2031-5:处理设备判定当前是否满足预设的第二收敛条件,若是,执行步骤2031-6,否则,返回执行步骤2031-1。
185.具体的,处理设备在当前一轮迭代训练后,基于当前对于初始人脸分类模型的训练情况,判定是否满足预设的第二收敛条件,其中,一轮迭代训练是指基于一个batch的第二样本图像完成的一次反向传播过程,预设的第二收敛条件具体可以是进行迭代训练的轮数满足第四设定值,或者,预设的第二收敛条件可以是计算得到的损失值连续低于第五设
定值的次数达到第六设定值,第四设定值、第五设定值,以及第六设定值的具体取值根据实际处理需要设置,本技术不做具体说明。
186.本技术实施例中,处理设备根据当前的训练情况,确定满足预设的第二收敛条件时,则可以确定初始人脸分类模型收敛,进而执行步骤2031-6的操作,否则,若确定不满足预设的第二收敛条件,则返回执行步骤2031-1的操作,继续从样本图像集合中,读取先前未读取过的第二样本图像,并重复执行后续的步骤2031-2至2031-5的操作。
187.步骤2031-6:处理设备输出训练后的中间人脸分类模型。
188.具体的,处理设备确定当前的训练情况,满足预设的第二收敛条件时,则认为初始人脸识别模型已经收敛,进而将最后一轮训练得到的初始人脸分类模型,作为训练完成的中间人脸分类模型。
189.需要说明的是,处理设备考虑的当前的训练情况,具体可以通过先前的各轮训练过程分别计算得到的损失值;已训练的总轮数中的至少一种或组合来衡量。
190.这样,通过先基于初始人脸分类模型训练得到中间人脸分类模型,能够控制初始人脸分类模型进行阶段性的学习,使得在一轮训练过程中无需同时兼顾过多的约束,能够先将中间人脸分类模型提取的人脸特征信息,分布在目标参考模型构建的各个目标类中心附近,使得中间人脸分类模型能够初步收敛在目标参考模型的收敛临界点,即收敛在各个目标类中心附近,为循序渐进的训练初始人脸分类模型提供了处理依据。
191.步骤2032:处理设备基于样本图像集合和目标参考模型,对中间人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型。
192.处理设备训练得到中间人脸分类模型后,能够得到中间人脸分类模型中包括的中间特征提取网络和中间分类网络,其中,中间特征提取网络是由初始人脸分类模型中的初始特征提取网络训练得到的,中间分类网络是由初始人脸分类模型中的初始分类网络训练得到的。
193.参阅图7所示,其为本技术实施例中对中间人脸分类模型进行知识蒸馏训练得到目标人脸分类模型的流程示意图,下面结合附图7,对处理设备基于样本图像集合和目标参考模型,对中间人脸分类模型进行多轮知识蒸馏训练,得到训练后的目标人脸分类模型的过程进行说明:
194.步骤2032-1:处理设备从样本图像集合中读取第三样本图像。
195.具体的,处理设备根据实际的训练需要,确定在中间人脸分类模型的一轮训练过程中,同时输入中间人脸分类模型的一个batch的样本图像数目后,将从样本图像集合中读取的,相应数目的样本图像作为第三样本图像,其中,第三样本图像中包括的图像数目可能为一个或多个。
196.步骤2032-2:处理设备将读取的第三样本图像输入目标参考模型,获得目标参考模型提取的第一参考人脸特征信息。
197.具体的,处理设备将读取的第三样本图像输入目标参考模型,获得目标参考模型中的目标参考特征提取网络输出的第一参考人脸特征信息,其中,目标参考特征提取网络是由参考人脸分类模型中的参考特征提取网络训练得到的。
198.步骤2032-3:处理设备将第三样本图像输入训练后的中间特征提取网络,获得对应的中间人脸特征信息,并通过中间分类网络,基于中间人脸特征信息和各个目标类中心,
获得预测的中间分类结果。
199.具体的,处理设备将第三样本图像输入中间人脸分类模型,并通过中间人脸分类模型中的中间特征提取网络,获得对应的中间人脸特征信息,以及将中间人脸特征信息输入中间人脸分类模型中的中间分类网络,通过中间分类网络,基于获得的中间人脸特征信息和各个目标类中心,获得预测的中间分类结果。
200.需要说明的是,本技术实施中步骤2032-2和步骤2032-3的执行顺序灵活,可以实际的处理需要先执行步骤2032-3的操作,再执行步骤2032-2的操作,其中,目标参考模型的输入尺寸与中间人脸分类模型的输入尺寸一致,输入尺寸一致表征在一个batch中输入的样本图像数目相同。
201.步骤2032-4:处理设备基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,以及基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,调整中间人脸分类模型的模型参数。
202.处理设备基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,计算第一蒸馏损失值,以及基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,计算第一分类损失值,再基于第一蒸馏损失值和第二分类损失值,调整中间人脸分类模型的模型参数。
203.本技术实施例中,处理设备采用目标参考模型对中间人脸分类模型所提取的人脸特征信息进行额外监督,以约束中间人脸分类模型提取的特征信息。另外,由于目标参考模型具有更大的参数量和更强的表达能力,因此基于目标参考模型能够实现对于人脸特征信息的准确识别。
204.这样,利用目标参考模型进行额外监督,能够使得中间人脸分类模型进一步收敛至与目标参考模型一致的特征分布,进而能够提升中间人脸分类模型的识别准确率。
205.处理设备基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,计算第一蒸馏损失值时,可以采用相似度损失函数(cosine),计算第一蒸馏损失值。
206.具体的,假设一批输入的由b个样本图像,且各个样本图像经由目标参考模型和中间人脸分类模型得到的人脸特征信息均为d维向量,则针对一个样本图像1计算的损失值的计算公式如下:
207.l
f1
=‖f
x1-f
y1
‖2208.其中,l
f1
是指针对一个样本图像1计算得到的蒸馏子损失值,能够表征f
x1
与f
y1
之间的距离,f
x1
是指中间人脸分类模型基于样本图像1提取的人脸特征信息,f
y1
是指目标参考模型基于样本图像1提取的人脸特征信息。
209.进一步的,在计算第一蒸馏损失时,可以采用以下公式实现:
[0210][0211]
其中,lf表征计算得到的第一蒸馏损失,b为第三样本图像中包括的样本图像总数,l
fi
表征针对第三样本图像中的样本图像i计算得到的第一蒸馏子损失。
[0212]
处理设备基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,计
算第一分类损失值时,采用交叉熵损失函数计算中间分类结果与第三样本图像对应的分类标签之间的第一分类损失值。
[0213]
假设第三样本图像中包括b个样本图像,则在计算第一分类损失值时,可以针对b个样本图像,分别计算基于样本图像得到的中间分类结果与样本图像对应的分类标签之间的第一分类子损失,进而将各个第一分类子损失的均值,作为针对第三样本图像计算得到的第一分类损失值。
[0214]
处理设备获得第一蒸馏损失值和第一分类损失值后,为了实现对中间人脸分类模型进行调整,使得中间人脸分类模型能够学习目标参考模型的特征分布,故采用第一蒸馏损失值和第一分类损失值进行联合调整,具体的,采用如下公式,计算联合损失:
[0215]
l=λ*lf+l
class
[0216]
其中,l为计算得到的联合损失,λ为根据实际处理需要设置的参数,lf为第一蒸馏损失值,l
class
为第一分类损失值。
[0217]
进一步地,处理设备基于计算得到的联合损失对中间人脸分类模型中的模型参数进行更新,其中,针对中间人脸分类模型设置的各个类中心,以及目标参考模型均保持稳定,不参与更新。
[0218]
需要说明的是,本技术实施例中,在方式一的训练方式下,处理设备在对初始人脸分类模型和中间人脸分类模型进行训练时,可以根据实际的处理需要设置以不同的学习率进行参数调整,其中,考虑到将中间人脸分类模型训练得到目标人脸分类模型的过程中,是在中间人脸分类模型的基础上进行的微调,故可以设置以较小的学习率训练中间人脸分类模型。
[0219]
例如,将训练初始人脸分类模型时的学习率设置为0.1,以及将训练中间人脸分类模型时的学习率设置为0.001。
[0220]
这样,在基于计算得到的第一蒸馏损失值和第一分类损失,对中间人脸分类模型进行调整的过程中,相当于同时兼顾了中间人脸分类模型与目标参考模型之间的特征提取差异,以及中间人脸分类对象的分类能力差异,使得能够结合目标参考模型实现对于中间人脸分类模型的联合约束,使得后续得到的目标人脸分类模型能够准确地实现人脸特征的识别。
[0221]
步骤2032-5:处理设备判定当前是否满足预设的第三收敛条件,若是,执行步骤2032-6,否则,返回执行步骤2032-1。
[0222]
具体的,处理设备在当前一轮迭代训练后,基于当前对于中间人脸分类模型的训练情况,判定是否满足预设的第三收敛条件,其中,一轮迭代训练是指基于一个batch的第三样本图像完成的一次反向传播过程,预设的第三收敛条件具体可以是进行迭代训练的轮数满足第七设定值,或者,预设的第三收敛条件可以是计算得到的损失值连续低于第八设定值的次数达到第九设定值,另外,第七设定值、第八设定值,以及第九设定值的具体取值根据实际处理需要设置,本技术不做具体说明。
[0223]
本技术实施例中,处理设备根据当前的训练情况,确定满足预设的第三收敛条件时,则可以确定中间人脸分类模型收敛,进而执行步骤2032-6的操作,否则,若确定不满足预设的第三收敛条件,则返回执行步骤2032-1的操作,继续从样本图像集合中,读取先前未读取过的第三样本图像,并重复执行后续的步骤2032-2至2032-5的操作。
[0224]
步骤2032-6:处理设备输出训练后的目标人脸分类模型。
[0225]
具体的,处理设备确定当前的训练情况,满足预设的第三收敛条件时,则认为中间人脸分类模型已经收敛,进而将最后一轮训练得到的中间人脸分类模型,作为训练完成的目标人脸分类模型。
[0226]
需要说明的是,处理设备考量的当前的训练情况,具体可以通过先前的各轮训练过程分别计算得到的损失值;已训练的总轮数中的至少一种或组合来表征。
[0227]
这样,处理设备在进行蒸馏训练的过程中,能够采用联合损失约束的方式,同步约束中间人脸分类模型与目标参考模型之间的特征分布,以及约束中间人脸分类模型的分类结果,并实现对中间人脸分类模型的进一步调整,最终能够得到能够准确提取人脸特征信息并分类的目标人脸分类模型。
[0228]
另外,处理设备采用的方式一的训练方式,能够在初始人脸分类模型与目标参考模型之间的参数量级差异较大的情况下,避免强制控制初始人脸分类模型学习目标参考模型的处理能力造成的模型过拟合,而且,基于上述训练得到目标人脸分类模型的过程可知,处理设备在进行模型训练的过程中,无需额外增加参与训练的数据,仅采用常规的训练方式,在对初始人脸分类模型进行分阶段的训练,就能够得到高性能的目标人脸分类模型,使得参数量级低的目标人脸识别模型,能够实现参数量级高的目标参考模型的功能,降低了在移动端上的部署压力的同时,能够得到具有强鲁棒性的目标人脸分类模型。
[0229]
进一步的,参阅图8所示,其为本技术实施例中训练初始人脸分类模型的步骤与功能模型的关系示意图,下面结合附图8,对处理设备在进行初始人脸分类模型的训练时,各个步骤对应的功能模块进行说明:
[0230]
处理设备针对初始人脸分类模型的训练,建立有训练数据准备模块、第一人脸特征提取模块、第一损失函数计算模块、第二人脸特征提取模块、第二损失函数计算模块,类中心存储模块、以及联合传播优化模块,其中,
[0231]
训练数据准备模块:用于在训练过程中,从样本图像集合中读取样本图像,并将读取到的样本图像组成一个batch,输入初始人脸分类模型的初始特征提取网络,或者,输入中间人脸分类模型的中间特征提取网络,即,实现步骤2031-1和2032-1的功能。
[0232]
第一人脸特征提取模块:用于在不同的训练阶段,分别采用初始特征提取网络对第二样本图像,进行空间特征的提取,并采用中间特征提取网络对第三样本图像,进行空间特征的提取,输出的不同阶段的人脸特征信息中,保留样本图像的空间结构信息,即,实现步骤2031-2的功能和步骤2032-3的部分功能。
[0233]
第一损失函数计算模块:用于在不用的训练阶段,计算预测的分类结果与对应的分类标签之间的损失,具体实现的功能包括,采用初始分类网络,将基于初始人脸特征信息和各个类中心的矩阵乘法,映射得到的第二样本图像属于各个类别的概率向量,作为初始分类结果,并根据得到的初始分类结果与对应的分类标签之间的差异,计算损失值;而且,可以采用中间分类网络,将中间人脸特征信息和各个类中心的矩阵乘法结果,映射得到的第三样本图像属于各个类别的概率向量,作为中间分类结果,并根据得到的中间分类结果与对应的分类标签之间的差异,计算第一分类损失值,即,实现步骤2031-3、步骤2032-3和步骤2032-4的部分功能。
[0234]
第二人脸特征提取模块:用于根据目标参考模型中的目标参考特征提取网络,对
第三样本图像进行特征提取,即,实现步骤2032-2的功能。
[0235]
第二损失函数计算模块:用于在对中间人脸分类模型进行训练时,基于目标参考模型提取的第一参考人脸特征信息,以及中间特征提取网络提取的中间人脸特征信息之间的距离差异,计算第一蒸馏损失值,即,实现步骤2032-4的功能。
[0236]
类中心存储模块:用于存储初始人脸分类模型和中间人脸分类模型中,针对被配置的各个分类类别构建的各个类中心,能够为步骤2031-3和2032-3的处理提供参考信息,其中,初始人脸分类模型的分类类别总数,是在构建初始人脸分类模型时配置的。
[0237]
联合传播优化模块:用于基于得到的损失值,反向传播调整模型参数。
[0238]
方式二、处理设备采用训练采用目标参考模型和样本图像集合,对固定设置有各个类中心的初始人脸分类模型,进行多轮知识蒸馏训练,得到训练后的目标人脸分类模型。
[0239]
需要说明的是,当目标参考模型与初始人脸分类模型之间的参数量级差异不大时,则可以采用方式二的训练方式,直接采用目标参考模型和样本图像集合,对固定设置有各个类中心的初始人脸分类模型进行多轮知识蒸馏训练,其中,相关的处理步骤与方式一中蒸馏训练的过程类似,下面将结合附图,对训练得到目标人来分类模型的过程进行示意性说明:
[0240]
参阅图9所示,其为本技术实施例中训练得到目标人脸分类模型的流程示意图,下面结合附图9,对训练得到目标人脸分类模型的流程进行说明:
[0241]
步骤203a:处理设备从样本图像集合中读取第四样本图像。
[0242]
具体的,处理设备根据实际的训练需要,确定在初始人脸分类模型的一轮训练过程中,同时输入初始人脸分类模型的一个batch的样本图像数目后,将从样本图像集合中读取的,相应数目的样本图像作为第四样本图像,其中,在对初始人脸分类模型进行训练的不同轮次中,读取的第四样本图像均不同。
[0243]
步骤203b:处理设备将读取的第四样本图像输入目标参考模型,获得目标参考模型提取的第二参考人脸特征信息,并将第四样本图像输入初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果。
[0244]
具体的,处理设备将读取的第四样本图像输入目标参考模型,获得目标参考模型提取的第二参考人脸特征信息,并将第四样本图像输入初始人脸分类模型中的初始特征提取网络,获得提取的第二初始人脸特征信息,然后通过初始人脸分类模型中的初始分类网络,基于第二初始人脸特征信息和各个目标类中心,获得预测的第二初始分类结果。
[0245]
需要说明的是,初始人脸分类模型中包括初始特征提取网络和初始分类网络,初始特征提取网络的结构为cnn结构,初始分类网络采用softmax或者带有margin的softmax,分别在第二初始人脸特征信息与各个目标类中心之间进行矩阵乘法,得到各个第二初始距离信息后,基于各个第二初始距离信息实现特征的分类,其中,初始人脸分类模型与目标参考模型中包括的网络结构相同,但目标参考模型的参数量级高于初始人脸分类模型。
[0246]
这样,借助于初始人脸分类模型中的网络结构,能够获得约束所需要的人脸特征信息和预测的分类结果,为后续对初始人脸分类模型的学习调整提供了处理依据。
[0247]
步骤203c:处理设备基于第二参考人脸特征信息与第二初始人脸特征信息之间的特征差异,以及基于第二初始分类结果与第四样本图像对应的分类标签之间的分类差异,调整初始人脸分类模型的模型参数。
[0248]
具体的,处理设备基于第二参考人脸特征信息与第二初始人脸特征信息之间的特征差异,计算第二蒸馏损失值,并基于第二初始分类结果与第四样本图像对应的分类标签之间的分类差异,计算第二分类损失值,然后基于第二蒸馏损失值和第二分类损失值,调整初始待训练人脸分类模型的模型参数。
[0249]
需要说明的是,本技术实施例中,计算第二蒸馏损失值和第二分类损失值的方式,与前述步骤2032-4中采用的计算方式相同,本技术将不再赘述。
[0250]
进一步的,处理设备根据基于第二蒸馏损失和第二分类损失得到的联合损失,调整初始人脸分类模型的模型参数,其中,初始人脸分类模型中被设置的各个类中心,以及目标参考模型,不参与更新。
[0251]
这样,在基于计算得到的第二蒸馏损失值和第二分类损失,对初始人脸分类模型进行调整的过程中,不仅能够使得初始人脸识别模型在训练的过程中,学习到目标参考模型的特征处理能力,还使得初始人脸识别模型能够学习到目标参考模型的特征分布,为后续基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型,准确地识别人脸特征提供了处理依据。
[0252]
步骤203d:处理设备判定当前是否满足预设的第四收敛条件,若是,执行步骤203e,否则,返回执行步骤203a。
[0253]
具体的,处理设备可以延用上述步骤2032-5中的判定依据,将第四收敛条件设置为与第三收敛条件相同,进而基于当前的训练情况,确定满足第四收敛条件时,则可以确定初始人脸分类网络收敛,进而执行步骤203e所示意的操作,否则,则继续从样本图像集合中,读取先前未读取过的第四样本图像,并重复执行步骤203a-203d的操作。
[0254]
步骤203e:处理设备输出训练后的目标人脸分类模型。
[0255]
具体的,处理设备确定当前的训练情况,满足预设的第四收敛条件时,则认为初始人脸识别模型已经收敛,进而将最后一轮训练得到的初始人脸分类模型,作为训练完成的目标人脸分类模型。
[0256]
这样,在将训练完成的目标参考模型所构建的各个目标类中心,设置为初始人脸识别模型中固定的各个类中心,实现将目标参考模型构建的各个类中心迁移至初始人脸分类模型中后,通过对配置后的初始人脸分类模型直接进行的知识蒸馏训练,使得初始人脸分类模型能够学习到目标参考模型的特征处理能力和特征分布,因而后续基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型,能够更准确的识别人脸特征。
[0257]
步骤204:处理设备基于目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。
[0258]
具体的,处理设备获得训练得到的目标人脸分类模型后,基于目标人脸分类模型中的特征提取网络,生成目标人脸识别模型,其中,目标特征提取网络是由初始人脸分类模型中的初始特征提取网络训练得到的。
[0259]
这样,在训练得到目标人脸分类模型后,仅提取目标人脸分类模型中用于进行人脸特征提取的网络结构,因此,对于训练得到目标人脸分类模型的过程来说,训练过程中所借助的各个目标类中心和分类网络,均是用于辅助实现对于特征提取网络的训练,使得最终能够得到对人脸特征信息进行准确提取的目标人脸识别模型。
[0260]
参阅图10所示,其为本技术实施例中基于获得的目标人脸识别模型进行人脸验证的流程示意图,下面结合附图10,对应用目标人脸识别模型进行人脸识别验证的流程进行说明:
[0261]
步骤1001:处理设备获取针对目标对象采集的待识别图像。
[0262]
具体的,处理设备在对目标对象进行人脸验证时,根据实际的应用场景,可以基于直接采集的待识别图像,或者,接收到的待识别图像,实现后续对于目标对象的人脸验证。
[0263]
例如,在目标对象请求进行人脸验证,以实现登录私密的银行账户,或者,实现人脸支付时,处理设备获取远端设备针对目标对象采集的待识别图像,以支持进行目标对象的身份验证。
[0264]
又例如,在目标对象请求通过闸机的场景下,处理设备可以在检测到目标对象进行识别区域后,自行采集目标对象的待识别图像,进而依据获得的待识别图像进行针对性的人脸验证。
[0265]
步骤1002:处理设备采用训练后的目标人脸识别模型,对待识别图像进行人脸特征识别,获得目标对象对应的待匹配人脸特征信息。
[0266]
处理设备获得针对目标对象采集的待识别图像后,采用训练后的目标人脸识别模型,对待识别图像进行人脸识别,识别出目标对象对应的待匹配人脸特征信息,其中,目标人脸识别模型是采用上述图2-图9的训练流程训练得到的,本技术在此不对目标人脸识别模型的训练过程进行赘述。
[0267]
步骤1003:处理设备基于预先采集的各个人脸特征信息,与待匹配人脸特征信息之间的向量相似度,确定目标对象的验证结果。
[0268]
具体的,在执行步骤1003时,处理设备获取预先采集的各个人脸特征信息,并分别计算待匹配人脸特征信息与各个人脸特征信息之间的向量相似度,并在确定各个向量相似度中,存在满足预设条件的目标向量相似度时,判定目标对象的人脸验证成功,反之,若确定各个向量相似度中,不存在满足预设条件的目标向量相似度,则判定目标对象验证失败。
[0269]
其中,预设条件具体可以是,向量相似度的取值达到设定阈值,计算向量之间的相似度是本领域的成熟技术,本技术在此不做具体说明。
[0270]
这样,通过计算目标人脸识别模型提取的待匹配人脸特征信息,与预先存储的各个人脸特征信息之间的向量相似度,能够确定已保存的信息与目标对象的匹配情况,进而完成对于目标对象的验证。
[0271]
下面结合附图,对本技术实施例中训练得到目标人脸识别模型,以及部署目标人脸识别模型后,实现对于目标对象的身份验证的过程进行说明:
[0272]
参阅图11所示,其为本技术实施中训练得到目标人脸识别模型的训练阶段示意图,根据图11示意的内容可知,本技术提出的技术方案包括目标人脸识别模型的训练阶段和特征提取网络的部署阶段。
[0273]
对于目标人脸识别模型的训练阶段而言,经过的过程分别为:训练得到目标参考模型-对初始人脸分类模型进行初步训练,得到中间人脸分类模型-采用目标参考模型,对中间人脸分类模型进行联合优化,得到目标人脸分类模型。
[0274]
对于特征提取网络的部署阶段而言,在完成训练后,将目标人脸分类模型中的目标特征提取网络,部署在存在人脸验证需求的设备上,进而后续配合特征比对与搜索功能,
完成完整的人脸识别验证。
[0275]
进一步的,训练得到目标人脸识别模型后,基于目标人脸识别模型实现人脸验证,参阅图12所示,其为本技术实施例中部署有目标人脸识别模型的处理设备实现人脸验证时的功能模块示意图。
[0276]
处理设备在实现人脸验证功能时,可以借助于图片采集输入模块、识别网络模块,以及特征比对搜索模块,实现人脸验证功能,其中,
[0277]
图片采集输入模块,用于采集待识别的人脸图片,或者,获得目标对象的人脸图片;
[0278]
识别网络模块,用于提取人脸图片中的人脸特征信息,其中,识别网络对应目标人脸识别模型,由表达能力更强的目标参考模型进行知识迁移而来,其所提取的特征分布与目标参考模型的特征分布相似性较高,因此具有更高的识别准确率;
[0279]
特征比对搜索模块,用于基于获得的人脸特征信息进行比对验证。
[0280]
参阅图13所示,其为本技术实施例中训练得到目标人脸分类模型的流程示意图,下面结合附图13,对训练得到目标人脸识别模型的过程进行示意性说明:
[0281]
需要说明的是,初始构建的参考人脸分类模型和初始人脸分类模型中,均包括有特征提取网络和分类网络,且参考人脸分类模型的参数量级,高于初始人脸分类模型。
[0282]
在对参考人脸分类模型进行训练的过程中,在一轮训练过程中,处理设备从样本图像集合中读取第一样本图像,并确定第一样本图像中各个样本图像各自对应的分类标签,其中,分类标签具体是指样本图像对应的对象id,样本图像集合中包括的对象id总数,与参考人脸分类模型的分类类别总数相同,对象id用于表征样本图像中的样本对象的身份信息。
[0283]
处理设备将读取的第一样本图像输入参考人脸分类模型,得到经由参考人脸分类模型的内部的参考特征提取网络和参考分类网络处理得到的参考分类结果,进而基于参考分类结果与第一样本图像对应的分类标签之间的差异,调整参考人脸分类模型的模型参数,以及调整针对各个分类类别构建的预测类中心。处理设备循环执行上述第一样本图像的读取至反向传播调整参数的步骤,直至当前的参考人脸分类模型满足收敛条件,则获得训练后的目标参考模型。
[0284]
在训练得到目标参考模型的基础上,处理设备开始进行初始人脸分类模型的训练,首先,将目标参考模型内部针对各个分类类别构建的各个目标类中心,设置为初始人脸分类模型中固定的各个类中心,其中,初始人脸分类模型与目标参考模型之间的分类类别相同,且初始人脸分类模型中被设置的类中心在模型的训练过程中稳定不发生偏移。
[0285]
处理设备将从样本图像集合中读取的第二样本图像,输入初始人脸分类模型,获得经由初始人脸分类模型中的初始特征提取网络和初始分类网络,处理得到的第一初始分类结果,进而基于第一初始分类结果与第二样本图像对应的分类标签之间的差异,调整初始人脸分类模型的模型参数。处理设备循环执行上述第二样本图像的读取至反向传播调整参数的步骤,直至当前的初始人脸分类模型满足收敛条件,则获得训练后的中间人脸分类模型。
[0286]
在训练得到中间人脸分类模型之后,将从样本图像集合中读取的第三样本图像,分别输入目标参考模型和中间人脸分类模型,从提取的人脸特征信息和中间人脸分类模型
的分类结果的角度,建立联合约束,并基于计算连接的联合损失调整模型参数,进而循环执行对于中间人脸分类模型的训练操作,得到训练完成的目标人脸分类模型。
[0287]
在获得目标人脸分类模型后,可以将目标人脸分类模型中的目标分类模型删除后,基于剩余的目标特征提取网络,生成目标人脸识别模型,或者,直接基于目标特征提取网络,生成目标人脸识别模型。
[0288]
进一步的,参阅图14所示,其为本技术实施例中针对待识别图像进行特征提取的示意图,根据图14所示意的内容,处理设备获得针对目标对象采集的待识别图像后,将待识别图像输入目标人脸识别模型,经过目标人脸识别模型内部的,cnn网络结构的特征提取操作,得到针对待识别图像提取的待匹配人脸特征向量,其中,图14所示意的cnn网络结构仅为示意性说明,本技术可以采用各种形式的cnn网络结构以实现特征提取功能,cnn网络结构能够实现的功能包括但不限于卷积计算、非线性激活函数层计算,以及池化层计算等,本技术在此将不再进行具体说明。
[0289]
基于同一发明构思,参阅图15所示,其为本技术实施例中人脸识别模型的训练装置的逻辑结构示意图,人脸识别模型的训练装置1500中包括获取单元1501、第一训练单元1502、第二训练单元1503,以及生成单元1504,其中,
[0290]
获取单元1501,用于获取样本图像集合,其中,样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及各个样本对象各自对应的分类标签;
[0291]
第一训练单元1502,用于基于样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得目标参考模型针对各个样本对象分别构建的目标类中心;
[0292]
第二训练单元1503,用于将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,并基于样本图像集合和目标参考模型,对初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型;
[0293]
生成单元1504,用于基于目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。
[0294]
可选的,参考人脸分类模型中包括参考特征提取网络和参考分类网络,对参考人脸分类模型进行一轮迭代训练时,第一训练单元1502用于执行以下操作:
[0295]
将读取的第一样本图像输入参考特征提取网络,获得第一样本图像对应的参考人脸特征信息;
[0296]
通过参考分类网络,分别计算参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息,并基于各个参考距离信息,映射确定针对第一样本图像预测的参考分类结果;
[0297]
基于参考分类结果与第一样本图像对应的分类标签之间的分类差异,调整参考人脸分类模型的模型参数和各个预测类中心。
[0298]
可选的,将各个目标类中心迁移至初始人脸分类模型中,并基于样本图像集合和目标参考模型,对初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型时,第二训练单元1503用于:
[0299]
将各个目标类中心设置为初始人脸分类模型中固定的各个类中心,并基于样本图像集合,对初始人脸分类模型进行多轮迭代训练,获得训练后的中间人脸分类模型;
[0300]
基于样本图像集合和目标参考模型,对中间人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型。
[0301]
可选的,初始人脸分类模型中包括初始特征提取网络和初始分类网络,对初始人脸分类模型进行一轮迭代训练时,第二训练单元1503用于执行以下操作:
[0302]
将读取的第二样本图像输入初始特征提取网络,获得第二样本图像对应的第一初始人脸特征信息;
[0303]
将第一初始人脸特征信息输入初始分类网络,获得基于第一初始人脸特征信息和各个目标类中心向量,预测的第一初始分类结果;
[0304]
基于第一初始分类结果与第二样本图像对应的分类标签之间的分类差异,调整初始人脸分类模型的模型参数。
[0305]
可选的,获得基于第一初始人脸特征信息和各个类目标中心向量,输出的第一初始分类结果时,第二训练单元1503用于:
[0306]
通过初始分类网络,分别计算第一初始人脸特征信息与各个目标类中心之间的第一初始距离信息;
[0307]
基于各个第一初始距离信息,映射确定针对第二样本图像预测的第一初始分类结果。
[0308]
可选的,中间人脸分类模型中包括中间特征提取网络和中间分类网络,对中间人脸分类模型进行一轮知识蒸馏训练时,第二训练单元1503用于执行以下操作:
[0309]
将读取的第三样本图像输入目标参考模型,获得目标参考模型提取的第一参考人脸特征信息;
[0310]
将第三样本图像输入训练后的中间特征提取网络,获得对应的中间人脸特征信息,并通过中间分类网络,基于中间人脸特征信息和各个目标类中心,获得预测的中间分类结果;
[0311]
基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,以及基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,调整中间人脸分类模型的模型参数。
[0312]
可选的,基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,以及基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,调整中间人脸分类模型的模型参数时,第二训练单元1503用于:
[0313]
基于第一参考人脸特征信息与中间人脸特征信息之间的特征差异,计算第一蒸馏损失值,以及基于中间分类结果与第三样本图像对应的分类标签之间的分类差异,计算第一分类损失值;
[0314]
基于第一蒸馏损失值和第二分类损失值,调整中间人脸分类模型的模型参数。
[0315]
可选的,对初始人脸分类模型进行一轮知识蒸馏训练时,第二训练单元1503用于执行以下操作:
[0316]
将读取的第四样本图像输入目标参考模型,获得目标参考模型提取的第二参考人脸特征信息,并将第四样本图像输入初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果;
[0317]
基于第二参考人脸特征信息与第二初始人脸特征信息之间的特征差异,以及基于
第二初始分类结果与第四样本图像对应的分类标签之间的分类差异,调整初始人脸分类模型的模型参数。
[0318]
可选的,初始人脸分类模型中包括初始特征提取网络和初始分类网络,将第四样本图像输入初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果时,第二训练单元1503用于:
[0319]
将第四样本图像输入初始特征提取网络,获得提取的第二初始人脸特征信息;
[0320]
通过初始分类网络,基于第二初始人脸特征信息和各个目标类中心,获得预测的第二初始分类结果。
[0321]
可选的,基于第二参考人脸特征信息与第二初始人脸特征信息之间的特征差异,以及基于第二初始分类结果与第四样本图像对应的分类标签之间的分类差异,调整初始人脸分类模型的模型参数时,第二训练单元1503用于:
[0322]
基于第二参考人脸特征信息与第二初始人脸特征信息之间的特征差异,计算第二蒸馏损失值,并基于第二初始分类结果与第四样本图像对应的分类标签之间的分类差异,计算第二分类损失值;
[0323]
基于第二蒸馏损失值和第二分类损失值,调整初始待训练人脸分类模型的模型参数。
[0324]
基于同一发明构思,参阅图16所示,其为本技术实施例中人脸验证装置的逻辑结构示意图,人脸验证装置1600中包括获取单元1601、识别单元1602,以及确定单元1603,其中,
[0325]
获取单元1601,用于获取针对目标对象采集的待识别图像;
[0326]
识别单元1602,用于采用训练后的目标人脸识别模型,对待识别图像进行人脸特征识别,获得目标对象对应的待匹配人脸特征信息,其中,目标人脸识别模型是上述实施例中的训练方法训练得到的;
[0327]
确定单元1603,用于基于预先采集的各个人脸特征信息,与待匹配人脸特征信息之间的向量相似度,确定目标对象的验证结果。
[0328]
可选的,基于预先采集的各个人脸特征信息,与待匹配人脸特征信息之间的向量相似度,确定目标对象的识别结果时,确定单元1603用于:
[0329]
获取预先采集的各个人脸特征信息,并分别计算待匹配人脸特征信息与各个人脸特征信息之间的向量相似度;
[0330]
确定各个向量相似度中,存在满足预设条件的目标向量相似度时,判定目标对象的人脸验证成功。
[0331]
在介绍了本技术示例性实施方式的人脸识别模型的训练方法和装置,以及人脸验证方法和装置之后,接下来,介绍根据本技术的另一示例性实施方式的电子设备。
[0332]
所属技术领域的技术人员能够理解,本技术的各个方面可以实现为系统、方法或程序产品。因此,本技术的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
[0333]
与上述方法实施例基于同一发明构思,本技术实施例中还提供了一种电子设备,参阅图17所示,其为应用本技术实施例的一种电子设备的一个硬件组成结构示意图,电子
设备1700可以至少包括处理器1701、以及存储器1702。其中,存储器1702存储有程序代码,当程序代码被处理器1701执行时,使得处理器1701执行上述任意一种人脸识别模型的训练和人脸验证的步骤。
[0334]
在一些可能的实施方式中,根据本技术的计算装置可以至少包括至少一个处理器、以及至少一个存储器。其中,存储器存储有程序代码,当程序代码被处理器执行时,使得处理器执行本说明书上述描述的根据本技术各种示例性实施方式的人脸识别模型的训练和人脸验证的步骤。例如,处理器可以执行如图2-7,以及图9-10中所示的步骤。
[0335]
下面参照图18来描述根据本技术的这种实施方式的计算装置1800。如图18所示,计算装置1800以通用计算装置的形式表现。计算装置1800的组件可以包括但不限于:上述至少一个处理单元1801、上述至少一个存储单元1802、连接不同系统组件(包括存储单元1802和处理单元1801)的总线1803。
[0336]
总线1803表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、处理器或者使用多种总线结构中的任意总线结构的局域总线。
[0337]
存储单元1802可以包括易失性存储器形式的可读介质,例如随机存取存储器(ram)18021和/或高速缓存存储单元18022,还可以进一步包括只读存储器(rom)18023。
[0338]
存储单元1802还可以包括具有一组(至少一个)程序模块18024的程序/实用工具18025,这样的程序模块18024包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
[0339]
计算装置1800也可以与一个或多个外部设备1804(例如键盘、指向设备等)通信,还可与一个或者多个使得对象能与计算装置1800交互的设备通信,和/或与使得该计算装置1800能与一个或多个其它计算装置进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1805进行。并且,计算装置1800还可以通过网络适配器1806与一个或者多个网络(例如局域网(lan),广域网(wan)和/或公共网络,例如因特网)通信。如图所示,网络适配器1806通过总线1803与用于计算装置1800的其它模块通信。应当理解,尽管图中未示出,可以结合计算装置1800使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0340]
与上述方法实施例基于同一发明构思,本技术提供的异常识别的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在电子设备上运行时,程序代码用于使电子设备执行本说明书上述描述的根据本技术各种示例性实施方式的人脸识别模型的训练和人脸验证的步骤。例如,处理器可以执行如图2-7,以及图9-10中所示的步骤。
[0341]
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0342]
尽管已描述了本技术的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例做出另外的变更和修改。所以,所附权利要求意欲解释为包括优
选实施例以及落入本技术范围的所有变更和修改。
[0343]
显然,本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样,倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内,则本技术也意图包含这些改动和变型在内。
技术特征:
1.一种人脸识别模型的训练方法,其特征在于,包括:获取样本图像集合,其中,所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及所述各个样本对象各自对应的分类标签;基于所述样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心;将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型;基于所述目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。2.如权利要求1所述的方法,其特征在于,所述参考人脸分类模型中包括参考特征提取网络和参考分类网络,对所述参考人脸分类模型进行一轮迭代训练时,执行以下操作:将读取的第一样本图像输入所述参考特征提取网络,获得所述第一样本图像对应的参考人脸特征信息;通过所述参考分类网络,分别计算所述参考人脸特征信息与当前构建的各个预测类中心之间的参考距离信息,并基于各个参考距离信息,映射确定针对所述第一样本图像预测的参考分类结果;基于所述参考分类结果与所述第一样本图像对应的分类标签之间的分类差异,调整所述参考人脸分类模型的模型参数和所述各个预测类中心。3.如权利要求1或2所述的方法,其特征在于,所述将各个目标类中心迁移至初始人脸分类模型中,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型,包括:将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合,对所述初始人脸分类模型进行多轮迭代训练,获得训练后的中间人脸分类模型;基于所述样本图像集合和所述目标参考模型,对所述中间人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型。4.如权利要求3所述的方法,其特征在于,所述初始人脸分类模型中包括初始特征提取网络和初始分类网络,对所述初始人脸分类模型进行一轮迭代训练时,执行以下操作:将读取的第二样本图像输入所述初始特征提取网络,获得所述第二样本图像对应的第一初始人脸特征信息;将所述第一初始人脸特征信息输入所述初始分类网络,获得基于所述第一初始人脸特征信息和所述各个目标类中心向量,预测的第一初始分类结果;基于所述第一初始分类结果与所述第二样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数。5.如权利要求4所述的方法,其特征在于,所述获得基于所述第一初始人脸特征信息和所述各个类目标中心向量,输出的第一初始分类结果,包括:通过所述初始分类网络,分别计算所述第一初始人脸特征信息与所述各个目标类中心之间的第一初始距离信息;基于各个第一初始距离信息,映射确定针对所述第二样本图像预测的第一初始分类结
果。6.如权利要求3所述的方法,其特征在于,所述中间人脸分类模型中包括中间特征提取网络和中间分类网络,对所述中间人脸分类模型进行一轮知识蒸馏训练时,执行以下操作:将读取的第三样本图像输入所述目标参考模型,获得所述目标参考模型提取的第一参考人脸特征信息;将所述第三样本图像输入训练后的所述中间特征提取网络,获得对应的中间人脸特征信息,并通过所述中间分类网络,基于所述中间人脸特征信息和所述各个目标类中心,获得预测的中间分类结果;基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,调整所述中间人脸分类模型的模型参数。7.如权利要求6所述的方法,其特征在于,所述基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,调整所述中间人脸分类模型的模型参数,包括:基于所述第一参考人脸特征信息与所述中间人脸特征信息之间的特征差异,计算第一蒸馏损失值,以及基于所述中间分类结果与所述第三样本图像对应的分类标签之间的分类差异,计算第一分类损失值;基于所述第一蒸馏损失值和所述第二分类损失值,调整所述中间人脸分类模型的模型参数。8.如权利要求1或2所述的方法,其特征在于,对所述初始人脸分类模型进行一轮知识蒸馏训练时,执行以下操作:将读取的第四样本图像输入所述目标参考模型,获得所述目标参考模型提取的第二参考人脸特征信息,并将所述第四样本图像输入所述初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果;基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数。9.如权利要求8所述的方法,其特征在于,所述初始人脸分类模型中包括初始特征提取网络和初始分类网络,所述将所述第四样本图像输入所述初始人脸分类模型,获得提取的第二初始人脸特征信息和预测的第二初始分类结果,包括:将所述第四样本图像输入所述初始特征提取网络,获得提取的第二初始人脸特征信息;通过所述初始分类网络,基于所述第二初始人脸特征信息和所述各个目标类中心,获得预测的第二初始分类结果。10.如权利要求8所述的方法,其特征在于,所述基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,以及基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间的分类差异,调整所述初始人脸分类模型的模型参数,包括:基于所述第二参考人脸特征信息与所述第二初始人脸特征信息之间的特征差异,计算第二蒸馏损失值,并基于所述第二初始分类结果与所述第四样本图像对应的分类标签之间
的分类差异,计算第二分类损失值;基于所述第二蒸馏损失值和所述第二分类损失值,调整所述初始待训练人脸分类模型的模型参数。11.一种人脸验证方法,其特征在于,包括:获取针对目标对象采集的待识别图像;采用训练后的目标人脸识别模型,对所述待识别图像进行人脸特征识别,获得所述目标对象对应的待匹配人脸特征信息,其中,所述目标人脸识别模型是采用权利要求1-10任一项所述的训练方法训练得到的;基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的验证结果。12.如权利要求11所述的方法,其特征在于,所述基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的识别结果,包括:获取预先采集的各个人脸特征信息,并分别计算所述待匹配人脸特征信息与所述各个人脸特征信息之间的向量相似度;确定各个向量相似度中,存在满足预设条件的目标向量相似度时,判定所述目标对象的人脸验证成功。13.一种人脸识别模型的训练装置,其特征在于,包括:获取单元,用于获取样本图像集合,其中,所述样本图像集合中包括分别针对各个样本对象采集的样本图像子集,以及所述各个样本对象各自对应的分类标签;第一训练单元,用于基于所述样本图像集合,对参考人脸分类模型进行多轮迭代训练,获得训练后的目标参考模型,并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心;第二训练单元,用于将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练,获得训练后的目标人脸分类模型;生成单元,用于基于所述目标人脸分类模型中的目标特征提取网络,生成目标人脸识别模型。14.一种人脸验证装置,其特征在于,包括:获取单元,用于获取针对目标对象采集的待识别图像;识别单元,用于采用训练后的目标人脸识别模型,对所述待识别图像进行人脸特征识别,获得所述目标对象对应的待匹配人脸特征信息,其中,所述目标人脸识别模型是采用权利要求1-10任一项所述的训练方法训练得到的;确定单元,用于基于预先采集的各个人脸特征信息,与所述待匹配人脸特征信息之间的向量相似度,确定所述目标对象的验证结果。15.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-12任一项所述的方法。16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。17.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执
行时实现如权利要求1-12任一项所述的方法。
技术总结
本申请实施例可应用于云技术、人工智能、智慧交通、辅助驾驶等各种场景,尤其涉及一种人脸识别模型的训练方法、人脸验证方法及装置,该方法为:基于样本图像集合,对参考人脸分类模型进行多轮迭代训练得到目标参考模型,并获得所述目标参考模型针对所述各个样本对象分别构建的目标类中心,再将各个目标类中心设置为所述初始人脸分类模型中固定的各个类中心,并基于所述样本图像集合和所述目标参考模型,对所述初始人脸分类模型进行多轮知识蒸馏训练得到目标人脸分类模型,然后基于所述目标人脸分类模型中生成目标人脸识别模型。这样,基于训练后的目标人脸分类模型中的特征提取网络生成的目标人脸识别模型,能够更准确的识别人脸特征。别人脸特征。别人脸特征。
技术研发人员:许剑清
受保护的技术使用者:腾讯科技(上海)有限公司
技术研发日:2022.02.08
技术公布日:2023/8/21
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
上一篇:电路板的制作方法 下一篇:防水拉链链条的制作方法与流程
