利用面部识别和异质信息的访问控制的制作方法

1.本文档总体上而非通过限制的方式涉及面部识别系统和方法。


背景技术：

2.图像分类技术(例如，面部分类技术)具有多个用例。示例用例包括允许授权人员(和禁止未授权人员)进入安全的物理位置、认证电子设备的用户或识别对象(例如，如椅子、桌子等)。关于图像分类技术的一些实现方式的一个问题是经训练的图像分类神经网络的高的错误识别率。
附图说明
3.在不一定按比例绘制的附图中，相似的附图标记可以描述不同视图中的类似部件。具有不同字母后缀的相似的附图标记可以表示类似部件的不同实例。附图总体上通过示例的方式而非通过限制的方式示出本文档中讨论的各种实施方式。
4.图1是示出使用多模态面部属性的面部识别系统的示例的概念图。
5.图2是示出使用一个或更多个辅助属性的面部识别系统的示例的概念图，所述辅助属性可以与视觉信息组合使用以提高面部识别性能。
6.图3是使用一个或更多个辅助属性的计算机实现的方法的示例的流程图，所述辅助属性可以与视觉信息组合使用以提高面部识别系统的面部识别性能，如以上关于图2所描述的。
7.图4是计算机实现的方法100的示例的流程图，该方法在面部识别系统中使用多模态面部属性以提高面部识别系统的面部识别性能，如以上关于图1所描述的。
8.图5示出了根据本公开内容的一些示例的示例机器学习模块200。
9.图6示出了示例机器的框图，在该示例机器上可以执行本文中所讨论的技术(例如，方法)中的任何一种或更多种技术(例如，方法)。


技术实现要素：

10.本公开内容描述了在面部识别系统中多模态面部属性的使用。另外，一个或更多个辅助属性例如时间属性的使用可以与视觉信息组合使用以提高面部识别系统的面部识别性能。在一些示例中，在面部识别系统中多模态面部属性的使用可以与一个或更多个辅助属性例如时间属性的使用组合。这些技术中的每一种技术都可以提高面部识别系统的验证性能。
11.在一些方面，本公开内容涉及一种使用面部识别系统来识别人的计算机实现的方法，该方法包括：通过将人的第一图像的第一表示应用于预先训练好的属性分类器机器学习模型来提取人的属性，以生成属性分类器输出；将属性分类器输出和使用人的第二图像的第二表示生成的距离测量输出应用于预先训练好的融合验证机器学习模型；使用预先训练好的融合验证机器学习模型来生成面部识别系统输出；以及使用面部识别系统输出来控
制对安全资产的访问。
12.在一些方面，本公开内容涉及一种使用面部识别系统来根据人的图像识别人的计算机实现的方法，该方法包括：执行面部嵌入；将面部嵌入应用于分类流水线，以识别相似的图像；基于所识别的图像生成分类流水线输出；将分类流水线输出应用于联合分类模型；将辅助属性应用于联合分类模型；使用联合分类模型来生成联合分类输出；以及使用联合分类输出来控制对安全资产的访问。
具体实施方式
13.面部验证是几乎任何现代面部识别系统中的重要方面。面部验证可以计算探测(probe)与图库(gallery)之间的一对一相似性，以确定这两个图像是否具有相同的对象，其中图库信息可以通过面部分类流水线(一对多)获得。
14.由于在原始面部图像内存在太多变化和妨害的事实，因此不能在探测与图库之间在像素水平上执行验证。而是，通过传统方法诸如hog、sift等或更高级且数据驱动的神经网络方法诸如dlib、arcface等来从面部图像中提取高级特征。于是可以使用相似性度量诸如欧几里德距离或余弦相似性在面部特征向量当中进行验证。
15.尽管高级面部特征嵌入可以提供执行面部验证的简化方式，但是本发明人已经认识到，仍然存在与嵌入向量相关联的限制，这有时可能导致验证失败。限制主要来自下述方面。
16.可以用于特征提取的神经网络可能严重依赖于生成的面部嵌入的质量，生成的面部嵌入管理验证的性能。同时，神经网络的性能可能受到许多因素诸如训练数据集、网络设计和损失函数影响。
17.就训练数据集而言，大多数公开可用的面部图像数据集在人口统计偏向方面具有许多问题。例如，跨训练身份的族群通常是不平衡的，其中大多数身份被归入一个族群。例如，面部图像数据集如vggface、ms-celeb-1m和youtube face具有大多数高加索人身份，而casia具有大多数东亚人身份。族群的不平衡可能导致神经网络的性能偏向一个族群，从而导致对其他族群的验证性能的负面影响。
18.除了种族之外，训练数据集当中的年龄变化也可能引入对特定年龄群体的偏向，这取决于如何进行收集过程。年龄偏向可能导致经训练的神经网络的性能偏向。
19.除了种族和年龄之外，性别不平衡也是问题。当基于公共信息构造用于训练身份的列表时，通常可以控制性别不平衡，但是如果在收集期间不仔细地执行评估，则可能不是完美的。
20.最后，大的面部姿态变化可能是验证失败的另一原因。为了验证目的而比较两个轮廓面部图像是更困难的任务，即使从人类的角度来看也是如此。
21.本公开内容描述了克服上述问题的各种技术。本发明人已经认识到从多模态面部属性构造新的特征表示的需要。新的特征表示可以是一个或更多个面部属性诸如年龄、性别和种族的组合，如以下将更详细地描述的。
22.除了描述在面部识别系统中多模态面部属性的使用之外，本公开内容描述了使用一个或更多个辅助属性例如时间属性，所述辅助属性可以与视觉信息组合使用以提高面部识别系统的面部识别性能。在一些示例中，在面部识别系统中多模态面部属性的使用可以
与一个或更多个辅助属性例如时间属性的使用组合。这些技术中的每一种技术都可以提高面部识别系统的验证性能。
23.无约束环境中的现代面部识别系统试图完成以下两个任务：1)面部分类(1对n)，其试图将查询面部图像与通过登记收集的现有图库数据库中的最相似面部匹配；以及2)面部验证(1对1)，其试图确定查询图像和最相似图库图像是否是同一人。这两个过程都严重依赖于通过面部特征提取流水线获取的面部嵌入，该面部特征提取流水线的范围从手动设计的传统图像特征提取器到神经网络。
24.如过程所表明的，面部验证的有效性在某种程度上取决于面部分类的性能。为了实现更好的匹配，可以利用机器学习方法诸如线性分类器例如svm或逻辑回归或者决策树例如xgboost或lightgbm。构思是在从登记面部数据库中提取的面部嵌入上训练分类模型，以更好地理解目标群体。在一些示例中，每个身份将以高质量和受控变化来登记少量的其面部图像。
25.图1是示出使用多模态面部属性的面部识别系统10的示例的概念图。为了识别人12，人脸或面部识别网络14可以根据人的第一图像的第一表示(例如，第一模板、第一向量或第一图像)生成面部嵌入16。面部嵌入16可以包括数值向量，其可以在图像的表示中(例如在1024维空间中)表示每个检测到的面部。
26.在一些示例中，可以使用机器学习模型或神经网络来生成面部嵌入。例如，可以使用神经网络诸如arcface来生成面部嵌入。例如，神经网络的预训练权重可以从开源的deepinsight/insightface git储存库转换，该开源的deepinsight/insightface git储存库可以利用lresnet50e-ir网络架构和arcface损失函数来训练。
27.使用本公开内容的各种技术，计算机实现的方法可以从多模态面部属性构造新的特征表示。可以使用新的特征表示来训练用于面部验证目的的二元分类器。新的特征表示可以是多个面部属性诸如年龄、性别和种族的组合。
28.例如，计算机实现的方法可以通过将人的第一图像的第一表示应用于预先训练好的属性分类器机器学习模型来提取人12的一个或更多个属性。属性可以包括例如人的年龄、性别、种族和/或头部姿态。例如，面部嵌入可以生成应用于一个或更多个预先训练好的属性分类器机器学习模型的向量，并且然后每个模型可以提取其特定的对应属性。在另一示例中，一个或更多个预先训练好的属性分类器机器学习模型可以各自接收原始图像作为输入，生成特征，并且然后提取对应属性。
29.通过非限制性具体示例的方式，方法可以使用5个类别的推断年龄得分，诸如15岁至20岁、25岁至32岁、38岁至43岁、48岁至53岁和60岁以上；2个类别的推断性别得分：男性、女性；5个类别的推断种族得分：亚裔印第安人、东亚人、非裔美国人、高加索人和西班牙人；以及针对人的头部姿态的估计的头部的俯仰、横摆和滚转角度。
30.预先训练好的属性分类器机器学习模型可以形成验证引擎18的一部分。年龄分类器机器学习模型20可以从人的图像的表示中提取人12的年龄。类似地，性别分类器机器学习模型22可以提取人12的性别。种族分类器机器学习模型24可以提取人12的种族。头部姿态分类器机器学习模型26可以提取人12的头部姿态例如俯仰、横摆和滚转角度。
31.另外，计算机实现的方法可以使用人的第二图像的第二表示(例如，第二模板、第二向量或第二图像)来获得距离测量。在一些示例中，第一模板可以与第二模板相同。在一
些示例中，第一模板可以与第二模板不同。在一些示例中，第一图像可以与第二图像相同。在一些示例中，第一图像可以与第二图像不同，例如以不同角度拍摄。
32.验证引擎18的距离测量分类器28可以比较来自两个嵌入的两个向量，例如模板。例如，距离测量分类器28可以将来自呈现给读取器的面部嵌入的向量与例如来自在场景处例如由摄像装置获取的人12的面部嵌入的向量进行比较。这两个向量由距离测量分类器28的底部输入30表示。
33.在一些示例中，距离测量分类器28可以替选地将来自呈现给读取器或摄像装置的面部嵌入的向量与例如来自在对数据库中的图像的搜索期间找到的人的面部嵌入的向量进行比较。例如，分类流水线32诸如预先训练好的机器学习模型或算法可以执行对模板数据库中最相似模板的搜索。分类流水线32的输出可以包括最相似模板。然后，计算机实现的方法可以使用例如质心查找(centroid lookup)34来执行图像的验证。
34.验证引擎18的距离测量分类器28可以将来自呈现给读取器或摄像装置的面部嵌入的向量与例如来自在使用分类流水线32和质心查找34期间找到的最相似图像的面部嵌入的向量进行比较。这两个矢量由距离测量分类器28的顶部输入36表示。在一些示例中，距离测量分类器28可以使用两个输入30、36。
35.距离测量分类器28的输出38可以是由两个向量的比较产生的数学值。在一些示例中，距离测量分类器28可以是预先训练好的机器学习模型。在其他示例中，距离测量分类器28可以是算法。
36.预先训练好的属性分类器机器学习模型20至26中的每一个可以生成对应的属性分类器输出40至46。使用本公开内容的技术，属性分类器输出40至46中的一个或更多个可以与距离测量输出38一起应用于预先训练好的融合验证机器学习模型48。在一些示例中，预先训练好的融合验证机器学习模型48可以是从决策树构建的二元xgboost分类器。
37.通过将距离测量输出38与一个或更多个一个或更多个属性分类器输出40至46融合或组合，预先训练好的融合验证机器学习模型48可以提高面部识别系统的验证性能。
38.计算机实现的方法可以使用预先训练好的融合验证机器学习模型48来生成面部识别系统输出50，该预先训练好的融合验证机器学习模型48例如可以控制对安全资产诸如房间、建筑物或计算机系统的访问。
39.验证引擎18可以是计算机程序。验证引擎18、预先训练好的机器学习模型以及本公开内容中描述的任何算法可以使用图6的机器300来实现。例如，可以使用由处理器302执行的指令324来实现验证引擎18、机器学习模型20至26和机器学习模型48中的一个或更多个。验证引擎和机器学习模型可以共同位于一个机器上或位于不同机器中。
40.本发明人评估了图1的技术，并且将结果示于下表1中。表1示出了验证结果，以表明从多模态面部属性融合的新的特征表示的性能：
41.表1
42.[0043][0044]
本发明人针对所有新的特征类别构造了详尽的组合列表，如表1所示，其中“1”指示使用了特征(年龄、性别、种族和横摆角度)，以及“0”指示未使用特征。对于每个组合，使用vggface2测试数据集训练xgboost分类器，其中身份中的一半被指定为真，而另一半被指定为冒名顶替者。表1中示出的结果指示，可以通过在构造新的特征表示时使用可用属性中的一个或更多个可用属性来提高验证性能。
[0045]
如以上所提及的，除了在面部识别系统中使用多模态面部属性之外，本公开内容
描述了使用一个或更多个辅助属性例如时间属性，所述辅助属性可以与视觉信息组合使用以提高面部识别系统的面部识别性能。下面关于图2示出和描述辅助特征的使用。
[0046]
若干因素可能限制视觉分类器的性能。例如，面部嵌入生成神经网络是不完美的。由于面部特征提取方法在整个面部识别流水线中起着重要的作用，因此正在进行研究以开发最新技术的面部特征提取方法。尽管神经网络的性能已经达到了非常高的水平，但是对于在大规模和定制的数据集上实现完美的面部识别仍然没有解决方案。此外，在无约束成像环境中，查询图像的变化也影响匹配性能。以上描述了最常见的细微差别中的一些最常见的细微差别，包括面部姿态角度、年龄变化、种族或查询图像质量。
[0047]
鉴于以上内容，本发明人已经认识到对于将视觉和辅助属性例如时间信息组合以用于提高的面部识别性能的新的架构的需要，所述新的架构如下在图2中示出和描述。
[0048]
图2是示出面部识别系统60的示例的概念图，该面部识别系统60使用可以与视觉信息组合使用以提高面部识别性能的一个或更多个辅助属性。图2在概念上描绘了使用面部识别系统根据人的图像识别人的计算机实现的方法。如下所述，当视觉分类器以接近的置信度水平预测多个候选时，可以使用辅助属性诸如时间信息对预测进行重新排序以得到更好的识别。图2的技术可以提高面部分类(1对n)的准确度。
[0049]
为了识别人62(id_a)，面部识别网络64可以根据人的第一图像的第一表示(例如，第一模板、第一向量或第一图像)生成或执行面部嵌入。面部嵌入可以包括数值向量，其可以在图像的表示中(例如在1024维空间中)表示每个检测到的面部。
[0050]
然后可以将由面部识别网络生成的面部嵌入(例如向量)应用于分类流水线66。例如，分类流水线66例如预先训练好的机器学习模型或算法可以执行对模板数据库中最相似模板的搜索。分类流水线66的输出可以包括最相似模板。在图2中示出的示例中，由分类流水线找到的最相似模板是模板id_b，在68处所示。图2中的分类流水线66确定对于人62(id_a)，其在模板id_b中比在模板id_a中具有更高的预测置信度。
[0051]
分类流水线66可以基于所识别的图像生成分类流水线输出70。在一些示例中，分类流水线输出70可以包括距离测量。在其他示例中，分类流水线输出70可以包括系统中每个登记身份的分数或匹配概率。
[0052]
例如，分类流水线66可以包括距离测量分类器，例如上面关于图1所描述的，距离测量分类器可以比较来自两个嵌入的两个向量，例如模板。在一些示例中，距离测量分类器可以将来自呈现给读取器或摄像装置的人脸嵌入的向量与例如来自在使用分类流水线和质心查找期间发现的最相似图像的人脸嵌入的向量进行比较。
[0053]
距离测量分类器的输出(其也可以是分类流水线66的输出)可以是由两个向量的比较产生的数学值。在一些示例中，距离测量分类器可以是预先训练好的机器学习模型。在其他示例中，距离测量分类器可以是算法。
[0054]
使用本公开内容的各种技术，辅助属性72可以与经由分类流水线66获得的视觉信息组合使用，以改善面部识别系统60的面部识别性能。辅助属性72可以包括时间信息、人62的身高和/或人62的社交池等。
[0055]
时间信息可以包括例如人62通常到达面部识别系统、例如到达建筑物的安全入口、例如门的时间范围。机器学习模型可以随时间学习人62的这个时间范围。在一些示例中，如果存在多个安全入口，则机器学习模型可以学习人62使用的建筑物的特定安全入口，
例如门。然后，使用本公开内容的各种技术，可以将时间信息或其他辅助属性与分类流水线输出70一起应用于联合分类模型74。
[0056]
为了说明的目的，通过非限制性特定示例的方式，面部识别系统60的机器学习模型预先确定人62在上午6：00至上午6：15之间定期到达建筑物的安全入口。该时间信息或其他辅助属性可以与分类流水线输出70应用于联合分类模型74，以改善面部识别系统60的面部识别性能。分类流水线66最初确定对于人62(id_a)，模板id_b中比模板id_a中的更高的预测置信度，如图2中的68处所示。然而，与模板id_b相关联的人在上午9：00至上午9：15之间定期到达安全入口，并且当前时间是上午6：10。这样，人62更可能与模板id_a而不是模板id_b相关联。
[0057]
通过使用时间信息，例如，面部识别系统60，并且更具体地，联合分类模型74可以使用联合分类模型74来生成联合分类输出76，该联合分类模型74确定对于人62(id_a)，模板id_a中比模板id_b中的更高的预测置信度，如图2中的78处所示。然后，计算机实现的方法可以使用联合分类输出76来控制对安全资产的访问。
[0058]
时间信息是可以使用的一个辅助属性。在其他示例中，可以使用个人的身高。在其他示例中，可以使用个人的着装。在其他示例中，可以使用个人的步态。可以训练机器学习模型对个人的身高、着装和步态进行分类。
[0059]
在一些示例中，可以使用人62的社交池。社交池可以包括关于与人62相关联的人的网络的信息。例如，人62的社交池可以包括与人62一起离开工作、到达工作、去吃午餐等的人。机器学习模型可以随着时间学习这些个人的身份，以确定人62的社交池。例如，当人62到达安全入口时，预先训练好的机器学习模型可以确定一个或更多个个人与人62的预测置信度，将该预测置信度与人62的社交池进行比较，并且将社交和分类流水线输出70应用于联合分类模型74以改善面部识别系统60的面部识别性能。
[0060]
在一些示例中，面部识别系统60可以通过使用联合分类模型74生成联合概率来生成联合分类输出70。例如，可以使用贝叶斯理论来确定基于联合分类模型74的两个输入的联合概率：
[0061][0062]
∝
pr(查询＝图库n|v)pr(t|查询＝图库n)
ꢀꢀꢀꢀ
等式2
[0063]
上面的等式指示联合使用视觉和时间信息的查询面部和登记图库中的每个面部的匹配概率(pr(查询＝图库n|v，t))(等式1)与来自在视觉特征上训练的视觉分类器的匹
配概率(pr(查询＝图库n|v))和预测的人在一个时间戳到达网关或入口的概率(pr(t|查询＝图库n))的乘积(等式2)成比例。
[0064]
以这种方式，可以使用视觉信息和辅助属性的组合来改善面部识别系统的面部识别性能。
[0065]
图3是使用一个或更多个辅助属性的计算机实现的方法80的示例的流程图，所述辅助属性可以与视觉信息组合使用以改善面部识别系统的面部识别性能，如以上关于图2所描述的。
[0066]
在框82处，计算机实现的方法80可以执行面部嵌入。例如，面部识别网络诸如图2的面部识别网络60可以根据人的第一图像的第一表示(诸如第一模板、第一向量或第一图像)生成或执行面部嵌入。
[0067]
在框84处，计算机实现的方法80可以将面部嵌入应用于分类流水线，以识别相似的图像。例如，由面部识别网络生成的面部嵌入(例如向量)可以应用于分类流水线，诸如图2的分类流水线66。
[0068]
在框86处，计算机实现的方法80可以基于所识别的图像生成分类流水线输出。例如，图2的分类流水线66，诸如预先训练好的机器学习模型或算法，可以执行对模板数据库中最相似的模板的搜索并且输出最相似的模板。在一些示例中，图2的分类流水线输出70可以是距离测量。
[0069]
在框88处，计算机实现的方法80可以将分类流水线输出应用于联合分类模型。例如，分类流水线输出诸如图2的分类流水线输出70可以应用于联合分类模型诸如图2的联合分类模型74，该联合分类模型可以使用贝叶斯理论计算联合概率。
[0070]
在框90处，计算机实现的方法80可以将辅助属性应用于联合分类模型。例如，时间信息或其他辅助属性可以应用于联合分类模型诸如图2的联合分类模型74。
[0071]
在框92处，计算机实现的方法80可以使用联合分类模型来生成联合分类输出。
[0072]
在框94处，计算机实现的方法80可以使用联合分类输出来控制对安全资产的访问。例如，图2的联合分类输出76可以用于诸如通过向与安全资产通信的控制系统提供控制信号来控制对房间、建筑物或计算机系统的访问。
[0073]
图4是在面部识别系统中使用多模态面部属性以改善面部识别系统的面部识别性能的计算机实现的方法100的示例的流程图，如以上关于图1所描述的。
[0074]
在框102处，计算机实现的方法100可以通过将人的第一图像的第一表示诸如第一模板、第一向量或第一图像应用于预先训练好的属性分类器机器学习模型来提取人的属性，诸如年龄、性别、种族和头部姿势，以生成属性分类器输出。例如，可以使用图1的对应的预先训练好的属性分类器机器学习模型20至26来提取人的一个或更多个属性，诸如年龄、性别、种族和/或头部姿势。
[0075]
在一些示例中，面部嵌入可以生成应用于一个或更多个预先训练好的属性分类器机器学习模型的向量，然后每个模型可以提取其特定的对应属性。在其他示例中，一个或更多个预先训练好的属性分类器机器学习模型可以各自接收原始图像作为输入，生成特征，然后提取对应的属性。
[0076]
在框104处，计算机实现的方法100可以将属性分类器输出和使用人的第二图像的第二表示诸如第二模板、第二向量或第二图像生成的距离测量输出应用于预先训练好的融
合验证机器学习模型。例如，图1的属性分类器输出40至46和图1的距离测量分类器28的输出38中的一个或更多个可以应用于图1的预先训练好的融合验证机器学习模型48。
[0077]
在框106处，计算机实现的方法100可以使用预先训练好的融合验证机器学习模型来生成面部识别系统输出。例如，图1的预先训练好的融合验证机器学习模型48可以生成面部识别系统输出50。
[0078]
在一些示例中，在面部识别系统中多模态面部属性的使用可以与一个或更多个辅助属性、诸如时间属性的使用组合。这些技术中的每一种技术都可以改善面部识别系统的验证性能。也就是说，在一些示例中，图2的技术可以可选地与图1的技术组合。这些可选技术在图4中的框108和框110处示出。
[0079]
在框108处，计算机实现的方法100可以可选地将面部识别系统输出和辅助属性应用于联合分类模型。例如，图1的面部识别系统输出50可以与辅助属性诸如时间信息一起应用于图2的联合分类模型74。
[0080]
在框110处，计算机实现的方法100可以可选地使用联合分类模型诸如图2的联合分类模型74来生成联合分类输出。
[0081]
在框112处，计算机实现的方法100可以使用联合分类输出或如果不使用辅助属性则使用面部识别系统输出50来控制对安全资产的访问。例如，联合分类输出74可以用于诸如通过向与安全资产通信的控制系统提供控制信号来控制对房间、建筑物或计算机系统的访问。
[0082]
图5示出了根据本公开内容的一些示例的示例机器学习模块200。机器学习模块200可以全部或部分地由一个或更多个计算设备来实现。在一些示例中，训练模块202可以由与预测模块204不同的设备来实现。在这些示例中，可以在第一机器上创建模型214，然后将其发送至第二机器。
[0083]
机器学习模块200利用训练模块202和预测模块204。训练模块202可以使用面部识别系统中的机器学习来实现训练处理电路(诸如图6的处理器302)的计算机化方法以识别人。训练模块202将训练数据206输入至选择器模块208中。
[0084]
训练数据206可以包括例如由特征提取器网络生成的图像或特征向量。使用该训练数据206，机器学习算法212可以针对每个样本获得具有期望标记(例如，年龄、性别等)的图像或特征向量，并将其通过机器学习算法诸如svm、xboost。
[0085]
在一些示例中，训练数据206可以被标记。在其他示例中，训练数据可以不被标记，并且可以使用反馈数据(诸如通过强化学习方法)来训练模型。
[0086]
选择器模块208从训练数据206中选择训练向量210。所选择的数据可以填充训练向量210，并且包括被确定为预测材料分类的一组训练数据。被选择用于包括在训练向量210中的信息可以是所有训练数据206，或者在一些示例中，可以是所有训练数据206的子集。训练学习算法212可以利用训练向量210(连同任何可应用的标记)来产生模型214(经训练的机器学习模型)。在一些示例中，可以使用除了向量之外的其他数据结构。机器学习算法212可以学习模型的一个或更多个层。
[0087]
示例层可以包括卷积层、丢弃层、池化/上采样层、softmax层等。示例模型可以是神经网络，其中每层包括多个神经元，神经元采用多个输入，对输入进行加权，将经加权的输入输入至激活函数中以产生输出，该输出然后可以被发送至另一层。示例激活函数可以
包括修正线性单元(relu)等。模型的各层可以全部或部分连接。
[0088]
在预测模块204中，数据216可以输入至选择器模块218。数据216可以包括声成像数据集，诸如s矩阵。选择器模块218可以与训练模块202的选择器模块208相同或不同地操作。在一些示例中，选择器模块208和218是相同的模块或相同模块的不同实例。选择器模块218产生向量220，向量220被输入至模型214中以生成描绘每个像素或体素的缺陷概率的材料的图像，从而产生图像222。
[0089]
例如，通过将向量220应用于模型214的第一层以产生模型214的第二层的输入等等，直到输出材料分类，可以对向量220执行由训练模块202学习的权重和/或网络结构等。如前所述，可以使用除了向量(例如，矩阵)之外的其他数据结构。
[0090]
训练模块202可以以离线方式操作以训练模型214。然而，预测模块204可以被设计成以在线方式操作。应当注意，可以经由附加训练和/或用户反馈来周期性地更新模型214。例如，当用户提供关于年龄、性别、种族、头部姿势等的反馈和/或辅助属性诸如时间信息时，可以收集附加训练数据206。所述反馈连同与该反馈对应的数据216可以用于通过训练模块202细化该模型。
[0091]
机器学习算法212可以从许多不同的潜在的有监督的或无监督的机器学习算法当中选择。学习算法的示例包括人工神经网络、卷积神经网络、贝叶斯网络、基于实例的学习、支持向量机、决策树(例如，迭代二分法3、c4.5、分类和回归树(cart)、卡方自动交互检测器(chaid)等)、随机森林、线性分类器、二次分类器、k-最近邻、线性回归、逻辑回归、基于区域的cnn、完整cnn(用于语义分割)、用于实例分割的掩码r-cnn算法以及隐马尔可夫模型。无监督的学习算法的示例包括期望最大化算法、向量量化和信息瓶颈方法。
[0092]
以这种方式，根据本公开方式，图5的机器学习模块200可以帮助实现使用面部识别系统来识别人的计算机化的方法。
[0093]
在本文档中示出和描述的技术可以使用机器300的一部分或整体来执行，如下面关于图6所讨论的。
[0094]
图6示出了机器的示例的框图，在机器上可以执行本文中所讨论的技术(例如，方法)中的任何一种或更多种技术(例如，方法)。在替选实施方式中，机器300可以操作为独立的设备或者连接(例如，联网)至其他机器。在网络化部署中，机器300可以在服务器-客户端网络环境中以服务器机器、客户端机器或两者的容量进行操作。在示例中，机器300可以在对等(p2p)(或其他分布式)网络环境中充当对等机器。机器300是个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、移动电话、智能电话、网络设备、网络路由器、交换机或网桥、服务器计算机、数据库、会议室设备或能够执行指定该机器要采取的动作的指令(顺序地或以其他方式)的任何机器。在各种实施方式中，机器300可以执行上述处理中的一个或更多个处理。此外，虽然仅示出了单个机器，但是术语“机器”也应被视为包括单独或联合执行一组(或多组)指令以执行本文所讨论的方法中的任何一个或更多个方法的机器的任何集合，例如云计算、软件即服务(saas)、其他计算机集群配置。
[0095]
如本文所描述的，示例可以包括逻辑或多个部件、模块或机制(所有这些在下文中都称为“模块”)或可以在逻辑或多个部件、模块或机制上进行操作。模块是能够执行指定操作的有形实体(例如，硬件)，并且以某种方式被配置或布置。在示例中，电路可以以指定的方式(例如，内部地或者相对于外部实体如其他电路)被布置为模块。在示例中，一个或更多
个计算机系统(例如，独立式计算机系统、客户端计算机系统或服务器计算机系统)或者一个或更多个硬件处理器的全部或部分由固件或软件(例如，指令、应用部分或应用)配置成进行操作以执行指定操作的模块。在示例中，软件可以驻留在非暂态计算机可读存储介质或其他机器可读介质上。在示例中，软件在被模块的底层硬件执行时使硬件执行指定操作。
[0096]
因此，术语“模块”被理解成涵盖有形实体，有形实体是如下实体：该实体被物理地构造、特定地配置(例如，硬连线)或临时地(例如，暂时地)配置(例如，编程)成以指定方式操作或者执行本文中描述的任何操作的部分或全部。考虑到模块被临时地配置的示例，模块中的每个模块都不需要在任何时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器在不同的时间被配置为各个不同的模块。因此，软件可以将硬件处理器配置成例如在一个时间实例处构成特定模块并且在不同时间实例处构成不同的模块。
[0097]
机器(例如，计算机系统)300可以包括硬件处理器302(例如，中央处理单元(cpu)、图形处理单元(gpu)、硬件处理器核或其任意组合)、主存储器304和静态存储器306，其中的一些或所有可以经由互连链路308(例如，总线)来彼此通信。机器300还可以包括显示单元310、字母数字输入设备312(例如，键盘)和用户接口(ui)导航设备314(例如，鼠标)。在示例中，显示单元310、输入设备312和ui导航设备314是触摸屏显示器。机器300可以另外包括存储设备(例如，驱动单元)316、信号生成设备318(例如，扬声器)、网络接口设备320以及一个或更多个传感器321，例如全球定位系统(gps)传感器、指南针、加速度计或其他传感器。机器300可以包括输出控制器328，例如串行(例如，通用串行总线(usb)、并行或其他有线或无线(例如，红外(ir)、近场通信(nfc)等)连接，以与一个或更多个外围设备(例如，打印机、读卡器等)通信或控制一个或更多个外围设备(例如，打印机、读卡器等)。
[0098]
存储设备316可以包括其上存储有一组或更多组数据结构或指令324(例如，软件)的机器可读介质322，该一组或更多组数据结构或指令324实施本文所描述的技术或功能中的任何一个或更多个技术或功能或由本文所描述的技术或功能中的任何一个或更多个技术或功能利用。指令324还可以在其由机器300执行期间全部地或至少部分地驻留在主存储器304内、静态存储器306内或硬件处理器302内。在示例中，硬件处理器302、主存储器304、静态存储器306或存储设备316的一个或任何组合可以构成机器可读介质。
[0099]
虽然机器可读介质322被示出为单个介质，但是术语“机器可读介质”可以包括被配置成存储一个或更多个指令324的单个介质或多个介质(例如，集中式或分布式数据库以及/或者相关联的缓存和服务器)。
[0100]
术语“机器可读介质”可以包括能够存储、编码或携载用于由机器300执行并且使机器300执行本公开内容的技术中的任何一个或更多个技术的指令或者能够存储、编码或携载由这样的指令使用或与这样的指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可以包括：非易失性存储器，例如半导体存储器设备(例如，电可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom))和闪速存储器设备；磁盘，例如内部硬盘和可移动盘；磁光盘；随机存取存储器(ram)；固态驱动器(ssd)；以及cd-rom和dvd-rom盘。在一些示例中，机器可读介质可以包括非暂态机器可读介质。在一些示例中，机器可读介质可以包括并非暂态传播信号的机器可读介质。
[0101]
指令324还可以经由网络接口设备320使用传输介质在通信网络326上发送或接收。机器300可以利用多个传输协议(例如，帧中继、互联网协议(ip)、传输控制协议(tcp)、用户数据报协议(udp)、超文本传输协议(http)等)中的任何一个与一个或更多个其他机器通信。示例通信网络可以包括局域网(lan)、广域网(wan)、分组数据网络(例如，因特网)、移动电话网络(例如，蜂窝网络)、简易老式电话(pots)网络和无线数据网络(例如，被称为的电气和电子工程师协会(ieee)802.11标准族、被称为的ieee 802.16标准族)、ieee 802.15.4标准族、长期演进(lte)标准族、通用移动电信系统(umts)标准族、对等(p2p)网络等。在示例中，网络接口设备320可以包括一个或更多个物理插孔(例如，以太网、同轴或电话插孔)或一个或更多个天线以连接至通信网络326。在示例中，网络接口设备320可以包括多个天线，以使用单输入多输出(simo)技术、多输入多输出(mimo)技术或多输入单输出(miso)技术中的至少一种技术进行无线通信。在一些示例中，网络接口设备320可以使用多用户mimo技术进行无线通信。
[0102]
如本文所描述的，示例可以包括逻辑或多个部件、模块或机制，或者示例可以在逻辑或多个部件、模块或机制上操作。模块是能够执行指定操作的有形实体(例如，硬件)，并且以某种方式被配置或布置。在示例中，电路可以以指定的方式(例如，内部地或者相对于外部实体如其他电路)被布置为模块。在示例中，一个或更多个计算机系统(例如，独立式计算机系统、客户端计算机系统或服务器计算机系统)或者一个或更多个硬件处理器的全部或部分由固件或软件(例如，指令、应用部分或应用)配置为进行操作以执行指定操作的模块。在示例中，软件可以驻留在机器可读介质上。在示例中，软件在被模块的底层硬件执行时使硬件执行指定操作。
[0103]
因此，术语“模块”被理解成涵盖有形实体，有形实体是如下实体：该实体被物理地构造、特定地配置(例如，硬连线)或临时地(例如，暂时地)配置(例如，编程)成以指定方式操作或者执行本文中描述的任何操作的部分或全部。考虑到模块被临时地配置的示例，模块中的每个模块都不需要在任何时刻被实例化。例如，在模块包括使用软件配置的通用硬件处理器的情况下，通用硬件处理器在不同的时间被配置为各个不同的模块。因此，软件可以将硬件处理器配置成例如在一个时间实例处构成特定模块并且在不同时间实例处构成不同的模块。
[0104]
各种实施方式全部或部分地以软件和/或固件实现。该软件和/或固件可以采取包括在非暂态计算机可读存储介质中或非暂态计算机可读存储介质上的指令的形式。然后，那些指令可以由一个或更多个处理器读取并执行，以使得能够执行本文中描述的操作。指令呈任何合适的形式，例如但不限于源代码、编译代码、解释代码、可执行代码、静态代码、动态代码等。这样的计算机可读介质可以包括用于以由一个或更多个计算机可读的形式存储信息的任何有形的非暂态介质，例如但不限于只读存储器(rom)、随机存取存储器(ram)、磁盘存储介质、光学存储介质、闪速存储器等。
[0105]
各种注释
[0106]
以上具体实施方式包括对附图的参照，附图形成具体实施方式的一部分。作为说明，附图示出了可以实践本发明的具体的实施方式。这些实施方式在本文中也被称为“示例”。这样的示例可以包括除了示出的或描述的元素之外的元素。然而，发明人还预期了其中仅提供了示出的或描述的那些元素的示例。此外，发明人还预期了使用关于特定示例(或
者特定示例的一个或更多个方面)或关于在本文中示出或描述的其他示例(或者其他示例的一个或更多个方面)示出的或描述的那些元素(或者那些元素的一个或更多个方面)的任何组合或置换的示例。
[0107]
以上描述旨在是说明性的，而不是限制性的。例如，上述示例(或上述示例的一个或更多个方面)可以彼此组合地使用。在查看以上描述之后，例如本领域普通技术人员可以使用其他实施方式。另外，在以上具体实施方式中，各种特征可以被组合在一起以简化本公开内容。这不应被解释为旨在使未要求保护的公开特征对于任何权利要求都是必要的。而是，发明主题可能在于少于特定公开的实施方式的所有特征。

技术特征：
1.一种使用面部识别系统来识别人的计算机实现的方法，所述方法包括：通过将所述人的第一图像的第一表示应用于预先训练好的属性分类器机器学习模型来提取所述人的属性，以生成属性分类器输出；将所述属性分类器输出和使用所述人的第二图像的第二表示生成的距离测量输出应用于预先训练好的融合验证机器学习模型；使用所述预先训练好的融合验证机器学习模型来生成面部识别系统输出；以及使用所述面部识别系统输出来控制对安全资产的访问。2.根据权利要求1所述的方法，其中，所述属性是第一属性，其中，所述预先训练好的属性分类器机器学习模型是预先训练好的第一属性分类器机器学习模型，并且其中，所述属性分类器输出是第一属性分类器输出，所述方法包括：通过将所述第一图像的第一表示应用于预先训练好的第二属性分类器机器学习模型来提取第二属性，以生成第二属性分类器输出；以及将所述第二属性分类器输出应用于所述预先训练好的融合验证机器学习模型。3.根据权利要求1所述的方法，其中，所述属性包括年龄、性别、种族或头部角度中的至少一个。4.根据权利要求1所述的方法，其中，所述图像的第一表示包括至少一个矢量。5.根据权利要求1至4中任一项所述的方法，其中，通过将第一距离测量应用于距离测量分类器来生成所述距离测量输出，所述方法包括：执行面部嵌入；将所述面部嵌入应用于分类流水线，以识别相似的图像；根据所识别的图像生成第二距离测量；以及将所述第二距离测量应用于所述距离测量分类器，以生成所述距离测量输出。6.根据权利要求1至5中任一项所述的方法，包括：将所述面部识别系统输出应用于联合分类模型；将辅助属性应用于所述联合分类模型；以及生成联合分类输出。7.根据权利要求6所述的方法，其中，所述辅助属性包括时间属性。8.根据权利要求6所述的方法，其中，所述辅助属性包括所述人的社交池。9.根据权利要求6所述的方法，其中，所述辅助属性包括所述人的身高。10.根据权利要求1所述的方法，其中，所述图像的第一表示与所述图像的第二表示相同。11.根据权利要求1所述的方法，其中，所述第一图像与所述第二图像相同。12.根据权利要求1所述的方法，其中，使用所述面部识别系统输出来控制对安全资产的访问包括：控制对建筑物的安全入口的访问。13.一种使用面部识别系统来根据人的图像识别所述人的计算机实现的方法，所述方法包括：执行面部嵌入；将所述面部嵌入应用于分类流水线，以识别相似的图像；基于所识别的图像生成分类流水线输出；
将所述分类流水线输出应用于联合分类模型；将辅助属性应用于所述联合分类模型；使用所述联合分类模型来生成联合分类输出；以及使用所述联合分类输出来控制对安全资产的访问。14.根据权利要求13所述的方法，其中，所述分类流水线输出包括距离测量。15.根据权利要求13所述的方法，其中，所述辅助属性包括时间属性。16.根据权利要求13所述的方法，其中，所述辅助属性包括所述人的社交池。17.根据权利要求13所述的方法，其中，所述辅助属性包括所述人的身高。18.根据权利要求13所述的方法，其中，所述联合分类模型包括预先训练好的机器学习模型。19.根据权利要求13所述的方法，其中，生成所述联合分类输出包括：使用所述联合分类模型来生成联合概率。20.根据权利要求13所述的方法，其中，使用所述面部识别系统输出来控制对安全资产的访问包括：控制对建筑物的安全入口的访问。

技术总结
描述了在面部识别系统中多模态面部属性的使用。此外，一个或更多个辅助属性、诸如时间属性的使用可以与视觉信息组合使用，以改善面部识别系统的面部识别性能。在一些示例中，在面部识别系统中多模态面部属性的使用可以与一个或更多个辅助属性、诸如时间属性的使用组合。这些技术中的每一种技术都可以改善面部识别系统的验证性能。别系统的验证性能。别系统的验证性能。


技术研发人员：陈剑波 卡皮尔
受保护的技术使用者：亚萨合莱有限公司
技术研发日：2020.10.12
技术公布日：2023/8/9