图片处理方法、图片处理设备、电子设备和存储介质与流程

1.本公开涉及图片处理领域，更具体地讲，涉及一种图片处理方法、图片处理设备、电子设备和存储介质。


背景技术：

2.随着信息化程度的提高，对身份识别的准确性和实用性的需求日益增长，作为用于身份识别的主流技术之一的人脸识别技术，在诸多领域中具有实际和潜在的应用。尽管相关的人脸识别技术中的人脸特征对比的对比结果具有较好的精度，但在人脸特征提取之前的人脸检测阶段往往会出现误检(例如，将动物、模型玩具等非人类图片判断为人脸图片等)而导致后续的识别处理失败，进而使得相关的人脸识别技术具有较高的注册失败率，并且浪费计算资源。
3.此外，为了获得更高精度的人脸识别网络，相关的人脸识别技术需要训练从不同角度进行人脸质量评估的多个人脸识别网络，对每一种质量缺陷均需要对数据进行标注(例如，模糊程度、光照类型、遮挡区域、人脸姿态等)。这样的多种类的大规模标注需要花费大量资源，并且这种额外标注使得无法轻易扩展数据集。
4.上述信息仅作为背景技术信息呈现，以帮助理解本公开。关于上述内容中的任何一个是否可作为关于本公开的相关技术适用，尚未作出任何决定和断言。


技术实现要素：

5.本公开的实施例提供一种图片处理方法、图片处理设备、电子设备和存储介质以至少解决上述问题和/或缺点。
6.根据本公开的实施例的第一方面，提供了一种图片处理方法，包括：从目标人脸图片检测多个面部关键点；基于所述多个面部关键点确定面部轮廓区域和面部显著区域；在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。
7.可选地，基于所述多个面部关键点确定面部轮廓区域和面部显著区域的步骤包括：将包含所述多个面部关键点的区域确定为面部轮廓区域；将包含部分面部关键点的区域确定为面部显著区域，其中，所述部分面部关键点是所述多个面部关键点之中的除了表示面部轮廓的面部关键点之外的面部关键点。
8.可选地，通过下述方法确定所述面部显著区域满足所述第一预定条件：在确定所述面部显著区域中的显著区域包络框的形状为预定形状并且所述显著区域包络框在宽度方向上的位置与所述面部轮廓区域中的关键点包络框在宽度方向上的位置不对应的情况下，确定所述面部显著区域满足所述第一预定条件，其中，所述显著区域包络框为所述面部显著区域中的面部关键点的最小矩形包络框，所述关键点包络框为所述面部轮廓区域中的面部关键点的最小矩形包络框。
9.可选地，在所述显著区域包络框的高宽比大于或等于第一阈值的情况下，确定所述显著区域包络框的形状为预定形状；以及，在所述显著区域包络框的沿高度方向的中轴线与所述关键点包络框的沿高度方向的中轴线之间的距离和所述关键点包络框的宽度的比小于或等于第二阈值的情况下，确定所述显著区域包络框在宽度方向上的位置与所述关键点包络框在宽度方向上的位置不对应。
10.可选地，所述图片处理方法还包括：从所述目标人脸图片检测人脸区域框；在所述人脸区域框满足第二预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，第二预定条件包括以下条件中的至少一个：通过人脸分类模型确定所述人脸区域框为非人脸；以及所述人脸区域框与所述面部轮廓区域在空间上不对应。
11.可选地，通过人脸分类模型确定所述人脸区域框为非人脸的步骤包括：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；通过使用人脸分类模型将所述人脸图片分类为非人脸图片。
12.可选地，通过使用人脸分类模型将所述人脸图片分类为非人脸图片的步骤包括：获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。
13.可选地，所述人脸分类模型通过使用包括多个人脸图片样本的正样本和包括多个非人脸图片样本的负样本被训练，其中，所述正样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为人脸图片样本被获得：所述图片中的放大的人脸区域框、所述图片的人脸标签框、以及与所述人脸标签框的交并比满足特定条件的滑窗；以及所述负样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为非人脸图片样本被获得：与所述人脸标签框的交并比不满足所述特定条件的滑窗、以及具有预定步长的滑窗。
14.可选地，通过以下步骤确定所述人脸区域框与所述面部轮廓区域在空间上不对应：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
15.可选地，基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应的步骤包括：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。
16.根据本公开的实施例的第二方面，提供了一种图片处理方法设备，包括：关键点检测模块，被配置为从目标人脸图片检测多个面部关键点；面部区域确定模块，被配置为基于所述多个面部关键点确定面部轮廓区域和面部显著区域；人脸图片处理模块，被配置为：在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。
17.可选地，面部区域确定模块被配置为：将包含所述多个面部关键点的区域确定为面部轮廓区域；将包含部分面部关键点的区域确定为面部显著区域，其中，所述部分面部关
键点是所述多个面部关键点之中的除了表示面部轮廓的面部关键点之外的面部关键点。
18.可选地，人脸图片处理模块被配置为：在确定所述面部显著区域中的显著区域包络框的形状为预定形状并且所述显著区域包络框在宽度方向上的位置与所述面部轮廓区域中的关键点包络框在宽度方向上的位置不对应的情况下，确定所述面部显著区域满足所述第一预定条件，其中，所述显著区域包络框为所述面部显著区域中的面部关键点的最小矩形包络框，所述关键点包络框为所述面部轮廓区域中的面部关键点的最小矩形包络框。
19.可选地，人脸图片处理模块被配置为：在所述显著区域包络框的高宽比大于或等于第一阈值的情况下，确定所述显著区域包络框的形状为预定形状；以及，在所述显著区域包络框的沿高度方向的中轴线与所述关键点包络框的沿高度方向的中轴线之间的距离和所述关键点包络框的宽度的比小于或等于第二阈值的情况下，确定所述显著区域包络框在宽度方向上的位置与所述关键点包络框在宽度方向上的位置不对应。
20.可选地，所述图片处理设备还包括：人脸区域框检测模块，被配置为从所述目标人脸图片检测人脸区域框。可选地，人脸图片处理模块还被配置为：在所述人脸区域框满足第二预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，第二预定条件包括以下条件中的至少一个：通过人脸分类模型确定所述人脸区域框为非人脸；以及所述人脸区域框与所述面部轮廓区域在空间上不对应。
21.可选地，人脸图片处理模块被配置为：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；通过使用人脸分类模型将所述人脸图片分类为非人脸图片。
22.可选地，人脸图片处理模块被配置为通过以下操作来通过使用人脸分类模型将所述人脸图片分类为非人脸图片：获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。
23.可选地，所述人脸分类模型通过使用包括多个人脸图片样本的正样本和包括多个非人脸图片样本的负样本被训练，其中，所述正样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为人脸图片样本被获得：所述图片中的放大的人脸区域框、所述图片的人脸标签框、以及与所述人脸标签框的交并比满足特定条件的滑窗；以及所述负样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为非人脸图片样本被获得：与所述人脸标签框的交并比不满足所述特定条件的滑窗、以及具有预定步长的滑窗。
24.可选地，人脸图片处理模块被配置为通过以下操作确定所述人脸区域框与所述面部轮廓区域在空间上不对应：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
25.可选地，人脸图片处理模块被配置为：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。
26.根据本公开的实施例的第三方面，提供了一种图片处理方法，包括：从目标人脸图片检测人脸区域框；将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片
的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。
27.根据本公开的实施例的第四方面，提供了一种图片处理设备，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；人脸图片处理模块，被配置为：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片
28.根据本公开的实施例的第五方面，提供了一种图片处理方法，包括：从目标人脸图片检测人脸区域框和多个面部关键点；基于所述多个面部关键点确定面部轮廓区域；基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
29.可选地，所述基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应的步骤包括：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。
30.根据本公开的实施例的第六方面，提供了一种图片处理设备，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；关键点检测模块，被配置为从所述目标人脸图片检测多个面部关键点；面部区域确定模块，被配置为基于所述多个面部关键点确定面部轮廓区域；人脸图片处理模块，被配置为：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
31.可选地，人脸图片处理模块被配置为通过以下操作基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。
32.根据本公开的实施例的第七方面，提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图片处理方法。
33.根据本公开的实施例的第八方面，提供了一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图片处理方法。
34.根据本公开的图片处理方法、图片处理设备、电子设备和存储介质，能够有针对性地过滤具有极端头部姿态(诸如，角度过大的侧脸)的无法获取身份信息的人脸图片，降低注册失败率，有效地提高了识别精度。根据本公开的图片处理方法、图片处理设备、电子设备和存储介质，还具有将人脸实例与环境样本区分开的能力，能够通过对错误识别的人脸
图片进行分类，从而过滤包括环境噪声、严重遮挡的人脸图片以及质量较低的人脸图片，可以大幅提高图片处理性能。根据本公开的图片处理方法、图片处理设备、电子设备和存储介质，还能够筛选掉具有不完整的人脸或者因人脸区域框或面部关键点检测错误导致的人脸图片，减少干扰性较强的图片数据。根据本公开的图片处理方法、图片处理设备、电子设备和存储介质可以适用于未标注数据标签的数据，可以适用于任意数据集，具有良好的扩展性。
35.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
36.通过以下结合附图的描述，本公开的某些实施例的上述和其他方面、特征和元件将更加明显，其中：
37.图1是示出根据本公开的实施例的图片处理方法的流程图；
38.图2是示出根据本公开的实施例的示例图片的面部显著区域和面部轮廓区域的示意图；
39.图3是示出根据本公开的实施例的通过人脸分类模型确定无效人脸图片的示例性实施过程的示意图；
40.图4是示出根据本公开的实施例的示例图片的人脸区域框和面部轮廓区域的示意图；
41.图5是示出根据本公开的实施例的图片处理方法的示例性实施过程的示意图；以及
42.图6示出根据本公开的实施例的图片处理设备的框图。
具体实施方式
43.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
44.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的示例。
45.在此需要说明的是，在本公开中出现的“若干项之中的至少一项”均表示包含“该若干项中的任意一项”、“该若干项中的任意多项的组合”、“该若干项的全体”这三类并列的情况。例如“包括a和b中的至少一个”即包括如下三种并列的情况：(1)包括a；(2)包括b；(3)包括a和b。又例如“执行步骤一和步骤二中的至少一个”，即表示如下三种并列的情况：(1)执行步骤一；(2)执行步骤二；(3)执行步骤一和步骤二。
46.在相关技术中，人脸识别技术通常由以下部分构成：人脸检测、人脸关键点检测、人脸对齐、人脸特征提取和人脸特征对比。作为人脸识别技术的准确性的关键，人脸特征提
取的性能通常与输入的人脸图片的质量强相关。在输入的图片质量不达标的情况下，往往会导致人脸识别技术具有较高的误匹配率。例如，但不限于，图片中人脸面积过小、人脸偏转的角度过大或者前置的人脸检测处理失败导致对肉眼也难以识别的低质量人脸图片或非人脸图片进行人脸识别。相关的处理方法通常是尝试训练效果更好的人脸特征提取网络，并且在人脸特征提取时预测输入图片的质量，例如，magface或adaface。
47.为了降低误识别率，另一种处理方法是提高过滤标准以过滤掉尽可能多的低质量输入图片来提升模型精度。但这种过度的过滤规则也会带来较高的注册失败率，例如使得原本可以被识别的图片被判断为无法识别，影响系统效率以及用户体验。
48.此外，相关的人脸识别技术往往需对数据进行额外标注后，利用标注的数据对用于人脸识别的神经网络进行训练。由于出于提高人脸识别精度的目的需要对从不同角度进行人脸质量评估的多个人脸识别网络进行训练，并且对每一种质量缺陷均需要标注数据(例如，模糊程度、光照类型、遮挡区域、人脸姿态等)，这种对数据进行标注以及数据网络训练浪费大量的计算资源，并且带有标注数据的数据集无法被轻易扩展，具有一定的局限性。
49.综上，在相关的人脸检测模型存在误检且人脸特征提取模型普遍精度较高的情况下，在人脸检测阶段过滤掉不达标的输入图片对于提高人脸识别精度尤为重要。本公开考虑到相关技术存在的上述问题，提出的图片处理方法通过对人脸结构设计的高度针对性约束，过滤质量较低的人脸图片和错误检测的非人脸图片，从而在降低注册失败率的同时提高人脸识别精度。下面将参照图1至图6对根据本公开的实施例的图片处理方法、图片处理设备、电子设备和存储介质进行详细描述。
50.通常，对于要求极低错误率(通常，要求错误率不高于百万分之一或十万分之一)的人脸识别任务来说，低质量的人脸图片以及空间结构不符合人脸面部拓扑关系的人脸图片通常容易使前置的人脸检测错误，进而导致身份信息丢失或难以获取，这类图片会严重干扰人脸识别技术的精度，因此，为了过滤这些干扰性较高的图片，本公开提出了一种基于面部轮廓与显著区域的结构一致性判断的图片处理方法，下面结合图1和图2对此进行描述，图1是示出根据本公开的实施例的图片处理方法，图2是示出根据本公开的实施例的示例图片的面部显著区域和面部轮廓区域的示意图。
51.参照图1，在步骤s101，从目标人脸图片检测多个面部关键点。具体地，首先可通过使用面部关键点检测模型(例如，人脸检测(face detection)模型)从目标人脸图片检测人脸的多个面部关键点。这里，面部关键点也可被称为人脸关键点，可包括用于定位出人脸的面部的关键区域位置的点。例如，但不限于，可通过使用基于300张野外多姿态人脸(300faces in-the-wild large pose，300wlp)、加州理工野外遮挡人脸(caltech occluded face in the wild，cofw)数据集或野外较广泛人脸关键点(wider facial landmarks in-the-wild，wflw)数据集训练的resnet-18网络结构来实现面部关键点检测模型。
52.在步骤s102，基于所述多个面部关键点确定面部轮廓区域和面部显著区域。
53.具体地，基于检测出的面部关键点所在的区域可确定多种与人脸相应的区域。
54.根据本公开的示例性实施例，将包含所述多个面部关键点的区域确定为面部轮廓区域。例如，可将包含整个人脸的区域确定为面部轮廓区域。例如，参照图2的示例图片，将全部面部关键点所在的区域(图2中的较大的区域)确定为该示例图片的面部轮廓区域。
55.可选地，将包含部分面部关键点的区域确定为面部显著区域，其中，所述部分面部关键点是所述多个面部关键点之中的除了表示面部轮廓的面部关键点之外的面部关键点。换句话说，面部显著区域可包括用于识别身份的较为显著的特征位置的区域，可将非轮廓线的面部关键点构成的区域确定为面部显著区域，例如，可将与面部的人脸标准五点模板(例如，左眼中心、右眼中心、鼻尖、左嘴角、右嘴角)或五官相应的区域确定为面部显著区域，参照图2的示例图片，将与人脸标准五点模板相应的面部关键点所在的区域(图2中的较小的区域)确定为该示例图片的面部显著区域。
56.在步骤s103，在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。作为示例，在所述面部显著区域满足第一预定条件的情况下，可将作为无效人脸图片的目标人脸图片过滤掉。
57.具体地讲，当输入的目标人脸图片中的人脸具有极端头部姿态(例如，但不限于，具有较大角度的侧脸)时，面部轮廓信息较容易捕捉，面部关键点检测模型能够找到精确的面部轮廓区域，但面部显著区域所在位置被头部本身完全遮挡，很难捕捉到可靠的面部显著区域。
58.根据本公开，确定面部显著区域的形状是否具有预定形状(例如，窄长形形状)，从而间接地确定目标人脸图片中的人脸是否处于极端头部姿态。可选地，确定所述面部显著区域的形状为预定形状的步骤可包括确定所述面部显著区域中的显著区域包络框的形状为预定形状，其中，所述显著区域包络框为所述面部显著区域中的面部关键点的最小矩形包络框。返回参照图2，例如，面部显著区域可包括作为构成面部显著区域的面部关键点的最小矩形包络框的显著区域包络框ef＝(e
x
，ey，f
x
，fy)，其中，显著区域包络框ef由左上角的坐标为(e
x
，ey)的e点与右下角的坐标为(e
x
，ey)的f点来表示。面部显著区域也可由其他任意适当的方式表示，不限于此。可选地，在所述显著区域包络框的高宽比(hwr)大于或等于第一阈值(t1)的情况下，确定所述显著区域包络框的形状为预定形状。具体地讲，当显著区域包络框ef的hwr满足以下公式(1)时，确定所述显著区域包络框的形状为预定形状，即，面部显著区域为窄长形的难以识别身份信息的区域：
[0059][0060]
其中，第一阈值t1可以是预先设置的经验值。例如，但不限于，可在测试期间通过以固定步长(诸如，0.1)遍历第一阈值，并将具有最高精度和最低注册失败率的阈值确定为第一阈值t1，例如，但不限于，第一阈值t1可以是2.8。
[0061]
根据本公开的示例性实施例，在所述显著区域包络框的高宽比(hwr)小于第一阈值(t1)的情况下，可确定所述面部显著区域的形状不是预定形状，也就是说，可确定目标人脸图片中的人脸不处于极端头部姿态(即，人脸是正常姿态的诸如正面的人脸)，该目标人脸图片可被用于身份识别，无需进行与面部显著区域相关的其他处理。
[0062]
除了基于面部显著区域的形状确定处于极端头部姿态之外，还需所述面部显著区域与所述面部轮廓区域的位置关系进行判断。可选地，确定所述面部显著区域的位置与所述面部轮廓区域的位置不对应的步骤包括确定所述显著区域包络框在宽度方向上的位置与所述面部轮廓区域中的关键点包络框在宽度方向上的位置不对应，其中，所述关键点包
络框为所述面部轮廓区域中的面部关键点的最小矩形包络框。返回参照图2，例如，与面部显著区域类似地，面部轮廓区域可包括作为构成面部轮廓区域的面部关键点的最小矩形包络框的关键点包络框cd＝(c
x
，cy，d
x
，dy)，其中，关键点包络框cd由左上角的坐标为(c
x
，cy)的c点与右下角的坐标为(d
x
，dy)的d点来表示。面部轮廓区域也可由其他任意适当的方式表示，不限于此。可选地，在所述显著区域包络框的沿高度方向的中轴线与所述关键点包络框的沿高度方向的中轴线之间的距离和所述关键点包络框的宽度的比小于或等于第二阈值(t2)的情况下，确定所述显著区域包络框在宽度方向上的位置与所述关键点包络框在宽度方向上的位置不对应。具体地讲，通过以下公式(2)计算显著区域包络框ef与关键点包络框cd的位置关系mrr：
[0063][0064]
当mrr小于或等于第二阈值t2时，确定面部显著区域与面部轮廓区域的位置不对应，也就是说，目标人脸图片缺乏面部轮廓与显著区域的结构一致性，这样的目标人脸图片会对人脸识别精度具有较大的影响，根据本公开的实施例，它们被视为干扰图片。这里，第二阈值t2可以是预先设置的经验值。例如，但不限于，可在测试期间通过以固定步长(诸如，0.05)遍历第二阈值，并将具有最高精度和最低注册失败率的阈值确定为第二阈值t2，例如，但不限于，第二阈值t2可以是0.15。
[0065]
由于在相关技术中不存在用于测试人脸识别技术的包括环境噪声的数据集，为了对包括如上所述的图片处理方法的人脸识别技术的精度进行测试，本公开还制作了带有环境噪声的测试数据集ijbc-ns。具体地讲，ijb-c数据集是一个基于视频的人脸识别数据集，本公开根据ijb-c数据集的官方标注的带有人脸标签框的人脸图片制作测试集ijbc-s，并且根据给定的身份信息，随机生成了包含多个正样本对(即，两个样本为属于同一人的两张图片)和多个负样本对(即两个样本为属于不同人的图片)的多个图片对。在此基础上，本公开通过将多个易被人脸检测错误的无人环境样本加入测试集中随机生成包括多个环境与人脸的样本对以及多个环境的样本对的多个负样本对。本公开通过使用正确接受比例(true accept rate，tar)和错误接受比例(false accept rate，far)来评价使用根据本公开的实施例的图片处理方法对测试级进行测试的结果。
[0066]
具体地，使用正确接受比例(tar)和错误接受比例(far)对本公开制作的数据集ijbc-ns的测试结果进行评价，其中，接受是指进行人脸验证的处理中，两张图片被认为是同一个人。通过以下公式(3)和(4)计算far和tar：
[0067][0068][0069]
其中，在图片处理中，出于对安全性的考量，一般要求far尽可能低，例如，但不限于，要求far处于十万分之一甚至百万分之一的量级。通过公式(3)并根据far确定满足far条件的阈值t，然后，通过使用公式(4)确定tar作为最终的评价度量值。本公开的目的在于准确地找到干扰样本，因此，在本测试中，凡是被过滤掉的样本，无论是否是通过根据本公
开的示例性实施例的图片处理方法过滤掉的图片样本，所有参与比对的样本对都被视作注册失败样本对，并且计算注册失败样本对占总样本对的比例为注册失败率。此外，注册失败样本对也参与tar和far的计算，但样本对得分统一视为0。
[0070]
本公开的测试中所使用的所有样本比对得分均通过余弦相似度来计算，假设a和b分别为两张图片的特征向量，n表示特征向量的维度，样本对比得分的计算公式(5)如下：
[0071][0072]
其中，样本比对得分越高，则认为该样本对属于同一个人的概率越大。
[0073]
作为测试的结果，根据本公开的实施例的图片处理方法能够大幅度提高过滤干扰样本的准确性。例如，但不限于，对于头部滚角姿态大于或接近于90度的情况，即使肉眼也难以从被确定为无效人脸图片获得这类图片中的任务的可靠身份信息，因此，通过基于面部轮廓区域与面部显著区域的结构一致性来过滤这类图片是合理的。
[0074]
因此，根据本公开的实施例的图片处理方法能够有针对性地过滤这些干扰性强的人脸图片，在几乎不改变正常人脸识别流程并且不增加过多运算量的前提下，有效地提高了识别精度。
[0075]
此外，相关的人脸识别的图片处理方法往往通过通用的人脸检测(face detection)模型简单地检测人脸并提取人脸图片，由于当前的人脸检测模型受限于数据集的规模，其负样本多样性不足，经常出现误检情况(高误接受比例，例如，将猩猩、狗、模型玩具等非人脸图片判断为人脸图片，这将为后续的人脸识别增加难度。本公开还考虑到人脸检测模型和/或面部关键点检测处理出现重大的错误，甚至人脸图片包括不完整的人脸的情况。
[0076]
在考虑到上述问题的基础上，本公开除了使用上述的基于面部轮廓区域与面部显著区域的结构一致性的图片处理方法之外，还可以结合基于人脸区域的人脸图片的再次分类以及基于人脸区域与面部轮廓区域的空间一致性的图片处理方法中的至少一种方法来确定无效人脸图片。可选地，根据本公开的实施例的图片处理方法还包括：从所述目标人脸图片检测人脸区域框；在所述人脸区域框满足第二预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，第二预定条件包括以下条件中的至少一个：通过人脸分类模型确定所述人脸区域框为非人脸；以及所述人脸区域框与所述面部轮廓区域在空间上不对应。例如，但不限于，可通过使用基于wider face数据集训练的resnet-50网络结构来检测人脸区域框。本公开对人脸区域框检测模型不作限制，还可以使用其它方法实现，由于相关技术存在对人脸区域框进行检测的人脸区域框检测技术，对此不进行详细描述。
[0077]
下面将参照图3描述根据本公开的实施例的通过人脸分类模型确定所述人脸区域框为非人脸的图片处理方法。
[0078]
参照图3，可选地，通过使用人脸分类模型(也可被称为人脸实例判别模型)将所述人脸图片分类为非人脸图片的步骤包括：获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。具体地讲，首先，获取目标人脸图片的人脸置信度，基于人脸置信度确定是否需要使用根据本公开的实施例的
人脸分类模型。例如，在人脸置信度小于第三阈值(图3中的第三阈值为0.3)的情况下，目标人脸图片是人脸图片的可能性较小，即，目标人脸图片大概率不包含人脸，无需使用根据本公开的实施例的人脸分类模型对目标人脸图片进行分类，例如，在图3中，人脸置信度为0.31的图片被直接确定为非人脸图片。例如，在人脸置信度大于第四阈值(图3中的第四阈值为0.6)的情况下，目标人脸图片是人脸图片的可能性较大，即，目标人脸图片大概率包含人脸，无需使用根据本公开的实施例的人脸分类模型对目标人脸图片进行分类，例如，在图3中，人脸置信度为0.87的图片被直接确定为人脸图片。例如，在人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，目标人脸图片可能是人脸图片，也可能是非人脸图片，为了降低误检率，需要使用根据本公开的实施例的人脸分类模型对目标人脸图片进行分类，例如，在图3中，人脸置信度为0.46和0.59的图片需要被再次分类。像这样，通过设置两种阈值对置信度进行判定，可以更筛选有必要进行人脸分类的图片，避免计算资源浪费。
[0079]
由于获取的人脸区域框可能仅包含人脸的部分，通常无法完美地包含完整的人脸，基于此，在根据本公开的实施例中，将人脸区域框进行放大并重新确定用于被再次分类的人脸图片。可选地，通过人脸分类模型确定所述人脸区域框为非人脸的步骤包括：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；通过使用人脸分类模型将所述人脸图片分类为非人脸图片。
[0080]
这里，将所述目标人脸图片中的所述人脸区域框放大的步骤可包括：通过以所述人脸区域框的中心点为基准将所述人脸区域框放大至预定倍数(例如，但不限于，1.1倍)，获得放大检测框。例如，但不限于，可将人脸区域框的各个点距中心点的距离放大至预定倍数，或者可将人脸区域框的面积的大小放大至预定倍数，但不限于此。
[0081]
这里，为了更标准地对图片进行处理，可将作为人脸分类模型的输入的裁剪出的放大的人脸区域框相应的人脸图片的尺寸重新调整为固定尺寸，诸如，112
×
112
×
3的尺寸。根据本公开的实施例的人脸分类模型旨在对输入图片进行二分类，确定图片中是否包含人脸特征。根据本公开的示例性实施例，人脸分类模型可采用任何分类网络，可包括各种轻量化的模型(诸如mobilenet、resnet18等)。
[0082]
根据本公开的实施例的人脸分类模型的使用需要保证数据集的多样化以及正负样本的均衡。下面将对训练根据本公开的实施例的人脸分类模型的处理进行详细描述。可选地，所述人脸分类模型通过使用包括多个人脸图片样本的正样本和包括多个非人脸图片样本的负样本被训练。
[0083]
由于相关的人脸数据集没有考虑到本公开所提及的上述问题，例如，人脸标签框无法包含完整的人脸，因此，需要对相关的人脸数据集进行处理以获得正样本。根据本公开的示例性实施例，所述正样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为人脸图片样本被获得：所述图片中的放大的人脸区域框、所述图片的人脸标签框、以及与所述人脸标签框的交并比满足特定条件的滑窗。
[0084]
具体地，正样本可通过以下多种方式被获得：通过从不具有人脸标签框的人脸数据集(诸如，webface260m数据集)中的图片检测人脸区域框，使用如上所述的放大人脸区域框的方法将检测的人脸区域框放大，将图片的与放大的人脸区域框相应的部分裁剪为人脸图片样本，和/或对具有人脸标签框的人脸数据集(例如，但不限于，fd数据集(诸如，
widerface))中的图片进行滑窗，计算滑窗与图片的人脸标签框(诸如，人脸bbox)的交并比，将图片的与所述交并比满足预定条件的滑窗相应的部分裁剪为人脸图片样本，并且将图片的与人脸标签框相应的部分裁剪为人脸图片样本。根据本公开的示例性实施例，将图片的与所述交并比满足预定条件的滑窗相应的部分裁剪为人脸图片样本的步骤可包括：在图片的滑窗与人脸标签框的交并比大于或等于预定值(诸如，0.15)的情况下，将图片的与所述交并比满足预定条件的滑窗相应的部分裁剪为人脸图片样本。
[0085]
根据本公开的示例性实施例，所述负样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为非人脸图片样本被获得：与所述人脸标签框的交并比不满足所述特定条件的滑窗、以及具有预定步长的滑窗。具体地，负样本可通过以下多种方式被获得：以固定步长(例如，但不限于，20像素)对环境或动植物数据集中的图片进行滑窗，将图片的与滑窗相应的部分裁剪为多个非人脸图片样本，和/或对具有人脸标签框的人脸数据集中的图片进行滑窗，计算滑窗与图片的人脸标签框的交并比，将图片的与人脸标签框相应的部分以及图片的与所述交并比不满足预定条件的滑窗相应的部分裁剪为多个非人脸图片样本。这里，对具有人脸标签框的人脸数据集中的图片进行处理以获得负样本的处理与获得正样本的处理类似，对此不进行详细描述。
[0086]
通过上述测试，根据本公开的实施例的图片处理方法可过滤掉多种干扰样本，例如，但不限于，难以获取身份信息的包含环境噪声或严重的遮挡的图片、以及质量低的人脸图片等，显然，根据本公开的实施例的图片处理方法执行图片处理可提高人脸识别的精度，使人脸识别结果更加可靠。像这样，根据本公开的实施例的图片处理方法在人脸检测的基础上进一步对检测结果进行二次分类，能够利用极少的资源获得优异的效果。
[0087]
除此之外，通过测试，根据本公开的示例性实施例的图片处理方法在使用人脸分类模型的情况下能获得比不使用人脸分类模型的情况大得多的提升，这是由于人脸分类模型的情况所针对的不完整人脸或人脸区域框检测不准确等条件下所得到的人脸图片也容易成为环境样本，而使用人脸分类模型的情况的图片处理方法具有一定的将人脸实例与环境样本区分开的能力，在包含噪声的数据集上，可轻易获得很高的性能提升。也就是说，根据本公开的示例性实施例的图片处理方法将基于面部显著区域与面部轮廓区域的结构性一致性与人脸分类模型结合使用的情况下，能够实现不同方面的互补，得到了1+1》2的精度提升，使得不同种类的干扰样本都被很好地过滤掉。
[0088]
下面将参照图4描述根据本公开的实施例的基于所述人脸区域框与所述面部轮廓区域的空间关系确定所述人脸区域框为非人脸的图片处理方法。
[0089]
参照图4，在所述人脸区域框与所述面部轮廓区域在空间上不对应的情况下，确定所述目标人脸图片为无效人脸图片。可选地，通过以下步骤确定所述人脸区域框与所述面部轮廓区域在空间上不对应：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。例如，与图2中的关键点包络框cd类似地，这里的面部轮廓区域也可包括作为构成面部轮廓区域的面部关键点的最小矩形包络框的关键点包络框cd＝(c
x
，cy，d
x
，dy)，其中，关键点包络框cd由左上角的坐标为(c
x
，cy)的c点与右下角的坐标为(d
x
，dy)的d点来表示。面部轮廓区域也可由其他任意适当的方式表示，不限于此。类似地，人脸区域框ab可由左上角的坐标为(a
x
，ay)的a点与右下角的坐
标为(b
x
，by)的b点来表示。人脸区域框也可由其他任意适当的方式表示，不限于此。
[0090]
可选地，确定所述人脸区域框与所述关键点包络框的交并比(iou)，在iou小于或等于第五阈值(t5)的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。具体地讲，通过以下公式(6)计算所述人脸区域框ab与所述关键点包络框cd的交并比(iou)：
[0091][0092]
当iou小于或等于第五阈值t5时，确定人脸区域框与面部轮廓区域在空间上不对应，也就是说，人脸区域框与面部轮廓区域缺乏空间一致性，难以基于目标人脸图片识别人脸。其中，第五阈值t5可以是预先设置的经验值。例如，但不限于，可在测试期间通过以固定步长(诸如，0.01)遍历第五阈值，并将具有最高精度和最低注册失败率的阈值确定为第五阈值t5，例如，但不限于，第五阈值t5可以是0.47。
[0093]
通过上述测试，根据本公开的图片处理方法能够成功地过滤掉不合格的人脸图片，例如，但不限于，包含不完整的人脸的图片、人脸区域框或面部关键点检测错误的干扰噪声的图片、面部遮挡严重的图片、质量较差的图片等。由于这类图片极容易称为环境噪声样本，因此，通过这样的方式的图片处理可以轻易地大幅提高图片处理性能。
[0094]
尽管在上文中分别描述确定无效人脸图片的各个实施例，但应当理解的是，也可将任意实施例结合被共同应用以确定无效人脸图片。
[0095]
此外，本公开还对相关技术的图片处理方法进行了测试，测试结果证明，直接增加人脸框检的阈值(即，上述第四阈值)的方法尽管在一定程度上可以提升人脸识别精度，但这种简单的筛选策略会造成注册失败率的大幅上涨，在实际应用中会导致难以成功检测到人脸，极大降低用户体验，并且带来的精度提升也十分有限。相对而言，根据本公开的实施例的图片处理方法能够带来非常高的精度提升，能够精准的找到对人脸识别影响较大的干扰样本。
[0096]
下面，将参照图5描述根据本公开的示例性实施例的图片处理方法的具体实施操作的过程。
[0097]
图5是示出根据本公开的实施例的图片处理方法的示例性实施过程的示意图。
[0098]
参照图5，首先，从目标人脸图片检测多个面部关键点和人脸区域框，在满足图5中的三个条件(即，面部显著区域与面部轮廓区域的结构一致性条件、人脸区域框与面部轮廓区域的空间一致性条件以及非人脸图片分类条件)中的任意一个条件的情况下，确定所述目标人脸图片为无效人脸图片。也就是说，只要目标人脸图片满足一个条件，就要确定目标人脸图片为无效人脸图片，需要将目标人脸图片过滤掉或丢弃目标人脸图片。根据本公开的示例性实施例，面部显著区域与面部轮廓区域的结构一致性条件可包括面部显著区域的形状为预定形状并且面部显著区域的位置与面部轮廓区域的位置不对应，人脸区域框与面部轮廓区域的空间一致性条件包括所述人脸区域框与所述面部轮廓区域在空间上不对应，非人脸图片分类条件包括通过人脸分类模型确定所述人脸区域框为非人脸，这里，关于各个条件的具体描述与上述示例性实施例中的具体描述相应，在此不再重复描述。在上述三个条件均不满足的情况下，确定目标人脸图片为有效人脸图片，可对目标人脸图片执行后续的图片处理，例如，但不限于，人脸对齐处理和人脸识别处理。
[0099]
通过根据本公开的示例性实施例，在目标人脸图片满足任意一种条件的情况下均可将目标人脸图片确定为无效人脸图片，通过这样的多重过滤条件，能够有效过滤干扰性较强的图片，在几乎不改变人脸识别处理的流程并且不增加过多运算量的前提下，有效地提高识别精度。
[0100]
此外，通过根据本公开的示例性实施例的图片处理方法，没有被确定为无效人脸图片的目标人脸图片可被用于后续的人脸识别处理。例如，但不限于，目标人脸图片可被输入面部对齐模块和/或人脸识别模块。作为示例，人脸识别模块可以是通过webface42m数据集训练的s-resnet-269网络结构。本公开对后续的人脸识别处理不作限制，还可以使用其它方法实现。
[0101]
图6示出根据本公开的实施例的图片处理设备的框图。
[0102]
参照图6，根据本公开的实施例的图片处理设备600可包括关键点检测模块601、面部区域确定模块602和人脸图片处理模块603。
[0103]
具体地，关键点检测模块601被配置为从目标人脸图片检测多个面部关键点。面部区域确定模块602被配置为基于所述多个面部关键点确定面部轮廓区域和面部显著区域。人脸图片处理模块603被配置为：在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。作为示例，在所述面部显著区域满足第一预定条件的情况下，人脸图片处理模块603可将作为无效人脸图片的目标人脸图片过滤掉。
[0104]
也就是说，关键点检测模块601可执行与如上参照图1至图4所述的图片处理方法的步骤s101相应的操作，面部区域确定模块602可执行与如上参照图1至图4所述的图片处理方法的步骤s102相应的操作，人脸图片处理模块603可执行与如上参照图1至图4所述的图片处理方法的步骤s103相应的操作。
[0105]
根据本公开的示例性实施例，面部区域确定模块602被配置为：将包含所述多个面部关键点的区域确定为面部轮廓区域；将包含部分面部关键点的区域确定为面部显著区域，其中，所述部分面部关键点是所述多个面部关键点之中的除了表示面部轮廓的面部关键点之外的面部关键点。
[0106]
根据本公开的示例性实施例，人脸图片处理模块603被配置为：在确定所述面部显著区域中的显著区域包络框的形状为预定形状并且所述显著区域包络框在宽度方向上的位置与所述面部轮廓区域中的关键点包络框在宽度方向上的位置不对应的情况下，确定所述面部显著区域满足所述第一预定条件，其中，所述显著区域包络框为所述面部显著区域中的面部关键点的最小矩形包络框，所述关键点包络框为所述面部轮廓区域中的面部关键点的最小矩形包络框。
[0107]
根据本公开的示例性实施例，人脸图片处理模块603被配置为：在所述显著区域包络框的高宽比大于或等于第一阈值的情况下，确定所述显著区域包络框的形状为预定形状；以及，在所述显著区域包络框的沿高度方向的中轴线与所述关键点包络框的沿高度方向的中轴线之间的距离和所述关键点包络框的宽度的比小于或等于第二阈值的情况下，确定所述显著区域包络框在宽度方向上的位置与所述关键点包络框在宽度方向上的位置不对应。
[0108]
根据本公开的示例性实施例，所述图片处理设备600还包括人脸区域框检测模块(未示出)。人脸区域框检测模块被配置为从所述目标人脸图片检测人脸区域框。根据本公开的示例性实施例，人脸图片处理模块603还被配置为：在所述人脸区域框满足第二预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，第二预定条件包括以下条件中的至少一个：通过人脸分类模型确定所述人脸区域框为非人脸；以及所述人脸区域框与所述面部轮廓区域在空间上不对应。
[0109]
根据本公开的示例性实施例，人脸图片处理模块603被配置为：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；通过使用人脸分类模型将所述人脸图片分类为非人脸图片。
[0110]
根据本公开的示例性实施例，人脸图片处理模块603被配置为通过以下操作来通过使用人脸分类模型将所述人脸图片分类为非人脸图片：获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。
[0111]
根据本公开的示例性实施例，所述人脸分类模型通过使用包括多个人脸图片样本的正样本和包括多个非人脸图片样本的负样本被训练，其中，所述正样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为人脸图片样本被获得：所述图片中的放大的人脸区域框、所述图片的人脸标签框、以及与所述人脸标签框的交并比满足特定条件的滑窗；以及所述负样本通过将数据集中的图片的与以下项中的至少一个相应的部分裁剪为非人脸图片样本被获得：与所述人脸标签框的交并比不满足所述特定条件的滑窗、以及具有预定步长的滑窗。
[0112]
根据本公开的示例性实施例，人脸图片处理模块603被配置为通过以下操作确定所述人脸区域框与所述面部轮廓区域在空间上不对应：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
[0113]
根据本公开的示例性实施例，人脸图片处理模块603被配置为：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。
[0114]
根据本公开的另一示例性实施例的图片处理设备可包括：关键点检测模块、人脸区域框检测模块、面部区域确定模块和人脸图片处理模块。根据本公开的另一示例性实施例的图片处理设备可被配置为执行与参照图5描述的图片处理方法相应的操作，在此不再重复描述。
[0115]
根据本公开的实施例，还提供了一种图片处理设备，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；人脸图片处理模块，被配置为：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。
[0116]
根据本公开的实施例，还提供了一种图片处理方法，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；关键点检测模块，被配置为从所述目标人脸图
片检测多个面部关键点；面部区域确定模块，被配置为基于所述多个面部关键点确定面部轮廓区域；人脸图片处理模块，被配置为：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。
[0117]
关于上述实施例中的图片处理设备的各个模块执行操作的具体方式已经在相关的图片处理方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0118]
此外，应当理解的是，根据本公开示例性实施例的图片处理设备中的各个模块可被实现硬件组件和/或软件组件。本领域技术人员根据限定的各个模块所执行的处理，可以例如使用现场可编程门阵列(fpga)或专用集成电路(asic)来实现各个模块。
[0119]
根据本公开的实施例，还提供了一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图片处理方法。
[0120]
根据本公开的示例性实施例，电子设备可以是pc计算机、平板装置、个人数字助理、智能手机、或其他能够执行上述指令集合的装置。这里，电子设备并非必须是单个的电子设备，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。电子设备还可以是集成控制系统或系统管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子设备。
[0121]
在电子设备中，处理器可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器系统、微控制器或微处理器。作为示例而非限制，处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。
[0122]
处理器可运行存储在存储器中的指令或代码，其中，存储器还可以存储数据。指令和数据还可经由网络接口装置而通过网络被发送和接收，其中，网络接口装置可采用任何已知的传输协议。
[0123]
存储器可与处理器集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储器可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库系统可使用的其他存储装置。存储器和处理器可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器能够读取存储在存储器中的文件。
[0124]
此外，电子设备还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。电子设备的所有组件可经由总线和/或网络而彼此连接。
[0125]
根据本公开的示例性实施例，还可提供一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如上所述的图片处理方法。
[0126]
根据本公开的示例性实施例，计算机可读存储介质的示例包括：只读存储器(rom)、随机存取可编程只读存储器(prom)、电可擦除可编程只读存储器(eeprom)、随机存取存储器(ram)、动态随机存取存储器(dram)、静态随机存取存储器(sram)、闪存、非易失性存储器、cd-rom、cd-r、cd+r、cd-rw、cd+rw、dvd-rom、dvd-r、dvd+r、dvd-rw、dvd+rw、dvd-ram、bd-rom、bd-r、bd-r lth、bd-re、蓝光或光盘存储器、硬盘驱动器(hdd)、固态硬盘(ssd)、卡式存储器(诸如，多媒体卡、安全数字(sd)卡或极速数字(xd)卡)、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，所述任何其他装置被
配置为以非暂时性方式存储计算机程序以及任何相关联的数据、数据文件和数据结构并将所述计算机程序以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机使得处理器或计算机能执行所述计算机程序。上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等电子设备中部署的环境中运行，此外，在一个示例中，计算机程序以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得计算机程序以及任何相关联的数据、数据文件和数据结构通过一个或多个处理器或计算机以分布式方式存储、访问和执行。
[0127]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
[0128]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由权利要求来限制。

技术特征：
1.一种图片处理方法，包括：从目标人脸图片检测多个面部关键点；基于所述多个面部关键点确定面部轮廓区域和面部显著区域；在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。2.根据权利要求1所述的图片处理方法，其中，基于所述多个面部关键点确定面部轮廓区域和面部显著区域的步骤包括：将包含所述多个面部关键点的区域确定为面部轮廓区域；将包含部分面部关键点的区域确定为面部显著区域，其中，所述部分面部关键点是所述多个面部关键点之中的除了表示面部轮廓的面部关键点之外的面部关键点。3.根据权利要求1所述的图片处理方法，其中，通过下述方法确定所述面部显著区域满足所述第一预定条件：在确定所述面部显著区域中的显著区域包络框的形状为预定形状并且所述显著区域包络框在宽度方向上的位置与所述面部轮廓区域中的关键点包络框在宽度方向上的位置不对应的情况下，确定所述面部显著区域满足所述第一预定条件，其中，所述显著区域包络框为所述面部显著区域中的面部关键点的最小矩形包络框，所述关键点包络框为所述面部轮廓区域中的面部关键点的最小矩形包络框。4.根据权利要求3所述的图片处理方法，其中，在所述显著区域包络框的高宽比大于或等于第一阈值的情况下，确定所述显著区域包络框的形状为预定形状；以及，在所述显著区域包络框的沿高度方向的中轴线与所述关键点包络框的沿高度方向的中轴线之间的距离和所述关键点包络框的宽度的比小于或等于第二阈值的情况下，确定所述显著区域包络框在宽度方向上的位置与所述关键点包络框在宽度方向上的位置不对应。5.根据权利要求1所述的图片处理方法，还包括：从所述目标人脸图片检测人脸区域框；在所述人脸区域框满足第二预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，第二预定条件包括以下条件中的至少一个：通过人脸分类模型确定所述人脸区域框为非人脸；以及所述人脸区域框与所述面部轮廓区域在空间上不对应。6.根据权利要求5所述的图片处理方法，其中，通过人脸分类模型确定所述人脸区域框为非人脸的步骤包括：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。7.根据权利要求5所述的图片处理方法，其中，通过以下步骤确定所述人脸区域框与所述面部轮廓区域在空间上不对应：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确
定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。8.根据权利要求7所述的图片处理方法，其中，所述基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应的步骤包括：确定所述人脸区域框与所述关键点包络框的交并比；在所述交并比小于或等于第五阈值的情况下，确定所述人脸区域框与所述面部轮廓区域在空间上不对应。9.一种图片处理方法，包括：从目标人脸图片检测人脸区域框；将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。10.一种图片处理方法，包括：从目标人脸图片检测人脸区域框和多个面部关键点；基于所述多个面部关键点确定面部轮廓区域；基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。11.一种图片处理设备，包括：关键点检测模块，被配置为从目标人脸图片检测多个面部关键点；面部区域确定模块，被配置为基于所述多个面部关键点确定面部轮廓区域和面部显著区域；人脸图片处理模块，被配置为：在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。12.一种图片处理设备，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；人脸图片处理模块，被配置为：将所述目标人脸图片中的所述人脸区域框放大；将所述目标人脸图片的与放大的人脸区域框相应的部分裁剪为所述人脸图片；获取所述目标人脸图片的指示所述目标人脸图片包含人脸的概率的人脸置信度；在所述人脸置信度大于或等于第三阈值且小于或等于第四阈值的情况下，通过使用人脸分类模型将所述人脸图片为非人脸图片。13.一种图片处理设备，包括：人脸区域框检测模块，被配置为从目标人脸图片检测人脸区域框；关键点检测模块，被配置为从所述目标人脸图片检测多个面部关键点；
面部区域确定模块，被配置为基于所述多个面部关键点确定面部轮廓区域；人脸图片处理模块，被配置为：基于所述人脸区域框与所述面部轮廓区域中的关键点包络框在空间上的重叠程度确定所述人脸区域框与所述面部轮廓区域在空间上不对应，其中，所述关键点包络框为所述多个面部关键点的最小矩形包络框。14.一种电子设备，包括：至少一个处理器；至少一个存储计算机可执行指令的存储器，其中，所述计算机可执行指令在被所述至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至10中任一项所述的图片处理方法。15.一种计算机可读存储介质，其中，当所述计算机可读存储介质中的指令被至少一个处理器运行时，促使所述至少一个处理器执行如权利要求1至10中任一项所述的图片处理方法。

技术总结
本公开提供了一种图片处理方法、图片处理设备、电子设备和存储介质。所述图片处理方法包括：从目标人脸图片检测多个面部关键点；基于所述多个面部关键点确定面部轮廓区域和面部显著区域；在所述面部显著区域满足第一预定条件的情况下，确定所述目标人脸图片为无效人脸图片，其中，所述第一预定条件包括所述面部显著区域的形状为预定形状并且所述面部显著区域的位置与所述面部轮廓区域的位置不对应。区域的位置与所述面部轮廓区域的位置不对应。区域的位置与所述面部轮廓区域的位置不对应。


技术研发人员：王凯 郭子栋 李静知 白智源 韩承周
受保护的技术使用者：三星电子株式会社
技术研发日：2023.06.30
技术公布日：2023/10/15