机器学习、检测和建模方法、及计算机程序产品和设备与流程

1.本发明的领域是图像处理领域。
2.更具体地，本发明涉及一种用于对在图像中检测到的对象和/或特征区域（例如眼睛、鼻子等）进行检测和建模的方法。
3.本发明具有多种应用，特别是但不排他地用于一副眼镜的虚拟测试。
4.现有技术及其缺点在本文件的其余部分中，特别描述了本专利申请的发明人在一副眼镜的虚拟测试领域中所面临的现有问题。当然，本发明不限于该特定应用领域，而是对图像中表示的任何类型的对象和/或这种图像的任何类型的特征区域（即，图像的感兴趣部分）的检测和建模感兴趣。
5.从现有技术中已知，使用一些对象和/或一些特征区域的特征点来检测所考虑的对象和/或特征区域。例如，眼角通常被用作允许检测图像中个体的眼睛的特征点。还可以考虑诸如鼻子或嘴角等其他特征点来检测面部。通常，面部的检测质量取决于所使用的特征点的数量和位置。在提交本专利申请的公司以编号fr 2955409公布的法国专利和以编号wo 2016/135078公布的国际专利申请中具体地描述了这样的技术。
6.对于制造的对象，边缘或拐角可以例如被认为是特征点。
7.然而，使用这样的特征点可能导致检测缺乏准确性，因此也会相应导致对所考虑的对象和/或特征区域的建模缺乏准确性。
8.替代性地，有时考虑对图像进行手动标注，以便人为地生成所考虑的对象和/或特征区域的特征点。然而，在本文中再次注意到，对所考虑的对象和/或特征区域的检测缺乏准确性。相应地，这种不准确性可能会导致在对由此检测到的对象和/或特征区域进行建模时出现问题。
9.因此，需要一种允许对图像中所示的一个（或多个）对象和/或所考虑的图像中存在的一个（或多个）特征区域进行准确地检测和建模的技术。


技术实现要素：

10.在本发明的实施方式中，提供了一种机器学习系统的学习方法，该机器学习系统用于对在至少一个给定图像中表示的至少一个对象和/或所述至少一个给定图像的至少一个特征区域进行检测和建模。根据这种方法，该机器学习系统执行以下操作：-生成多个增强现实图像，该多个增强现实图像包括真实图像和代表至少一个对象和/或至少一个特征区域的至少一个虚拟元素；-对于每个增强现实图像，获得学习信息，对于增强现实图像的至少一个给定虚拟元素，上述学习信息包括：-从给定虚拟元素获得的该给定虚拟元素的分割模型，以及-与给定虚拟元素的参数化相对应的一组轮廓点，或者从给定虚拟元素获得的参数化；以及-从多个增强现实图像和上述学习信息中学习，提供一组参数，这些参数使得机器学习系统能够检测至少一个给定图像中的至少一个对象和/或至少一个特征区域并确定对应的建模信息，该建模信息包括：-至少一个对象和/或至少一个特征区域的分割模型，以及-与至少一个对象和/或至少一个特征区域的参数化相对应的一组轮廓点，或者参数化。
11.因此，本发明提供了一种用于学习机器学习系统（例如卷积神经网络）以便使其能够检测给定图像（例如示出戴眼镜的人的面部的图像）中的一个（或多个）对象（例如一副眼镜）和/或一个（或多个）特征区域（例如眼睛的轮廓或眼睛虹膜的轮廓）并确定对应的建模信息的新的和创造性的解决方案。
12.更具体地，从包括代表对象（或多个对象）和/或特征区域（或多个特征区域）的虚拟元素的增强现实图像中进行学习。因此，准确地执行了分割（例如通过由（多个）虚拟元素模拟的对象和/或特征区域的二元掩模）以及点在轮廓上的分布。例如，这允许解决手动标注这些点所固有的歧义。例如，点的分布对应于由（多个）虚拟元素模拟的对象（例如3dmm模型或“3d可变形模型”）和/或特征区域的2d或3d参数化。以这种方式，标注是准确的，并且很容易从轮廓点返回到参数化。
13.此外，这种虚拟元素的使用允许解决遮挡问题，并因此避免获得不完整的标注，如眼镜镜腿末端被耳朵遮挡或虹膜被眼睑遮挡的情况。真实数据（图像）与虚拟对象之间的混合允许将机器学习系统专门用于真实的应用案例。因此，增强现实图像在图像的真实性与产生具有足够可变性的图像和标注的容易性之间提供了最佳折衷。
14.在实施方式中，对于每个增强现实图像，机器学习系统的学习包括从给定虚拟元素的分割模型和与给定虚拟元素的参数化相对应的一组轮廓点中进行联合学习。
15.因此，机器学习系统的学习、分割模型的学习和一组轮廓点的学习相互加强从而获得了协同效应。分割模型允许通过最大化正确检测到的虚拟对象的像素数量（即通过最小化被错误检测为属于该对象的像素数量）来提高准确性。此外，由此检测到的一组点与该对象具有一致的形状。在当前情况下，这些点源自参数化模型这一事实加强了这种一致性。因此，无论捕获真实图像的相机的位置如何并且无论增强现实图像中的对象的设置如何，都获得了对象的一致形状。
16.在实施方式中，联合学习实施成本函数，该成本函数取决于和给定虚拟元素的分割模型相关联的交叉熵与和对应于给定虚拟元素的参数化的一组轮廓点相关联的欧几里得距离之间的线性组合。
17.例如，机器学习系统包括用于学习分割模型的分支和用于学习一组轮廓点的分支。因此，交叉熵与用于学习分割模型的分支相关联，并且欧几里得距离与用于学习一组轮廓点的分支相关联。
18.在一些实施方式中，真实图像包括面部的图示。对于与给定虚拟元素的参数化相对应的一组轮廓点中的至少一个轮廓点，学习信息包括指示轮廓点是否可见或者轮廓点是否被面部遮挡的可见性信息。
19.因此，考虑了轮廓点的可见性。
20.在一些实施方式中，成本函数进一步取决于与轮廓点的可见性相关联的二元交叉
熵。
21.在一些实施方式中，学习信息包括给定虚拟元素的参数化。
22.因此，机器学习系统能够直接提供所考虑的参数化。
23.本发明还涉及一种用于对在至少一个图像中表示的至少一个对象和/或所述至少一个图像的至少一个特征区域进行检测和建模的方法。这种检测和建模方法由通过实施上述学习方法（根据前述实施方式中的任一实施方式）训练的机器学习系统来实施。根据这种检测和建模方法，机器学习系统执行对所述至少一个图像中的所述至少一个对象和/或所述至少一个特征区域的检测，并执行对所述至少一个对象和/或所述至少一个特征区域的建模信息的确定。
24.因此，已经从包括代表对象（或多个对象）和/或特征区域（或多个特征区域）的虚拟元素的增强现实图像中完成了学习，建模信息与对象（或多个对象）和/或特征区域（或多个特征区域）的建模的一致性得到了保证。此外，在同时对一个（或多个）对象和一个（或多个）特征区域（例如眼睛、虹膜、鼻子）进行检测和建模的情况下，与仅对这两个元素之一进行检测和建模相比，获得了协同效应，提高了针对对象和特征区域获得的性能。
25.在上述实施方式中的一些实施方式中，机器学习系统的学习包括一方面从给定虚拟元素的分割模型和另一方面从与给定虚拟元素的参数化相对应的一组轮廓点中进行联合学习。在这些实施方式中的一些实施方式中，在检测和建模方法中实施的确定包括对以下各项的联合确定：-至少一个对象和/或至少一个特征区域的分割模型；以及-与至少一个对象和/或至少一个特征区域的参数化相对应的一组轮廓点。
26.在上述实施方式中，机器学习系统的联合学习实施成本函数，该成本函数取决于一方面和给定虚拟元素的分割模型相关联的交叉熵与另一方面和对应于给定虚拟元素的参数化的一组轮廓点相关联的欧几里得距离之间的线性组合。在这些实施方式中的一些实施方式中，在检测和建模方法中实施的联合确定实施给定成本函数，该给定成本函数取决于一方面和所述至少一个对象和/或所述至少一个特征区域的分割模型相关联的交叉熵与另一方面和对应于所述至少一个对象和/或所述至少一个特征区域的参数化的一组轮廓点相关联的欧几里得距离之间的线性组合。
27.在上述实施方式中，机器学习系统的学习实施包括真实图像的增强现实图像，该真实图像包括面部的图示。在这些实施方式中的一些实施方式中，至少一个图像包括给定面部的表示，并且针对与至少一个对象和/或至少一个特征区域的参数化相对应的一组轮廓点中的至少一个给定轮廓点，机器学习系统进一步确定指示给定轮廓点是否可见或者给定轮廓点是否被给定面部遮挡的可见性信息。
28.因此，机器学习系统还确定轮廓点的可见性。
29.在上述实施方式中，在机器学习系统的联合学习期间实施的成本函数进一步取决于与轮廓点的可见性相关联的二元交叉熵。在这些实施方式中的一些实施方式中，在检测和建模方法中实施的确定实施给定成本函数。这种给定成本函数进一步取决于与给定轮廓点的可见性相关联的二元交叉熵。
30.在上述实施方式中的一些实施方式中，学习信息包括给定虚拟元素的参数化。在这些实施方式中的一些实施方式中，建模信息包括至少一个对象和/或至少一个特征区域
的参数化。
31.在一些实施方式中，至少一个图像包括多个图像，每个图像表示至少一个对象和/或至少一个特征区域的不同视图。对多个图像中的每一个联合实施检测以及确定。
32.因此，提高了对对象（或多个对象）和/或特征区域（或多个特征区域）的建模信息的检测和确定的性能。
33.本发明还涉及一种计算机程序，该计算机程序包括程序代码指令，这些指令用于当在计算机上执行该计算机程序时实施如上文根据不同实施方式中的任一个所描述的方法。
34.本发明还涉及一种用于对在至少一个图像中示出的至少一个对象和/或所述至少一个图像的至少一个特征区域进行检测和建模的设备。这种设备包括至少一个处理器和/或至少一个专用计算机器，该至少一个处理器和/或该至少一个专用计算机器被配置为实施根据本发明的学习方法（根据上述不同实施方式中的任一个）的步骤。因此，该设备的特征和优点与前述学习方法的对应步骤的特征和优点相同。因此，不再对其进行进一步详细描述。
35.在一些实施方式中，至少一个处理器和/或至少一个专用计算机器进一步被配置为实施根据本发明的检测和建模方法（根据上述不同实施方式中的任一个）的步骤。因此，该设备的特征和优点与前述检测和建模方法的对应步骤的特征和优点相同。因此，不再对其进行进一步详细描述。
36.在一些实施方式中，上述设备包括上述机器学习系统。
37.在一些实施方式中，上述设备是上述机器学习系统。
附图说明
38.在参考附图阅读仅作为说明性和非限制性示例所给出的以下描述后，本发明的其他目的、特征以及优点将变得更加清楚，在附图中：[图1]示出了根据本发明的实施方式的机器学习系统的学习方法的步骤，该机器学习系统用于对至少一个图像中示出的一个（或多个）对象和/或所考虑的至少一个图像的一个（或多个）特征区域进行检测和建模；[图2a]图示了包括面部的图示的真实图像；[图2b]图示了包括[图2a]的真实图像和一副眼镜的增强现实图像；[图2c]图示了[图2b]的增强现实图像的一副眼镜的分割模型；[图2d]图示了与[图2b]的增强现实图像的一副眼镜的参数化相对应的一组轮廓点；[图3]示出了根据本发明的实施方式的用于对至少一个图像中示出的一个（或多个）对象和/或所考虑的至少一个图像的一个（或多个）特征区域进行检测和建模的方法的步骤；[图4a]图示了包括面部的图示和一副眼镜的图像；[图4b]图示了[图4a]的图像的一副眼镜的分割模型、以及与[图4a]的图像的一副眼镜的参数化相对应的一组轮廓点；[图5]图示了与图像中的眼睛以及所考虑的眼睛的虹膜的参数化相对应的一组轮
廓点；[图6]示出了根据本发明的实施方式的设备的结构的示例，该设备能够实施[图1]的学习方法和/或[图3]的检测和建模方法的一些步骤。
具体实施方式
[0039]
本发明的一般原理基于：使用增强现实图像来执行机器学习系统（例如卷积神经网络）的训练，以便使机器学习系统能够检测给定图像（例如图示戴眼镜的人的面部的图像）中的一个（或多个）对象（例如一副眼镜）和/或一个（或多个）特征区域（例如眼睛的轮廓或眼睛虹膜、鼻子的轮廓）并确定对应的建模信息。
[0040]
更具体地，这种增强现实图像包括真实图像和表示所考虑的对象（或多个对象）和/或特征区域（或多个特征区域）的至少一个虚拟元素。
[0041]
事实上，学习卷积神经网络需要大量带标注的数据。获取和标注这些数据的成本非常高。此外，标注的准确性无法保证，这限制了由此创建的推理模型的鲁棒性和准确性。对来自参数化2d或3d模型的合成对象图像的使用允许拥有大量学习数据，并保证2d或3d标注点的定位和可见性。这些虚拟对象由逼真的环境图（“环境映射”）照亮，该环境图可以是设定的或是根据真实图像来估计的。此外，这种虚拟元素的使用允许解决遮挡问题，并因此避免因标注操作员任意选择而获得不完整或不一致的标注。
[0042]
此外，建议与增强现实图像互补地使用学习信息，该学习信息包括与对应的虚拟元素相关联的分割模型以及与所考虑的虚拟元素的参数化相对应的一组轮廓点。
[0043]
因此，准确地执行了分割（例如由（多个）虚拟元素模拟的对象和/或特征区域的二元掩模）以及点在轮廓上的分布，而不需要对真实图像进行标注。
[0044]
在本技术的其余部分中，“机器学习系统”应当被理解为一种被配置为执行学习模型的训练并且使用所考虑的模型的系统。
[0045]
参考[图1]，根据本发明的实施方式的用于机器学习系统（例如，卷积神经网络）的学习方法pa100的步骤，该机器学习系统用于对至少一个图像中表示的一个（或多个）对象和/或所述考虑的至少一个图像的一个（或多个）的特征区域进行检测和建模。还参考[图2a]、[图2b]、[图2c]和[图2d]讨论了所考虑的方法pa100的步骤的实施示例。更具体地，根据[图2a]、[图2b]、[图2c]和[图2d]的示例，真实图像200包括面部220的图示，并且虚拟元素210是一副眼镜。相应地，[图2c]图示了[图2b]的一副虚拟眼镜的分割模型210ms，并且[图2d]图示了与[图2b]的一副虚拟眼镜的参数化相对应的一组轮廓点210pt。为了更清楚起见，下文将提及[图2a]、[图2b]、[图2c]和[图2d]的元素，以便以非限制性方式说明方法pa100的特征。
[0046]
回到[图1]，在步骤e110期间，机器学习系统获得多个增强现实图像200ra，这些增强现实图像200ra包括真实图像200和代表对象（或多个对象）和/或特征区域（或多个特征区域）的至少一个虚拟元素210。
[0047]
例如，每个增强现实图像200ra由专用于将虚拟元素210插入到真实图像200中的工具生成。在一些变型中，增强现实图像200ra的生成包括在插入到真实图像200中之前增加（例如，经由添加高斯噪声、模糊）至少一个虚拟元素210。这种增加例如包括使用逼真的环境图对虚拟对象的照明，该环境图可以是设定的或是根据真实图像估计的。因此，提高了
虚拟元素210的逼真度和/或其与真实图像200的集成度。例如，这种提高的逼真度允许促进学习并提高对真实图像的检测性能。
[0048]
例如，由此生成的增强现实图像200ra被存储在数据库中，机器学习系统访问该数据库以便获得所考虑的增强现实图像200ra。
[0049]
回到[图1]，在步骤e120期间，机器学习系统获得针对每个增强现实图像的学习信息，对于所考虑的增强现实图像200ra的至少一个给定虚拟元素210，该学习信息包括：-给定虚拟元素210的分割模型210ms。例如，这种分割模型是由给定虚拟元素210模拟的对象（或多个对象）和/或特征区域（或多个特征区域）的二元掩模；以及-与给定虚拟元素210的参数化相对应的一组轮廓点210pt。例如，点的分布对应于由给定虚拟元素210模拟的对象（或多个对象）和/或特征区域（或多个特征区域）的2d或3d参数化。例如，这种参数化（也称为参数化模型）是3dmm模型（代表“3d可变形模型（3d morphable model）”）。例如，在3d参数化的背景下，3d对象的轮廓点可以通过对3d对象表面上的测地曲线进行投影和参数化来在2d中引用，该测地曲线从捕获真实图像的相机的角度表示轮廓。
[0050]
因此，能够准确地执行分割和点在轮廓210pt上的分布，分割模型210ms和一组轮廓点210pt是直接从对应的虚拟元素210获得的，而不是通过对包括所考虑的虚拟元素210的增强现实图像进行后处理而获得的。例如，这允许解决手动标注这些点所固有的歧义，并且允许很容易从轮廓点210pt返回到参数化。
[0051]
在一些实施方式中，学习信息包括分割模型210ms以及轮廓点210pt的参数化（而不是这些轮廓点210pt的坐标）。这种参数化可以从虚拟元素210的建模中导出，或者可以是虚拟元素210的后验特定建模。例如，机器学习系统学习一个或多个样条曲线的控制点，随后从中找到轮廓点210。在这种情况下，机器学习系统的输出由这些建模参数（例如控制点）组成，而成本函数（例如轮廓点与地面真值之间的欧几里得距离）不变。为了实现这一点，允许从建模参数切换到轮廓点210pt的变换应该是可微分的，使得梯度可以通过机器学习系统的学习算法反向传播。
[0052]
在一些实施方式中，学习信息进一步包括分割模型210ms与轮廓点210pt之间的附加一致性项。这种一致性是通过分割模型210ms与由轮廓点210pt界定的表面之间的交集来测量的。为此目的，在该表面上定义网格（例如通过现有技术中众所周知的delaunay算法），该网格随后被差分渲染引擎使用，该引擎用统一的值对该表面进行着色（“填充”）。随后，可以定义一致性项（例如交叉熵），该项测量分割和渲染表面的像素的接近度。
[0053]
例如，学习信息与对应的增强现实图像200ra相关联地存储在上述数据库中。
[0054]
回到[图1]，在步骤e130期间，机器学习系统基于多个增强现实图像200ra和学习信息来实施学习阶段。这种学习允许生成一组参数（或学习模型），这些参数使得机器学习系统能够检测至少一个给定图像中的所考虑的对象（或多个对象）和/或特征区域（或多个特征区域）并确定对应的建模信息。
[0055]
例如，在这种学习的给定迭代期间，学习系统的输入是包括虚拟元素210的增强现实图像200ra。该学习还实施与增强现实图像200ra相关联的学习信息。例如，学习信息是虚拟对象210的分割模型210ms及其轮廓点210pt。例如通过其参数化3d模型来了解虚拟元素210，使得可以通过将3d模型投影在图像中以得到分割模型210ms以及通过对模型的点进行
采样以得到轮廓点210pt来以完美的方式生成这些学习信息。学习系统的输出是虚拟元素的分割模型及其轮廓点，或其参数化。通过将学习系统的输出与学习信息进行比较来进行学习，直至收敛。在学习系统的输出是参数化（例如3dmm、样条曲线、贝塞尔曲线等）的情况下，根据这些参数确定轮廓点，并将这些轮廓点与真实轮廓点进行比较。
[0056]
在一些实施方式中，对于每个增强现实图像200ra，机器学习系统的学习包括从分割模型210ms和一组轮廓点210pt中进行联合学习。因此，机器学习系统的学习、分割模型210ms的学习和该组轮廓点210pt的学习相互加强从而获得了协同效应。
[0057]
例如，机器学习系统包括用于学习分割模型210ms的分支和用于学习该组轮廓点210pt的分支。交叉熵与用于学习分割模型的分支相关联，并且欧几里得距离与用于学习该组轮廓点的分支相关联。联合学习实施成本函数，该成本函数取决于和分割模型210ms相关联的交叉熵与和该组轮廓点210pt相关联的欧几里得距离之间的线性组合。
[0058]
在一些实施方式中，机器学习系统是卷积型语义分割网络。例如，机器学习系统是如ronneberger、fischer和brox在2015年的文章“u-net: convolutional networks for biomedical image segmentation[u-net：用于生物医学图像分割的卷积网络]”中所述的“unet”型网络，或者是如chen、zhu、papandreou、schroff和adam在2018年的文章“encoder-decoder with atrous separable convolution for semantic image segmentation[用于语义图像分割的具有atrous可分离卷积的编码器-解码器]”中所述的“deeplabv3+”型的。
[0059]
在“u-net”的情况下，可以修改网络的结构以联合学习分割模型和一组轮廓点。例如，划分为两个分支（用于学习分割模型的分支和用于学习一组轮廓点的分支）发生在解码器部分的最后一个卷积层。这样，确保了学习分割模型与学习一组轮廓点之间的一致性。此外，池化层后跟全连接层允许减少专用于学习一组轮廓点的分支的维数。
[0060]
在“deeplabv3+”的情况下，以4倍分辨率执行将低级特征和编码器特征级联的步骤。例如，正是在这一级别上完成了分成两个分支（一个分支用于学习分割模型，一个分支用于学习一组轮廓点）。在一些实施中，可以添加卷积层、具有最大池化（或“最大（max）池化”）的池化层以及最后的全连接层，用于学习一组轮廓点。
[0061]
根据[图2a]、[图2b]、[图2c]和[图2d]中所示的示例，[图2d]的一组轮廓点210pt具体包括这样的轮廓点210pt：一旦将一副虚拟眼镜插入到真实图像200中以便生成增强现实图像200ra，这些轮廓点就被面部220遮挡。因此，这种虚拟元素的使用允许解决遮挡问题，并因此避免获得不完整的标注，如本示例中眼镜镜腿末端被耳朵遮挡的情况。
[0062]
因此，在真实图像200包括面部的图示的方法pa100的实施方式中，对于一组点中的至少一个轮廓点210pt，学习信息包括关于指示轮廓点210pt是否可见或者该轮廓点是否被面部220遮挡的可见性的信息。因此，考虑了轮廓点的可见性。
[0063]
例如，在机器学习系统是卷积型（例如“unet”型或“deeplabv3+”型）的语义分割网络的上述实施方式中，成本函数进一步取决于与轮廓点210pt的可见性相关联的二元交叉熵。
[0064]
在一些实施方式中，学习信息包括给定虚拟元素210的参数化，并且因此间接地包括由给定虚拟元素210模拟的对象（或多个对象）和/或特征区域（或多个特征区域）的参数化。因此，机器学习系统能够直接提供所考虑的参数化。
[0065]
在一些实施方式中，方法pa100包括细化学习的步骤，在该步骤中，机器学习系统根据包括带标注的真实图像的真实数据来细化在步骤e310的实施期间提供的一组参数。这种标注可以手动或自动（例如通过实施面部解析算法）完成。
[0066]
参考[图3]，现在描述根据本发明的实施方式的用于对至少一个图像中表示的一个（或多个）对象和/或所述至少一个图像的一个（或多个）特征区域进行检测和建模的方法的步骤。
[0067]
更具体地，根据本技术的检测和建模方法由通过实施上述学习方法pa100（根据前述实施方式中的任一实施方式）训练的上述机器学习系统来实施。
[0068]
因此，在步骤e310期间，机器学习系统执行对至少一个图像（真实图像或增强图像）中的一个（或多个）对象和/或一个（或多个）特征区域的检测以及对该对象（或多个对象）和/或该特征区域（或多个特征区域）的建模信息的确定。
[0069]
因此，已经从包括代表所考虑的对象（或多个对象）和/或特征区域（或多个特征区域）的虚拟元素210的增强现实图像200ra中完成了学习，建模信息与对象（或多个对象）和/或特征区域（或多个特征区域）的建模的一致性得到了保证。
[0070]
此外，在同时对所述至少一个图像的至少一个对象（例如一副眼镜）和至少一个特征区域（例如眼睛、虹膜、鼻子）进行检测和建模的实施方式中，与仅对这两个元素之一进行检测和建模相比，获得了协同效应，提高了针对所述至少一个对象和所述至少一个特征区域的检测和建模而获得的性能。
[0071]
在一些实施方式中，建模信息包括：-对象（或多个对象）和/或特征区域（或多个特征区域）的分割模型；以及-与对象（或多个对象）和/或特征区域（或多个特征区域）的参数化相对应的一组轮廓点。
[0072]
因此，很容易从轮廓点返回到模型的参数化。
[0073]
在上文参考[图1]所述的一些实施方式中，机器学习系统的学习包括从分割模型210ms和一组轮廓点210pt中进行联合学习。在这些实施方式中的一些实施方式中，步骤e310包括联合确定对象（或多个对象）和/或特征区域（或多个特征区域）的分割模型以及与对象（或多个对象）和/或特征区域（或多个特征区域）的参数化相对应的一组轮廓点。
[0074]
在上文参考[图1]所述的一些实施方式中，联合学习实施成本函数，该成本函数基于和分割模型210ms相关联的交叉熵与和该组轮廓点210pt相关联的欧几里得距离之间的线性组合。在这些实施方式中的一些实施方式中，步骤e310的检测和建模实施上述成本函数，该成本函数取决于和分割模型相关联的交叉熵与和该组点相关联的欧几里得距离之间的线性组合。
[0075]
在上文参考[图1]所述的一些实施方式中，学习信息包括指示轮廓点210pt是否可见或者该轮廓点是否被面部220遮挡的可见性信息。在这些实施方式中的一些实施方式中，步骤e310的检测和建模进一步针对至少一个轮廓点确定指示该轮廓点是否可见或者该轮廓点是否被在步骤e310期间分析的图像的面部遮挡的可见性信息。因此，机器学习系统还确定轮廓点的可见性。这些实施方式中的一些实施方式实施取决于与轮廓点的可见性相关联的二元交叉熵的损失的成本函数，如上文参考[图1]描述的用于学习的对应实施方式中所实施的。
[0076]
在上文参考[图1]所述的一些实施方式中，学习信息包括增强现实图像中所使用的虚拟元素的参数化，并且因此间接地包括由所考虑的虚拟元素模拟的对象（或多个对象）和/或特征区域（或多个特征区域）的参数化。在这些实施方式中的一些实施方式中，步骤e310的检测和建模因此确定在步骤e310期间分析的图像中检测到的对象（或多个对象）和/或特征区域（或多个特征区域）的参数化。
[0077]
在一些实施方式中，对象（或多个对象）和/或特征区域（或多个特征区域）被表示在多个图像中，每个图像表示所考虑的对象（或多个对象）和/或所考虑的特征区域（或多个特征区域）的不同视图。以这种方式，在步骤e310期间，在多个图像中的不同图像中联合实施检测和建模允许以改进的方式确定所考虑的对象（或多个对象）和/或特征区域（或多个特征区域）的建模信息。
[0078]
在一些实施方式中，在步骤e310期间要由机器学习系统分析的图像在位置上被标准化。例如，当图像表示面部时，对于面部的预定子部分（例如眼睛），例如使用面部标记（“界标”）来调整所考虑的子部分周围的区域的大小。这些标记可以通过任何已知的标记检测或面部识别方法来获得。因此，针对每个调整大小后的区域实施检测和确定建模信息的步骤e310。以这种方式，有助于检测对象（或多个对象）和/或特征区域（或多个特征区域）以及确定对应的建模信息。
[0079]
在一些实施方式中，将标记（例如面部标记）添加到在步骤e310期间要由机器学习系统分析的图像上，以便指示特征点（例如鼻子的位置、太阳穴点的位置）。例如，这些标记可以通过面部分析算法来获得。以这种方式，有助于检测对象（或多个对象）和/或特征区域（或多个特征区域）以及确定对应的建模信息。
[0080]
现在首先参考[图4a]和[图4b]来讨论检测和建模方法的步骤的实施示例。根据该示例，图像400包括面部420的图示。此外，假设机器学习系统已经被训练为例如根据如上文参考[图2a]、[图2b]、[图2c]和[图2d]所述的增强现实图像来对一副眼镜进行检测和建模。因此，图像400中要检测和建模的对象410是一副眼镜。通过实施步骤e310，机器学习系统确定建模信息，该建模信息包括所考虑的一副眼镜的分割模型410ms和一组轮廓点410pt。具体地，[图4b]中的一组轮廓点410pt包括被图像400中的面部420遮挡的轮廓点410pt。因此，本文所述的方法允许解决遮挡问题，并因此避免获得不完整的标注，如本示例中眼镜镜腿末端被耳朵遮挡的情况。
[0081]
现在参考[图5]来讨论实施检测和建模方法的步骤的另一示例。更具体地，根据该示例，图像500包括面部的部分图示。要检测和建模的特征区域510zc是图像500中表示的眼睛。此外，假设机器学习系统已经被训练为根据增强现实图像来对眼睛进行检测和建模，这些增强现实图像包括放置在眼睛水平处的一个或多个虚拟元素以便对眼睛进行建模。以这种方式，通过实施步骤e310，机器学习系统确定特征区域510zc的建模信息，在本示例中，该特征区域具体包括所考虑的眼睛以及虹膜的一组轮廓点510pt。
[0082]
参考[图6]，现在描述根据本发明的实施方式的设备600的结构的示例，该设备允许实施[图1]的学习方法pa100和/或[图3]的检测和建模方法的一些步骤。
[0083]
设备600包括随机存取存储器603（例如ram存储器）、处理单元602，该处理单元602例如配备有一个（或多个）处理器并且由存储在只读存储器601（例如rom存储器或硬盘）中的计算机程序来控制。在初始化时，在处理单元602的处理器执行计算机程序的代码指令之
前，这些代码指令例如被加载到实时存储器603中。
[0084] [图6]仅图示了用于制造设备600以使得其执行[图1]的学习方法pa100和/或[图3]的检测和建模方法（根据上文参考[图1]和[图3]所述的实施方式和/或变型中的任一个）的一些步骤的几种可能方式中的一种特定方式。事实上，这些步骤可以在执行包括指令序列的程序的可重编程计算机器（pc计算机、一个（或多个）dsp处理器或一个（或多个）微控制器）上、或者在专用计算机器（例如一组逻辑门，比如一个（或多个）fpga或一个（或多个）asic、或任何其他硬件模块）上无差别地执行。
[0085]
在设备600至少部分地由可重新编程计算机器制成的情况下，对应的程序（即指令序列）可以存储或可以不存储在可移动存储介质（比如cd-rom、dvd-rom、闪存盘），该存储介质可由计算机或处理器部分或完全读取。
[0086]
在一些实施方式中，设备600包括机器学习系统。
[0087]
在一些实施方式中，设备600是机器学习系统。

技术特征：
1.一种机器学习系统的学习方法，所述机器学习系统用于对在至少一个给定图像中表示的至少一个对象和/或所述至少一个给定图像的至少一个特征区域进行检测和建模，其特征在于，所述机器学习系统执行以下操作：-生成多个增强现实图像，所述多个增强现实图像包括真实图像和代表所述至少一个对象和/或所述至少一个特征区域的至少一个虚拟元素；-对于每个增强现实图像，获得学习信息，对于所述增强现实图像的至少一个给定虚拟元素，所述学习信息包括：
‑ꢀ
从所述给定虚拟元素获得的所述给定虚拟元素的分割模型，以及
‑ꢀ
与所述给定虚拟元素的参数化相对应的一组轮廓点，或者从所述给定虚拟元素获得的所述参数化；以及-从所述多个增强现实图像和所述学习信息中学习，提供一组参数，所述参数使得所述机器学习系统能够检测所述至少一个给定图像中的所述至少一个对象和/或所述至少一个特征区域并确定对应的建模信息，所述建模信息包括：
‑ꢀ
所述至少一个对象和/或所述至少一个特征区域的分割模型，以及
‑ꢀ
与所述至少一个对象和/或所述至少一个特征区域的参数化相对应的一组轮廓点，或者所述参数化。2.根据权利要求1所述的学习方法，其中，对于每个增强现实图像，所述机器学习系统的所述学习包括一方面从所述给定虚拟元素的所述分割模型以及另一方面从与所述给定虚拟元素的参数化相对应的所述一组轮廓点中进行联合学习。3.根据权利要求2所述的学习方法，其中，所述联合学习实施成本函数，所述成本函数取决于一方面和所述给定虚拟元素的所述分割模型相关联的交叉熵与另一方面和对应于所述给定虚拟元素的参数化的所述一组轮廓点相关联的欧几里得距离之间的线性组合。4.根据权利要求1至3中任一项所述的学习方法，其中，所述真实图像包括面部的图示，并且其中，对于与所述给定虚拟元素的参数化相对应的所述一组轮廓点中的至少一个轮廓点，所述学习信息包括指示所述轮廓点是否可见或者所述轮廓点是否被所述面部遮挡的可见性信息。5.根据权利要求4在从属于权利要求2时所述的学习方法，其中，所述成本函数进一步取决于与所述轮廓点的可见性相关联的二元交叉熵。6.一种用于对在至少一个图像中表示的至少一个对象和/或所述至少一个图像的至少一个特征区域进行的检测和建模方法，其特征在于，通过实施根据权利要求1至5中任一项所述的学习方法来训练的机器学习系统执行对所述至少一个图像中的所述至少一个对象和/或所述至少一个特征区域的检测，并执行对所述至少一个对象和/或所述至少一个特征区域的建模信息的确定。7.根据权利要求6所述的检测和建模方法，其中，通过实施根据权利要求2所述或根据权利要求3至5中任一项在从属于权利要求2时所述的学习方法来训练所述机器学习系统，并且其中，所述确定包括对以下各项的联合确定：-所述至少一个对象和/或所述至少一个特征区域的所述分割模型；以及-与所述至少一个对象和/或所述至少一个特征区域的所述参数化相对应的所述一组轮廓点。
8.根据权利要求6至7中任一项所述的检测和建模方法，其中，通过实施根据权利要求4所述或根据权利要求5在从属于权利要求4时所述的学习方法来训练所述机器学习系统，其中，所述至少一个图像包括给定面部的表示，并且其中，针对与所述至少一个对象和/或所述至少一个特征区域的所述参数化相对应的所述一组轮廓点中的至少一个给定轮廓点，所述机器学习系统进一步确定指示所述给定轮廓点是否可见或者所述给定轮廓点是否被所述给定面部遮挡的可见性信息。9.根据权利要求6至8中任一项所述的检测和建模方法，其中，所述至少一个图像包括多个图像，每个图像表示所述至少一个对象和/或所述至少一个特征区域的不同视图，并且其中，针对所述多个图像中的每一个联合实施所述检测和所述确定。10.一种计算机程序产品，包括程序代码指令，所述指令用于当在计算机上执行所述程序时实施根据权利要求1至9中任一项所述的方法。11.一种用于对在至少一个图像中表示的至少一个对象和/或所述至少一个图像的至少一个特征区域进行检测和建模的设备，其特征在于，所述设备包括至少一个处理器和/或至少一个专用计算机器，所述至少一个处理器和/或所述至少一个专用计算机器被配置为实施以下操作：-生成多个增强现实图像，所述多个增强现实图像包括真实图像和代表所述至少一个对象和/或所述至少一个特征区域的至少一个虚拟元素；-对于每个增强现实图像，获得学习信息，对于所述增强现实图像的至少一个给定虚拟元素，所述学习信息包括：
‑ꢀ
从所述给定虚拟元素获得的所述给定虚拟元素的分割模型，以及
‑ꢀ
与所述给定虚拟元素的参数化相对应的一组轮廓点，或者从所述给定虚拟元素获得的所述参数化；以及-从所述多个增强现实图像和所述学习信息中学习，提供一组参数，所述参数使得所述机器学习系统能够检测至少一个给定图像中的所述至少一个对象和/或所述至少一个特征区域并确定对应的建模信息，所述建模信息包括：
‑ꢀ
所述至少一个对象和/或所述至少一个特征区域的分割模型，以及
‑ꢀ
与所述至少一个对象和/或所述至少一个特征区域的参数化相对应的一组轮廓点，或者所述参数化。

技术总结
本发明涉及一种机器学习系统的学习方法。根据这种方法，该机器学习系统执行以下步骤：获得增强现实图像，这些增强现实图像包括真实图像和代表对象和/或特征区域的至少一个虚拟元素；对于每个增强现实图像，获得学习信息，对于增强现实图像的至少一个给定虚拟元素，上述学习信息包括：用于分割给定虚拟元素的模型，以及与给定虚拟元素的参数化相对应的一组轮廓点；以及基于多个增强现实图像和上述学习信息进行学习，提供一组参数，这些参数使得机器学习系统能够对给定图像中的对象和/或特征区域进行检测和建模。域进行检测和建模。域进行检测和建模。


技术研发人员：柴维耶
受保护的技术使用者：试戴盒子公司
技术研发日：2022.02.10
技术公布日：2023/10/6