确定面中线位置的方法与流程

1.本技术总体上涉及一种确定面中线位置的方法。


背景技术：

2.如今，在设计牙齿正畸治疗方案时，经常要用到患者的牙颌三维数字模型。为了获得合理的治疗方案，需要确定面中线在牙颌三维数字模型上的位置。
3.当前，面中线在牙颌三维数字模型上的位置主要是通过牙科专业人员观察患者正面微笑照片的方式获得，即基于患者正面微笑照片大致估算面中线在牙列上的位置，然后，人工在牙颌三维数字模型上的相应位置点击确定面中线的位置。该方法不仅过程繁琐，而且可能存在较大误差。
4.因此，有必要提供一种新的确定面中线的位置的方法。


技术实现要素：

5.本技术的一方面提供了一种计算机执行的确定面中线位置的方法，其包括：获取患者正脸露齿照片；对所述患者正脸露齿照片进行面部特征点识别；基于识别出的相应面部特征点，产生面中线；基于所述患者正脸露齿照片中的唇内区域图像，产生牙中线；基于识别出的相应面部特征点，识别虹膜区域；以及基于给定的虹膜直径尺寸、所述识别出的虹膜区域直径的像素数以及所述面中线和牙中线之间的像素数偏差，计算得到所述面中线和牙中线之间的实际偏差。
6.在一些实施方式中，所述的确定面中线位置的方法还包括：对所述患者正脸露齿照片进行面部区域检测，所述面部特征点识别是针对检测到的面部区域图像进行。
7.在一些实施方式中，所述面部区域检测采用以下方法之一：基于传统的机器学习方法以及基于深度神经网络的方法。
8.在一些实施方式中，所述面部特征点检测采用以下方法之一：基于模型的方法、级联形状回归的方法以及基于深度神经网络的方法。
9.在一些实施方式中，所述面中线是基于所述相应面部特征点拟合得到。
10.在一些实施方式中，所述的确定面中线位置的方法还包括：基于识别出的相应面部特征点，识别所述唇内区域；以及针对所述唇内区域图像进行图像处理，以产生所述牙中线。
11.在一些实施方式中，所述的确定面中线位置的方法还包括：基于识别出的相应面部特征点，识别眼部区域；针对所述眼部区域图像进行边缘提取；以及基于提取到的边缘确定所述虹膜区域。
12.在一些实施方式中，所述的确定面中线位置的方法还包括：基于所述提取到的边缘进行霍夫变换，确定所述虹膜区域。
13.在一些实施方式中，所述的确定面中线位置的方法还包括：获取所述患者的牙列三维数字模型；确定所述牙中线在所述牙列三维数字模型上的位置；以及基于所述面中线
和牙中线之间的实际偏差以及所述中线在所述牙列三维数字模型上的位置，确定所述面中线在所述牙列三维数字模型上的位置。
14.本技术的又一方面提供了一种用于确定面中线位置的计算机系统，其包括存储装置和处理器，所述存储装置存储有一计算机程序，当其被所述处理器执行后，将执行所述的确定面中线位置的方法。
附图说明
15.以下将结合附图及其详细描述对本技术的上述及其他特征作进一步说明。应当理解的是，这些附图仅示出了根据本技术的若干示例性的实施方式，因此不应被视为是对本技术保护范围的限制。除非特别指出，附图不必是成比例的，并且其中类似的标号表示类似的部件。
16.图1为本技术一个实施例中的确定面中线位置的方法的示意性流程图；
17.图2，为本技术一个实施例中用于确定面中线位置的计算机程序的一个界面所展示的一个例子中的患者正脸微笑照片；
18.图3a，示意性地展示了68个面部特征点的分布；
19.图3b，示意性地展示了51个面部特征点的分布；
20.图4，为所述计算机程序的一个界面所展示的一个例子中的患者正脸微笑照片以及基于其产生的面中线和牙中线；及
21.图5，为所述计算机程序的一个界面所展示的一个例子中标出面中线和牙中线的牙颌三维数字模型。
具体实施方式
22.以下的详细描述中引用了构成本说明书一部分的附图。说明书和附图所提及的示意性实施方式仅仅出于是说明性之目的，并非意图限制本技术的保护范围。在本技术的启示下，本领域技术人员能够理解，可以采用许多其他实施方式，并且可以对所描述实施方式做出各种改变，而不背离本技术的主旨和保护范围。应当理解的是，在此说明并图示的本技术的各个方面可以按照很多不同的配置来布置、替换、组合、分离和设计，这些不同配置都在本技术的保护范围之内。
23.本技术的一方面提供了一种确定面中线位置的方法，对患者正脸露齿照片进行特征点检测，基于检测到的特定特征点拟合得到面中线和牙中线，然后，基于虹膜尺寸确定面中线和牙中线的实际间距。以下结合附图对本技术一个实施例中的确定面中线位置的方法进行详细说明。
24.请参图1，为本技术一个实施例中的确定面中线位置的方法100的示意性流程图。
25.在一个实施例中，所述确定面中线位置的方法100是由计算机执行。本技术又一方面提供了一种用于确定面中线位置的计算机系统，其包括存储装置和处理器，其中，所述存储装置存储有一计算机程序，当其被所述处理器执行后，将执行所述确定面中线位置的方法100。
26.在101中，获取患者正脸露齿照片。
27.在一个实施例中，患者正脸露齿照片可以是正脸微笑照片。
28.请参图2，为本技术一个实施例中用于确定面中线位置的计算机程序的一个界面所展示的一个例子中的患者正脸微笑照片。为了保护患者隐私，将图2所示患者照片的眼睛部位遮蔽。
29.在103中，对所述患者正脸露齿照片进行面部区域检测。
30.在一个实施例中，在获得患者正脸露齿照片后，可以对其进行面部区域检测。一方面，可以藉此筛除不规范的正脸微笑照片，例如，五官不全、面部扭转、具有摩尔纹的照片等。另一方面，后续计算可以基于检测到的面部区域而非整张正脸微笑照片，以提高计算效率和可靠性。
31.在一个实施例中，可以利用机器学习的方法进行面部区域检测，若未能检测到人脸，则判定该图像不规范，例如，五官不全、面部扭转等。
32.在一个实施例中，可以在检测到人脸之后进行对摩尔纹的识别。首先，获取人脸图像中有摩尔纹和无摩尔纹的样本，然后，利用svm(支持向量机)的方法训练一个能够识别摩尔纹的模型，利用该模型对人脸图像进行摩尔纹识别。
33.在一个实施例中，可以采用传统的机器学习方法进行面部区域检测，例如，haar cascade、eigenfaces、fisherfaces等。在又一实施例中，也可以采用基于深度神经网络的方法进行面部区域检测，例如，基于卷积神经网络的方法。
34.在一个实施例中，若系统未能检测到规范的脸部区域，可以提示用户重新输入正脸微笑照片。
35.请再参图2，其中方框区域是检测到的脸部区域。
36.在105中，对所述脸部区域进行面部特征点检测。
37.在检测到面部区域之后，可以对面部区域图片进行面部特征点检测。
38.面部特征点标识面部的特殊位置，例如眼睛、眉毛、鼻梁、唇部等。
39.在一个实施例中，可以采用基于模型的方法进行特征点检测，例如，asm(active shape model)和aam(active appearance model)。在又一实施例中，也可以采用级联形状回归的方法进行特征点检测。在又一实施例中，还可以采用基于深度神经网络的方法进行特征点检测。
40.请参图3a，示意性地展示了68个面部特征点的分布。请参图3b，示意性地展示了51个面部特征点的分布。
41.在107中，基于相应的面部特征点拟合面中线。
42.在检测出面部特征点之后，就可以基于相应的面部特征点拟合面中线和牙中线。
43.在一个实施例中，可以基于基本位于面部对称中心线(即面中线)的特征点拟合面中线，例如，眉心点、鼻尖点、鼻底点、人中点等。在一个实施例中，可以采用最小二乘法拟合面中线。
44.在一个实施例中，可以基于相应的特征点定位唇部区域，然后，基于唇部区域图片中裸露的牙齿，通过图像处理(图像分割)的方法识识别出两个中切牙，再通过其轮廓信息确定两个中切牙的牙缝，并将其作为牙中线。
45.在一些情况下，正脸微笑照片可能存在牙齿未裸露、牙齿裸露过少或缺牙等情况，这些会对牙中线的识别产生影响，因此，在识别牙中线之前，可以先识别这些情况并将其筛除。在一个实施例中，可以利用基于深度学习的方法对唇部子图进行分类，以筛除上述不合
格的情况。在又一实施例中，也可以利用其他机器学习的方法进行此操作，例如，决策树、svm、adaboost等。
46.请参图4，为所述计算机程序的一个界面所展示的一个例子中的患者正脸微笑照片以及基于其产生的面中线和牙中线。为了保护患者隐私，将患者照片的眼睛部位遮蔽。
47.在获得面中线和牙中线之后，虽然能够计算得到两者之间以像素为单位的距离(偏差)，但由于不同的照片的单个像素的实际尺寸可能不同，因此，此时还无法获得面中线和牙中线之间的实际偏差。
48.通过统计，本技术的发明人发现，不同人的虹膜直径变化不大，大约为12.3
±
0.7mm。在一个实施例中，可以取12.3mm作为虹膜直径，并基于该尺寸估算单个像素的实际尺寸，进而计算面中线和牙中线之间的实际偏差。
49.在109中，基于给定虹膜尺寸计算所述面中线和牙中线的实际偏差。
50.在一个实施例中，可以先基于相应的面部特征点获取眼部区域图片，然后，提取边缘并进行优化处理，再通过霍夫变换检测出可能的虹膜区域，最后，对这些可能区域进行筛选以确定最终的虹膜区域。接着，基于所述选定的虹膜直径与所述虹膜区域直径的像素数，计算出每个像素的物理尺寸。最后，基于所述面中线和牙中线的像素数偏差和像素的物理尺寸，计算出所述面中线和牙中线之间的物理偏差。
51.在111中，基于所述物理偏差，确定面中线在牙颌三维数字模型上位置。
52.可以理解，面中线的位置是指沿正脸方向投影的位置。
53.如今，越来越多牙科专业人员基于患者牙颌三维数字模型设计牙齿正畸治疗方案。中线对齐(即牙中线与面中线对齐)是牙科正畸治疗的目标之一。因此，在患者牙颌三维数字模型上标出面中线和牙中线便于牙科专业人员设计牙齿正畸治疗方案。
54.在一个实施例中，可以通过口内扫描，或扫描印模或牙齿实体模型等方式，获得牙颌三维数字模型。
55.由于面中线和牙中线的物理偏差为已知，而牙颌三维数字模型的物理尺寸也为已知，因此，在牙中线位置已知的情况下，计算机能够在牙颌三维数字模型上标出面中线的位置，以供牙科专业人员设计牙齿正畸治疗方案时参考。
56.请参图5，为所述计算机程序的一个界面所展示的一个例子中标出面中线和牙中线的牙颌三维数字模型。其中，牙中线由位于上颌两颗门牙之间的一个点表示。
57.尽管在此公开了本技术的多个方面和实施例，但在本技术的启发下，本技术的其他方面和实施例对于本领域技术人员而言也是显而易见的。在此公开的各个方面和实施例仅用于说明目的，而非限制目的。本技术的保护范围和主旨仅通过后附的权利要求书来确定。
58.同样，各个图表可以示出所公开的方法和系统的示例性架构或其他配置，其有助于理解可包含在所公开的方法和系统中的特征和功能。要求保护的内容并不限于所示的示例性架构或配置，而所希望的特征可以用各种替代架构和配置来实现。除此之外，对于流程图、功能性描述和方法权利要求，这里所给出的方框顺序不应限于以同样的顺序实施以执行所述功能的各种实施例，除非在上下文中明确指出。
59.除非另外明确指出，本文中所使用的术语和短语及其变体均应解释为开放式的，而不是限制性的。在一些实例中，诸如“一个或多个”、“至少”、“但不限于”这样的扩展性词
汇和短语或者其他类似用语的出现不应理解为在可能没有这种扩展性用语的示例中意图或者需要表示缩窄的情况。

技术特征：
1.一种计算机执行的确定面中线位置的方法，其包括：获取患者正脸露齿照片；对所述患者正脸露齿照片进行面部特征点识别；基于识别出的相应面部特征点，产生面中线；基于所述患者正脸露齿照片中的唇内区域图像，产生牙中线；基于识别出的相应面部特征点，识别虹膜区域；以及基于给定的虹膜直径尺寸、所述识别出的虹膜区域直径的像素数以及所述面中线和牙中线之间的像素数偏差，计算得到所述面中线和牙中线之间的实际偏差。2.如权利要求1所述的确定面中线位置的方法，其特征在于，它还包括：对所述患者正脸露齿照片进行面部区域检测，所述面部特征点识别是针对检测到的面部区域图像进行。3.如权利要求2所述的确定面中线位置的方法，其特征在于，所述面部区域检测采用以下方法之一：基于传统的机器学习方法以及基于深度神经网络的方法。4.如权利要求1所述的确定面中线位置的方法，其特征在于，所述面部特征点检测采用以下方法之一：基于模型的方法、级联形状回归的方法以及基于深度神经网络的方法。5.如权利要求1所述的确定面中线位置的方法，其特征在于，所述面中线是基于所述相应面部特征点拟合得到。6.如权利要求1所述的确定面中线位置的方法，其特征在于，它还包括：基于识别出的相应面部特征点，识别所述唇内区域；以及针对所述唇内区域图像进行图像处理，以产生所述牙中线。7.如权利要求1所述的确定面中线位置的方法，其特征在于，它还包括：基于识别出的相应面部特征点，识别眼部区域；针对所述眼部区域图像进行边缘提取；以及基于提取到的边缘确定所述虹膜区域。8.如权利要求7所述的确定面中线位置的方法，其特征在于，它还包括：基于所述提取到的边缘进行霍夫变换，确定所述虹膜区域。9.如权利要求1所述的确定面中线位置的方法，其特征在于，它还包括：获取所述患者的牙列三维数字模型；确定所述牙中线在所述牙列三维数字模型上的位置；以及基于所述面中线和牙中线之间的实际偏差以及所述中线在所述牙列三维数字模型上的位置，确定所述面中线在所述牙列三维数字模型上的位置。10.一种用于确定面中线位置的计算机系统，其包括存储装置和处理器，所述存储装置存储有一计算机程序，当其被所述处理器执行后，将执行如权利要求1所述的确定面中线位置的方法。

技术总结
本申请的一方面提供了一种计算机执行的确定面中线位置的方法，其包括：获取患者正脸露齿照片；对所述患者正脸露齿照片进行面部特征点识别；基于识别出的相应面部特征点，产生面中线；基于所述患者正脸露齿照片中的唇内区域图像，产生牙中线；基于识别出的相应面部特征点，识别虹膜区域；以及基于给定的虹膜直径尺寸、所述识别出的虹膜区域直径的像素数以及所述面中线和牙中线之间的像素数偏差，计算得到所述面中线和牙中线之间的实际偏差。到所述面中线和牙中线之间的实际偏差。到所述面中线和牙中线之间的实际偏差。


技术研发人员：任远 王雅静 冯洋 刘晓林 王明政
受保护的技术使用者：上海时代天使医疗器械有限公司
技术研发日：2022.02.08
技术公布日：2023/8/21