用于基于身体图像确定睡眠分析的系统和方法与流程

用于基于身体图像确定睡眠分析的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年12月11日提交的第63/124,577号美国临时专利申请的权益和优先权，其全部内容通过引用并入本文。
技术领域
3.本公开总体上涉及睡眠障碍检测系统，并且更具体地涉及一种用于确定睡眠障碍的图像分析系统。


背景技术：

4.存在一系列呼吸障碍。某些障碍可以通过特定事件来表征，诸如呼吸暂停、低通气和呼吸过度。阻塞性睡眠呼吸暂停(osa)是一种睡眠呼吸障碍(sdb)形式，其特征在于包括上气道在睡眠期间的闭塞或阻塞的事件。它起因于睡眠期间异常小的上气道和肌肉张力在舌、软腭及后口咽壁的区域中的正常损失的组合。该病症导致受到影响的患者停止呼吸，典型地持续30秒至120秒的时间段，有时每晚200次至300次。这常常导致过度日间嗜睡，并且可能导致心血管疾病和脑损伤。该综合征是一种常见障碍，尤其在中年超重男性中常见，但是受到影响的人可能并未意识到这个问题。
5.其他睡眠相关障碍包括潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)。copd涵盖具有某些共同特征的一组下气道疾病中的任一种。这些疾病包括空气流动阻力增加、呼吸的呼气阶段延长、以及肺的正常弹性丧失。copd的实例为肺气肿和慢性支气管炎。copd由慢性吸烟(主要风险因素)、职业暴露、空气污染和遗传因素所引起。
6.持续气道正压通气(cpap)疗法已经被用于治疗阻塞性睡眠呼吸暂停(osa)。持续气道正压通气的应用充当气动夹板，并且可以通过向前并远离后口咽壁推挤软腭和舌来防止上气道闭塞。
7.无创通气(niv)通过上气道向患者提供通气支持，以帮助患者进行完全呼吸和/或通过完成呼吸功中的一些或全部来维持身体内适当的氧水平。通气支持经由患者接口提供。niv已经被用于治疗csr、ohs、copd和胸壁障碍。在一些形式中，可以改进这些疗法的舒适度和有效性。有创通气(iv)为不再能够自己有效呼吸的患者提供通气支持，并且可以使用气切管提供。
8.治疗系统可以包括呼吸压力疗法设备(rpt设备)、空气回路、加湿器、患者接口和数据管理。患者接口可以用于将呼吸器械接合到其佩戴者，例如通过向气道的入口提供空气流。空气流可以经由面罩提供到患者的鼻和/或嘴里、经由管提供到患者的嘴里，或经由气切管提供到患者的气管中。
9.一个问题是确定潜在患者是否患有睡眠障碍。尽管患者可能会自我报告，但许多患者不会报告或甚至意识到他们患有睡眠障碍。在患者间，一种当前的方法是根据主观感觉收集信息以试图诊断睡眠障碍的医学问卷。这样的问卷受到主观回答的影响，导致信息不准确。此外，无法保证患者会填写或准确填写这样的问卷。诊断睡眠障碍的另一种机制是
睡眠实验室，在那里可以在睡眠期间观察患者。尽管有效，但睡眠实验室是相对劳动和资源密集型的。此外，被观察会使许多患者不舒服，并且因此说服患者在睡眠实验室中被观察是有挑战性的。
10.需要一种允许对睡眠障碍进行准确个体化确定的系统。需要一种结合来自用户的成像数据以分析潜在睡眠障碍的系统。还需要一种将用户的图像与其他传感器数据结合以确定睡眠障碍的系统。


技术实现要素：

11.一个公开的示例是一种确定患者的睡眠障碍的方法。从存储设备提供包括患者的面部和颈部的数字图像。通过确定图像上的界标来测量图像中面部和颈部的特征。根据存储在数据库中的先前识别的表型从图像中分类出至少一种表型。将该至少一种表型和对至少一个特征的测量结果与睡眠障碍相关联。基于所述表型和对所述至少一个特征的测量结果的关联性确定睡眠障碍的风险评分。
12.在所公开的示例方法的其他实施方案中，图像由移动设备的相机提供。在另一实施方案中，示例方法包括提供包括患者的面部和颈部的多个图像。在另一实施方案中，示例方法包括测量来自患者的生理读数。部分地基于该生理读数确定睡眠障碍的风险评分。在另一实施方案中，利用机器学习模型来执行关联，该机器学习模型是用来自患者群体的图像和患者群体中的每一者的睡眠障碍评分来训练的。在另一实施方案中，示例方法包括存储图像、所分类的表型、特征的尺寸和睡眠障碍评分。该方法还包括用所存储的患者的所分类的表型、特征的尺寸和睡眠障碍评分来更新患者群体的数据库。在另一实施方案中，睡眠障碍是阻塞性睡眠呼吸暂停(osa)(一种睡眠呼吸障碍(sdb)形式)、潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)中的一种。在另一实施方案中，示例方法包括基于至少一种表型确定共病的风险评分。在另一实施方案中，示例方法包括提供患者的视频并确定特征中的一个的动态移动。睡眠障碍的风险评分是利用该动态移动确定的。在另一实施方案中，表型由图像上的颜色编码，并且图像和颜色代码在显示器上显示。在另一实施方案中，表型的颜色代码表示与睡眠障碍的关联程度。在另一实施方案中，至少一种表型是肥胖/颈围、内凹颌/下颌、以及拥挤/狭窄上气道中的一种。在另一实施方案中，示例方法包括基于所确定的表型来匹配对睡眠障碍的治疗。在另一实施方案中，示例方法包括基于所确定的睡眠障碍评分确定睡眠障碍的严重性；以及基于睡眠障碍的严重性确定疗法。在另一实施方案中，所述特征是颈部尺寸。颈部尺寸与组织块和僵硬度参数相关联。睡眠障碍关联涉及组织块和僵硬度参数。
13.另一公开的实例是一种包括指令的计算机程序产品，这些指令当由计算机执行时，使计算机执行上述方法。另一实施方案是计算机程序产品是非暂时性计算机可读介质。
14.另一公开的实例是一种用于确定患者的睡眠障碍的系统。该系统包括存储设备，该存储设备存储包括患者的面部和颈部的数字图像。数据库存储先前识别的表型以及面部和颈部特征的尺寸。系统包括联接到存储设备和数据库的睡眠障碍分析引擎。该睡眠障碍分析引擎通过确定图像上的界标来识别图像中面部和颈部的特征。引擎基于与数据库的比较从图像中分类出至少一种表型。该引擎将至少一种表型和至少一个特征与睡眠障碍相关联。引擎基于表型和特征的关联性确定睡眠障碍的风险评分。
15.在所公开的示例系统的其他实施方案中，图像由移动设备的相机提供。在另一实施方案中，存储设备存储包括患者的面部和颈部的多个图像。在另一实施方案中，示例系统包括联接到睡眠障碍分析机器的传感器接口和测量来自患者的生理读数的传感器。部分地基于该生理读数确定睡眠障碍的风险评分。在另一实施方案中，利用机器学习模型来执行关联，该机器学习模型是用来自患者群体的图像和患者群体中的每一者的睡眠障碍评分来训练的。在另一实施方案中，睡眠障碍分析引擎存储图像、所分类的表型、特征的尺寸和睡眠障碍评分。该引擎用所存储的患者的所分类的表型、特征的尺寸和睡眠障碍评分来更新数据库。在另一实施方案中，睡眠障碍是阻塞性睡眠呼吸暂停(osa)、潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)中的一种，osa是一种睡眠呼吸障碍(sdb)形式。在另一实施方案中，睡眠障碍分析引擎基于表型确定共病的风险评分。在另一实施方案中，存储设备包括患者的视频。睡眠障碍分析引擎确定来自视频的特征中的一个的动态移动，并且其中睡眠障碍的风险评分是利用该动态移动确定的。在另一实施方案中，表型由图像上的颜色编码，并且其中图像和颜色代码在显示器上显示。在另一实施方案中，表型的颜色代码表示与睡眠障碍的关联程度。在另一实施方案中，表型选自肥胖/颈围、内凹颌/下颌以及拥挤/狭窄上气道。在另一实施方案中，睡眠障碍分析引擎基于所确定的表型来匹配对睡眠障碍的治疗。在另一实施方案中，睡眠障碍分析引擎基于所确定的睡眠障碍评分确定睡眠障碍的严重性；并且基于睡眠障碍的严重性确定疗法。在另一实施方案中，所述特征是颈部尺寸。颈部尺寸与组织块和僵硬度参数相关联，并且睡眠障碍关联涉及组织块和僵硬度参数。
16.以上发明内容并不旨在表示本公开的每个实施例或每个方面。相反，前述发明内容仅提供了本文所阐述的一些新颖方面和特征的实例。当结合附图和所附权利要求考虑时，从以下对执行本发明的代表性实施例和模式的详细描述中，本公开的上述特征和优点以及其他特征和优点将显而易见。
附图说明
17.从以下结合附图对示例性实施例的描述中将更好地理解本公开，在附图中：
18.图1示出了收集与睡眠障碍相关的数据的系统；
19.图2是用于捕捉面部数据的计算设备的部件的图；
20.图3a是用于捕捉患者的图像的应用界面的屏幕图像；
21.图3b是患者的图像上指示面部的表型区域的覆盖图的屏幕图像；
22.图4是患者的图像上指示面部和颈部的表型区域以及与睡眠障碍的关联的所得彩色覆盖图的屏幕图像；
23.图5是基于对用于睡眠障碍诊断的患者输入的扫描和分析来收集患者的图像数据的过程的流程图。
24.本公开容许各种修改和替代形式。在附图中以实例的方式示出了一些代表性实施例，并且将在本文中对其进行详细描述。然而，应当理解，本发明并不旨在限于所公开的特定形式。相反，本公开将覆盖落入由所附权利要求限定的本发明的精神和范围内的全部修改、等同物和替代物。
具体实施方式
25.本发明可以以许多不同的形式体现。在附图中示出了代表性实施例，并且将在本文中对其进行详细描述。本公开是本公开的原理的实例或说明，并且不旨在将本公开的广泛方面限制于所说明的实施例。在此程度上，例如在摘要、发明内容和具体实施方式章节中公开但未在权利要求书中明确阐述的要素和限制不应当以暗示、推断或其他方式单独或共同地并入权利要求书中。出于具体实施方式的目的，除非明确否认，否则单数包括复数，反之亦然；并且词语“包括”意指“包括但不限于”。此外，诸如“约”、“几乎”、“基本上”、“大致”等的近似词在本文中可以用于意指例如“为”、“接近”，或“几乎为”，或“在3-5％内”，或“在可接受的制造公差内”，或其任何逻辑组合。
26.本公开允许患者通过关联可以由患者以最小努力获得的数据源而更快速且方便地获得睡眠障碍的诊断。睡眠障碍的实例可以包括阻塞性睡眠呼吸暂停(osa)、潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)，osa是一种睡眠呼吸障碍(sdb)形式。不同身体特征的图像可以通过分析患者群体确定，其中个体患者的特征通过扫描过程确定。扫描过程允许患者在自己家中使用计算设备(诸如台式计算机、平板电脑、智能电话或其他移动设备)舒适地快速测量他们的解剖结构。可以从扫描的解剖图像分析与睡眠障碍相关的附加特征。
27.在有益的实施例中，本技术可以采用可从制造商或第三方服务器下载到具有集成相机的智能电话或平板电脑的应用。当启动时，该应用可以提供视觉和/或音频指令。按照指导，用户(即患者)可以站在镜子前面，并按下用户界面上的相机按钮。然后，激活的过程可以拍摄患者的一系列照片，并且然后在例如数秒内获得面部、颈部或其他尺寸，用于选择界面(基于分析照片的处理器)。
28.用户/患者可以捕捉他们的解剖结构的一个图像或一系列图像。由存储在计算机可读介质上的图像分析应用提供的指令，诸如当被处理器执行时，会检测图像内的各种界标，测量和缩放这样的界标之间的距离，并将这些距离和其他度量记录到数据记录中。特征的测量可以与对睡眠障碍的分析相关。界标和特征也可以用于对可能与睡眠障碍相关的表型分类。应用还可以从患者收集其他睡眠障碍相关数据，诸如可以由图像分析引擎用于生成患者的睡眠障碍评分的生理和人口统计数据。
29.图1描绘了示例数据收集系统100，其可以被实施用于从患者图像自动测量身体特征以及提供患者睡眠障碍分析。数据收集系统100通常可以包括服务器110、通信网络120和计算设备130中的一者或多者。服务器110和计算设备130可以经由通信网络120通信，通信网络120可以是有线网络122、无线网络124，或具有无线链路的有线网络126。在一些版本中，服务器110可以通过向计算设备130提供信息来与计算设备130单向通信，反之亦然。在其他实施例中，服务器110和计算设备130可以共享信息和/或处理任务。例如，该系统可以被实施为允许分析面部或其他身体图像以确定睡眠障碍，本文将对此更详细地描述。
30.提供数据库160以收集关于由患者162表示的患者群体的数据。外部数据库170可以包括与患者相关的附加的相关的所收集的数据，其可以由服务器110访问以用于睡眠障碍分析的目的。患者162可以访问计算设备130或其他移动计算设备，诸如移动电话134或平板电脑136。在该实例中，患者162可以佩戴收集生理数据的生理传感器150。传感器150可以包括心率传感器、氧水平传感器、ecg传感器、脉搏率传感器等。传感器150可以与诸如移动
电话134等计算设备通信，以具体地在睡眠周期期间记录生理数据。如将要解释的，系统100允许收集数据以诊断患者162是否可能患有睡眠障碍。
31.由患者164表示的第二患者群体先前已经被诊断为患有睡眠障碍。这样的患者164可能正在经历对睡眠障碍的治疗，诸如以呼吸疗法设备(rpt)152的形式。rpt的实例可以是持续气道正压通气(cpap)设备，其具有监测设备操作的操作传感器和记录患者对设备的生理响应的基于患者的传感器。在该实例中，从第二患者群体164收集数据以确定关联，从而允许分析其他患者的睡眠障碍。数据可以包括生理数据、面部和颈部图像数据以及人口统计数据。可以将诸如由rpt 152收集的数据等治疗数据与第二组患者的睡眠障碍的严重性和类型相关联。这样的与睡眠障碍的关联可以经由示例机器学习服务器112来进行。第二患者群体中的患者164还可以访问诸如计算设备130等计算设备或诸如移动电话134或平板电脑136等其他移动计算设备。可以经由这样的设备为患者164收集图像数据、生理数据和治疗数据。
32.机器学习服务器112和/或计算设备130还可以与诸如rpt 152等呼吸疗法设备通信。在该实例中，rpt设备152收集与患者使用、面罩泄漏相关的操作数据和其他相关数据，以提供与面罩使用相关的反馈，并从而提供对诸如osa等睡眠障碍的治疗。收集来自rpt设备152的数据并将其与患者数据库160中的使用rpt设备152的患者164的个体患者数据相关联。
33.由服务器110执行的睡眠障碍分析引擎用于根据来自由患者162表示的第一组患者的图像数据和附加数据来关联和确定潜在睡眠障碍。机器学习服务器112可以访问数据库160，以便提供机器学习模型，从而更好地与睡眠障碍进行数据关联。如将详细解释的，睡眠障碍分析引擎接收所存储的图像数据并访问诸如来自与睡眠障碍相关联的患者群体的表型等数据的数据库。睡眠障碍分析引擎通过确定图像上的界标来识别患者图像的解剖特征。这样的解剖特征可以包括来自图像的面部和颈部上的解剖特征。分析引擎基于与数据库的比较从图像中分类出至少一种表型。该表型和至少一个特征与睡眠障碍相关联。基于表型和特征的关联性确定睡眠障碍的风险评分。
34.因此，相关数据可以与新患者的解剖尺寸数据相关联，该解剖尺寸数据从患者的图像中识别出的点导出。如将要解释的，服务器110通过收集存储在数据库160中的来自多个患者的数据并输出患者中的每一者的睡眠障碍的可能性来执行睡眠障碍分析引擎。
35.计算设备130可以是台式或膝上型计算机132或移动设备，诸如智能电话134或平板电脑136。图2描绘了计算设备130的一般架构200。计算设备130可以包括一个或多个处理器210。计算设备130还可以包括显示界面220、用户控制/输入接口231、传感器240和/或用于一个或多个传感器的传感器接口、惯性测量单元(imu)242和非易失性存储器/数据存储装置250。
36.传感器240可以是集成到计算设备130中的一个或多个相机(例如，ccd电荷联接器件或有源像素传感器)，诸如在智能电话或膝上型计算机中提供的那些。替代地，在计算设备130是台式计算机的情况下，设备130可以包括用于与诸如图1所描绘的网络摄像头133等外部相机联接的传感器接口。可以与计算设备集成或在计算设备外部的可以用于帮助本文所述的方法的其他示例性传感器包括用于捕捉三维图像的立体相机，或能够检测来自激光器或频闪/结构化光源的反射光的光检测器。
37.用户控制/输入接口231允许用户提供命令或响应提供给用户的提示或指令。这可以是例如触摸面板、键盘、鼠标、麦克风和/或扬声器。
38.显示界面220可以包括监测器、lcd面板等，以显示提示，输出信息(诸如面部测量或接口大小推荐)和其他信息，诸如捕捉显示，如下面进一步详细描述的。
39.存储器/数据存储装置250可以是计算设备的内部存储器，诸如ram、闪存或rom。在一些实施例中，存储器/数据存储装置250还可以是链接到计算设备130的外部存储器，诸如sd卡、服务器、usb闪存驱动器或光盘。在其他实施例中，存储器/数据存储装置250可以是外部存储器和内部存储器的组合。存储器/数据存储装置250包括所存储的数据254和指导处理器210执行某些任务的处理器控制指令252。所存储的数据254可以包括由传感器240接收的数据，诸如捕捉的图像，以及作为应用的组成部分提供的其他数据。处理器控制指令252也可以作为应用的组成部分提供。
40.如上所解释，诸如面部或颈部图像等身体图像可以由诸如智能电话134等移动计算设备捕捉。在计算设备130或服务器110上执行的适当的应用可以提供三维相关面部和其他解剖数据以帮助确定睡眠障碍。该应用可以使用任何适当的面部扫描方法。这样的应用可以包括来自standardcyborg的capture(https://www.standardcyborg.com/)、来自scandy pro的应用(https://www.scandy.co/products/scandy-pro)、来自qianxun3d的beauty3d应用(http://www.qianxun3d.com/scanpage)、unre 3d faceapp(http://www.unre.ai/index.php？route＝ios/detail)，以及来自bellus3d的应用(https://www.bellus3d.com/)。面部扫描的详细过程包括在wo 2017000031中公开的技术，该文献的全部内容通过引用并入本文。
41.成像例程可以与3d面部模型组合以估计尺寸。例如，可以使用移动设备上的3d扫描仪或深度传感器(诸如苹果手机上的真实深度(true depth)相机)来捕捉3d图像。可以捕捉多个3d图像以创建准确的3d模型。例如，捕捉一系列图像的一种方式是左右转动头部，同时保持身体的其余部分(颈部以下)固定。这是一个问题，因为当重建3d模型时，它会导致颈部变形和误差。为了减轻这种情况，可以在保持头部、颈部和身体固定(即，不相对于彼此旋转)的同时捕捉3d图像，同时整个相机单元沿着纵轴旋转。这种方法的一个实例可以是让用户坐在转椅上。具有相机的设备可以安装在台架上，并在缓慢转动椅子时拍摄一系列3d图像。这确保了3d相机很好地捕捉面部和头部特征，以进行3d模型的准确重建。
42.一种这样的应用是用于面部特征测量和/或患者接口尺寸确定(sizing)的应用260，其可以是可下载到诸如智能电话134和/或平板电脑136等移动设备的应用。可以存储在诸如存储器/数据存储装置250等计算机可读介质上的应用260包括编程指令，这些编程指令用于处理器210以执行与解剖特征测量和/或患者尺寸确定相关的某些任务。该应用还包括可以由自动方法的算法处理的数据。这样的数据可以包括数据记录、参考特征和校正因子，如下面更详细解释的。
43.应用260由处理器210执行，以使用二维或三维图像来测量诸如患者面部和颈部特征等解剖细节。该方法通常可以表征为包括三个或四个不同的阶段：捕捉前阶段、捕捉阶段、捕捉后图像处理阶段，以及比较和输出阶段。
44.在一些情况下，用于面部特征测量和患者接口尺寸确定的应用可以控制处理器210在显示界面220上输出包括参考特征的视觉显示。用户可以诸如通过相机的移动将该特
征定位在邻近其面部特征的位置。然后，当满足诸如对准条件等某些条件时，处理器可以捕捉并存储与参考特征有关的面部特征的一个或多个图像。这可以在镜子的帮助下完成。镜子将显示的参考特征和用户的面部反射到相机。然后，应用控制处理器210识别图像内的某些面部特征并测量它们之间的距离。然后，通过图像分析处理，可以使用缩放因子来将面部特征测量(可以是像素计数)转换为基于参考特征的标准面罩测量值。这样的值可以是例如标准化的测量单位，诸如米或英寸，以及以这样的单位表示的适合于面罩尺寸确定的值。
45.附加校正因子可以应用于测量。面部特征测量可以与数据记录进行比较，数据记录包括对应于特定患者接口形式(诸如鼻罩和ffm)的不同患者接口大小的测量范围。然后可以基于比较选择推荐的大小并作为推荐输出给用户/患者。这样的过程可以在任何优选的用户位置舒适且方便地进行。应用可以在数秒内执行该方法。在一个实例中，应用实时执行该方法。
46.在捕捉前阶段，处理器210尤其帮助用户建立用于捕捉一个或多个图像以进行尺寸确定处理的适当的条件。例如，这些条件中的一些包括适当的照明和相机定向以及由握住计算设备230的不稳定的手引起的运动模糊。
47.用户可以方便地将用于在计算设备130处执行自动测量和尺寸确定的应用从诸如第三方应用商店服务器等服务器下载到他们的计算设备130上。当下载完成时，这样的应用可以存储在计算设备的内部非易失性存储器上，诸如ram或闪存。计算设备230优选地是移动设备，诸如智能电话134或平板电脑136。
48.当用户启动应用时，处理器210可以经由显示界面220提示用户提供与诊断睡眠障碍相关的患者特定信息，诸如年龄、性别、体重和身高、生活方式因素(例如，饮食、酒精、阿片制剂、其他药物的使用、吸烟史、身体和精神活动模式、职业、暴露于污染，以及地理位置)。然而，处理器210可以在任何时间提示用户输入该信息，诸如在测量了用户的面部特征之后。处理器210还可以呈现教程，该教程可以被可听地和/或可视地呈现(如应用所提供的)，以帮助用户理解他们在过程期间的角色。提示还可能需要关于患者接口类型(例如鼻接口或全脸接口等)以及患者接口将用于的设备的类型的信息。而且，在捕捉前阶段，应用可以基于已经由用户收集的信息(诸如在接收用户的面部的捕捉的图像之后)并且基于机器学习技术或通过人工智能来外推患者特定信息。
49.当用户准备继续时(这可以通过用户输入或响应于经由用户控制/输入接口231的提示来指示)，处理器210按照应用的处理器控制指令252的指导来激活传感器240。传感器240优选地是移动设备的前向相机，其位于移动设备的与显示界面220相同的一侧上。相机通常被配置成捕捉二维图像。捕捉二维图像的移动设备相机是普遍存在的。本技术利用了这种普遍存在，以避免给用户带来获得专用器械的负担。
50.大约在激活传感器/相机240的同时，处理器210按照应用260的指导在显示界面220上呈现捕捉显示。捕捉显示可以包括相机实况动作预览、参考特征、目标框以及一个或多个状态指标或其任何组合。在该实例中，参考特征以显示界面为中心显示，并且具有对应于显示界面320的宽度的宽度。参考特征的竖直位置可以使得参考特征的顶部边缘邻接显示界面220的最上部边缘，或者参考特征的底部边缘邻接显示界面220的最下部边缘。显示界面220的一部分将显示相机实况动作预览，通常在用户处于正确的位置和定向时实时示出由传感器/相机240捕捉的面部和颈部特征。
51.参考特征是计算设备130已知的(预定的)特征，并且向处理器210提供参考框架，该参考框架允许处理器210缩放捕捉的图像。参考特征优选地可以是不同于用户的面部或解剖特征的特征。因此，在图像处理阶段期间，参考特征帮助处理器210确定何时满足了某些对准条件，诸如在捕捉前阶段期间。参考特征可以是快速响应(qr)码或已知的样本或标记，其可以向处理器210提供某些信息，诸如缩放信息、定向和/或可以可选地从qr码的结构确定的任何其他期望的信息。qr码可以具有正方形或矩形形状。当在显示界面220上显示时，参考特征具有预定的尺寸，诸如以毫米或厘米为单位，其值可以被编码到应用中并在适当的时间传送到处理器210。参考特征的实际尺寸可以在各种计算设备之间变化。在一些版本中，应用可以被配置成特定于计算设备模型，其中当在特定模型上显示时，参考特征的尺寸是已知的。然而，在其他实施例中，应用可以指导处理器210从设备130获得某些信息，诸如显示大小和/或变焦特征，这些变焦特征允许处理器210经由缩放计算在显示界面220上显示的参考特征的现实世界/实际尺寸。无论如何，在这样的计算设备的显示界面220上显示的参考特征的实际尺寸在捕捉后图像处理之前通常是已知的。
52.与参考特征一起，目标框可以在显示界面220上显示。目标框允许用户对准目标框中的捕捉显示222内的某些部件，这是成功的图像捕捉所期望的。
53.状态指标向用户提供关于过程的状态的信息。这有助于确保用户在完成图像捕捉之前不会对传感器/相机的定位进行大的调整。
54.因此，当用户保持显示界面220平行于要测量的解剖特征并将用户显示界面220呈现给镜子或其他反射表面时，参考特征被显著显示并覆盖由相机/传感器240看到并由镜子反射的实时图像。该参考特征可以固定在显示界面220的顶部附近。参考特征以这种方式至少部分地显著显示，使得传感器240可以清楚地看到参考特征，从而处理器210可以容易地识别特征。此外，参考特征可以覆盖用户的面部和颈部的实时视图，这有助于避免用户混淆。
55.还可以由处理器210经由显示界面220、由可听指令经由计算设备130的扬声器来指导用户，或者由教程提前指导用户将显示界面220定位在要测量的解剖特征的平面中。由于最终捕捉的图像是二维的，所以平面对准有助于确保参考特征的比例同样适用于面部特征测量。在这点上，镜子与用户的面部特征和显示器之间的距离将大致相同。
56.当用户定位在镜子前面，并且包括参考特征的显示界面220被粗略地放置成与要测量的解剖特征平面对准时，处理器210检查某些条件以帮助确保充分对准。如前所述，可以由应用建立的一个示例性条件是，必须在目标框228内检测到整个参考特征以便继续。如果处理器210检测到参考特征没有完全定位在目标框内，则处理器210可以禁止或延迟图像捕捉。然后，用户可以连同显示界面220一起移动他们的面部或颈部，以保持平面性，直到实况动作预览中显示的参考特征位于目标框内。这有助于优化特征和显示界面220相对于用于图像捕捉的镜子的对准。
57.当处理器210在目标框内检测到整个参考特征时，处理器210可以读取计算设备的imu 242以检测设备倾斜角。例如，imu 242可以包括加速度计或陀螺仪。因此，处理器210可以诸如通过与一个或多个阈值进行比较来评价设备倾斜，以确保其在合适的范围内。例如，如果确定计算设备130(以及因此显示界面220和期望的特征)在任何方向上倾斜约
±
5度内，则该过程可以继续到捕捉阶段。在其他实施例中，用于继续的倾斜角可以在约
±
10度、
±
7度、
±
3度或
±
1度内。如果检测到过度倾斜，则可以显示或发出警告消息以校正不期望的倾斜。这对于帮助用户禁止或减少过度倾斜(特别是在前后方向上)特别有用，如果不对过度倾斜进行校正，其可能成为测量误差的来源，因为被捕捉的参考图像将不具有适当的纵横比。
58.当由处理器210在应用的控制下确定了对准时，处理器210继续到捕捉阶段。一旦满足对准参数和任何其他先决条件，捕捉阶段优选地自动发生。然而，在一些实施例中，用户可以响应于这样做的提示来发起捕捉。
59.当发起图像捕捉时，处理器210经由传感器240捕捉n个图像，其优选地多于一个图像。例如，处理器210经由传感器240可以捕捉约5至20个图像、10至20个图像，或10至15个图像等。捕捉的图像的数量可以是基于时间的。换句话说，捕捉的图像的数量可以基于在预定时间间隔期间可以由传感器240捕捉的预定分辨率的图像的数量。例如，如果传感器240可以在1秒内以预定分辨率捕捉的图像的数量是40个图像，并且用于捕捉的预定时间间隔是1秒，则传感器240将捕捉40个图像用于处理器210处理。图像的数量可以是用户定义的、由服务器110基于检测到的环境条件的人工智能或机器学习或基于预期的准确度目标确定。例如，如果需要高准确度，则可能需要更多的捕捉的图像。尽管优选的是捕捉多个图像用于处理，但是也设想了一个图像，并且可以将其成功地用于获得准确的测量。然而，多于一个的图像允许获得平均测量。这可以减少误差/不一致性并提高准确度。处理器210可以将图像放置在存储器/数据存储装置250的存储数据254中，用于捕捉后处理。
60.一旦捕捉了图像，处理器210就处理图像以检测或识别解剖特征/界标并测量它们之间的距离。可以分析所得到的测量与睡眠障碍的关联。可以通过对图像的分析来执行诸如表型分类等其他分析。替代地，可以由接收所发送的捕捉的图像的服务器110和/或在由用户操作的计算设备(例如，智能电话)上执行该处理。处理也可以由处理器210和服务器110的组合来进行。
61.处理器210在应用的控制下从所存储的数据254中检索一个或多个捕捉的图像。然后由处理器210提取图像以识别包括二维捕捉的图像的每个像素。然后，处理器210检测像素构成内的某些预先指定的面部特征。
62.检测可以由处理器210使用边缘检测来执行，诸如canny、prewitt、sobel或robert的边缘检测。例如，这些边缘检测技术/算法有助于识别像素构成内的某些面部和颈部特征的位置，这些面部和颈部特征对应于为图像捕捉所呈现的实际面部和颈部特征。例如，边缘检测技术可以首先识别图像内的面部，并且还识别图像内对应于特定面部和颈部特征的像素位置，这些特定面部和颈部特征为诸如每只眼睛及其边界、嘴及其角落、左右鼻翼、鼻梁点、颏上区、眉间以及左右鼻唇沟等。然后，处理器210可以标记、标注或存储这些特征中的每一者的特定像素位置。替代地，或者如果处理器210/服务器110的这样的检测不成功，则可以由能够通过处理器210/服务器110的用户界面查看捕捉的图像的人类操作员手动检测和标记、标注或存储预先指定的面部和颈部特征。
63.一旦识别了这些面部特征的像素坐标，应用260就控制处理器210测量某些识别特征之间的像素距离。例如，该距离通常可以由每个特征的像素的数量确定，并且可以包括缩放。例如，可以在左右鼻翼之间进行测量以确定鼻的像素宽度和/或在鼻梁点与颏上区之间进行测量以确定面部的像素高度。另一实例可以是舌脂肪、颈围和骨骼参数的测量。其他实
例包括每只眼睛之间、嘴角之间以及左右鼻唇沟之间的像素距离，以获得像嘴一样的特定结构的附加测量数据。还可以测量面部和颈部特征之间的距离。在该实例中，某些面部和颈部尺寸用于分析睡眠障碍的可能性。骨骼参数可以从尺寸预测，并且头影测量分析的结果可以与由阻塞性睡眠呼吸暂停引起的阻塞相关联。通过机器学习分析，测量和对应解剖特征可以与睡眠障碍相关联。
64.一旦获得了预先指定的面部和颈部特征的像素测量，就可以将人体测量校正因子应用于测量。应当理解，可以在应用缩放因子之前或之后应用该校正因子，如下所述。人体测量校正因子可以校正自动过程中可能出现的误差，可以观察到该误差在不同患者之间一致地出现。校正因子可以根据经验从群体测试中提取，其将结果迁移得更接近真实测量，这有助于减少或消除尺寸确定错误。随着每个患者的测量和尺寸确定数据从各自的计算设备传送到服务器110(在那里这样的数据可以被进一步处理以改进该校正因子)，该校正因子的准确度可以随时间被修正或改进。
65.测量可以从像素单位按比例缩放为其他值，该其他值准确地反映为图像捕捉所呈现的患者的面部或颈部特征之间的距离。参考特征可以用于获得一个或多个缩放值。因此，处理器210类似地确定参考特征的尺寸，其可以包括整个参考特征的像素宽度和/或像素高度(x和y)测量(例如，像素计数)。还可以确定包括qr码参考特征的许多正方形/点的像素尺寸的更详细的测量，和/或由参考特征及其组成部分占据的像素面积的更详细的测量。因此，可以以像素为单位来测量qr码参考特征的每个正方形或点，以基于每个点的像素测量确定缩放因子，并且然后在测量的全部正方形或点之间进行平均，与qr码参考特征的完整大小的单次测量相比，这可以提高缩放因子的准确度。然而，应当理解，无论对参考特征进行何种测量，这些测量均可以用于将参考特征的像素测量缩放为参考特征的对应已知尺寸。
66.一旦由处理器210进行了参考特征的测量，就由处理器210在应用的控制下计算缩放因子。参考特征的像素测量与由用于图像捕捉的显示界面220显示的参考特征的已知对应尺寸相关，以获得转换或缩放因子。这样的缩放因子可以是长度/像素或面积/像素a2的形式。换句话说，已知尺寸可以除以对应像素测量(例如，计数)。
67.然后，处理器210将缩放因子应用于面部特征测量(像素计数)，以将测量从像素单元转换为其他单元，从而反映实际特征之间的距离。这通常涉及将缩放因子乘以与可能的睡眠障碍相关的面部和颈部特征的距离的像素计数。
68.对每个捕捉的图像重复面部和颈部特征以及参考特征的这些测量步骤和计算步骤，直到组中的每个图像均具有经缩放和/或经校正的特征测量。
69.然后，处理器210可以可选地对该组图像的经校正和经缩放的测量进行平均，以获得患者的面部和颈部解剖结构的最终测量。这样的测量可以反映患者的面部和颈部上的特征之间的距离。
70.在比较和输出阶段，来自捕捉后图像处理阶段的结果可以直接输出(显示)到感兴趣的人，或与数据记录进行比较以获得睡眠障碍的可能性。该数据还可以用于确定对睡眠障碍的最佳疗法或治疗。
71.一旦确定了全部测量，处理器210就可以经由显示界面220向用户显示结果(例如，平均值)。在一个实施例中，这可以结束自动过程。用户/患者可以记录测量以供用户进一步
使用。
72.替代地，最终测量可以自动地或在用户的命令下经由通信网络120从计算设备130转发到服务器110。服务器110或服务器侧的个人可以进行进一步的处理和分析以确定合适的患者接口和患者接口大小。
73.在另外的实施例中，由处理器210将反映患者的实际面部和颈部特征之间的距离的最终面部和颈部特征测量与诸如数据记录中的指示睡眠障碍的特征进行比较。数据记录可以是应用的一部分。该数据记录可以包括例如可以由处理器210访问的查找表，该查找表可以包括与睡眠障碍相关联的患者面部特征距离/值。数据记录中可以包括多个表，其中许多表可以对应于与睡眠障碍的类别相关的范围。分析引擎针对来自已经被诊断为患有睡眠障碍(诸如osa)的患者的现有图像数据执行患者的症状匹配。可以突出显示各种相关解剖区域，以示出睡眠障碍的不同症状。可以测量区域以确定异常尺寸是否指示睡眠障碍。例如，颈部测量可以确定颈部中指示睡眠障碍的紧绷组织。可以通过确定视觉特征(诸如颜色或纹理)来进一步分析区域，视觉特征是睡眠障碍的进一步指示。例如，可以识别眼睛并且可以分析颜色以确定患者是否具有红眼。
74.应用还可以记录患者的移动的视频并从该视频导出图像。该视频为三维测量的确定提供了更好的图像数据。例如，视频为面部或颈部的动态特征提供了数据。以不同的角/头部和颈部位置拍摄来自移动的视频的静止图像，以获得患者的“差别”特征。可以以与捕捉的图像相同的方式存储视频文件。
75.图3a示出了用于捕捉诸如面部和颈部特征等解剖特征的示例界面300。界面300由应用260生成。在该实例中，在捕捉了诸如图像302等图像或捕捉了一系列图像或视频之后，格网304可以应用于患者的面部和颈部上的所确定的不同界标。
76.可以从图像302导出附加点标记以提供测地或表面测量。因此，收集尽可能多的界标(1000个而不是一小撮)，从而允许构造面部表面。表面需要能够执行测地测量。通常，测地测量在与点对点测量相同的界标之间。将所收集的界标拟合到统计形状模型(ssm)(也称为3d可变形模型(3dmm))。这给出大量的信息，并且允许将面部扫描链接到其他数据。这可以包括其他预训练模型，诸如全头模型(用于计算导管大小)、可形变面罩模型、舒适度预测模型或定制面罩模型等。可以从图像收集颜色和图像纹理以便于将形状模型拟合到2d图像。图像深度可以经由图像深度的预测确定(使用连续图像之间的感知的小变化)，或者它可以是从具有深度传感器的设备(诸如智能电话)收集的实际深度图像。类似于纹理，深度数据可以帮助拟合并且允许更准确的缩放。
77.图3a示出了上传状态界面310，其显示调查输入选择312。当关联面部数据以确定解剖特征并基于图像相关数据执行睡眠障碍分析时，应用可以通过附加显示的界面收集主观患者输入数据。
78.图3b示出了一系列输出界面320，其显示可以提供睡眠障碍的指示的不同突出显示区域。界面320显示捕捉的图像330。突出显示眼睛的区域332，突出显示眼睛下方的区域334，并且突出显示颈部上的区域336。所确定的区域332、334和336是与睡眠障碍相关联的测量的指标。可以从与所识别的测量结果或表型相关的图像导出不同的数据。在该实例中，这些区域可以被着色以突出显示与睡眠障碍的高关联。
79.可以从捕捉的图像中识别出附加的感兴趣的区域。图4示出了利用由患者捕捉的
初始患者图像400生成的一系列界面410、420和430。在界面410、420和430中的每一者中的图像的不同区域已经用不同的颜色加阴影，以识别与睡眠障碍诊断相关的感兴趣的区域。例如，界面410、420和430中的图像在眼睛周围具有红色阴影区域432，这指示了与睡眠障碍的高关联。其他区域(诸如眼睛下方的区域434)用蓝色加阴影，这指示了与睡眠障碍的低关联。其他区域(诸如界面420和430的图像中的颈部区域436)也用红色加阴影，这指示了与睡眠障碍的高关联。
80.界面420和430的图像还示出了从图像数据识别并分类的脸颊区域438和前额区域440。阴影的颜色可以表示睡眠障碍的表型测量的不同分类。在该实例中，基于与睡眠障碍的关联对分类着色，以帮助进行睡眠障碍分析。因此，从绿色(低关联)到红色(高关联)的色标可以用于最终图像，该最终图像从图像中所示的解剖结构上的区域识别表型。
81.可以用数据的组合来进行睡眠障碍诊断。数据的组合可以包括：a)从移动设备或网络相机拍摄的自身图像中采集的解剖测量数据；b)基于自身图像的表型分类；c)来自患者的三维移动的动态数据；d)在睡眠周期期间由诸如传感器150等患者传感器收集的生理数据；和e)在睡眠周期之后从患者收集的主观调查数据。
82.可以通过确定解剖界标或其他类型的标记之间的距离来分析不同解剖特征的自动测量。例如，关于颈部，可以开发将颈部尺寸与组织块和僵硬度参数相关的模型。然后可以应用该模型来估计气道可收缩组织块和僵硬度参数，以用作osa分类的特征。例如，如果相对于类似的患者确定颈部的高组织块和低僵硬度，则这指示睡眠呼吸暂停的可能性增加。因此，对于上颌骨和下颌骨，颈部的软组织可以被分类为正常、肥胖或小。也可以测量骨外壳。这两个测量可以与气道大小相关联，其中正常的软组织和较大的骨外壳将指示正常的气道大小，而肥胖或小的组织和骨结构将指示与睡眠障碍相关联的狭缩的气道大小。基于颈部特征和面部结构的骨特征的气道组织的这种分布可以预测位置性睡眠呼吸暂停的可能性增加—例如在仰卧事件率显著高于其他位置的情况下。基于不同特征的测量的睡眠障碍和严重性的预测也可以用于输出推荐的疗法或治疗。例如，基于气道组织的分布来识别位置性睡眠呼吸暂停可能会输出涉及位置性特异性疗法的患者治疗。另一实例是，如果解剖模型预测到大的舌或其他软组织，或气道前的过度弹性组织，则患者将被认为更可能患有位置性睡眠呼吸暂停。
83.关于表型，可以通过分析所收集的图像来检测睡眠障碍影响的表型。可以从患者的解剖图像中对睡眠障碍相关表型分类。基于对患有睡眠障碍的患者的研究和观察到的表型，可以将这样的表型分类为感兴趣的那些。这样的数据可以被加载到数据库160中，以用于表型分类的目的。与睡眠障碍相关的表型的实例可以是肥胖/颈围(与睡眠呼吸暂停的严重性有联系)、内凹颌/下颌(与睡眠期间更可收缩的气道有联系)，以及拥挤/狭窄上气道。可能与睡眠障碍及其严重性有关的另一组因素可以包括：高ahi对低ahi；呼吸暂停与低通气的比率；睡眠碎片化；打鼾严重性/频率；呼吸努力相关觉醒的患病率；白天嗜睡的严重性；认知损害；早晨头痛；夜尿症、高血压；呼吸不稳定的类型(高回路增益)；觉醒阈值(例如，患者在轻度气流受限期间或长时间呼吸暂停后是否醒来)；交感/副交感神经紧张；压力；焦虑；和抑郁症状。这些因素也可以用于为用户建议一种或多种最佳疗法(例如cpap、位置性疗法、下颌设备)。它还可以用于更好地优化疗法的一个或多个参数，诸如cpap的设置。
84.可以基于睡眠障碍表型的分类对患者分类。作为推荐的一部分，表型分类可以与
不同类型的疗法相关联。例如，某些表型可能指示神经刺激或位置性疗法的适当性。其他表型可以用于选择疗法器械的器械或附件，诸如rpt设备的面罩的类型。
85.表型数据还可以与患者的共病风险和共病治疗的推荐相关联。例如，共病(诸如糖尿病)的诊断可能导致推荐饮食改变和/或锻炼作为补充疗法。另一实例是失眠的诊断，其中可能推荐认知疗法。
86.osa的诊断和治疗可以结合以下过程：从图像分析中检测疲劳作为osa的症状。因此，图像分析可以通过以下过程确定眼睛下方的黑眼圈：检测与人的面部其余部分/正常皮肤颜色相比具有变色/较暗皮肤颜色的眼睛下方的区域。检测到的第二症状可以是眼睛充血。这可以通过分割面部图像的眼睛的白色区域确定。可以确定红色像素的数量。然后，该例程可以确定眼睛区域内的红色像素与白色像素的比率是否高于“正常”眼睛对“充血”眼睛的预定阈值。另一症状可以是眼睛下垂，其可以通过确定图像中睁开的眼睛的纵横比来检测。优选地，使用基准来避免解剖偏差，例如种族相关解剖特征。可以通过在指导人们尽可能大地睁开眼睛时捕捉人的图像，并且相对于他们的“静止”眼睛形状来测量该图像来获得这样的基准。另一症状可以是反应时间，其可以经由应用执行的测试确定，诸如显示标记以供用户跟随。眼睛对标记的反应可以基于眼睛能够多么准确地跟踪标记或与显示标记之间和眼睛跟踪标记的移动的滞后来测量。另一症状可以是患者的皮肤颜色。例如，患者在治疗osa之后可能会更加脸红，并且因此可以使用治疗之前和之后面部图像的颜色的比较。
87.图像分析还可以提供对“疲劳”的测量。一天中疲劳的变化可能是osa或甚至严重性的指示。例如，严重的osa患者可能会在醒来时被分配8/10的疲劳评级。osa患者可能一天中都很疲劳，并且在午餐后或晚上疲劳达到峰值10/10。正常的非osa患者在醒来时精力恢复，并且疲劳评分较低(例如10分中的1分或2分)。随着一天的推移，正常人可能会逐渐疲劳到“正常”程度，也许在白天/晚上的某些时候达到峰值4或5。一天中疲劳变化的波动或速率可以是osa预测指标。例如，未患有osa的人可以在醒来时精力恢复并在一天中变得“正常”量的疲劳。相比之下，患有osa的患者醒来时会感到疲劳，并且一天中均保持疲劳。
88.也可以结合2d图像分析。例如，2d图像可以用于预测头部/颈部的其余部分。这可以通过使用例如成对的pca模型来实现。该预测优选地结合多个2d图像，诸如各种正视图和侧视图、仰视图，以及俯视图。颈部尺寸的估计可以结合从图像确定的其他尺寸。例如，颈部的宽度可以用于获得额围。
89.此外，可以结合随时间拍摄的2d图像用于附加分析。例如，在进行呼吸期间以及紧接其后的连续2d图像可以提供附加数据。例如，如果用户在说话之前或休息期间正在进行大口呼吸，则这可能是osa的指标。示出头部的移动或转动以及颌的张开或闭合的2d图像可以用于确定颌的生物力学。示出患者坐着的2d图像与患者躺下的图像可以示出重力对软组织的影响。这样的图像还可以用于确定睡眠期间气道压缩的可能性。眨眼和凝视跟踪的2d图像可以确定疲劳的指标。示出嘴张开的2d图像可以是口呼吸的指标。姿势的2d图像可以用于确定疲劳。
90.在该实例中，可以经由在计算设备230上执行的用户应用来收集主观数据的患者输入。用户应用可以是指导用户获得面部和颈部界标特征的用户应用260的一部分或单独的应用。这还可以包括经由带有问题的问卷获得的主观数据，该问卷用于收集关于睡眠障碍的症状的数据。
91.例如，问题可以涉及诸如睡眠特征等相关用户行为。主观问题可以包括以下问题，诸如：您醒来时口干吗？您口呼吸吗？或者您的舒适偏好是什么？这样的睡眠信息可以包括睡眠时长、用户如何睡眠，以及诸如温度、压力因素等外部影响。主观数据可以简单到对舒适度或更详细的响应的数字评级。也可以从图形界面收集这样的主观数据。也可以从该界面收集客观数据，诸如包括年龄、性别或位置的患者人口统计数据。应用还可以包括具有用于修正表型分类的特定问题或来自标准睡眠相关调查的问题的界面。这样的标准调查可以包括stop bang、柏林、匹兹堡睡眠质量、失眠严重性指数和慢性疲劳指数。可以有多个调查。此外，可以将主观数据与解剖图像组合，以进行更准确的诊断。例如，某些解剖特征可能预测高呼吸暂停低通气指数(ahi)，但焦虑预测高交感神经活性，因此疾病看起来是轻度的。可以通过显示具有所识别的特定表型的患者的图像来询问这样的问题，以帮助患者提供信息。
92.所收集的患者输入数据可以被分配给图1中的患者数据库160。应用可以经由界面询问附加问题以帮助选择疗法或治疗。例如，调查可以记录患者对诸如“您是否更喜欢疗法a而不是疗法b”等问题的响应。可以收集与患者的心理安全相关的其他主观数据，该患者与潜在治疗相关。例如，可以询问以下问题，诸如患者是否在佩戴面罩时感觉到幽闭恐惧症，或者患者在他们的床伴旁边佩戴面罩在心理上感觉如何，并且可以收集输入。关于优选睡眠位置的其他问题以及关于患者是否喜欢在晚上四处移动的问题，以及患者是否更喜欢允许更多移动的管状面罩形式的“自由”也可以被考虑在内。替代地，如果患者倾向于仰卧或侧卧不动，则传统类型的面罩将是可接受的，其中的管从嘴向下。来自患者的主观输入数据可以用作针对睡眠障碍的诊断和睡眠障碍的治疗有效性的输入。
93.医疗保健专业人士可以使用睡眠障碍评分来推荐治疗和疗法。医疗保健专业人士还可以接收治疗有效性评分。可以通过应用与医疗保健专业人士进行初步睡眠咨询，或者为了更方便可以向患者提供远程医疗咨询。咨询可以导致基于数据以及所确定的睡眠障碍的严重性来推荐治疗。例如，如果从输入数据确定睡眠障碍为轻度，则可以推荐诸如下颌复位设备(mrd)、位置性、神经刺激、认知行为治疗(cbt)或对失眠的认知行为治疗(cbti)等疗法。如果睡眠障碍更严重，则可以推荐个人咨询，并且可以提供诸如rpt等治疗设备、药物或自动睡眠训练程序。
94.在初始评分确定之后，系统100继续收集与患者相关的数据。例如，如果由患者162表示的第一组中的患者被诊断为患有睡眠障碍并开具治疗处方，则可以在由患者164表示的第二组患者中考虑该患者。关于治疗是否有效和诊断的准确度的附加跟踪数据可以被添加到数据库160中。来自由患者164表示的第二组中的新患者的反馈可以用于修正睡眠障碍和治疗有效性的确定。此外，由患者164表示的第二组中的患者可以周期性地更新他们各自的图像和其他数据。这允许基于新数据的周期性重新评估来预测未来的疾病或症状。
95.如果推荐了疗法，则疗法数据可以用于确认筛选结果，即组合来自疗法或治疗设备的数据和来自由患者164表示的第二组患者的问卷/筛选器界面的数据，以增强osa的预测。
96.例如，在某些市场中，医疗保健提供者可以推荐诸如rpt等治疗设备进行一段试验期(例如，4周)，在此期间系统100可以继续比较来自治疗设备的结果并提供进一步的推荐。系统100还可以推荐治疗睡眠障碍的疗法并继续监测患者。如果初始疗法失败，则可以推荐
另一种疗法。
97.数据关联可以基于对患有已知睡眠障碍的患者群体的分析而发生。可以结合由这样的患者操作的计算设备上的应用从这样的患者收集图像。这样的应用使用类似于上述图像处理的处理。可以从生理传感器收集来自患者的其他生理因素。替代地，可以从诸如rpt等疗法设备收集附加数据。附加地，可以收集类似于上面详细描述的调查数据。
98.如上所解释，可以为较大的患者群体收集每个rpt的操作数据。这可以包括基于每个患者何时操作rpt的使用数据。因此，可以从所收集的操作数据确定依从性数据，诸如患者在预定时间段内使用rpt的时长和频率。泄漏数据可以从操作数据确定，诸如对流速数据或压力数据的分析。可以导出使用对声学信号的分析的面罩开关数据，以确定患者是否正在开关面罩。
99.数据的收集可以用于训练机器学习模型，以将表型特征的图像与睡眠障碍相关联。另一应用可以包括使用机器学习来将表型分类与睡眠障碍相关联，以进行最有效的治疗。机器学习模型的输入可以包括可以在模型设计过程中评价的各种数据。在该实例中，机器学习模型的输入包括面部和颈部特征的物理测量、从面部和颈部图像导出的表型、生理数据以及患者输入数据。从数据导出训练集，该数据从图1中由患者164表示的第二组患者采集，并且训练集包括睡眠障碍数据以及从患者采集的治疗。例如，治疗可以包括使用诸如rpt等设备、药物、对失眠的认知行为疗法(cpti)、下颌前移设备/手术、针对睡眠期间肌肉激活不足的舌下神经刺激，以及诸如鼻喷剂等鼻塞治疗。
100.在该实例中，机器学习模型输出睡眠障碍可能性评分和治疗有效性评分。训练机器学习模型并且基于训练数据集调整内部权重。在对照训练集进行评价之后，可以在达到睡眠障碍可能性评分和治疗有效性评分两者的预定准确度水平之后部署该模型。然后可以在图1中的服务器110上部署机器学习模型，以用于评价由患者162表示的第一组患者。
101.在该实例中，机器学习模型是神经网络。神经网络可以是在节点之间没有直接连接并且使用一个或多个隐藏层的多层感知器(mlp)神经网络模型。神经网络mlp模型通过在训练过程期间相对于实际值最小化误差函数来调整建立的节点连接中的每一个之间的内部导出的计算权重。机器学习模型的其他实例可以包括决策树系综、支持向量机、贝叶斯网络或梯度提升机。这样的结构可以被配置成实施线性或非线性预测模型。
102.无监督的机器学习也可以用于发现身体特征和表型与睡眠障碍之间的附加关联。机器学习可以采用诸如神经网络、聚类或传统回归技术等技术。训练数据可以用于测试针对机器学习的不同类型的机器学习算法，并确定哪一个在预测睡眠障碍或治疗有效性方面具有最佳准确度。
103.用于确定睡眠障碍评分和治疗有效性评分的机器学习模型可以通过来自图1中的系统的新输入数据持续更新。因此，随着系统100的更多使用，模型可以变得更准确。
104.图5是可以由图1中的服务器110执行的睡眠障碍分析的过程的流程图。该过程收集患者的面部和颈部的图像。在该实例中，经由图1中的诸如智能电话134或平板电脑136等移动设备上的深度相机来扫描患者的面部和颈部，以产生面部和颈部的复合3d图像(500)。替代地，3d面部扫描数据可以从具有患者的已经扫描的3d面部图像的存储设备或从记录的视频获得。根据3d扫描在面部和颈部网格中确定界标点(502)。从图像中测量与对睡眠障碍的分析相关的特征的关键尺寸和点的集合(504)。
105.然后分析图像以对与睡眠障碍相关的表型分类(506)。从诸如图1中的传感器150等传感器收集生理数据(508)。然后将特征尺寸、生理数据和所分类的表型与睡眠障碍相关联(510)。然后从输入数据确定并输出睡眠障碍评分(512)。机器学习模型还可以基于输入数据和睡眠障碍评分确定治疗(514)。
106.图5中的流程图表示用于收集和分析数据以评价患者的睡眠障碍的可能性的示例机器可读指令。在该实例中，机器可读指令包括用于由以下各项执行的算法：(a)处理器；(b)控制器；和/或(c)一个或多个其他合适的处理设备。该算法可以由存储在有形介质上的软件来体现，该有形介质为诸如闪存、cd-rom、软盘、硬盘驱动器、数字视频(通用)盘(dvd)，或其他存储设备。然而，本领域普通技术人员将容易理解，整个算法和/或其部分可以替代地由除处理器之外的设备来执行和/或以公知的方式体现在固件或专用硬件中(例如，它可以由专用集成电路[asic]、可编程逻辑器件[pld]、现场可编程逻辑器件[fpld]、现场可编程门阵列[fpga]、离散逻辑等来实施。)。例如，接口的任何或全部部件可以由软件、硬件和/或固件来实施。而且，可以手动实施由流程图表示的一些或全部机器可读指令。此外，尽管参考图5所示的流程图描述了示例算法，但是本领域普通技术人员将容易理解，可以替代地使用实施示例机器可读指令的许多其他方法。例如，可以改变块的执行顺序，和/或可以改变、消除或组合所描述的块中的一些。
[0107]
如本技术所用，术语“部件”、“模块”、“系统”等一般是指计算机相关实体，或者是硬件(例如，电路)、硬件和软件的组合、软件，或者是与具有一个或多个特定功能的操作机器相关的实体。例如，部件可以是但不限于：在处理器(例如，数字信号处理器)上运行的过程、处理器、对象、可执行程序、执行线程、程序和/或计算机。作为说明，在控制器上运行的应用以及控制器均可以是部件。一个或多个部件可以驻留在过程和/或执行线程内，并且部件可以局部化于一个计算机上和/或分布在两个或更多个计算机之间。此外，“设备”可以以以下形式出现：特别设计的硬件；通用硬件，其通过在其上执行使该硬件能够执行特定功能的软件而专用化；存储在计算机可读介质上的软件；或其组合。
[0108]
本文使用的术语仅用于描述特定实施例的目的，并不旨在限制本发明。如本文所用，单数形式“一个”、“一种”和“该”也旨在包括复数形式，除非上下文另有清楚指示。此外，就在详细描述和/或权利要求书中使用的术语“包括(including)”、“包括(includes)”、“具有(having)”、“具有(has)”、“有”或其变体而言，这样的术语旨在以类似于术语“包括(comprising)”的方式成为包括性的。
[0109]
除非另有定义，否则本文使用的全部术语(包括技术和科学术语)具有与本领域普通技术人员通常理解的相同含义。此外，诸如在常用词典中定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义一致的含义，并且将不以理想化或过于正式的意义来解释，除非本文明确地如此定义。
[0110]
来自下面权利要求1至32中任一项中的一项或多项的一个或多个元素或方面或步骤或其任何部分可以与来自其他权利要求1至32中任一项中的一项或多项或其组合的一个或多个元素或方面或步骤或其任何部分组合，以形成本公开的一个或多个附加实施方案和/或权利要求。
[0111]
虽然上面已经描述了本发明的各种实施例，但是应当理解，这些实施例仅是作为实例而非限制来呈现的。尽管已经参考一个或多个实施方案说明和描述了本发明，但是在
阅读和理解本说明书和附图之后，本领域的其他技术人员将会想到或知晓等同的替代和修改。此外，虽然本发明的特定特征可能仅相对于若干实施方案中的一个进行了公开，但这样的特征可以与其他实施方案的一个或多个其他特征组合，这对于任何给定或特定应用可能是期望且有利的。因此，本发明的广度和范围不应当受到上述实施例中的任一个的限制。相反，本发明的范围应当根据以下权利要求及其等同物来限定。

技术特征：
1.一种用于确定患者的睡眠障碍的方法，所述方法包括：从存储设备提供包括所述患者的面部和颈部的数字图像；通过确定所述图像上的界标来测量所述图像中所述面部和所述颈部的特征；根据存储在数据库中的先前识别的表型从所述图像中分类出至少一种表型；将所述至少一种表型和对至少一个特征的测量结果与睡眠障碍相关联；以及基于所述表型和所述对至少一个特征的测量结果的关联性确定所述睡眠障碍的风险评分。2.根据权利要求1所述的方法，其中所述图像由移动设备的相机提供。3.根据权利要求1至2中任一项所述的方法，还包括提供包括所述患者的所述面部和颈部的多个图像。4.根据权利要求1至3中任一项所述的方法，还包括测量来自所述患者的生理读数，并且其中部分地基于所述生理读数确定所述睡眠障碍的所述风险评分。5.根据权利要求1至4中任一项所述的方法，其中利用机器学习模型来执行所述关联，所述机器学习模型是用来自患者群体的多个图像和所述患者群体中的每一者的睡眠障碍评分来训练的。6.根据权利要求5所述的方法，还包括：存储所述图像、所分类的表型、所述特征的尺寸、和睡眠障碍评分；以及用所存储的所述患者的所分类的表型、所述特征的尺寸、和睡眠障碍评分来更新所述患者群体的数据库。7.根据权利要求1至6中任一项所述的方法，其中所述睡眠障碍是阻塞性睡眠呼吸暂停(osa)、潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)中的一种，所述osa是一种睡眠呼吸障碍(sdb)形式。8.根据权利要求1至7中任一项所述的方法，还包括基于所述至少一种表型确定共病的风险评分。9.根据权利要求1至8中任一项所述的方法，还包括：提供所述患者的视频；确定来自所述视频的所述特征中的一者的动态移动，并且其中所述睡眠障碍的所述风险评分是利用所述动态移动确定的。10.根据权利要求1至9中任一项所述的方法，其中所述表型由所述图像上的颜色编码，并且其中所述图像和颜色代码在显示器上显示。11.根据权利要求10所述的方法，其中所述表型的所述颜色代码表示与所述睡眠障碍的关联程度。12.根据权利要求1至11中任一项所述的方法，其中所述至少一种表型选自以下各项的组中的一种：肥胖/颈围、内凹颌/下颌、以及拥挤/狭窄上气道。13.根据权利要求1至12中任一项所述的方法，还包括基于所确定的表型来匹配对所述睡眠障碍的治疗。14.根据权利要求1至13中任一项所述的方法，还包括：基于所确定的睡眠障碍评分确定所述睡眠障碍的严重性；以及基于所述睡眠障碍的所述严重性确定疗法。
15.根据权利要求1至14中任一项所述的方法，其中所述特征是颈部尺寸，其中所述颈部尺寸与组织块和僵硬度参数相关联，并且其中睡眠障碍关联性涉及所述组织块和所述僵硬度参数。16.一种包括指令的计算机程序产品，所述指令当由计算机执行时使所述计算机执行根据权利要求1至15中任一项所述的方法。17.根据权利要求16所述的计算机程序产品，其中所述计算机程序产品是非暂时性计算机可读介质。18.一种用于确定患者的睡眠障碍的系统，所述系统包括：存储设备，所述存储设备存储包括所述患者的面部和颈部的数字图像；数据库，所述数据库存储先前识别的表型以及面部和颈部特征的尺寸；睡眠障碍分析引擎，所述睡眠障碍分析引擎联接到所述存储设备和所述数据库，所述睡眠障碍分析引擎能够操作以：通过确定所述图像上的界标来识别所述图像中所述面部和所述颈部的特征；基于与所述数据库的比较从所述图像中分类出至少一种表型；将所述至少一种表型和至少一个特征与睡眠障碍相关联；以及基于所述表型和所述特征的关联性确定所述睡眠障碍的风险评分。19.根据权利要求18所述的系统，其中所述数字图像由移动设备的相机提供。20.根据权利要求18至19中任一项所述的系统，其中所述存储设备存储包括所述患者的所述面部和颈部的多个图像。21.根据权利要求18至20中任一项所述的系统，还包括联接到睡眠障碍分析机器的传感器接口和测量来自所述患者的生理读数的传感器，并且其中部分地基于所述生理读数确定睡眠障碍的所述风险评分。22.根据权利要求18至21中任一项所述的系统，其中利用机器学习模型来执行所述关联，所述机器学习模型是用来自患者群体的多个图像和所述患者群体中的每一者的睡眠障碍评分来训练的。23.根据权利要求11所述的方法，其中所述睡眠障碍分析引擎还能够操作以：存储所述图像、所分类的表型、所述特征的尺寸、和睡眠障碍评分；以及用所存储的所述患者的所分类的表型、所述特征的尺寸、和睡眠障碍评分来更新所述数据库。24.根据权利要求18至23中任一项所述的系统，其中所述睡眠障碍是阻塞性睡眠呼吸暂停(osa)、潮式呼吸(csr)、肥胖换气过度综合征(ohs)和慢性阻塞性肺病(copd)中的一种，所述osa是一种睡眠呼吸障碍(sdb)形式。25.根据权利要求18至24中任一项所述的系统，其中所述睡眠障碍分析引擎能够操作以基于所述至少一种表型确定共病的风险评分。26.根据权利要求18至25中任一项所述的系统，其中所述存储设备包括所述患者的视频，并且其中所述睡眠障碍分析引擎能够操作以确定来自所述视频的所述特征中的一者的动态移动，并且其中睡眠障碍的所述风险评分是利用所述动态移动确定的。27.根据权利要求18至26中任一项所述的系统，其中所述表型由所述图像上的颜色编码，并且其中所述图像和颜色代码在显示器上显示。
28.根据权利要求27所述的系统，其中所述表型的所述颜色代码表示与所述睡眠障碍的关联程度。29.根据权利要求18至28中任一项所述的系统，其中所述至少一种表型选自以下各项的组中的一种：肥胖/颈围、内凹颌/下颌、以及拥挤/狭窄上气道。30.根据权利要求18至29中任一项所述的系统，其中所述睡眠障碍分析引擎还能够操作以基于所确定的表型来匹配对所述睡眠障碍的治疗。31.根据权利要求18至30中任一项所述的系统，其中所述睡眠障碍分析引擎还能够操作以基于所确定的睡眠障碍评分确定所述睡眠障碍的严重性；以及基于所述睡眠障碍的所述严重性确定疗法。32.根据权利要求18至31中任一项所述的系统，其中所述特征是颈部尺寸，其中所述颈部尺寸与组织块和僵硬度参数相关联，并且其中睡眠障碍关联性涉及所述组织块和所述僵硬度参数。

技术总结
公开了用于确定患者的睡眠障碍的系统和方法。存储设备存储包括患者的面部和颈部的数字图像。数据库存储先前识别的表型以及面部和颈部特征的尺寸。睡眠障碍分析引擎联接到存储设备和数据库。睡眠障碍分析引擎可操作以通过确定图像上的界标来识别图像中面部和颈部的特征。睡眠障碍分析引擎基于与数据库的比较从图像中分类出至少一种表型。睡眠障碍分析引擎将所述至少一种表型和至少一个特征与睡眠障碍相关联。睡眠障碍分析引擎基于表型和特征的关联性确定睡眠障碍的风险评分。关联性确定睡眠障碍的风险评分。关联性确定睡眠障碍的风险评分。


技术研发人员：克里斯托弗
受保护的技术使用者：瑞思迈私人有限公司
技术研发日：2021.12.10
技术公布日：2023/10/7