从外部眼睛前部图像检测疾病的机器学习的制作方法

从外部眼睛前部图像检测疾病的机器学习
1.相关申请的交叉引用
2.本技术要求享有于2020年11月2日提交的美国临时专利申请号63/108,712和于2021年5月12日提交的美国临时专利申请号63/187,562中的每个的优先权和权益。通过引用将美国临时专利申请号63/108,712和美国临时专利申请号63/187,562中的每个的全部内容并入本文。
技术领域
3.本公开总体上涉及机器学习。更具体地，本公开涉及从外部眼睛前部图像检测眼部或非眼部(例如，全身性)疾病的机器学习。


背景技术：

4.疾病检测和诊断往往需要专用设备和经训练的医疗专业人员来解释发现。然而，该专用设备往往昂贵、笨重，需要训练有素的操作者，和/或未普及。
5.作为一个示例，糖尿病性视网膜病变(dr)筛查程序通常需要专业人员使用检眼镜或眼底相机来检查眼睛的后部(即，背部)部位(例如，视网膜眼底)(例如，捕捉和分析其图像)。例如，2019年美国眼科学会糖尿病性视网膜病变优选实践模式(https://www.aaojournal.org/article/s0161-6420(19)32092-5/pdf)建议，对糖尿病性视网膜病变的初始检查应当包括裂隙灯生物显微镜检查和彻底的眼底检查，包括后极的立体视觉检查。此外，该优选实践模式指出，扩大的瞳孔是优选的，以确保视网膜的最佳检查。对于存在于眼睛后部的各种不同疾病表现(例如包括糖尿病相关的血管损害，如微血管瘤)，通常需要对眼睛后部进行这种广泛的检查。
6.最近，机器学习技术已经用于在给定视网膜眼底照片作为输入时自动地检测存在于眼睛后部的一些疾病表现。因此，当患者的眼底成像可用时，一些最近提出的计算机化技术可以允许对患者的眼睛中的疾病表现进行有效的筛选或早期筛查。
7.然而，这些机器学习技术仍然需要使用眼底成像或者描绘眼睛后部的其他复杂成像。使用眼底相机来获得这样的眼底成像需要摄影师的高超技能，成本高且耗时，因此对于非专业人员的初级筛查来说并不理想。
8.在li等人的“deep learning for detecting retinal detachment and discerning macular status using ultra-widefield fundus images”(“使用超宽视野眼底图像检测视网膜脱离和辨别黄斑状态的深度学习”，commun biol 3，15(2020)。https://doi.org/10.1038/s42003-019-0730-x)中提供了这样的基于机器学习的方法的一个示例。具体地，li等人描述了基于超宽视野眼底图像的级联深度学习系统，用于自动视网膜脱离检测和黄斑开/关视网膜脱离辨别。然而，li等人指出，“[t]o efficiently screen rd[retinal detachment]using ai[artificial intelligence],the prerequisite is to obtain fundus images covering the peripheral retina”(为了使用ai(人工智能)有效地筛查rd(视网膜脱离)，先决条件是获得覆盖周边视网膜的眼底图
像)。
[0009]
因此，当前的专业人员医疗程序和尖端实验方法均表达了如下强烈的信念：眼底成像对于成功检测眼睛后部的疾病表现是必需的(即“先决条件”)。
[0010]
因此，尽管一些最近的基于机器学习的诊断技术扩展了可以从眼底照片获得的诊断信息，但是它们仍然需要眼底成像作为先决条件。因此，昂贵的专用眼底相机、熟练的成像技术人员以及经常用于扩张(扩大)患者瞳孔的散瞳眼药水的负担限制了这些诊断技术在眼科诊所或具有专用设备的初级护理机构中的使用。


技术实现要素：

[0011]
本公开的实施例的多个方面和优点将在以下描述中部分地阐述，或者可以从描述中获知，或者可以通过实施例的实践获知。
[0012]
本公开的一个示例方面涉及用于从外部眼睛前部图像检测疾病的计算系统。该计算系统包括一个或多个处理器以及一个或多个非暂时性计算机可读介质，该一个或多个非暂时性计算机可读介质共同地存储：一个或多个机器学习的疾病检测模型，其被配置为基于外部眼睛前部图像提供疾病预测；以及指令，其在由一个或多个处理器执行时使所述计算系统执行操作。所述操作包括：获得描绘患者的眼睛前部部分的一个或多个外部图像。所述操作包括：用所述一个或多个机器学习的疾病检测模型处理所述一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测。所述操作包括：提供对患者的关于一种或多种疾病的疾病预测作为输出。
[0013]
本公开的另一示例方面涉及用于训练机器学习的疾病检测模型以基于外部眼睛前部图像提供疾病预测的计算机实现的方法。该方法包括：获得描绘患者的眼睛前部部分的一个或多个外部图像，其中，一个或多个真值疾病标签与所述一个或多个外部图像相关联。该方法包括：用一个或多个机器学习的疾病检测模型处理所述一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测。该方法包括：评估损失函数，所述损失函数将对患者的所述疾病预测和所述一个或多个真值疾病标签进行比较。该方法包括：至少部分地基于所述损失函数来修改所述机器学习的疾病检测模型的一个或多个参数的一个或多个值。
[0014]
本公开的其他方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面和电子设备。
[0015]
参考以下描述和所附权利要求，将更好地理解本公开的各种实施例的这些以及其他特征、方面和优点。并入本说明书并构成其一部分的附图示出本公开的示例实施例，并与描述一起用于解释相关原理。
附图说明
[0016]
参考附图，在说明书中阐述针对本领域普通技术人员的实施例的详细讨论，附图中：
[0017]
图1提供根据本公开的示例实施例的患者的眼睛的图形描绘；
[0018]
图2a描绘根据本公开的示例实施例的用于提供诊断辅助的系统的示例框图；
[0019]
图2b描绘根据本公开的示例实施例的用于提供诊断辅助的系统的示例框图；
[0020]
图2c描绘根据本公开的示例实施例的用于提供诊断辅助的系统的示例框图；
[0021]
图3描绘根据本公开的示例实施例的示例疾病检测模型的框图；
[0022]
图4描绘根据本公开的示例实施例的示例疾病检测模型的框图；
[0023]
图5描绘根据本公开的示例实施例的示例疾病检测模型的框图；
[0024]
图6描绘根据本公开的示例实施例的示例疾病检测模型的框图；
[0025]
图7描绘根据本公开的示例实施例的训练示例疾病检测模型的过程的框图；
[0026]
图8a描绘根据本公开的示例实施例的示例计算系统的框图；
[0027]
图8b描绘根据本公开的示例实施例的示例计算设备的框图；
[0028]
图8c描绘根据本公开的示例实施例的示例计算设备的框图。
[0029]
跨越多个附图重复的标号旨在标识各种实现中的相同特征。
具体实施方式
[0030]
概述
[0031]
总体上，本公开涉及利用机器学习从外部眼睛前部图像检测眼部或非眼部(例如，全身性)疾病的系统和方法。具体地，计算系统可以包括并使用一个或多个机器学习的疾病检测模型，以基于患者的外部眼睛前部图像提供对患者的疾病预测。具体地，在一些示例实现中，计算系统可以获得描绘患者眼睛前部部分的一个或多个外部图像。计算系统可以用一个或多个机器学习的疾病检测模型来处理所述一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测，所述一种或多种疾病例如包括在眼睛后部呈现表现的疾病(例如，糖尿病性视网膜病变)。计算系统可以提供对患者的疾病预测作为输出(例如，给患者、医疗专业人员、电子病历系统和/或各种其他系统或过程)。因此，与当前的需要眼睛后部图像的可用性来检测眼睛后部疾病表现的医学和实验诊断方法相比，本公开的示例实施方现式能够仅从眼睛前部图像直接检测这样的疾病，这在此前被医学和数据科学领域的专业人员认为是不可能的。
[0032]
特别地，在美国临时专利申请号63/108,712和63/187,562中包含的示例实验结果经验性地证明了仅使用眼睛前面的外部照片来诊断表现在眼睛后部的疾病(例如，糖尿病性视网膜疾病)的能力。具体地，这些示例结果指示，外部眼睛照片包含对糖尿病患者的管理有用的信息，并且可以帮助对糖尿病患者进行优先排序以进行亲身筛查。通过使用机器学习使得能够仅从前面眼睛成像来检测眼睛后部表现疾病或全身性疾病，本公开的系统和方法消除了对用于常规筛查、患者的筛选或疾病检测的其他情况的眼底相机或其他复杂的眼睛后部成像系统的需要。
[0033]
更具体地，本公开的示例方面涉及一个或多个机器学习的疾病检测模型，其被配置为基于外部眼睛前部图像提供疾病预测。所述一个或多个机器学习的疾病检测模型可以被训练或配置为基于外部眼睛图像提供关于一种或多种疾病的疾病预测。
[0034]
在本公开的一些实现中，该一个或多个机器学习的疾病检测模型可以被训练或配置为提供关于一个或多个全身性疾病的疾病预测。全身性疾病可以包括通常影响一个或多个器官系统和/或遍及身体多个部位呈现表现的疾病。例如，所述一种或多种全身性疾病可以是或包括血糖控制疾病。例如，血糖控制疾病可以是或包括糖尿病和控制不佳的糖尿病。作为其他实例，一种或多种全身性疾病可以是或包括心血管风险或不良心脏后果、高血压、
贫血、慢性肾病、睡眠呼吸暂停、高胆固醇血症/动脉粥样硬化、甲状腺疾病、甲状旁腺功能亢进、慢性肾衰竭、痛风、高脂血症(血脂升高)和/或其他全身性疾病。
[0035]
在本公开的一些实现中，所述一个或多个机器学习的疾病检测模型可以被训练或配置为提供关于眼睛中的一个或多个疾病表现的疾病预测。例如，所述一个或多个疾病表现可以是或包括眼睛后部的一个或多个疾病表现。例如，眼睛后部的一个或多个疾病表现可以是或包括糖尿病性视网膜病变、糖尿病性黄斑水肿、微血管瘤、青光眼、年龄相关的黄斑变性、视网膜脱离、眼癌和/或各种形式的视网膜疾病。
[0036]
由所述一个或多个机器学习的疾病检测模型提供的疾病预测可以采用多种不同的格式或测量。作为一个示例，对患者的关于一种或多种疾病的疾病预测可以是或包括患者正分别经历所述一种或多种疾病的一个或多个预测概率。例如，示例疾病预测可以指示患者当前正以78％的概率经历(即，被诊断为患有)糖尿病。
[0037]
作为另一示例，对患者的疾病预测可以是或包括对患者的预测评估值。例如，对患者的预测评估值可以是在使用对评估眼部或非眼部疾病有用的一个或多个测试对患者进行了评估的情况下将返回的值的预测。作为一个示例，对患者的关于一种或多种疾病的疾病预测可以包括对患者的预测血红蛋白a1c水平，其可以例如用于对患者评估或预测糖尿病诊断。
[0038]
作为另一示例，对患者的关于一种或多种疾病的疾病预测可以是或包括分别对所述一种或多种疾病的一个或多个预测的严重性级别。例如，示例疾病预测可以指示患者被诊断为患有具有疾病的多个潜在严重性级别中的特定严重性级别(例如，5个可能级别中的级别2)的疾病。
[0039]
作为又一示例，对患者的关于一种或多种疾病的疾病预测可以是或包括预测一种或多种疾病的事件时间的进展预测。例如，示例疾病预测可以指示尚未显露出疾病表现的患者可能在六个月后开始显露出疾病表现。可以对任意数量的临床上有意义的事件提供进展预测(例如，事件时间预测)。因此，疾病的术语“诊断”和“检测”可以包括预后(例如，疾病或结果是否将在未来发生)。
[0040]
根据本公开的另一方面，所述一个或多个机器学习的疾病检测模型可以基于患者的眼睛的前部(即，正面)的一个或多个外部图像来生成疾病预测。这些外部图像可以通过各种不同类型的设备捕捉，包括通用的相机(例如，相对于专用的检眼镜和眼底相机)，从而使得能够更广泛和有效地访问医疗保健。
[0041]
作为一个示例，所述一个或多个外部图像可以是或包括通过用户设备捕捉的一个或多个图像。例如，用户设备可以由患者在捕捉通过该用户设备捕捉的一个或多个图像时操作。作为示例，用户设备可以是膝上型计算机的相机、智能电话的相机(例如，与描绘相机的取景器的显示器位于智能电话的同侧的前置相机或位于相对侧的后置相机)、附着到另一用户设备的外部网络摄像头或其他独立的相机(例如，傻瓜型相机、dslr等)。
[0042]
然而，尽管在本文描述的系统和方法可以与常用的消费级相机一起使用，但是它们也可以与更复杂的相机或成像设备一起使用。作为示例，所述一个或多个外部图像可以是或包括由裂隙灯相机或眼底相机捕捉的一个或多个图像，所述裂隙灯相机或眼底相机被操作以捕捉外部眼睛前部成像。
[0043]
在一些实现中，为了便于成功捕捉外部图像，计算系统或设备(例如，诸如智能电
话这样的用户设备)可以提供帮助患者将眼睛的前部部分与相机对准的图形、触觉和/或听觉用户反馈。例如，图像获取系统可以实时地检测眼睛/瞳孔等，并且可以向用户提供反馈。在一个示例中，反馈可以包括周期性音频警报，其中，音频警报的频率随着眼睛和相机之间的对准的改善而增加。也可以提供方向性反馈(例如，“向上移动相机”)。
[0044]
在一些实现中，图像获取系统可以自动捕捉图像，使得用户无需操作相机设备上的图像捕捉控件。替代地或附加地，当用户在他们的面前移动电话时，图像获取系统可以记录视频流，然后标识具有最佳或合适的对准或外观(例如，通过一些度量所测量的，例如包括模糊度、运动、可归因于眼睛的像素数量、机器学习度量等)的视频帧中的一个或多个。
[0045]
在一些实现中，可以对提供给疾病检测模型的图像进行预处理。例如，所述一个或多个外部图像可以是或包括从一个或多个较大图像中裁剪出的裁剪部分。例如，在一些实现中，描绘患者的较大部分(例如，患者的全身或上身和头部)的图像可以被裁剪，以提取对应于患者眼睛前部的部分。在一些实现中，对图像预处理可以包括：应用分割模型，以仅标识和提取图像的对应于患者虹膜和/或瞳孔的部分。在一些实现中，可以征求用户反馈，以帮助执行对图像的对应于眼睛的部分的裁剪。
[0046]
在所并入的临时申请中包括的示例实验结果指示，所提出的系统甚至可以在有限分辨率的成像上提供准确的诊断。例如，在一些实例中，所述一个或多个外部图像可以是分辨率为200
×
200像素或更小、分辨率为100
×
100像素或更小、或者分辨率为75
×
75像素或更小的一个或多个图像。这指示，即使在患者的眼睛在原始照片中不突出时，对应于眼睛的较小裁剪仍然可以被处理以生成疾病预测。
[0047]
所述一个或多个机器学习的疾病检测模型可以是各种形式的机器学习模型。例如，在一些实现中，所述一个或多个机器学习的疾病检测模型可以是或包括一个或多个卷积神经网络。示例卷积神经网络包括resnet和inception网络。
[0048]
在一些实现中，可以根据群体方法使用皮肤状况分类模型的群体。例如，该群体中的每个相应的皮肤状况分类模型可以做出相应的预测。该群体的最终预测可以是来自该群体的多个不同模型的预测的汇集(例如，平均)。在一些实现中，以相同的方式训练该群体中的每个模型。
[0049]
在一些实现中，所述一个或多个机器学习的疾病检测模型可以是或包括一个或多个多头神经网络，所述一个或多个多头神经网络的每个多头神经网络具有分别输出多个预测的多个头。作为一个示例，多个头的至少一子集可以分别对多种不同且独特的疾病提供多个疾病预测。例如，模型可以包括n个头，所述n个头对n种不同的疾病提供相应的疾病预测。
[0050]
作为另一示例，在一些实现中，多个头的至少一子集可以分别对单一疾病的多个不同的严重性级别提供多个严重性分类预测。例如，多个不同的严重性级别可以与一种疾病相关联。每个头可以提供关于患者是否处于对应的严重性级别内的相应预测。
[0051]
在一个具体示例中，分别对于单一疾病的多个不同的严重性级别的多个严重性级别分类预测可以是分别对于糖尿病性视网膜病变的国际临床糖尿病性视网膜病变疾病严重性等级的五个级别的五个分类预测。
[0052]
在另一具体实例中，分别对于单一疾病的多个不同的严重性级别的多个严重性级别分类预测可以是分别对于血红蛋白a1c的多个范围(例如，《6％，6-7％，7-8％，8-9％，》
9％)的多个分类预测。
[0053]
在一些实现中，在训练期间，可以使用一个或多个多任务或辅助任务来训练所述一个或多个机器学习的疾病检测模型，以提高模型性能。作为一个示例，所述一个或多个机器学习的疾病检测模型可以被配置为在训练期间附加地尝试预测所讨论的患者的人口统计数据。
[0054]
本文描述的系统和方法提供多个技术效果和益处。更具体地，本公开的系统和方法提供改进的技术，用于使用机器学习的疾病检测模型，基于患者的眼睛的前部部分的外部图像来提供眼睛或全身状况的诊断(例如，鉴别诊断或非鉴别诊断)。此外，由机器学习的疾病检测模型提供的信息可以提高诊断和患者结果的准确性。这样，所公开的系统可以显著降低提供诊断信息所需的成本和时间，并且可以得到对患者的改善的医疗护理。
[0055]
具体地，本公开提供根据眼睛的外部图像执行疾病检测和/或诊断(例如，包括检测糖尿病相关的状况(例如，不良的糖控制、糖尿病视网膜疾病的严重性和类型))的机器学习系统。在所并入的临时申请中包含的示例实验结果表明，所提出的系统的示例实现在预测这些疾病状态时明显好于单独使用人口统计信息和病史(例如患有糖尿病的年数)，并且在对于多个基线特征进行调整之后以及在多个子分组内仍然明显更好。重要地，这些结果一般化(generalized)到不同的患者群体、不同的成像协议和来自美国多个州的独立诊所的若干设备。
[0056]
所提出的技术对于大量且快速增长的糖尿病患者群体具有意义，因为它们原则上不需要专用设备。具体地，迄今为止，糖尿病相关视网膜疾病的检测需要眼底检查或使用眼底相机以通过瞳孔检查眼睛的后面。这将疾病筛查和检测检查限制为眼科诊所或存在眼底相机的存储转发式远程视网膜筛查站点，这两者都需要亲身出诊、昂贵的设备和训练有素的相机操作员。类似地，hba1c测量需要进行侵入性静脉抽血，这对于患者来说可能是不愉快的，并且具有多种潜在的副作用，包括出血、瘀伤和神经损伤。相比之下，所提出的技术仅需要眼睛的前面的照片，并且不需要通过滴眼液来扩瞳。
[0057]
在所并入的临时申请中包含的示例实验结果还表明，即使是75
×
75像素的低分辨率图像(这是基本的“720p”膝上型计算机网络摄像头的分辨率的1％和标准8兆像素智能电话相机的分辨率的0.1％)，也得到足够的性能，这表明能够容易地满足该技术的分辨率要求。因此，无论是在诊所、药房，还是在家里，患者均可以广泛地使用通过外部眼睛图像的疾病检测技术。
[0058]
用于容易标识和监控高危糖尿病患者的特定用例是多种多样的。首先，检测难以控制其血糖(例如，》9％ hba1c)的糖尿病患者可以帮助揭示哪些患者需要进一步的咨询、额外的糖尿病资源和/或药物改变。类似地，对于未诊断出糖尿病的患者的一些诊断(例如，》7％ hba1c)可以帮助标识处于早期或轻度糖尿病(例如，》7％ hba1c)风险的无症状患者，并且可以帮助确定哪些患者可能受益于确认性血液测试和诸如生活方式咨询或药物治疗这样的早期干预。
[0059]
其次，标识处于糖尿病视网膜疾病风险的患者可以确定哪些患者可能受益于眼科随访和针对性治疗，以避免糖尿病相关联的视力损失。如果通过眼底照片检查了具有各种糖尿病视网膜疾病的最高预测可能性的前10％的患者，则10-40％可能患有威胁视力的糖尿病视网膜疾病，而20-70％可能患有中度或更严重的糖尿病视网膜疾病，需要眼科随访。
远程标识将受益于亲身专业眼科护理和治疗的患者允许这些高风险个体的早期诊断、治疗和更好的结果。此外，被发现处于糖尿病视网膜疾病的明显较低风险的患者可以避免工作缺勤的时间和资源成本，并前往专门的眼科诊所进行亲身检查。
[0060]
在科学上，所提出的系统根据外部眼睛摄影生成关于糖尿病疾病状态的高度准确的预测的能力是令人惊讶的，因为这样的图像主要用于标识和监控眼睛前部状况，例如眼睑和结膜恶性肿瘤、角膜感染和白内障。尚无大型研究将hba1c或糖尿病性黄斑水肿与糖尿病的结膜血管病变联系起来。此外，用于糖尿病症状的结膜血管评估不是常见的临床实践，由于这样的评估的相对主观、耗时的性质以及对于临床医生的更准确和更容易的测试的选项，特别是hba1c。为了验证这些令人惊讶的结果是可重复的而不是单一数据集或站点的人工产物，在大量不同的人群上，对一般性进行了检查和确认。
[0061]
疾病检测模型所使用的数据(例如，用于训练和/或推断)可以是去标识的数据。例如，个人可标识信息(例如，位置、名称、确切的出生日期、联系信息、生物特征信息、面部照片等)可以在被传送到状态空间模型和/或包括状态空间模型的计算系统和/或被其利用之前从记录中清除。例如，可以对数据去标识，以保护个人的身份并符合关于医疗数据的规定(例如hipaa)，使得在状态空间模型所使用的和/或用于训练状态空间模型的数据中存在非个人可标识信息(例如，受保护的健康信息)。
[0062]
除了上面的描述之外，还可以向用户提供允许用户选择本文描述的系统、程序或特征是否以及何时启用用户信息(例如，照片)的收集的控件。此外，一些数据可以在其被存储或使用之前以一种或多种方式进行处理，使得删除个人可标识信息。例如，可以对用户的身份进行处理，使得可以确定用户的非个人可标识信息。因此，用户可以控制收集关于用户的什么信息、如何使用该信息以及向用户提供什么信息。
[0063]
在一些实现中，在单一设备(例如，患者的设备、医疗专业人员的设备、服务器设备等)处存储和实现完整的疾病检测模型。在其他实现中，疾病检测模型的一些部分(例如，图像嵌入部分和/或上下文组件)可以在第一设备(例如，患者的设备或医疗专业人员的设备)处存储和实现，而疾病检测模型的其他部分(例如，鉴别诊断部分)可以在第二设备(例如，服务器设备)处存储和实现。以这样的方式，诸如患者图像和/或患者元数据这样的一些数据可以从不离开本地设备(例如，患者的设备)。实际上，在这样的实现中，仅不可解释的嵌入或表示从本地设备传送到服务器设备。该布置能够改善病人隐私。
[0064]
总之，本公开已经展示了令人惊讶的结果，即外部眼睛图像可以用于检测眼部或非眼部疾病(包括若干糖尿病相关状况，例如不良的血糖控制和各种糖尿病视网膜疾病)的存在。该工具可以在家庭、药房或初级保健机构中使用，以改善疾病筛查并帮助管理糖尿病。
[0065]
现在将参考附图，将更详细地讨论本公开的示例实施例。
[0066]
示例眼睛解剖和成像
[0067]
图1提供眼睛12的解剖的图示。眼睛12的两个解剖部分被特别突出。具体地，框14示出眼睛的后部(即后面)，其主要包括视网膜。专门描绘眼睛后部的图像通常被称为眼底照片，且在18处示出一个示例。相比之下，框16示出眼睛的前部(即前方)，其主要包括角膜、瞳孔、虹膜和虹膜周围的巩膜部分。在20处示出显示眼睛的外部前面部分的示例照片。
[0068]
示例远程医疗配置
[0069]
图2a描绘根据本公开的示例实施例的示例客户端-服务器环境。具体地，图2a描绘通过网络通信的用户计算设备和服务器系统。计算设备可以是个人电子设备，例如智能电话、平板计算机、膝上型计算机等。计算设备可以包括图像捕捉系统、疾病检测模型的至少一部分和用户数据。图像捕捉系统可以捕捉用户的眼睛前部(例如，所描绘的眼睛)的一个或多个图像。
[0070]
在一些实现中，计算设备可以将捕捉的图像传送到服务器计算设备。替代地或附加地，疾病检测模型可以包括对一个或多个图像生成嵌入的疾病检测模型的至少一部分。由此，计算设备可以传送表示图像的嵌入，而非图像本身。这可以减少将图像传送到服务器计算系统所需的带宽量。
[0071]
用户数据可以存储在本地数据存储设备中，并且可以包括用户临床数据、用户人口统计数据和/或用户病史数据。在用户许可的情况下，该信息可以根据需要传送到服务器计算系统。在一些示例中，用户计算设备处的疾病检测模型可以包括对用户数据生成特征表示的上下文组件。在一些示例中，疾病检测模型可以组合一个或多个图像嵌入和用户数据的特征表示数据。
[0072]
服务器计算系统包括疾病检测模型的一些或全部。例如，服务器计算系统可以接收下列一个或多个：图像数据、一个或多个嵌入、多个嵌入的统一图像表示、用户数据的特征表示或者统一图像表示和特征表示的组合表示。可以在服务器计算系统处接收任何和/或所有这些类型的数据，并将它们用于生成一个或多个疾病检测。根据需要并经用户批准，可以将疾病检测传送到计算设备或另外的第三方设备。
[0073]
图2b描绘根据本公开的示例实施例的用于提供诊断辅助的系统的示例框图。在该示例中，计算设备与医学专业人员(例如，医生(例如，验光师、眼科医生等))相关联)、从业护士等)。医疗专业人员可以在他们的诊断过程中利用该计算设备获得帮助。该计算设备可以包括图像捕捉系统(例如，相机和相关联的软件)、诊断辅助系统和显示器。诊断辅助系统可以包括疾病检测模型和病史数据中的一些或全部。
[0074]
医学专业人员可以使用该计算设备，以使用图像捕捉系统来捕捉患者的眼睛前部的一个或多个图像。诊断辅助系统可以在本地处理成像，在本地生成嵌入，或者将原始图像数据传送到服务器计算系统。类似地，病史数据可以在本地处理以生成特征表示，或者传送到服务器计算系统。在一些示例中，诊断辅助系统包括完整的疾病检测模型，并且因此可以在不向服务器计算系统传送数据的情况下生成疾病检测。
[0075]
在一些示例中，诊断辅助系统向服务器计算系统传送数据。服务器计算系统处的疾病检测模型可以生成一个或多个疾病检测，并将数据传送回到诊断辅助系统，以在该计算设备处的显示器中显示给医疗专业人员。
[0076]
图2c描绘根据本公开的示例实施例的用于提供诊断辅助的系统的示例框图。在该示例中，患者未亲自与医疗专业人员在一起。相反，患者使用具有图像捕捉系统的计算设备，通过网络将一个或多个图像(可能地，以及用户数据)传送到与医疗专业人员和/或服务器计算系统相关联的计算设备。一旦计算设备从与患者相关联的计算设备接收到所述一个或多个图像，该过程就可以如以上参考图2a或2b所描述的那样进行。然后，医疗专业人员可以将任何相关的诊断信息传送到患者的计算设备。
[0077]
示例模型布置
[0078]
图3描绘根据本公开的示例实施例的示例疾病检测模型202的框图。在一些实现中，疾病检测模型202被配置为基于外部眼睛前部图像204提供疾病预测206。一个或多个机器学习的疾病检测模型202可以被训练或配置为基于外部眼睛图像204提供关于一种或多种疾病的疾病预测206。
[0079]
在本公开的一些实现中，所述一个或多个机器学习的疾病检测模型202可以被训练或配置为提供关于一个或多个全身性疾病的疾病预测206。全身性疾病可以包括通常影响一个或多个器官系统和/或呈现遍及身体多个部位的表现的疾病。例如，所述一种或多种全身性疾病可以是或包括血糖控制疾病。例如，血糖控制疾病可以是或包括糖尿病。作为其他示例，所述一种或多种全身性疾病可以是或包括心血管风险或不良心脏后果、高血压、贫血、慢性肾病、睡眠呼吸暂停、高胆固醇血症/动脉粥样硬化、甲状腺疾病、甲状旁腺功能亢进、慢性肾衰竭、痛风、脂质控制(例如，脂质水平升高)和/或其他全身性疾病。
[0080]
在本公开的一些实现中，所述一个或多个机器学习的疾病检测模型202可以被训练或配置为提供关于眼睛中的一个或多个疾病表现的疾病预测206。例如，所述一个或多个疾病表现可以是或包括眼睛后部的一个或多个疾病表现。例如，眼睛后部的一个或多个疾病表现可以是或包括糖尿病性视网膜病变、糖尿病性黄斑水肿、微血管瘤、青光眼、年龄相关的黄斑变性、视网膜脱离、眼癌和/或各种形式的视网膜疾病。
[0081]
由所述一个或多个机器学习的疾病检测模型202提供的疾病预测206可以采取多种不同的格式或措施。作为一个示例，对患者的关于一种或多种疾病的疾病预测206可以是或包括患者正分别经历一种或多种疾病的一个或多个预测概率。例如，示例疾病预测可以指示患者当前正以78％的概率经历(即，被诊断为患有)糖尿病。
[0082]
作为另一示例，患者的疾病预测206可以是或包括对患者的预测评估值。例如，对患者的预测评估值可以是在使用对评估眼部或非眼部疾病有用的一个或多个测试对患者进行了评估的情况下将返回的值的预测。作为一个示例，对患者的关于一种或多种疾病的疾病预测可以包括对患者的预测血红蛋白a1c水平，其例如可以用于对患者评定或预测糖尿病诊断。
[0083]
作为另一示例，对患者的关于一种或多种疾病的疾病预测206可以是或包括分别对一种或多种疾病的一个或多个预测的严重性级别。例如，示例疾病预测可以指示患者被诊断为患有具有多个潜在严重性级别中的特定严重性级别(例如，5个可能级别中的级别2)的疾病。
[0084]
作为又一示例，对患者的关于一种或多种疾病的疾病预测206可以是或包括预测一种或多种疾病的事件时间的进展预测。例如，示例疾病预测可以指示尚未显露出疾病表现的患者可能在六个月后开始显露出疾病表现。可以对任意数量的临床上有意义的事件提供进展预测(例如，事件时间预测)。
[0085]
外部图像204可以通过各种不同类型的设备捕捉，包括通用的相机(例如，相对于专用的检眼镜和眼底相机)，从而使得能够更广泛和有效地访问医疗保健。
[0086]
作为一个示例，一个或多个外部图像204可以是或包括通过用户设备捕捉的一个或多个图像。例如，用户设备可以由患者在捕捉通过该用户设备捕捉的一个或多个图像时操作。作为示例，用户设备可以是膝上型计算机的相机、智能电话的相机(例如，与描绘相机的取景器的显示器位于智能电话的同侧的前置相机或位于相对侧的后置相机)或者附着到
另一用户设备的外部网络摄像头。
[0087]
然而，尽管在本文描述的系统和方法可以与常用的消费级相机一起使用，但是它们也可以与更复杂的相机或成像设备一起使用。作为示例，所述一个或多个外部图像可以是或包括由裂隙灯相机或眼底相机捕捉的一个或多个图像，所述裂隙灯相机或眼底相机被操作以捕捉外部眼睛前部成像。
[0088]
在一些实现中，为了便于成功捕捉外部图像，计算系统或设备(例如，诸如智能电话这样的用户设备)可以提供帮助患者将眼睛的前部部分与相机对准的图形、触觉和/或听觉用户反馈。例如，图像获取系统可以实时地检测眼睛/瞳孔等，并且可以向用户提供反馈。在一个示例中，反馈可以包括周期性音频警报，其中，音频警报的频率随着眼睛和相机之间的对准的改善而增加。也可以提供方向性反馈(例如，“向上移动相机”)。
[0089]
在一些实现中，图像获取系统可以自动捕捉图像，使得用户无需操作相机设备上的图像捕捉控件。替代地或附加地，当用户在他们的面前移动电话时，图像获取系统可以记录视频流，然后标识具有最佳或合适的对准或外观(例如，通过一些度量所测量的，例如包括模糊度、运动、可归因于眼睛的像素数量、机器学习度量等)的视频帧中的一个或多个。
[0090]
在一些实现中，可以对提供给疾病检测模型202的图像204进行预处理。例如，所述一个或多个外部图像204可以是或包括从一个或多个较大图像中裁剪出的裁剪部分。例如，在一些实现中，描绘患者的较大部分(例如，患者的全身或上身和头)的图像可以被裁剪，以提取对应于患者眼睛前部的部分。在一些实现中，对图像预处理可以包括：应用分割模型，以仅标识和提取图像的对应于患者虹膜和/或瞳孔的部分。在一些实现中，可以请求用户反馈，以帮助执行对图像的对应于眼睛的部分的裁剪。
[0091]
图4描绘根据本公开的示例实施例的示例疾病检测模型300的框图，该疾病检测模型300是基于图像数据204生成疾病预测206的多步模型。疾病检测模型300类似于图3所示的模型202，除了模型300包括图像嵌入模型302和疾病预测模型306。图像嵌入模型302可以基于一个或多个输入图像204中的每个来产生相应的嵌入304。嵌入304可以是基于角度和光照而不变的。在一些示例中，每个输入图像的嵌入304是图像中数据的低维表示(例如，嵌入空间中的数值向量)。疾病预测模型306可以基于由图像嵌入模型302生成的一个或多个嵌入304来生成疾病预测206。在一些实现中，嵌入模型302可以放置在一个设备(例如，用户的设备)处，而疾病预测模型306可以放置在另一设备(例如，医学专业人员的设备)处。然而，模型302和306可以一起联合地训练(例如，在训练数据中心，然后被单独地部署)。
[0092]
图5描绘根据本公开的示例实施例的示例多头疾病检测模型的框图。疾病检测模型可以包括主干502和多个头504a-c。主干502可以与图4所示的嵌入模型302相同或相似。多个头504a-c可以分别对多种不同且独特的疾病提供多个疾病预测506a-c。例如，n个头可以对n种不同的疾病提供相应的疾病预测。
[0093]
图6描绘根据本公开的示例实施例的示例多头疾病检测模型的框图。疾病检测模型可以包括主干602和多个头604a-c。主干602可以与图4所示的嵌入模型302相同或相似。多个头604a-c可以分别对单一疾病的多个不同的严重性级别提供多个严重性分类预测606a-c。例如，所述多个不同的严重性级别可以与一种疾病相关联。每个头可以提供关于患者是否处于对应的严重性级别内的相应预测。
[0094]
可选地，图5和图6所示的模型可以组合。也可以使用其他头，包括在推断和/或训
练期间。作为一个示例，附加的头可以尝试预测，并且可以根据与患者相关联的人口统计数据和/或其他信息来训练模型。
[0095]
图7描绘根据本公开的示例实施例的训练示例疾病检测模型的过程的框图。如图7所示，计算系统可以获得训练数据703，该训练数据703包括描绘一个或多个患者的眼睛的前部的一个或多个外部图像704以及与所述一个或多个外部图像704相关联的一个或多个真值疾病标签705。一个或多个机器学习的疾病检测模型702可以处理所述一个或多个外部图像704，以生成对患者的关于一种或多种疾病的疾病预测706。计算系统可以评估损失函数708，该损失函数708将患者的疾病预测706与所述一个或多个真值疾病标签705进行比较。计算系统可以至少部分地基于损失函数708(例如，通过反向传播损失函数)来修改机器学习的疾病检测模型702的一个或多个参数的一个或多个值。
[0096]
示例设备和系统
[0097]
图8a描绘根据本公开的示例实施例的示例计算系统100的框图。系统100包括通过网络180通信地耦接的用户计算设备102、服务器计算系统130和训练计算系统150。
[0098]
用户计算设备102可以是任何类型的计算设备，例如个人计算设备(例如，膝上型或台式)、移动计算设备(例如，智能电话或平板计算机)、游戏控制台或控制器、可穿戴计算设备、嵌入式计算设备或任何其他类型的计算设备。
[0099]
用户计算设备102包括一个或多个处理器112和存储器114。所述一个或多个处理器112可以是任何合适的处理设备(例如，处理器内核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或者可操作地连接的多个处理器。存储器114可以包括一个或多个非暂时性计算机可读存储介质，例如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器114可以存储数据116以及由处理器112执行以使用户计算设备102执行操作的指令118。
[0100]
在一些实现中，用户计算设备102可以存储或包括一个或多个疾病检测模型120。例如，疾病检测模型120可以是或者可以包括各种机器学习模型，例如神经网络(例如，深度神经网络)或其他类型的机器学习模型，包括非线性模型和/或线性模型。神经网络可以包括前馈神经网络、循环神经网络(例如，长短期记忆循环神经网络)、卷积神经网络或其他形式的神经网络。参考图1-7讨论了示例疾病检测模型120。
[0101]
在一些实现中，所述一个或多个疾病检测模型120可以通过网络180从服务器计算系统130接收，存储在用户计算设备存储器114中，然后由所述一个或多个处理器112使用或以其他方式实现。在一些实现中，用户计算设备102可以实现单一疾病检测模型120的多个并行实例(例如，以跨越多个成像帧执行并行疾病检测)。
[0102]
附加地或替代地，一个或多个疾病检测模型140可以包括在根据客户端-服务器关系与用户计算设备102通信的服务器计算系统130中，或者由服务器计算系统130存储和实现。例如，疾病检测模型140可以由服务器计算系统140实现为网络服务(例如，疾病检测服务)的一部分。因此，一个或多个模型120可以在用户计算设备102处存储和实现，和/或一个或多个模型140可以在服务器计算系统130处存储和实现。
[0103]
用户计算设备102还可以包括接收用户输入的一个或多个用户输入组件122。例如，用户输入组件122可以是对用户输入对象(例如，手指或触笔)的触摸敏感的触敏组件(例如，触敏显示屏或触摸板)。触敏组件可以用于实现虚拟键盘。其他示例用户输入组件包
括麦克风、传统键盘或者用户可以用于提供用户输入的其他部件。
[0104]
服务器计算系统130包括一个或多个处理器132和存储器134。所述一个或多个处理器132可以是任何合适的处理设备(例如，处理器内核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或者可操作地连接的多个处理器。存储器134可以包括一个或多个非暂时性计算机可读存储介质，例如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器134可以存储数据136以及由处理器132执行以使服务器计算系统130执行操作的指令138。
[0105]
在一些实现方式中，服务器计算系统130包括一个或多个服务器计算设备或者由一个或多个服务器计算设备来实现。在服务器计算系统130包括多个服务器计算设备的情况下，这样的服务器计算设备可以根据顺序计算架构、并行计算架构或其某种组合来操作。
[0106]
如上所述，服务器计算系统130可以存储或包括一个或多个疾病检测模型140。例如，模型140可以是或者可以包括各种机器学习模型。示例机器学习模型包括神经网络或其他多层非线性模型。示例神经网络包括前馈神经网络、深度神经网络、循环神经网络和卷积神经网络。参考图1-7讨论了示例模型140。
[0107]
用户计算设备102和/或服务器计算系统130可以经由与通过网络180通信地耦接的训练计算系统150的交互来训练模型120和/或140。训练计算系统150可以与服务器计算系统130分离，或者可以是服务器计算系统130的一部分。
[0108]
训练计算系统150包括一个或多个处理器152和存储器154。一个或多个处理器152可以是任何合适的处理设备(例如，处理器内核、微处理器、asic、fpga、控制器、微控制器等)，并且可以是一个处理器或者可操作地连接的多个处理器。存储器154可以包括一个或多个非暂时性计算机可读存储介质，例如ram、rom、eeprom、eprom、闪存设备、磁盘等及其组合。存储器154可以存储数据156和由处理器152执行以使训练计算系统150执行操作的指令158。在一些实现中，训练计算系统150包括一个或多个服务器计算设备或者由一个或多个服务器计算设备实现。
[0109]
训练计算系统150可以包括模型训练器160，其使用各种训练或学习技术(例如误差反向传播)来训练存储在用户计算设备102和/或服务器计算系统130处的机器学习模型120和/或140。例如，损失函数可以通过模型反向传播，以更新模型的一个或多个参数(例如，基于损失函数的梯度)。可以使用各种损失函数，例如均方误差、似然损失、交叉熵损失、铰链损失和/或各种其他损失函数。梯度下降技术可以用于通过多次训练迭代迭代地更新参数。
[0110]
在一些实现中，执行误差的反向传播可以包括：随时间执行截短的反向传播。模型训练器160可以执行多种泛化技术(例如，权重衰减、退出等)，以提高被训练的模型的泛化能力。
[0111]
具体地，模型训练器160可以基于一组训练数据162来训练疾病检测模型120和/或140。训练数据162可以包括例如已经用真值疾病标签加标签的眼睛前部的图像。
[0112]
在一些实现中，如果用户已经提供了同意，则训练示例可以由用户计算设备102提供。因此，在这样的实现中，提供给用户计算设备102的模型120可以由训练计算系统150根据从用户计算设备102接收的用户专用数据来训练。在一些实例中，该过程可以被称为对模型个性化。
[0113]
模型训练器160包括用于提供所期望的功能的计算机逻辑。模型训练器160可以以硬件、固件和/或控制通用处理器的软件来实现。例如，在一些实现中，模型训练器160包括存储在存储设备上、加载到存储器中并由一个或多个处理器执行的程序文件。在其他实现中，模型训练器160包括存储在诸如ram、硬盘或光学或磁性介质这样的有形的计算机可读存储介质中的一组或多组计算机可执行指令。
[0114]
网络180可以是任何类型的通信网络，例如局域网(例如，内联网)、广域网(例如，互联网)或其某种组合，并且可以包括任何数量的有线或无线链路。一般地，网络180上的通信可以使用各种通信协议(例如，tcp/ip、http、smtp、ftp)、编码或格式(例如，html、xml)和/或保护方案(例如，vpn、安全http、ssl)，经由任何类型的有线和/或无线连接来承载。
[0115]
图8a示出可以用于实现本公开的一个示例计算系统。也可以使用其他计算系统。例如，在一些实现中，用户计算设备102可以包括模型训练器160和训练数据集162。在这样的实现中，模型120可以在用户计算设备102本地训练和使用。在一些这样的实现中，用户计算设备102可以实现模型训练器160，以基于用户特定的数据对模型120个性化。
[0116]
图8b描绘根据本公开的示例实施例执行的示例计算设备10的框图。计算设备10可以是用户计算设备或服务器计算设备。
[0117]
计算设备10包括多个应用(例如，应用1至n)。每个应用包含自己的机器学习库和机器学习模型。例如，每个应用可以包括机器学习模型。示例应用包括文本消息应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。
[0118]
如图8b所示，每个应用可以与计算设备的多个其他组件(例如，一个或多个传感器、上下文管理器、设备状态组件和/或附加组件)通信。在一些实现中，每个应用可以使用api(例如，公共api)与每个设备组件通信。在一些实现中，每个应用所使用的api特定于该应用。
[0119]
图8c描绘根据本公开的示例实施例执行的示例计算设备50的框图。计算设备50可以是用户计算设备或服务器计算设备。
[0120]
计算设备50包括多个应用(例如，应用1至n)。每个应用与中央智能层通信。示例应用包括文本消息应用、电子邮件应用、听写应用、虚拟键盘应用、浏览器应用等。在一些实现中，每个应用可以使用api(例如，跨越所有应用的公共api)与中央智能层(以及在其中存储的模型)通信。
[0121]
中央智能层包括多个机器学习模型。例如，如图8c所示，可以对每个应用提供相应的机器学习模型，并由中央智能层管理。在其他实现中，两个或更多应用可以共享单一机器学习模型。例如，在一些实现中，中央智能层可以对所有应用提供单一模型。在一些实现中，中央智能层包括在计算设备50的操作系统中，或者由计算设备50的操作系统来实现。
[0122]
中央智能层可以与中央设备数据层通信。中央设备数据层可以是计算设备50的集中式数据仓库。如图8c所示，中央设备数据层可以与计算设备的多个其他组件(例如，一个或多个传感器、上下文管理器、设备状态组件和/或附加组件)通信。在一些实现中，中央设备数据层可以使用api(例如，私有api)与每个设备组件通信。
[0123]
附加公开
[0124]
本文讨论的技术涉及服务器、数据库、软件应用和其他基于计算机的系统，以及所采取的行动和发送到这样的系统和从这样的系统接收的信息。基于计算机的系统的固有灵
活性允许在组件之间对任务和功能进行多种可能的配置、组合和划分。例如，本文讨论的过程可以使用单一设备或组件或者组合工作的多个设备或组件来实现。数据库和应用可以在单一系统上实现，也可以分布跨越多个系统。分布式组件可以顺序或并行地操作。
[0125]
虽然已经参考本主题的各种特定示例实施例对本主题进行了详细描述，但是每个示例是以解释的方式提供的，而非对本公开的限制。本领域的技术人员一旦理解了前述内容，就可以容易地对这样的实施例做出变更、变型和等效。因此，本主题公开不排除对本主题的这样的修改、变型和/或添加，这对于本领域普通技术人员来说是显而易见的。例如，作为一个实施例的一部分示出或描述的特征可以与另一实施例一起使用，以产生又一实施例。因此，本公开旨在覆盖这样的变更、变型和等效。

技术特征：
1.一种用于从外部眼睛前部图像检测疾病的计算系统，所述计算系统包括：一个或多个处理器；以及一个或多个非暂时性计算机可读介质，其共同地存储：一个或多个机器学习的疾病检测模型，其被配置为基于外部眼睛前部图像提供疾病预测；以及指令，其在由所述一个或多个处理器执行时使所述计算系统执行操作，所述操作包括：获得描绘患者的眼睛前部部分的一个或多个外部图像；用所述一个或多个机器学习的疾病检测模型处理所述一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测；以及提供对患者的关于一种或多种疾病的疾病预测作为输出。2.如权利要求1所述的计算系统，其中，所述一种或多种疾病包括一种或多种全身性疾病。3.如权利要求2所述的计算系统，其中，所述一种或多种全身性疾病包括血糖控制疾病。4.如权利要求2或3所述的计算系统，其中，所述一种或多种全身性疾病包括糖尿病。5.如权利要求2、3或4所述的计算系统，其中，所述一种或多种全身性疾病包括心血管风险或不良心脏后果、高血压、贫血、慢性肾病、睡眠呼吸暂停、高胆固醇血症/动脉粥样硬化、甲状腺疾病、甲状旁腺功能亢进、慢性肾衰竭、高脂血症或痛风。6.如任一前述权利要求所述的计算系统，其中，所述一种或多种疾病包括眼睛中的一个或多个疾病表现。7.如权利要求6所述的计算系统，其中，所述眼睛中的一个或多个疾病表现包括眼睛后部的一个或多个疾病表现。8.如权利要求7所述的计算系统，其中，所述眼睛后部的一个或多个疾病表现包括糖尿病性视网膜病变。9.如权利要求7或8所述的计算系统，其中，所述眼睛后部的一个或多个疾病表现包括糖尿病性黄斑水肿。10.如权利要求7、8或9所述的计算系统，其中，所述眼睛后部的一个或多个疾病表现包括眼睛后部的一个或多个微血管瘤。11.如权利要求7-10中的任一项所述的计算系统，其中，所述眼睛后部的一个或多个疾病表现包括青光眼或年龄相关的黄斑变性。12.如任一前述权利要求所述的计算系统，其中，对患者的关于一种或多种疾病的疾病预测包括对患者的预测血红蛋白a1c水平。13.如任一前述权利要求所述的计算系统，其中，对患者的关于一种或多种疾病的疾病预测包括患者正分别经历所述一种或多种疾病的一个或多个预测概率。14.如任一前述权利要求所述的计算系统，其中，对患者的关于一种或多种疾病的疾病预测包括分别对所述一种或多种疾病的一个或多个预测的严重性级别。15.如任一前述权利要求所述的计算系统，其中，所述一个或多个外部图像包括由用户设备捕捉的一个或多个图像。16.如权利要求15所述的计算系统，其中，所述用户设备由患者在捕捉通过所述用户设
备捕捉的一个或多个图像时操作。17.如权利要求15-16中的任一项所述的计算系统，其中，所述用户设备包括膝上型计算机的相机。18.如权利要求15-16中的任一项所述的计算系统，其中，所述用户设备包括智能电话或平板计算机的相机。19.如权利要求18所述的计算系统，其中，所述相机包括前置相机，所述前置相机与作为描绘所述相机的取景器的显示器位于所述智能电话或平板计算机的同侧。20.如权利要求15-16中的任一项所述的计算系统，其中，所述用户设备包括附着到另一用户设备的外部网络摄像头。21.如任一前述权利要求所述的计算系统，其中，所述一个或多个外部图像包括通过裂隙灯相机收集的一个或多个图像。22.如任一前述权利要求所述的计算系统，其中，所述一个或多个外部图像包括通过眼底相机收集的一个或多个图像。23.如任一前述权利要求所述的计算系统，其中，所述一个或多个机器学习的疾病检测模型包括一个或多个卷积或循环神经网络。24.如任一前述权利要求所述的计算系统，其中，所述一个或多个机器学习的疾病检测模型包括一个或多个多头神经网络，所述一个或多个多头神经网络的每个多头神经网络具有分别输出多个预测的多个头。25.如权利要求24所述的计算系统，其中，分别输出多个预测的所述多个头的至少一个子集分别对多种不同且独特的疾病提供多个疾病预测。26.如权利要求25或26所述的计算系统，其中，分别输出多个预测的所述多个头的至少一个子集提供分别对于单一疾病的多个不同的严重性级别的多个严重性分类预测。27.如权利要求27所述的计算系统，其中，分别对于所述单一疾病的所述多个不同的严重性级别的所述多个严重性分类预测包括分别对于糖尿病性视网膜病变的国际临床糖尿病性视网膜病变疾病严重性等级的五个级别的五个分类预测。28.如权利要求27所述的计算系统，其中，分别对于所述单一疾病的多个不同的严重性级别的所述多个严重性分类预测包括分别对于血红蛋白a1c的多个范围的多个分类预测。29.如任一前述权利要求所述的计算系统，其中，获得所述一个或多个外部图像包括：提供帮助患者将眼睛的前部部分与相机对准的图形、听觉或触觉用户反馈。30.如任一前述权利要求所述的计算系统，其中，获得所述一个或多个外部图像包括：从一个或多个较大图像检测和裁剪描绘患者的眼睛的前部部分的图像部分。31.如任一前述权利要求所述的计算系统，其中，所述一个或多个外部图像包括分辨率为200
×
200像素或更低的一个或多个图像。32.如任一前述权利要求所述的计算系统，其中，所述一个或多个外部图像包括分辨率为100
×
100像素或更低的一个或多个图像。33.一种用于训练机器学习的疾病检测模型以基于外部眼睛前部图像提供疾病预测的计算机实现的方法，所述方法包括：获得描绘患者的眼睛前部部分的一个或多个外部图像，其中，一个或多个真值疾病标签与所述一个或多个外部图像相关联；
用一个或多个机器学习的疾病检测模型处理所述一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测；评估损失函数，所述损失函数将对患者的所述疾病预测和所述一个或多个真值疾病标签进行比较；以及至少部分地基于所述损失函数来修改所述机器学习的疾病检测模型的一个或多个参数的一个或多个值。34.一个或多个非暂时性计算机可读介质，其共同地存储用于执行如权利要求1-32所述的任何操作或如权利要求33所述的方法的指令。

技术总结
本公开涉及利用机器学习从外部眼睛前部图像检测眼部或非眼部(例如，全身性)疾病的系统和方法。具体地，计算系统可以包括并使用一个或多个机器学习的疾病检测模型，以基于患者的外部眼睛前部图像提供对患者的疾病预测。具体地，在一些示例实现中，计算系统可以获得描绘患者的眼睛前部部分七的一个或多个外部图像。计算系统可以用一个或多个机器学习的疾病检测模型来处理该一个或多个外部图像，以生成对患者的关于一种或多种疾病的疾病预测，该一种或多种疾病例如包括在眼睛后部呈现表现的疾病(例如，糖尿病性视网膜病变)或全身性疾病(例如，控制不良的糖尿病)。控制不良的糖尿病)。控制不良的糖尿病)。


技术研发人员：Y
受保护的技术使用者：谷歌有限责任公司
技术研发日：2021.11.02
技术公布日：2023/8/24