用于光学相干断层扫描图像评估的人工智能的制作方法

用于光学相干断层扫描图像评估的人工智能
1.相关申请
2.本技术要求2021年8月10日提交的美国专利申请第17/444,806号的申请日的权益，该美国专利申请根据35u.s.c.119(e)要求2020年9月11日提交的美国临时专利申请第62/706,800号的权益，这两项申请的标题均为“artificial intelligence for evaluation of optical coherence tomography images”，其公开内容通过引用以其整体并入本文。
3.本技术的主题涉及2019年12月26日提交的标题为“optical coherence tomography patient alignment system for home based ophthalmic applications”的美国临时专利申请号62/953,827，该美国临时专利申请的全部公开内容通过引用并入本文。
4.所公开的应用经训练的卷积神经网络(cnn)来辅助分析干涉图的方法可以与许多扫描图案一起使用，例如停走(stop and go)轨迹、星形轨迹、连续轨迹或李萨如(lissajous)轨迹中的一个或更多个，如2019年6月20日提交的题为“miniaturized mobile,low cost optical coherence tomography system for home based ophthalmic applications”的pct/us2019/038270中所描述的，其全部公开内容通过引用结合于此。
5.背景
6.眼睛健康对良好的视力至关重要。有各种各样的眼睛疾病和病症可以通过测量眼睛结构的变化来诊断。这种测量还可以提供影响患者其他器官的疾病的指示。眼睛的结构包括角膜和晶状体，它们折射光线并在视网膜上形成图像。视网膜响应于其上形成的图像而产生电信号，并且这些电信号经由视神经传输到大脑。视网膜的视网膜中央凹(fovea)和黄斑相对于视网膜的其他区域具有增加的视锥密度(density of cones)，并提供更清晰的图像。
7.随时间测量视网膜厚度(rt)可用于诊断和监测视网膜、眼睛和患者的健康状况。许多被诊断患有视网膜血管疾病和其他疾病或病症的患者具有升高的视网膜厚度，并接受药物治疗。例如，黄斑水肿是一种当流体聚集在视网膜黄斑上部或下方时发生并导致视网膜厚度升高的疾病。黄斑水肿可能是其他疾病的指征，其他疾病诸如例如糖尿病或年龄相关性黄斑变性、葡萄膜炎、视网膜脉管系统阻塞和青光眼。因此，视网膜厚度的测量和厚度随时间变化的确定可以用作眼睛健康和患者健康的其他方面的变化的指示。
8.随时间推移的对rt测量也可用于评估药物或处理的有效性，以便在需要时可以进行修改。这样做的一种方法是定期测量患者视网膜的厚度。一种用于测量视网膜厚度的技术是光学相干断层扫描(oct)。oct还可以用于生成可用于形成患者视网膜及其组织结构的图像的数据。这种图像可以用于评估视网膜的状况，并通过推断来评估患者的健康状况。
9.至少一些oct设备包括测量光束的源、以期望的扫描图案在患者视网膜上移动光束的扫描仪、在测量光束的参考版本和从视网膜反射的光之间产生干涉图案的一组光学元件、以及用于检测干涉光波的检测器。在一些示例中，oct系统还可以包括处理器，该处理器执行一组指令来操作扫描仪，以便在视网膜上移动测量光束。从一组扫描产生的干涉图案
可以被组合以形成表示视网膜的层或区域的图像，称为干涉图。一些干涉仪的工作原理是将来自单一源的光分成两个光束，这两个光束在不同的光路上传播，然后再次组合以产生干涉图案。
10.干涉图可以进行进一步的图像处理以获得关于视网膜的信息，例如视网膜厚度(“rt”)、视网膜水合作用和流体池化(fluid pooling)的测量。视网膜包括细胞及组织层，例如内界膜(“ilm”)及视网膜色素上皮(“rpe”)层。图像处理可用于更清楚地区分或分割这两层。rt随时间的测量可用于诊断疾病或病症，例如通过检测眼睛中流体积聚或流体池化的证据。
11.尽管检测视网膜内和周围的流体池化将是有帮助的，但是与本公开相关的工作表明，现有方法至少在某些方面可能不太理想。例如，oct图像中对应于流体池(pool)的灰度值的细微变化对于健康护理专业人员来说可能难以检测。此外，依赖于高分辨率系统来检测视网膜流体池的现有方法可能过于复杂并且可用性有限，使得至少在一些情况下，池化的检测晚于理想情况。
12.处理干涉图图像的一种方法是使用称为卷积神经网络(cnn)的神经网络架构。cnn是深度学习网络的一种形式，由输入层和输出层以及多个隐藏层组成。cnn的隐藏层由一系列层组成，这些层使用乘法运算或点积的实现来执行卷积运算。激活函数通常是修正线性单元(rectified linear unit，relu)层，并且随后被附加层，例如池化层、全连接层和归一化层，跟随。这些被称为隐藏层，因为它们的输入和输出被激活函数和最终卷积所掩盖。经训练的cnn可用于分析图像并执行特定特征的识别。例如，经过适当训练的cnn可用于在称为分割的过程中识别视网膜图像的层或结构。然后，该信息可用于确定视网膜厚度的测量值或以其他方式评估患者的眼睛或整体健康状况。
13.图像处理中的一个复杂问题是不同的oct系统在收集数据时可能使用不同的扫描图案。这使得比较使用不同系统获得的干涉图变得困难。如果没有足够的可用数据来正确地训练cnn来处理该类型的扫描数据，也会使干涉图的图像识别的执行变得困难。本公开的实施例旨在克服单独和集体处理干涉图数据的传统方法的这些缺点。
14.概述
15.在本文使用的术语“发明”、“该发明”、“本发明”、“此发明”、“本公开”或“公开”意在广义地指代本文档、附图或示图以及权利要求书中描述的所有主题。包含这些术语的陈述应该理解为不限制本文描述的主题或不限制权利要求的含义或范围。由本专利覆盖的本发明的实施例由权利要求书而不是由本概述来限定。本概述是本发明各个方面的高级综述，并且介绍了在下面的详细描述部分中进一步描述的一些概念。本概述不旨在识别所要求保护的主题的关键、基本或必需特征，也不旨在孤立地用于确定所要求保护的主题的范围。应当通过参考本专利的全部说明书的适当部分、任何或所有示图或附图以及每个权利要求来理解主题。
16.在一些实施例中，系统和方法可用于对从oct扫描数据获得的干涉图图像执行图像识别和处理。图像识别和处理可以操作来分割视网膜的组织层，以使它们更可区分。扫描数据可以是以特定扫描图案在视网膜上移动测量光束的结果。在一些实施例中，可以使用从使用径向扫描图案执行一组扫描中获得的一组扫描数据来训练模型或神经网络，例如卷积神经网络(cnn)。训练数据还可以包括从不同扫描图案获得的扫描数据，这些扫描数据已
经被内插、外推、重采样或以其他方式处理以更接近于将从径向扫描图案获得的数据。例如，另一扫描图案可以是包括多个波瓣的扫描图案。在训练之后，cnn可以用于识别视网膜的层或结构或增强对视网膜的层或结构的识别，其中在一些实施例中，对经训练的cnn的输入是使用具有多个波瓣的扫描图案获得的数据，该数据已经被内插、外推、重采样或以其他方式处理以更接近于将从径向扫描图案获得的数据。
17.在一些实施例中，系统和方法用于获得第一多个干涉图，其中干涉图中的每一个对应于由使用第一扫描图案执行视网膜扫描的oct系统所获取的数据，注释由使用第一扫描图案获取的数据形成的多个干涉图中的每一个以指示视网膜的组织结构，使用多个干涉图和注释训练神经网络，输入与使用第二扫描图案执行视网膜扫描的oct系统获取的数据相对应的第二多个干涉图，并获得经训练的神经网络的输出，该输出指示使用第二扫描图案扫描的视网膜的组织结构。
18.在一些实施例中，系统和方法用于接收与沿着oct扫描图案的多个位置相对应的多个a扫描，并输出与沿着oct扫描图案的多个位置相对应的分割图像，分割图像包括ilm层的边界、rpe层的边界或视网膜内流体池的边界中的一个或更多个。
19.在一些实施例中，oct系统可以使用用于测量光束的特定扫描图案来操作，以使得能够收集数据并提供对眼睛的某些区域的更精确的测量。扫描图案可由响应于驱动信号移动作为oct系统的一部分的反射镜而产生。反射镜拦截由光源产生的测量光束，并引导该光束遵循随反射镜的运动而变化的轨迹，从而形成预定义的扫描图案。在一些实施例中，从使用扫描图案收集的数据可以被内插、外推、重采样或以其他方式处理，以获得将从使用不同扫描图案获得的数据。这可以帮助医生更好地了解眼睛不同区域的状况，或者比较用不同扫描图案进行的扫描，作为监测患者眼睛健康的一部分。
20.在一些实施例中，当测量光束以扫描图案移动时，扫掠的测量源的波长可以改变，其中所获得的数据在进一步处理之前经受诸如傅立叶变换的变换。
21.在一些实施例中，处理器可以执行一组计算机可执行指令，以使处理器或设备访问由作为oct干涉仪一部分的检测器检测的测量数据。在一些实施例中，处理器可以执行指令以使对所访问数据的处理产生将由不同扫描图案产生的测量数据。这可用作神经网络的附加训练数据或作为经训练的神经网络的输入。
22.在一些实施例中，处理器可以执行指令以访问用于多个a扫描的一组存储数据，其中每个a扫描对应于视网膜的视网膜色素上皮(rpe)和内界膜(ilm)。然后可以处理所存储的数据以增强rpe和ilm之间的区别，并且作为结果，帮助识别由于流体的积聚或流体袋的形成而引起的视网膜厚度的变化。在一些实施例中，该处理可以包括使用经过训练的cnn或其他神经网络或模型来分割由多个分割的a扫描形成的图像。
23.尽管具体参考了测量视网膜厚度，但本文公开的图像处理系统和方法将在许多领域中找到应用，这些领域例如显微术、计量学、航空航天、天文学、电信、医学、药学、皮肤病学、牙科和心脏病学。
24.本公开的实施例的其他目的和优点对于本领域的普通技术人员在回顾详细描述和包括的附图后将是明显的。
25.通过引用并入
26.本说明书中提及的所有出版物、专利和专利申请通过引用并入本文，其程度如同
每一个单独的出版物、专利或专利申请被具体和单独地指明通过引用并入。
27.附图简述
28.本发明的新颖特征在所附权利要求中被具体地阐述。通过参考以下详细描述和附图将获得对本发明的特征和优点的较好的理解，该详细描述阐述了其中利用了本发明的原理的例证性实施例，在附图中：
29.图1示出了人眼的简化图；
30.图2a示出了根据一些实施例的用于测量用户眼睛的双目oct设备的透视图；
31.图2b示出了根据一些实施例的双目oct设备的框图，其示出了手持单元主体内的各种部件；
32.图2c示出了根据一些实施例的可以用双目oct实现的光学配置的示意图；
33.图3示出了根据一些实施例的可用于收集oct数据的扫描图案(在本文称为“花形(flower)”图案)的示例；
34.图4示出了根据一些实施例的oct使用图3的扫描图案或轨迹获取的一组干涉图或扫描；
35.图5示出了根据一些实施例的叠加在径向扫描图案上的图3的扫描图案，其数据可通过对从图3的扫描图案获得的数据进行内插而获得；
36.图6示出了根据一些实施例可以如何将患者眼睛的表面划分成区(zone)或区域以用于通过比较从每个区收集数据所花费的扫描量或扫描时间来比较扫描图案的目的；
37.图7示出了根据一些实施例的用于训练cnn或其他形式的神经网络以执行干涉图图像的分割的过程；
38.图8示出了根据一些实施例的可在用于如参考图7描述的生成用于训练cnn或其他形式的神经网络的附加训练数据的过程中使用的一组操作；
39.图9示出了根据一些实施例的基于径向扫描图案的原始b扫描、将图像退化(image degradation)规则集应用于该扫描图案以生成干涉图的结果、以及通过使用第二扫描图案获得的干涉图；
40.图10a示出了根据一些实施例的原始干涉图和通过使用经训练的cnn处理原始干涉图而获得的分割干涉图；
41.图10b示出了用于获得图10a的干涉图的图3的花形图案扫描图案的示例，包括产生干涉图的指示部分的扫描图案的部分的指示；
42.图11a是示出根据一些实施例的用于使用采用第一扫描图案获得的一组oct干涉图来训练神经网络以确定使用第二扫描图案获得的一组oct干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图；
43.图11b是示出了根据一些实施例的用于使用采用第一oct系统获得的一组oct干涉图来生成附加训练数据来训练神经网络以确定使用第二oct系统获得的一组oct干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图；
44.图11c是示出实施例的示图，其中从第一oct系统获得的图像数据及其相关联的注释经受重采样、退化和扩充(augmentation)操作中的一个或更多个，以生成用于训练正在用从第二oct系统获得的图像数据及其相关联的注释进行训练的模型的附加训练数据；
45.图11d是示出实施例的一组图，其中从干涉图(视网膜图像)的开放存取数据集获
得的训练数据经受扩充和退化处理以生成用于模型的训练数据，该模型旨在与从具有比用于生成干涉图的oct系统更低分辨率的oct系统获得的输入数据一起使用；
46.图12是示出根据一些实施例的卷积神经网络(cnn)架构的示例的示图，其可用于处理干涉图图像和表示分割图像的cnn的输出；
47.图13是示出根据一些实施例，使用图3的花形扫描图案获得的一组扫描数据如何可以经受进一步的数据处理操作(例如内插和高斯模糊(gaussian blurring))以生成表示视网膜的选定横截面的b扫描的图像的示图；
48.图14是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片(slice)获得的数据以创建将从光栅扫描获得的视网膜的不同横截面的b扫描而生成的b扫描的另外示例的示图；
49.图15是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从径向扫描获得的视网膜的不同横截面的b扫描而生成的b扫描的另外示例的示图；
50.图16是示出根据一些实施例的视网膜的不同横截面的所创建的b扫描的集合可以如何被组合以产生视网膜的3d可视化或厚度图的示图；
51.图17a是示出根据一些实施例的常规扫描图案和数据处理方法的性能与使用本文描述的花形扫描图案和利用经训练的cnn的图像处理获得的结果的比较的示图；以及
52.图17b是示出课程训练过程的示图，其中从第一和第二oct设备获得的图像数据和/或注释用于在一组训练迭代中进行训练，其中一些数据经受退化。
53.详细描述
54.本公开的实施例的主题在本文被具体描述以满足法定要求，但是该描述不旨在限制权利要求的范围。所要求保护的主题可以以其他方式体现，可以包括不同的元素或步骤，并且可以与其他现有的或以后开发的技术结合使用。该描述不应被解释为暗示各种步骤或元素之中或之间的任何所需顺序或排列，除非明确指出需要单独步骤的顺序或元素排列。
55.本文将参考附图更全面地描述本公开的实施例，附图形成了本公开的一部分，并且通过图示的方式示出了可以实施的示例性实施例。然而，本文公开的实施例可以以不同的形式实施，并且不应被解释为限于本文阐述的实施例；更确切地，提供这些实施例使得本公开将满足本领域技术人员的法定要求。
56.除其他外，本公开的实施例可以整体或部分地体现为系统、一个或更多个方法、或一个或更多个设备。实施例可以采取硬件实现的实施例、软件实现的实施例或结合软件和硬件方面的实施例的形式。例如，在一些实施例中，本文描述的一个或更多个操作、功能、过程或方法可以由一个或更多个合适的处理元件(例如处理器、微处理器、cpu、gpu、tpu、控制器等)来实现，该处理元件是客户端设备、服务器、网络元件、远程平台(例如saas平台)或其他形式的计算或数据处理系统、设备或平台的一部分。
57.可以用一组可执行指令(例如，软件或计算机可执行指令)对一个或更多个处理元件进行编程，其中指令可以存储在合适的非暂时性数据存储元件中或其上。在一些实施例中，本文描述的一个或更多个操作、功能、过程或方法可以由专用形式的硬件来实现，例如可编程门阵列、专用集成电路(asic)等。注意，本发明方法的实施例可以以应用、作为更大应用的一部分的子例程、“插件”、数据处理系统或平台的功能的扩展或任何其他合适的形
式来实现。因此，以下详细描述不被认为是限制性的意义。
58.尽管本文已经显示和描述了多种实施例，但对于本领域技术人员将明显的是，此类实施例仅通过示例的方式提供。在不偏离本公开的情况下，本领域技术人员可以想到许多变化、改变和替换。应当理解，可以采用本文描述的实施例的多种替代选择。例如，尽管提到了测量诸如视网膜的样本的厚度，但是本文公开的方法和装置可以用于测量许多类型的样本，诸如身体的其他组织和非组织材料。虽然提到了生成视网膜厚度图，但本文公开的方法和装置可用于生成视网膜样本的图像，例如横截面图像或断层图像。
59.目前公开的系统、方法和装置非常适合于与现有图像和成像系统(例如oct成像系统和oct图像)组合，以便提供图像结构的改进分类(例如组织类型、流体池化等)。在一些实施例中，使用迁移学习，其中使用在第一设置中训练的人工智能模型(例如神经网络)来改进在第二设置中的性能。在一些实施例中，第一设置包括包含第一分辨率的第一oct系统配置，和第二oct系统配置，其中第一oct系统配置包括比第二oct系统配置更大的分辨率(例如，解析更小的图像细节)。根据本公开，可以以多种方式配置迁移学习。在一些实施例中，通过在来自第一设置的第一数据集上训练神经网络来生成神经网络的系数，然后将学习的参数迁移到第二设置，例如，从来自第一oct系统配置的数据生成的参数被应用到来自第二oct系统配置的数据以分析来自第二oct系统配置的数据。可替代地或组合地，迁移学习可以包括课程学习，其中使用增加的难度的图像来训练神经网络。在一些实施例中，来自对应于第一oct系统配置的第一设置的图像被逐步退化并用于训练神经网络，直到图像质量(例如分辨率)对应于来自对应于第二oct系统的第二设置的图像。
60.合适的更高分辨率系统的示例包括可从heidelberg engineering商购的系统。具有较低分辨率oct成像系统的合适的个性化生物测量系统(pbos)的示例在2020年4月4日授予的题为“miniaturized mobile,low cost optical coherence tomography system for home based ophthalmic applications”的美国专利号10,610,096中描述，其全部公开内容通过引用结合于此。例如，较高分辨率oct系统可包括在约1微米(um)至约10um范围内的轴向分辨率，较低分辨率oct系统可包括在约15um至约50um范围内的轴向分辨率。尽管提到了这些分辨率范围，但在一些实施例中，较低分辨率系统包括在约1um至约10um范围内的轴向分辨率，而较高分辨率包括在该范围内的分辨率或甚至更小的轴向分辨率，例如小于1um。
61.在一些实施例中，本公开所描述的系统、装置和方法旨在识别从oct系统获得的图像的结构、区域或特征。在一些实施例中，这种识别可以由经训练的模型来执行，该模型可以采取神经网络的形式。神经网络可以被配置或操作以处理输入图像并输出指示输入中每个像素属于特定类别的概率(即，两个类别之间的相对概率)的分割图像或数据，结果是创建将每个像素映射到特定类别的图像。在一些实施例中，该类别可以是例如视网膜中的结构、层、边界、特征或流体池中的一种。
62.本文描述的技术和方法可用于执行若干任务或目标之一。这些包括将从oct系统获得的图像输入到经训练的模型中，并且作为响应，输出识别一个或更多个区域、层、边界、特征、流体池等的分割图像。另一项任务是识别区域、层、边界、特征、流体池等中的变化或进展。又一项任务是比较由两个不同的oct系统产生的图像，以验证其中一个系统的准确性，或者使用从第二oct系统获得的图像来确定来自第一oct系统的图像中识别的任何区域
等的变化，其中两个oct系统可以具有不同的分辨率或者在收集图像数据时可以采用不同的扫描图案。
63.对于所描述的任务中的每一个，可以开发经训练的模型来执行该任务。在一些实施例中，训练模型以执行任务涉及将机器学习算法应用于一组数据和注释。注释按像素将图像分割成两个或更多个类别，并且通常由熟悉图像主题的人提供。机器学习算法从数据和注释中“学习”应用于像素的正确标签或分割，并以神经网络的形式生成模型。
64.然而，训练模型以获得期望的性能水平(即，期望的精确度和召回水平，有时被表示为特定的度量)可能需要比可用的更多的训练数据。例如，可以从第一类型的oct系统或具有特定分辨率或扫描图案的oct系统获得足够的数据来训练模型，但是从用于生成用户想要分割的图像的第二类型的oct系统获得不了足够的数据。作为另一个示例，来自第一设备的数据的注释可以比来自第二设备的数据的注释更容易或易于获得。在这些情况下，有益的是能够使用从第一类型的oct系统获得的图像数据来训练模型，然后使用经训练的模型来分类由第二类型的oct系统生成的图像数据。如上所述，如果两个oct系统在收集图像数据时具有不同的分辨率或采用不同的扫描图案，就会出现这种情况的示例。
65.实施例包括数据采集和处理流程，该流程可用于在缺乏足够训练数据的情况下产生用于图像分割的经训练的模型。在这种情况下，足够的训练数据的(不)可用性可能会排除使用由期望的oct系统生成的相同类型的数据来训练模型。在这种情况下，所公开的技术和方法使得能够生成新的训练数据(以及在一些情况下注释或标签)，该新的训练数据可以被用于补充或替代当训练模型以执行从第二oct系统获得的图像的分割时从第一oct系统获得的数据。在一些实施例中，训练数据可以来自具有不同(通常更高)分辨率的系统，并且在一些实施例中，训练数据可以来自实现与产生待分割图像的系统不同的扫描图案的系统。
66.在一些实施例中，由训练数据不足引起的潜在问题或障碍可通过使用本文所述的一个或更多个数据处理技术来克服。这些技术包括：(1)扩充——这些技术可用于通过将一个或更多个操作(例如，几何变换，诸如图8中所示的那些)应用于与图像相关联的一组数据(并且在一些情况下还应用于视网膜层、流体区域等的相关联注释)来生成附加训练数据，以为机器学习算法提供增加的数据可变性，增加模型的稳健性，并防止模型对数据的过度拟合。在某些情况下，几何变换也可以应用于注释；(2)退化——将这些技术应用于从具有较高分辨率的oct系统获得的原始图像数据，以获得预期从具有较低分辨率的oct系统获得的数据；(3)重采样——将该技术应用于使用第一扫描图案获得的图像数据，以生成预期使用第二和不同扫描图案获得的图像数据(例如通常由不同的oct系统产生的图像数据)；以及(4)配准或对准——该技术是对齐通过退化第一组图像获得的第二组oct图像中的特征(边界、区域、流体等)的注释或指示的方式，使得注释与在第一组oct图像中识别的特征正确相关联。
67.本公开所描述的系统、装置和方法的实施例涉及训练和使用模型来执行从oct设备获得的图像的分割。在一些实施例中，模型是神经网络，例如可用于图像处理的卷积神经网络。经训练的神经网络的输出是输入图像的分割，其中分割操作识别由oct成像的视网膜的一个或更多个元素、层、区域、结构、边界、流体池或其他特征。
68.如所提到的，开发这种模型的困难之一是它需要可靠的训练数据。这一问题变得
更加复杂，因为可用于生成训练数据图像的不同oct系统可具有不同的特征，其中这些特征可包括扫描图案、轴向分辨率、横向分辨率或对齐方法。这些差异使得为模型获得足够的训练数据更加困难，并且还使得难以比较使用具有不同特征的oct系统获得的图像，或者难以使用基于从第二和不同类型的oct系统获得的数据训练的模型可靠地分割使用一种类型的oct系统获得的图像。
69.图1示出了人眼的简化图。光通过角膜10进入眼睛。虹膜20通过改变允许光前进到晶状体30的瞳孔25的大小来控制允许通过的光量。前房40包含房水45，房水45确定眼内压(iop)。晶状体30聚焦用于成像的光。晶状体的聚焦特性由重塑晶状体的肌肉控制。聚焦的光穿过充满玻璃体液55的玻璃体房。玻璃体液维持眼睛的整体形状和结构。然后，光落在具有感光区域的视网膜60上。特别地，黄斑65是负责接收视觉平面中心的光的视网膜区域。在黄斑内，视网膜中央凹70是视网膜对光最敏感的区域。落在视网膜上的光产生电信号，该电信号被传递到视神经80，然后传递到大脑进行处理。
70.一些疾病导致眼睛的光学性能下降。在某些情况下，眼内压(iop)过高或过低。例如，这是由前房中房水的产生速率过高或过低或前房中房水的引流引起的。在其他情况下，视网膜太薄或太厚。例如，这是由于视网膜中流体的积聚而产生的。与异常视网膜厚度(rt)相关的疾病包括例如青光眼、黄斑变性、糖尿病性视网膜病、黄斑水肿和糖尿病性黄斑水肿。在某些情况下，rt的健康范围是从175μm厚到225μm厚。一般来说，iop或rt或两者的异常表明可能存在几种眼科疾病中的一种。此外，iop或rt根据眼科处理或其他程序而变化。因此，希望有一种测量iop和/或rt的方法，用于诊断眼科疾病和评估给定患者的处理效果。在一些情况下，希望测量一个或更多个视网膜层的厚度，例如多个层的厚度。此外，期望处理从oct系统获得的数据以帮助识别眼睛中的流体袋或区域，因为这些可能指示眼睛健康的变化。
71.如所描述的，所公开的oct系统可包括扫描仪，其可被控制以使测量光束在患者视网膜上以扫描图案移动。扫描图案可以是各种类型中的一种，包括停走扫描图案、星形扫描图案、连续扫描图案、李萨如扫描图案或有时称为玫瑰线的花形图案。如将进一步详细描述的，花形图案或玫瑰线可用于生成测量数据，测量数据可被处理以生成表示将从不同扫描图案获得的数据的数据。此外，花形图案或玫瑰线可用于生成测量数据，该测量数据可被处理以生成干涉测量数据，该干涉测量数据可被用作经训练的cnn的输入以提供视网膜层的分割。
72.图2a示出了根据一些实施例的用于测量用户眼睛的双目oct设备4900的透视图。双目oct设备4900包括光学耦合到oct测量系统的第一可调透镜4916-1和配置在手持单元主体4903(例如，外壳)内的第一固视目标，这两者在该图中从视野中隐藏。类似地，第二可调透镜4916-2可以光学耦合到oct测量系统和第二固视目标(隐藏)。第一可调透镜4916-1可以是第一自由空间光学器件的一部分，其被配置为提供固视目标并测量用户眼睛的视网膜厚度，而第二可调透镜4916-2可以是第二自由空间光学器件的一部分，其被配置为仅提供固视目标以便减少双目oct设备4900中的部件数量。例如，虽然两个自由空间光学器件都为用户提供了固视目标，但是只有一个自由空间光学器件用于测量视网膜厚度，因为在用户测量第一只眼睛之后，双目oct设备4900可以上下颠倒，即倒置，使得用户可以测量另一只眼睛。
73.在该实施例中，双目oct设备4900包括瞳孔间距(ipd)调节机构4905，该调节机构4905可在手持单元主体4903的外部上接近。在该实施例中，ipd调节机构4905包括两个部件，第一部件4905-1，当眼罩4901-1和4901-2搁置在用户的脸上时，当用户将双目oct设备4900放置在用户的眼睛前面时，第一部件4905-1调节透镜4916-1和4916-2之间的距离以匹配用户的瞳孔的ipd。
74.该ipd可由医疗保健专业人员设置并锁定到用户在家测量视网膜厚度的位置。可替代地，ipd可以是用户可调节的。开关(或其他调节方法，例如螺丝或刻度盘)4904可用于调节透镜4916-1和4916-2以匹配用户的屈光，即眼镜处方。可替代地，可以使用诸如平板电脑的移动设备对患者的每只眼睛的屈光进行编程。例如，用户可以用一只眼睛固视第一固视目标，用另一只眼睛固视第二固视目标，并且可移动透镜针对用户的屈光被调整。开关4904可以选择性地调节手持单元主体4903内的透镜4916-1和4916-2的组件，以改变透镜4916-1和4916-2的定位。这些位置可以由医疗护理专业人员输入到设备中，并与来自取向传感器的取向一起存储在处理器中，如本文所述。该设备可以倒置，并重复该过程。可替代地或附加地，每只眼睛的处方可以存储在处理器中，并且透镜响应于取向传感器的取向而针对每只眼睛的适当屈光被调节。
75.部件4905-1和4905-5两者都可以实现为医疗护理专业人员手动旋转的一个或更多个轮子。可替代地，ipd调节机构4905可以是电动的。就这一点而言，部件4905-1和4905-5可以被配置为方向开关，其基于用户引导开关的方向来致动手持单元主体4903内的电机以旋转手持单元主体4903内的齿轮。
76.开关4904可用于调节双目oct设备4900的聚焦。例如，因为由透镜4916-1和4916-2的调节所影响的焦距变化可以通过透镜4916-1和4916-2的调节以惯用的屈光力单位(例如屈光度)来测量。屈光度开关4906还可以包括方向开关，该方向开关基于医疗护理专业人员引导开关调节双目oct设备4900的屈光力的方向来致动手持单元主体4903内的电机以旋转手持单元主体4903内的齿轮。由于双目oct设备4900可包括电子设备，因此双目oct设备4900可包括电源开关4906以控制双目oct设备4900的供电。
77.眼罩4901-1和4901-2中的每一个都可以螺纹安装并联接至外壳，以允许在测量期间调节眼睛的位置。与本公开相关的工作表明，眼罩可以由医疗护理专业人员调节并锁定在适当位置，以允许用于视网膜厚度测量的眼睛的充分可再现的定位，如本文所述。可替代地或组合地，眼睛位置传感器，例如浦肯野(purkinje)图像传感器，可用于确定从眼睛到oct测量系统的距离。
78.双目oct设备4900可包括适当的尺寸和重量，用于在家里测量和用于用户在旅行中携带双目oct系统。例如，双目oct系统可以包括合适的长度、合适的宽度和合适的高度。该长度可以沿着对应于用户观看方向的轴线延伸。长度可以在约90mm至约150mm的范围内，例如约130mm。宽度可以横向于长度延伸，并且可以在大约90mm到大约150mm的范围内，例如大约130mm。例如，高度可以在大约20mm到大约50mm的范围内。在一些实施例中，长度在约110mm至210mm的范围内，宽度在约100mm至200mm的范围内，高度在约50mm至约110mm的范围内。在一些实施例中，设备的最大跨越距离在从大约200mm到大约350mm的范围内，例如大约300mm。
79.双目oct系统的重量可以在约1磅至2磅的范围内，例如0.5千克至约1千克。
80.双目oct设备4900可以被配置为掉落并且仍然正常工作。例如，双目oct设备可以被配置成从大约30厘米的高度掉落，并且仍然起作用，以便精确地执行视网膜厚度测量，例如，测量的视网膜厚度的变化不超过测量的可重复性。双目oct系统可以被配置为从大约1米的高度掉落，而不会出现安全危险，例如玻璃破碎。
81.图2b示出了根据一些实施例的双目oct设备4900的框图，其示出了手持单元主体4903内的各种部件。例如，双目oct设备4900包括自由空间光学器件4910-1和4910-2。自由空间光学器件4910-1和4910-2中的每一个包括用于其相应眼睛的固视目标4912，其允许用户在测量用户的视网膜厚度时固视/凝视目标，并允许用另一只眼睛固视，以便提供双眼固视。固视目标可以包括用诸如led的光源背照的孔(例如，圆形孔以形成圆盘形照明目标，尽管可以使用十字或其他合适的固视刺激)。自由空间光学器件4910-1和4910-2还可以分别包括屈光误差(re)校正模块4911-1和4911-2，其分别包括透镜4916-1和4916-2。这些透镜可以移动到对应于适当眼睛的屈光误差的预编程位置。自由空间光学模块4910-1和4910-2中的外围板4915-1和4915-2分别提供对电动台4914-1和4914-2的电子控制，以校正观察双目oct设备4900的固视目标的相应眼睛的屈光误差。
82.如本文所讨论的，双目oct设备4900可包括可用于将双目oct设备4900舒适地搁置在用户脸上的眼罩4901-1和4901-2。它们还可以被配置成在用户凝视双目oct设备4900时遮挡外部光。眼罩4901还可以包括眼罩调节机构4980-1和4980-2，其允许医疗护理专业人员和可选地用户相对于手持单元主体4903来回移动眼罩4901-1和4901-2，以舒适地将眼罩定位在用户的脸上，并适当地定位每只眼睛用于测量。
83.在一些实施例中，双目oct设备4900包括光纤干涉仪模块4950，该光纤干涉仪模块4950包括单个vcsel或多个vcsel 4952。一个或更多个vcsel 4952光学耦合到光纤分配模块4953，光纤分配模块4953光学耦合到光纤马赫-曾德尔(mach-zender)干涉仪4951。对于包括多个vcsel4952的实施例，每个vcsel可以各自包括与多个vcsel
·
4952中的其他vcsel不同的波长范围，以便扩展光的光谱范围。例如，每个vcsel 4952可以使激光脉冲化，该激光在一个波长范围内扫频一段时间。如本文所述，多个vcsel 4952中的每个vcsel 4952的扫频范围可与另一个vcsel4952的相邻扫频范围部分重叠。因此，多个vcsel 4952的波长的总扫频范围可以扩展到更大的波长扫频范围。另外，来自多个vcsel 4952的激光的发射可以是顺序的。例如，多个vcsel 4952中的第一vcsel可以在第一波长上扫掠激光脉冲一段时间。然后，多个vcsel 4952中的第二vcsel可以在第二波长上扫掠激光脉冲一个类似的持续时间，然后是第三vcsel，依此类推。
84.来自vcsel 4952的激光被光学地传送到光纤分配模块4953，其中激光的一部分被光学地传送到光纤连接器4960，用于在主电子板4970中进行分析。光纤连接器4960可以将多根光纤从光纤分配模块4953连接到光纤连接器模块4960。激光的另一部分被光学传送到光路距离校正(opd)模块4940，并最终传送到自由空间视网膜厚度光学器件4910-1，用于传送到用户的眼睛并用马赫-曾德尔干涉仪的测量臂的一部分测量用户的眼睛。例如，opd校正模块4940可以包括外围板4943，外围板4943由主电子板4970控制以致动电动台4942以改变用户眼睛、马赫-曾德尔干涉仪的耦合器和一个或更多个vcsel 4952之间的光路距离。opd校正模块4940还可以包括光纤准直器4941，其在来自vcsel 4952的激光传送到用户眼睛之前对其进行准直，并且光纤准直器可以随opd校正模块4940平移。
85.控制器接口4930可用于接收用户输入以控制双目oct测量系统。控制器接口可包括第一控制器接口4930-1和第二控制器接口4930-2。控制器接口4930可以包括触发按钮机构，其允许用户启动一系列步骤来对准眼睛并测量视网膜，如本文所述。可替代地或组合地，该设备可以配置有自动捕获功能，使得当该设备在适当的公差内对准眼睛时，数据被自动采集。
86.另外，双目oct设备4900可以包括扫描仪模块4990，其以图案(例如，停走扫描图案、星形扫描图案、连续扫描图案、李萨如扫描图案或花形扫描图案(玫瑰线))扫描来自一个或更多个vcsel 4952的激光。例如，扫描仪模块4990的外围板4991可以通信地耦合到主电子板4970，以接收控制信号，该控制信号指导扫描仪模块4992以图案扫描来自vcsel 4952的脉冲激光，以在用户的眼睛上执行光学相干断层扫描(oct)。扫描模块4990可包括密封窗口4992，密封窗口4992接收来自光纤准直器4941的激光并光学地将激光传送到自由空间二维扫描仪4993，自由空间二维扫描仪4993提供激光的扫描图案。二维扫描仪可以包括如本文所述的扫描仪，例如双轴电流计或双轴静电扫描仪。当存在时，密封窗口4992可用于保持双目oct设备4900的内部部件没有灰尘和/或湿气。然后激光被光学传输到中继光学器件4994，使得扫描的激光可以经由自由空间rt光学器件4910-1输入到用户的眼睛。在这点上，扫描的激光可以被传输到热镜4913，使得红外光可以被反射回热镜、扫描镜并聚焦到耦合到准直透镜的光纤尖端。例如，热镜4913通常透射可见光并反射红外光，并且可以包括二向色短通镜(short pass mirror)。
87.扫描仪和相关联的光学器件可以被配置成扫描视网膜的任何适当大小的区域，例如包括视网膜中央凹的区域。在一些实施例中，扫描仪被配置成响应于存储在诸如控制器的处理器上的指令，以诸如预定扫描图案的扫描图案扫描视网膜。例如，扫描仪可以被配置成在包括例如从大约1.5到3mm的范围内的最大跨越距离的区域上扫描视网膜。视网膜的扫描区域可以包括大于视网膜厚度图的区域，以便考虑对准中的轻微误差，例如眼睛相对于oct系统的横向定位中高达0.5mm的误差，例如，以便例如通过基于眼睛的测量位置对准图来补偿对准误差。视网膜上的oct测量光束的大小可以在约25微米至约75微米的范围内。在一些实施例中，反射镜以对应于视网膜上的扫描速率的连续轨迹移动，扫描速率在大约每秒10mm到大约每秒200mm的范围内，并且扫描速率可以在大约每秒50mm到大约每秒200mm的范围内。例如，a扫描期间光束的位移可以在大约2到10微米的范围内。多个a扫描中的每一个的光束可以重叠。在一些实施例中，反射镜以对应于扫描图案的轨迹的一个或更多个旋转连续移动，并且扫频源vcsel以与光束的大小和光束在视网膜上的速度相关的合适频率开启和关闭。在一些实施例中，在扫描图案的至少一部分期间，多个a扫描中的每一个在视网膜上重叠。
88.在其中一个或更多个vcsel包括多个vcsel的实施例中，对于每个a扫描，可以顺序地扫描多个vcsel，使得来自多个vcsel中的每一个的测量光束在视网膜上与先前的扫描重叠。例如，来自第一a扫描的多个vcsel中的每一个的顺序生成的光束中的每一个可以沿着轨迹与来自第二a扫描的多个vcsel中的每一个的顺序生成的光束中的每一个重叠。
89.如本文所述，双目oct设备4900可包括经由部件4905-1和/或4905-2的ipd调节。这些部件可以通信地耦合到手动平移台ip调节模块4982，手动平移台ip调节模块4982执行自由空间光学模块4910-1和4910-2的致动，以便改变自由空间光学模块之间的间隔距离并调
节ipd。
90.主电子板4970可包括多种部件。例如，光电检测器4972可用于接收通过光纤连接器4960从vcsel 4952引导的激光以及从用户眼睛反射的干涉光。光纤连接器4960可以包括模块4961，该模块4961将多根光纤(例如四根光纤)耦合到多个检测器(例如五个检测器)。光纤连接器4960还可以包括干涉仪时钟盒4962(例如标准具)，其可以用于相位包裹(phase wrapping)从用户眼睛反射回来的光，如本文所示和描述的。一旦被光电检测器4972接收，光电检测器4972可以将光转换成要在主电子板4970和/或另一处理设备上处理的电子信号。例如，多个光电检测器可以包括耦合到光纤马赫-曾德尔干涉仪的平衡检测器对的两个检测器、时钟盒检测器和一对功率测量检测器。
91.主电子板4970可以包括通信电源模块4973(例如，通用串行总线或“usb”)，其可以通信地将双目oct设备4900耦合到另一处理系统，向双目oct设备4900提供功率，和/或对双目oct设备4900的电池充电。当然，双目oct设备4900可以包括可用于将信息从双目oct设备4900传送到另一设备的其他模块，包括例如wi-fi、蓝牙、以太网、火线等。
92.主电子板4970还可以包括vcsel驱动电子器件4971，其指导vcsel4952如何以及何时朝向用户的眼睛发射。主电子板4970上的其他部件包括模拟块4974和数字块4975，其可分别用于处理和/或生成模拟和数字信号，模拟和数字信号被(例如，从外部处理系统)传输到双目oct设备4900，从双目oct设备4900内的各种部件接收，和/或从双目oct设备4900内的各种部件接收。例如，外围反馈按钮4932可以生成由模拟块4974和/或数字时钟4975处理的模拟信号，模拟块4974和/或数字时钟4975又可以生成用于经由外围板4943刺激电动台模块4942的控制信号。可替换地或附加地，模拟块4974可以处理来自光电检测器4972的模拟信号，使得它们可以由数字块4975转换成数字信号，用于后续的数字信号处理(例如，fft、相位包裹分析等)。
93.图2c示出了根据一些实施例的可利用双目oct 4900实现的光学配置5100的示意图。光学配置5100包括经由光耦合器5126光纤耦合的一个或更多个vcsel 4952。如上所述，当发射时，一个或更多个vcsel 4952可以在波长范围内被扫掠。对于具有多个vcsel 4952的实施例，波长可以与多个vcsel 4952中的另一个vcsel 4952的波长扫频范围部分重叠，以便增加vcsel 4952的总扫频范围。在一些情况下，该总扫频范围以大约850nm为中心。来自一个或更多个vcsel 4952的激光通过光纤耦合器5126传播到光纤线5127，其中另一个光耦合器5118沿着两条不同的路径分割来自一个或更多个vcsel 4952的一部分光能。
94.在第一路径中，大约95％的光能被光学传递到另一个光耦合器5119，其中大约5％的光能被光学传递到光耦合器5120。在第二路径中，通过光耦合器5120再次分离光能。在这点上，来自光耦合器5120的大约75％的光能通过干涉仪例如包括标准具的法布里-珀罗干涉仪传递到相位校正检测器5101-1。标准具和检测器可以包括光学时钟5125的部件。例如，光学时钟5125可以包括单个标准具。标准具可以包括基本平行的平坦表面，并且相对于激光束的传播方向倾斜。表面可包括涂覆或未涂覆的表面。材料可以包括具有合适厚度的任何合适的透光材料。例如，标准具可以包括在从约0.25mm到约5mm的范围内的厚度，例如在从约0.5mm到约4mm的范围内的厚度。标准具表面的反射率可在约3％至约10％的范围内。标准具可以相对于激光束传播方向倾斜，例如以从大约5度到大约12度的范围内的角度倾斜。标准具的精细度(finesse)可以在大约0.5到大约2.0的范围内，例如在大约0.5到1.0的范
围内。标准具可以包括任何合适的材料，例如光学玻璃。标准具的厚度、折射率、反射率和倾斜角可以配置成在时钟盒检测器处提供基本上正弦的光信号。在大约0.5到2.0的范围内的精细度可以提供非常适合于本文所述的相位补偿的基本上正弦的检测器信号，尽管可以有效地利用具有更高精细度值的实施例。
95.在一些实施例中，时钟盒可包括多个标准具。该方法在其中一个或更多个vcsel包括多个vcsel，并且多个标准具提供附加相位和时钟信号信息的实施例中是有用的。例如，时钟盒可以包括第一标准具和第二标准具，第一标准具和第二标准具被布置成使得光依次穿过第一标准具，然后穿过第二标准具，例如串联配置，其可以提供时钟盒信号的频率混合，并且减少用于测量扫频源的相位的检测器和相关电路的数量。可替代地，多个标准具可以平行配置地布置，其中多个标准具耦合到多个检测器。
96.相位校正检测器5101-1可以使用来自光学时钟5125的光信号来校正从用户眼睛5109-1反射的光的相位，方法是通过如本文所述的来自一个或更多个vcsel 4952的光的相位包裹来匹配一个或更多个vcsel 4952的相位。为了光学安全，来自光耦合器5120的剩余25％的光能可以光学地传递到检测器5101-2。例如，根据设备的取向，检测器5101-2可以用于确定有多少光能被传递到用户的眼睛5109-1或5109-2。如果双目oct设备4900确定检测器5101-2接收到太多可能损害用户眼睛的光能，则双目oct设备4900可以作为关闭vcsel 4952的“关闭开关(kill switch)”来操作。可替代地或附加地，双目oct设备4900可以监视检测器5101-2，以增加或减少来自vcsel 4952的光能，这被认为是激光安全和/或信号处理所必需的。oct设备可以包括第二安全检测器5101-3，以提供用于改善眼睛安全的冗余测量。
97.传输到光耦合器5119的光能(例如，来自一个或更多个vcsel 4952的大约95％的光能)也沿着两条路径分裂，其中大约99％的剩余光能沿着光纤被光学传输到光耦合元件5122，并且大约1％的剩余光能也被光学传输到检测器5101-3，用于双目oct设备4900的激光安全。传输到光耦合器5122的光能部分可以由光耦合器5122在马赫-曾德尔干涉仪的两个光路环5110和5111之间分割，例如每个大约50％。光路环5110可包括干涉仪的参考臂，并提供用于用户眼睛5109-1的视网膜厚度测量的参考光信号(例如，通过光路环5111从用户视网膜反射的测量信号)。
98.通过光环5111传递的光能部分沿着马赫-曾德尔干涉仪的测量臂传递到用户的左眼5109-1。例如，传输到用户眼睛5109-1的光能可以通过opd校正模块4940，以执行适合于双目oct设备4900的干涉仪的任何光路距离校正。然后，当用户的眼睛5109-1固视在固视目标4912-1上(例如，沿着固视路径5106-1)时，该光可以经由扫描仪模块4990的扫描镜5113在用户的眼睛5109-1上扫描，以测量用户的眼睛5109-1的视网膜厚度。
99.固视目标4912-1可以用led 5102-1背照，并且光可以沿着光路5106-1传播通过光学元件5103-1和5105-1以及包括热镜的二向色镜5115。在一些情况下，固视目标还可以包括照明光阑(illumination stop)5104，以便在固视目标时向用户的眼睛5109-1提供缓解。
100.照射用户的眼睛5109-1的视网膜的光可以沿着由opd校正模块4940、扫描镜5113、聚焦元件5114、二向色镜5115和光学元件4916-1建立的路径反射回来，通过光学环5111，并且回到光耦合器5122。在这种情况下，光耦合器5122可以光学地将反射光能传递到光耦合器5121，光耦合器5121可以将反射光能与被分到光环5110中的光能耦合。然后，光耦合器
5121可以将该光能光学地传递到平衡检测器5101-4和5101-5，使得可以执行视网膜厚度测量。在这样做时，光耦合器5121可以将该光能分大约50％到检测器5101-1和5101-4中的每一个，使得干涉信号异相到达平衡检测器上。
101.光可以通过多个光学元件5112和5114聚焦，经由二向色镜5115被引导到用户的眼睛5109-1，并且经由光学元件4916-1聚焦在用户的视网膜上。来自扫描镜5113的光和从用户眼睛5109反射的光都被示为从二向色镜5115反射，二向色镜5115可以包括热镜4913，热镜4913被配置为通常反射红外光并透射可见光。
102.如在该示例中可以看到的，用户的右眼5109-2不接收来自一个或更多个vcsel 4972的具有所示取向的任何光能。相反，用户的右眼5109-2用于与目标4912-2的双目固视，目标4912-2可以用另一个led 5102-2背照。目标4912-2可以具有与目标4912-1相似的尺寸和形状，并且以相似的光学器件呈现给眼睛，以便提供双目固视。就这一点而言，用户的右眼5109-2还可以沿着穿过光学元件4916-2、5105-2、5103-2的光路5106-2和照明光阑5104-2固视在目标4912-2上，照明光阑5104-2包括与沿着光路5106-1的光学器件相似的光功率、分隔距离和尺寸。
103.双目oct系统4900可被配置为将光学部件移动到被测量用户的定制配置。透镜4916-1可以根据屈光，例如被测量的眼睛的眼镜处方，沿着光路5106-1被调节。透镜4916-1可以在计算机、用户或其他控制下移动，以调节透镜4916-1，使固视目标4912-1聚焦，并将oct干涉仪的测量光束聚焦在用户的视网膜上。例如，透镜可以如箭头5146所示平移。透镜4916-2可以在计算机、用户或其他控制下移动，以调整透镜4916-2，使固视目标4912-2聚焦在用户的视网膜上。例如，透镜可以如箭头5144所示平移。如箭头5146所示，opd校正模块4940可以轴向地朝向和远离反射镜5113平移。opd校正模块4940可以在计算机控制下移动，以适当地定位测量臂和被测量用户眼睛的参考臂之间的光程差。可以通过使光路5106-2朝向和远离光路5106-1平移来调节瞳孔间距离。
104.自由空间光学模块4910-2可包括沿着光路5106-2的一个或更多个部件，诸如led 5101-2、固视目标4912-2、透镜5103-2、孔5104-2、透镜5105-2或透镜4916-2。自由空间光学模块4910-2可以朝向和远离沿着光路5106-1定位的光学部件横向平移，以调节瞳孔间距离，如箭头5142所示。自由空间视网膜厚度光学模块4910-1可以包括沿着光路5106-1定位的一个或更多个部件，例如led 5102-1、固视目标5103-1、孔5104-1、反射镜5116、透镜5105-1、反射镜5115或透镜4916-1。opd校正模块5146可以包括干涉仪的测量臂的光纤和透镜5112，以基本上准直来自光纤的光并将来自视网膜的光聚焦到光纤中。
105.在一些实施例中，a扫描表示样本的深度反射率分布，并且可以通过对检测到的干涉图执行傅立叶变换而产生，干涉图是在改变诸如vcsel之类的光源的波长时获得的，如本文所述。在一些实施例中，b扫描包括对应于沿平面的组织切片的2d图像。在一些实施例中，通过以线性扫描图案沿着样本扫描测量光束来生成b扫描图像，其中b扫描包括沿着扫描图案的多个a扫描。在一些实施例中，用于形成b扫描的多个a扫描中的每一个代表在沿着扫描图案的测量位置或测量点处收集的干涉测量数据。可替代地或组合地，可以从非线性扫描图案生成b扫描，以便例如利用本文所述的非线性扫描图案的内插或映射中的一个或更多个来表示沿着组织的线性部分的组织切片。
106.如所描述的，oct系统操作以在视网膜上以特定扫描图案移动测量光束。该扫描图
案可以采取几种不同的形式，包括但不限于停走扫描图案、星形扫描图案、连续扫描图案、线性扫描图案、李萨如扫描图案或花形扫描图案。图3示出了根据一些实施例的可用于收集oct数据的扫描图案(在本文称为“花形”扫描图案)的示例。图中所示的扫描图案300也称为玫瑰线，其中玫瑰线是正弦曲线的极坐标表示。花形扫描图案300包括多个波瓣310或瓣(petal)，每个波瓣的一端连接到中心点或位置320并从中心点或位置320径向向外延伸。图中所示的花形图案有12个波瓣或瓣，尽管在扫描图案中可能存在不同的数量。
107.该图示出了患者眼睛上的扫描图案的叠加，并指示了眼睛组织例如视网膜组织的几个区域。图中的三个同心环或环形区域330(由虚线示出)表示患者眼睛的视网膜的不同区或区域。在一些实施例中，最内环332表示患者眼睛的视网膜中央凹区域的至少一部分，中间环334表示患者眼睛的黄斑区域，并且最外环336表示视网膜中央凹外部的区域。在图中，最内环332和中间环334之间的扇区或区域被划分为4个区。类似地，中间环334和最外环336之间的扇区或区域在图中被分成4个区。在一些实施例中，多个区包括患者视网膜的总共9个识别的区或区域。在一些实施例中，最内环具有大约1mm的直径，并且包含视网膜中央凹，该视网膜中央凹可以具有大约0.35mm的直径。在一些实施例中，中间环具有约2mm的直径并包含黄斑，黄斑可以具有约1.5mm的直径。在一些实施例中，最外环的直径约为2.5mm，代表黄斑外的视网膜区域。
108.在图3中所示的示例扫描图案中，沿着扫描轨迹的每个斑点表示视网膜上进行测量和收集数据的位置。在一些实施例中，这可能是由于在沿着图案的那些点处打开光源以产生测量光束，并且在沿着图案的其他点处关闭光源，而导致的。注意，测量的密度(即，测量点或斑点之间的间距)沿着轨迹的不同区域或部分变化。
109.如示例中所示，对于位于最内环332内的波瓣部分，测量密度较小。对于位于最内环332之外的扫描图案的部分，测量点的密度增加，对于环332和334之间的部分，测量点的密度增加，并且对于在该示例中位于中间环334之外的波瓣的末端或尖端的部分，测量点的密度进一步增加。因此，在该示例中，测量和数据收集点的密度沿扫描变化。
110.在一些实施例中，可以通过改变扫描镜的扫描速度和由扫描镜生成的扫描图案的几何形状来控制沿着扫描图案的测量点的密度，同时保持相同的a扫描采集速率。注意，每个波瓣310包括基本连续的扫描图案，在测量光束的波瓣或扫描路径内具有未扫描区域。如测量点和这些点的密度变化所示，测量光束和/或数据采样不是连续的，而是在扫描过程中被调制(开启和关闭)。
111.可以通过将电压或电流波形施加到一个或更多个致动器，例如微机电(mems)器件，使扫描镜移动。在一些实施例中，可以通过施加静电力使反射镜移动。静电力可以由一个或更多个电容器提供。在一些实施例中，反射镜的位置或取向可通过施加电磁力而引起移动。在一些实施例中，电磁力可以由电流计、静电换能器或压电换能器中的一个或更多个提供。
112.在oct系统的操作期间，驱动信号或波形(或多个波形)被输入到扫描仪或扫描镜控制器。驱动信号操作以使一个或更多个致动器移动反射镜。这可以通过使反射镜绕x和/或y轴线旋转来实现。当反射镜移动时，根据由输入驱动信号或多个信号确定的扫描图案，从反射镜反射的测量光束被重定向并使其在患者的视网膜上移动。从视网膜表面或内层反射的光与测量光束的参考版本干涉，形成由检测器检测的干涉图。因此，可以改变到一个或
更多个致动器的驱动信号，以使得测量光束以期望的扫描图案在视网膜上扫描，数据由oct系统的其他元件检测和存储。
113.图4示出了根据一些实施例的使用图3的扫描图案或轨迹由oct获取的一组干涉图或a扫描400。在图中，一组a扫描被堆叠在彼此的顶部，以生成所示的图像。在一些实施例中，当一个或更多个vcsel随时间在波长上扫掠时，通过测量干涉图的强度，并对测量的干涉图进行傅立叶变换，来生成每个a扫描。因此，在图4中，示出了一组傅立叶变换的干涉图，其中每个傅立叶变换的干涉图对应于a扫描。沿着扫描图案的测量光束的每个a扫描在图中产生一行水平像素。oct系统能够通过改变参考镜的位置来成像视网膜及其相关组织结构的不同深度。例如，该图示出了通过连接或堆叠在图3的扫描图案的循环期间执行的多个扫描而获得的内界膜(ilm)410和视网膜色素上皮(rpe)420的图像。
114.在一些实施例中，使用一个扫描图案收集的数据可以经受进一步处理以获得预期由第二扫描图案生成的数据。在一些实施例中，这可涉及内插、外推或以其他方式处理作为图3的扫描图案的结果而获取的测量数据，以产生预期作为第二和不同扫描图案的结果而获取的数据。
115.作为示例，图5示出了根据一些实施例的叠加在径向扫描图案上的图3的扫描图案，其数据可以通过对从图3的扫描图案获得的数据进行内插来获得。在该示例中，通过测量光束沿着花形扫描图案510的移动获得的数据可以被内插或以其他方式处理，以产生通过在“星形”或径向图案520上执行扫描所期望的数据。用于生成对应于不同扫描图案的数据的内插、外推或其他形式的处理可以基于任何合适的技术或方法，包括但不限于线性内插、多项式内插、最近邻内插或样条内插等。
116.尽管图5示出了星形或径向扫描图案，但应当理解，通过使用花形或玫瑰线扫描图案获得的测量数据的内插、外推或其他处理可用于生成与其他类型的扫描图案相对应的测量数据，扫描图案包括但不限于停走、圆形、星形、李萨如、线性、光栅和其他图案。在一些实施例中，这允许使用花形、弯曲或波瓣状扫描图案获取的数据用于“模拟”或表示使用径向、线性或其他扫描图案获取的数据。
117.图6示出了根据一些实施例，可以如何将患者眼睛的表面划分成区或区域以用于通过比较从每个区收集数据所花费的扫描量或扫描时间来比较扫描图案的目的。如图所示，眼睛的表面可以被分成一组区，在这种情况下是9个区。在图中，每个区由标签z0、z1至z8标识。在一些实施例中，每个区可用于生成视网膜厚度图，其中示出了每个区的总厚度，例如平均厚度。在一些实施例中，比较来自同一只眼睛在不同时间的测量数据，以生成示出每个区的视网膜厚度随时间变化的图。
118.如已经描述的，视网膜厚度的测量和视网膜厚度随时间的变化可以提供疾病或病症的指示，甚至提供对于与眼睛没有直接关系的疾病或病症的指示。这是获得oct扫描数据并处理该数据以使其能够用于创建可被分析以确定视网膜厚度的图像的价值的一个原因。
119.尽管一些oct系统能够收集和处理oct扫描数据以增强显示视网膜的ilm和rpe层的图像，但是这些图像的解释仍然是困难的并且容易出错。层之间的模糊性或缺乏明显的边界会给视网膜厚度的测量带来不确定性。减少这些不准确性的一种方法是通过训练机器学习模型将图像“分割”成更好定义的ilm和rpe层。这种分割使得能够更精确地测量视网膜厚度，并且如上所述，该信息有助于眼病的诊断和处理。在一些实施例中，使用经过训练的
神经网络来执行oct图像的分割。
120.如本文所述，经训练的卷积神经网络(cnn)可用于分割干涉图并提供可更有效地用于确定视网膜厚度测量的所得图像。在一些示例中，这是cnn对图像进行操作以增强内界膜(ilm)层的边界的结果，其中ilm是眼睛的视网膜和玻璃体之间的边界。使用cnn或其他形式的经过训练的图像处理模型有助于识别视网膜中组织层的边界，并获得视网膜厚度的更精确的测量值。
121.然而，如所提到的，训练cnn或其他形式的神经网络需要一组相对较大的适当注释的训练数据。不幸的是，对于由特定类型的oct设备或系统产生的干涉图，足够大的注释数据集可能是不可用的，该特定类型的oct设备或系统例如是使用不同于用于生成扫描——对于这些扫描，更多数据是可用的——的扫描图案的扫描图案操作的oct设备或系统。例如，目前有相对大量的数据可用于使用径向或光栅扫描图案生成的扫描，但是对于使用其他形式的扫描图案生成的扫描，可用的数据相对较少。这使得训练和使用cnn来分割从使用非径向图案的扫描图案导致的扫描生成的图像变得困难。
122.图7示出了根据一些实施例的用于训练cnn或其他形式的神经网络以执行干涉图图像的分割的过程700。如图所示，在一些实施例中，训练数据包括来自两个源的oct扫描数据：(1)第一源710(在图中称为“参考b扫描”)，以及相关联的注释或标签712(在图中称为“注释”)；以及(2)第二源720(在图中称为“pbos干涉图”)，以及相关联的注释或标签722(在图中称为“注释”)。
123.更一般地，这两个源表示从操作oct系统并基于以第一扫描图案移动测量光束而获得的第一数据源和从操作oct系统(其通常是不同的oct系统，但不要求如此)并基于以第二和不同的扫描图案移动测量光束而获得的第二数据源。在一些实施例中，第一扫描图案是线性(例如，径向)扫描图案，第二扫描图案是弯曲(例如，花形)扫描图案。
124.在一些实施例中，从两个源中的一个可获得的信息、数据、扫描、图像或干涉图的量对于训练cnn的目的可以是足够的，而从另一个源获得的量相对较少并且被认为对于训练目的是不够的。在一些实施例中，从oct系统或扫描图案中的一个获得的图像或干涉图可以比从另一个oct系统或扫描图案获得的图像或干涉图分辨率更高。
125.在一些实施例中，经训练的神经网络可用于处理使用不存在足够训练数据的扫描图案获得的图像或干涉图。在一些实施例中，这可以是图中称为pbos干涉图720的扫描类型。在一些实施例中，扫描720可以基于使用弯曲扫描图案获得的数据。结果，如果期望能够对使用从弯曲扫描图案获得的数据形成的图像执行图像分割或另一形式的图像处理，则期望用于训练能够利用从不同扫描图案(例如线性扫描图案)获得的图像的神经网络的过程。图7示出了这种训练过程的示例。
126.在一些实施例中，从使用两种类型的扫描图案(线性和弯曲扫描图案)获得的数据生成的图像被用作训练过程的一部分。如将更详细地描述的，训练数据源中的一个或两个可以在用于训练cnn之前经受额外的处理。此外，在一些实施例中，输入到经训练的cnn的图像(在这个例子中是pbos干涉图720)可以在被输入到经训练的cnn之前经受进一步的处理。
127.因为oct数据的两个源(710和720)表示从使用不同扫描图案和/或具有不同分辨率的系统获得的数据，从一种类型的扫描图案获得的扫描、干涉图或图像可受益于在被用于训练cnn或被用作经训练的cnn的输入之前的进一步处理。该进一步处理可依赖于相同或
不同形式的图像处理(例如，平移、采样、翻转、模糊、内插等)。
128.在一些实施例中，进一步的处理用于生成更大的扫描数据或图像集合，以用作cnn的训练数据。基于使用第一类型的扫描图案生成的数据，从b扫描图像710形成附加训练数据。如所提到的，在一个示例中，经训练的cnn对从扫描图案数据生成的图像或使用第二扫描图案获得的图像(720)执行图像处理。
129.在一些实施例中，使用第二扫描图案获得的扫描图案数据或图像可在用于训练目的或作为训练模型的输入之前经受进一步处理。在一些实施例中，该进一步处理可以包括对使用第二扫描图案获得的数据进行内插或外推，以产生预期由使用第一扫描图案产生的数据。在一些实施例中，这包括对使用弯曲扫描图案获得的数据进行内插，以产生预期由使用线性扫描图案产生的数据。
130.在一些实施例中，进一步的处理可用于改变由使用第一扫描图案获得的数据形成的图像，使得图像更接近于由使用第二扫描图案获得的数据形成的图像。在一些实施例中，这种类型的处理可以用于在原始训练数据集输入到cnn之前对其进行处理。在一些实施例中，这种类型的处理可用于在应用其他处理以生成原始图像集的变化之后生成附加训练数据。
131.如图中所示，在一些实施例中，从第一扫描图案710获得的带注释的扫描图像在被用作神经网络740的训练数据之前，可以通过应用图像改变规则集730来进行改变。在一些实施例中，神经网络740可以包括cnn并具有被称为u-net的特定架构。如参考图12更详细地描述的，u-net神经网络由收缩路径(contracting path)和扩展路径(expanding path)组成，这导致u型架构。收缩路径是一个卷积网络，由重复应用卷积组成，每个卷积之后是一个修正线性单元(relu)和一个最大池化操作。在收缩阶段，空间信息减少，而特征信息增加。扩展路径通过与来自收缩路径的高分辨率特征的一系列上卷积和级联来组合特征和空间信息。
132.图像改变规则集730可包括应用于从扫描710获得的数据或图像的一组图像处理操作，以使该数据或图像能够被用作训练神经网络740的输入。在一些实施例中，经训练的网络然后用于处理或分割从扫描720获得的数据或图像。在一些实施例中，图像改变规则集730可以包括一个或更多个图像处理操作，例如非线性二次采样、缩放、翻转、平移、亮度和对比度适应，或者高斯模糊滤波器的应用。
133.如所提到的，并且如图7所示，在一些实施例中，基于第二类型扫描图案720的扫描数据或图像也可用于训练过程中。在这种情况下，这些图像被注释722，并且基于两种类型的扫描图案的数据或图像被用作训练数据。此外，在一些实施例中，可以如上所述处理基于第一类型扫描图案的数据或图像，以生成附加训练数据。此外，在一些实施例中，基于第二类型扫描图案的数据可以被内插、外推或以其他方式处理以生成训练数据。在一些实施例中，可以通过内插注释712来导出注释722；当干涉图720由于测量数据的相对低的光学分辨率而不容易或不可靠地被人注释时，这可能是有用的。在这些情况下，由于用于生成扫描710和720的扫描图案不相同，可能需要对注释或标签的内插。
134.当被训练时，输入到经训练的神经网络740的数据或图像可以是基于第二类型扫描图案的数据或图像，该数据或图像或者是第二类型扫描图案的原始形式的数据或图像，或者是在被内插、外推或以其他方式处理之后的数据或图像。在一些实施例中，内插或其他
数据处理可以用于生成更接近于从第一扫描图案获得的数据或图像的数据或图像。在一些实施例中，该内插可以对从弯曲扫描图案获得的数据进行操作，以生成预期将从线性扫描图案获得的数据。
135.图8示出了根据一些实施例的可在用于如参考图7描述地生成用于训练cnn或其他形式的神经网络的附加训练数据的过程中使用的一组操作。如图中所示，原始图像810(例如从分割基于第一扫描图案710的b扫描获得的图像)可以经受包括随机水平翻转(如820中所示的图像所建议的)、沿x方向的随机移位(830)、沿y轴的随机缩放(840)、沿y方向的随机平移(850)、高斯模糊(860)或可变弹性变换(870)的操作。原始图像的合成过采样产生稍微改变的训练图像，并且将其用作附加训练数据可以最小化模型对训练集的过度拟合的风险。在一些实施例中，这些类型的几何变换可以被称为用于扩充数据集的技术。
136.图9示出了根据一些实施例的基于径向扫描图案的原始b扫描、将图像退化规则集应用于扫描图案以生成干涉图的结果、以及通过使用第二扫描图案获得的干涉图。该图示出了基于径向扫描图案的原始图像910(在图中称为b扫描)。将图像退化或改变规则集920应用于图像910。如图所示，将图像退化或改变规则集920应用于图像910产生图像930(在图中称为“伪干涉图”)。注意，将图像退化或改变规则集920应用于图像910生成更接近于从执行第二类型扫描图案940(在这种情况下是图3的花形扫描图案)的oct设备获得的图像的图像930。在一些实施例中，这些类型的数据处理操作可被称为用于退化作为数据集的一部分的图像的技术。
137.这种相似性是一个实施例的基础，在该实施例中，经训练的神经网络操作以从使用不同于通常用于生成b扫描的扫描图案获得的输入扫描生成b扫描。例如，给定包括从线性扫描图案获得的b扫描图像和从弯曲扫描图案获得的第二组图像的训练数据集，可以训练cnn以将b扫描图像中的注释特征与第二组图像中的相应特征相关联。在一些情况下，b扫描图像可以经受参考图8和图9所示和描述的一个或更多个处理操作。
138.在一些情况下，从弯曲扫描图案获得的数据在被用作训练数据之前可以被内插或以其他方式处理，以更接近地对应于针对使用线性扫描图案扫描的视网膜的区域或特定线性扫描图案获得的数据。在一些实施例中，这被称为重采样处理或操作。当被训练时，神经网络可以操作以接收使用弯曲扫描图案获得的图像(或从弯曲扫描图案生成的内插数据集)作为输入，并且作为响应，输出对应于b扫描的图像，该图像将针对在视网膜区域执行的特定线性扫描图案而获得。
139.该实施例允许使用弯曲扫描图案来使用第一oct设备生成数据，以作为图像的源，该图像的源通常通过使用由第二oct设备执行的线性扫描图案来生成。类似地，它允许使用由执行第一扫描图案的oct系统生成的数据作为训练用于分割由执行第二扫描图案的oct系统生成的数据的模型的一部分。
140.图10a示出了根据一些实施例的原始干涉图1010和通过使用经训练的cnn处理原始干涉图而获得的分割干涉图1020。原始干涉图1010(在图中标识为“所得干涉图”)由使用图3的扫描图案的多次扫描构建，这些扫描捕获从视网膜内不同深度获得的数据。在图3的扫描图案上的位置处的一个或更多个a扫描(其可以被平均或经受其他信号处理以组合来自多个扫描的扫描数据)产生对应于图中单个垂直线的数据。来自多个扫描的数据被组合以产生所示的干涉图1010。当这种类型的干涉图被输入到参考图7和图12描述的类型的训
练过的神经网络时，输出是分割的干涉图图像1020。分割的干涉图图像1020更容易识别某些组织层或层边界，例如ilm和rpe层。这可以提高确定视网膜厚度随时间变化的能力以及识别视网膜中的流体或流体池的能力。干涉图1022是可由经训练的cnn响应于干涉图1010的输入而生成的输出的另一示例。在一些实施例中，输出可以由其他或附加的分割类别，例如，视网膜内液(“irf”)、视网膜下液(“srf”)、色素上皮脱离(“ped”)等中的一个或更多个，组成。
141.注意，在一些实施例中，可以执行干涉图1010的处理以改进分割，例如在2020年8月14日提交的题为“system and method for optical coherence tomography a-scan decurving”的美国临时专利申请62/706,417中描述的被称为去弯曲(decurving)的处理，该美国临时专利申请的全部内容通过引用并入本文。
142.图10b示出了用于获得图10a的干涉图的图3的花形图案扫描图案的示例，包括产生干涉图的指示部分的扫描图案的部分的指示(在图10a和图10b的每一个中由箭头1030示出)。
143.图11a是示出根据一些实施例的用于使用采用第一扫描图案获得的一组oct干涉图来训练神经网络以确定使用第二扫描图案获得的一组oct干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图1100。图中所示的步骤或阶段可以作为编程处理器或处理单元执行一组指令的结果而全部或部分地执行。如图所示，在步骤1110，获得第一多个干涉图。这些干涉图基于oct系统使用第一扫描图案(例如径向扫描图案)收集的数据。在步骤1120，对第一多个干涉图中的每一个进行注释或标记以指示视网膜的一个或更多个组织结构。这些组织结构可包括例如ilm或rpe。通常，注释或标记由在干涉图的主题方面具有专业知识的人执行。在一些示例中，注释或标记可以借助于规则集和图像处理软件或另一类型的自动化或半自动化过程来执行。
144.在一些实施例中，注释可以被分配给图像中的每个像素，并且可以包括背景、前景、视网膜内液、视网膜下液或色素上皮脱离中的一个。
145.在步骤1130，使用第一多个干涉图和相关联的注释来训练神经网络。在一些实施例中，神经网络可以是cnn，更具体地，可以是参考图12更详细描述的u-net架构。在步骤1140，第二多个干涉图被输入到经训练的神经网络。第二多个干涉图基于oct系统使用第二和不同的扫描图案(例如图3的花形扫描图案)收集的数据。在步骤1150，获得经训练的神经网络的输出，其中输出指示使用第二扫描图案扫描的视网膜的组织结构。
146.图11a的实施例表示可由经过适当训练的模型执行的若干任务或目标中的一个。在图11a的示例实施例中，使用从第一oct系统获得的训练数据(和相关联的注释)来训练模型，该第一oct系统操作以使用第一扫描图案来获取图像数据。在训练之后，该模型接受由操作以使用第二扫描图案获取数据的第二oct系统生成的数据作为输入并分割该图像数据。
147.然而，如所提到，在一些情况下，可能没有足够的可用训练数据，或者可能需要补充或改变可用训练数据以使其能够用于训练模型以对从第二oct系统获得的输入数据进行操作。图11b是示出了根据一些实施例的用于使用采用第一oct系统获得的一组oct干涉图来生成附加训练数据来训练神经网络以确定使用第二oct系统获得的一组oct干涉图中的视网膜组织结构的过程、方法、操作或功能的流程图或流程示意图1102。
148.如图11b所示，在一些实施例中，在步骤1112，通过使用第一oct系统扫描一个或更多个视网膜来获得第一多个干涉图。第一oct系统可以具有相关联的分辨率、扫描图案或其他特征。然后对每个干涉图进行注释或标记，这通常涉及将每个像素映射到一个类别，例如视网膜的结构、层、边界或特征，如步骤1122所建议的。接下来，在步骤1124，生成新的或附加的训练数据。如本文所述，新的或附加的训练数据可以与参考步骤1112和1122描述的第一多个干涉图和注释一起使用，或者代替那些干涉图和注释作为训练数据和相关联注释的替换集。
149.接下来，在步骤1132，使用第一多个干涉图、原始注释、新训练数据(和相关联的注释)或附加训练数据(和相关联的注释)中的一个或更多个来产生模型(例如经训练的神经网络)。新的或附加的训练数据和注释可以通过以下数据处理技术中的一种或更多种来生成：(1)扩充——这组技术或操作用于通过将一种或更多种操作(几何变换，例如图8中所示的那些)应用于与图像相关联的一组数据来生成附加的训练数据。扩充用于提供增加的数据可变性，增加经训练模型的稳健性，并防止模型过度拟合原始数据集。可以将几何变换应用于相应的注释，以生成由扩充过程产生的图像数据的注释；(2)退化——这组技术或操作(例如模糊)应用于从具有较高分辨率的oct系统获得的原始图像数据，以获得预期从具有较低分辨率的oct系统获得的数据。在一些实施例中，退化图像可以用作用于训练模型的课程学习过程的一部分；(3)重采样——将该技术或操作应用于使用第一扫描图案获得的图像数据，以生成预期使用第二和不同扫描图案(通常来自不同的oct系统)获得的图像数据。重采样操作可以包括最近邻内插、外推、曲线拟合等；以及(4)配准或对准——该技术或操作用于将对第一组图像作出的特征(边界、区域、流体等)的注释或指示与通过退化第一组图像获得的第二组oct图像中的那些特征的注释或指示对齐。
150.在被训练之后，如步骤1142所建议的，神经网络(或其他形式的经训练模型)接收从使用第二oct系统获得的第二多个干涉图作为输入。经训练模型的输出是对输入图像/干涉图的分割，其指示图像的结构、层、边界、特征、流体池或其他方面。可以通过将每个像素映射到一个或多个类别来获得分割图像。
151.图11c是示出实施例1160的示图，其中从第一oct系统获得的图像数据及其相关联的注释经受重采样、退化和扩充操作中的一个或更多个，以生成用于训练正在用从第二oct系统获得的图像数据及其相关联的注释进行训练的模型的附加训练数据。如图所示，从第一oct系统获得的图像数据1162及其相关联的注释1163都经受重采样处理。重采样处理可以包括内插、外推、曲线拟合或其他合适的数据处理技术。重采样处理的结果是从第一oct系统获得的一组重采样图像数据1164和一组相关联的重采样注释1165。接下来，如步骤1166所建议的，重采样图像数据1164经受退化或扩充中的一个或更多个。退化可以涉及对初始图像数据进行操作以产生对应于较低分辨率图像的图像数据的模糊或其他变换或处理。扩充可以涉及几何变换或操作，例如参考图8描述的那些。结果是从第一oct系统获得的图像数据，该图像数据被制造成类似于预期从第二oct系统获得的图像数据，其中第二oct系统具有较低的分辨率并且使用与第一oct系统不同的扫描图案来操作。此外，通过使用扩充操作，已经生成了附加训练数据，以帮助防止模型对原始数据集的过度拟合。另外如图中所示，重采样的注释数据1165经受扩充处理以生成附加注释数据1167，该附加注释数据1167可以作为训练过程的一部分与重采样的、退化的或扩充的数据1166一起使用。
152.参考图11c描述的处理生成附加训练数据和注释，其可与从第二oct系统1168获得的图像数据及其相关联的注释1169一起使用以训练模型。经训练的模型用于分割使用第二oct系统获得的图像数据。然而，因为第二oct系统(其通常具有与第一oct系统不同的分辨率并利用不同的扫描图案)可用的训练数据(或数据的注释)不足，所以重采样、退化和扩充技术中的一个或更多个被应用于从第一oct设备获得的图像数据(并且在一些情况下，应用于注释)，以生成与可用的训练数据和注释一起使用的附加训练数据和注释。
153.从第二oct系统获得的图像数据的注释1169可以由人直接获得，或者通过对第二oct系统的图像数据1168的机器注释来获得，或者通过对从第一oct系统获得的图像数据1162的注释1163的扩充、重采样或配准中的一个或更多个来获得。注释或标签的配准或对准可取决于第一或第二设备的特性，并且可包括考虑扫描之间的倾斜或移位、扫描图案、扫描位置或其他特性。
154.如所述，原始图像数据和相关联的注释可以单独使用或与附加训练数据和注释一起使用，以训练用于分割图像数据的模型。在一些实施例中，附加训练数据可以通过扩充、退化或重采样操作或处理中的一个或更多个来生成。类似地，与附加训练数据相关联的注释可以基于与原始图像数据相关联的注释的扩充、重采样或配准。
155.在一些实施例中，迁移学习或课程学习的过程可用作训练用于图像数据分割的模型的一部分。在本文，迁移学习指的是一个过程，其中针对一个任务或目标训练而成的模型(或作为模型的一部分的层)被用于不同的任务或目标。这可能涉及将先前训练的模型的一个或更多个隐藏层插入到新模型中，然后使用训练数据集完成新模型的训练。
156.课程学习指的是通过在训练周期的每一次迭代中逐步增加任务的难度来训练模型的过程。作为示例，这可以通过对于每个连续迭代或迭代集合逐渐降低训练数据的质量(例如，通过退化)从而增加正确分类数据的难度来实现。在一些实施例中，这可以通过随着迭代次数的增加将更高分辨率的图像数据退化到更大程度和/或随着迭代次数的增加以更高的概率将从不同oct系统获得的更低分辨率的图像数据添加到训练数据集中来实现。
157.在这点上，图11c中所示的处理也可以或替代地用作用于训练模型的课程学习过程的一部分，因为其导致生成较低质量的图像和注释数据，所述较低质量的图像和注释数据可以单独使用或与原始图像和注释数据一起用于训练。
158.图11d是示出实施例的一组图1170，其中从干涉图(视网膜图像)1172的开放存取数据集获得的训练数据经受扩充和退化处理1173以生成用于模型的训练数据，该训练数据旨在与从具有比用于生成干涉图1172的oct系统更低分辨率的oct系统获得的输入数据一起使用。初始数据1172被注释以产生指示对应于图像中像素的类别的注释或标记的图像1174。如1174所建议的，注释可以识别原始图像的几个类别或特征，包括诸如视网膜中的组织层、组织边界、流体池或其他结构的特征。可通过移除某些类别标识来简化带注释的图像1174，以产生用于训练模型的一组简化注释1175。在一些实施例中，简化注释1175源于作为数据扩充过程的一部分应用被应用于图像数据1172的一个或更多个几何变换。然后，退化和扩充的图像数据1173和相应的注释1175可以用作模型的训练数据和标签。当训练后，模型1176(描绘为神经网络，更具体地，u-net架构)操作以从输入图像数据生成分割图像1177，该输入图像数据对应于具有比用于生成原始图像数据1172的分辨率低的分辨率的oct系统。
159.图12是示出根据一些实施例的卷积神经网络(cnn)架构的示例的图示，其可用于处理干涉图图像1210和表示分割的图像1220的cnn的输出。如图中所示，cnn包括操作以将图像的空间特征交换为语义特征的收缩器路径(contractor path)1230，随后是操作以将语义特征交换为空间特征的扩展路径1240。
160.收缩器路径1230可被认为是编码器，其通常包括应用卷积块1232随后是最大池下采样的预训练分类网络。其结果是将输入图像编码成多个不同级别的特征表示。扩展路径1240可以被认为是解码器，其在语义上将由编码器学习的有识别力的特征(即，较低分辨率特征)投影到像素空间上(从而产生较高分辨率)以提供密集分类。典型地，解码器包括上采样和级联操作，然后是卷积运算。上采样可被称为转置卷积、上卷积或反卷积，并且上采样方法包括例如最近邻、双线性内插和转置卷积。
161.每个卷积运算1232通常被实现为逐点乘法运算(例如图像部分和加权值之间的点积)，随后是求和运算，在一些示例中应用了几个加权或滤波层(称为核)。在一个示例实施例中，可用于处理图像数据的cnn的u-net架构(例如图12中所示的架构)包括18个卷积层、179万个偏差和权重以及32至256个语义特征通道。
162.在图像处理的每个阶段之后，将结果与在前一个处理阶段创建的数据级联或组合，以形成经处理的图像数据的最终集合。作为示例，在训练之后，图12的cnn可以对所示类型的图像(在该示例中，由通过以弯曲扫描图案操作oct系统而收集的数据形成的图像)进行操作，以生成分割的输出图像。然后，输出图像可用于更好地识别视网膜中的组织结构，并对视网膜厚度进行更可靠的测量。
163.如所提到的，可用于实现所描述的经训练模型中的一个或更多个的卷积神经网络架构的示例被称为u-net架构。特别是，已经发现unet 3+架构是有益的，因为它将训练期间的深度监督与跳过某些分离的隐藏层之间的连接相结合。这使得高级语义信息与高分辨率空间信息的融合成为可能。unet 3+架构在一篇题为“unet 3+:afull-scale connected unet for me dical image segmentation”(https：//arxiv.org/ftp/arxiv/papers/2004/2004.08790.pdf)的文章中进行了描述。在一些实施例中，卷积神经网络具有5到19个隐藏层和由relu(修正线性单元)组成的激活层。
164.图13是示出根据一些实施例，使用图3的花形扫描图案获得的一组扫描数据如何可以经受进一步的数据处理操作(诸如涉及内插或高斯模糊的重采样)以生成表示视网膜的选定横截面的b扫描的图像的示图。如图中所示，使用图3的花形扫描图案(1310)收集的数据可用于生成表示b扫描1320的图像，所生成的图像由用户在数据点的花形扫描数据图案上选择感兴趣的特定横截面(如线1312所示)来确定。
165.如将参考图14和图15进一步描述的，在一些实施例中，用户可以选择使用花形扫描图案(作为示例)获得的数据的期望横截面“切片”，并且作为响应，本文描述的系统和方法可以生成相应的b扫描图像。根据所选择的横截面，可以通过内插或另一处理对花形图案扫描数据进行重采样，以生成通常由线性径向扫描或光栅扫描产生的数据，所生成的数据被用作形成b扫描的一部分。结果，输出图像代表特定类型的线性扫描产生的b扫描，尽管原始数据是使用花形扫描图案获得的。
166.图14是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从光栅扫描获得的视网膜的不同横截面的b扫描而生成的b
扫描的另外示例的图示。如图所示，通过在使用花形扫描图案生成的数据中选择水平线，可以生成对应于视网膜特定区域的光栅扫描的b扫描图像。
167.例如，穿过花形扫描图案的切片1410将产生1420所示类型的扫描。类似地，穿过花形扫描图案的切片1430将产生1440所示类型的扫描。穿过花形扫描图案的切片1450将产生1460所示类型的扫描。穿过花形扫描图案的切片1470将产生1480所示类型的扫描。
168.图15是示出根据一些实施例的通过处理使用图3的花形扫描图案针对穿过图案的不同切片获得的数据以创建将从径向扫描获得的视网膜的不同横截面的b扫描而生成的b扫描的另外示例的图示。如图所示，通过选择在使用花形扫描图案生成的数据中的包括原点的对角线，可以生成对应于视网膜特定区域处的径向扫描的b扫描图像。
169.例如，穿过花形扫描图案的切片1510将产生1520所示类型的扫描。类似地，穿过花形扫描图案的切片1530将产生1540所示类型的扫描。穿过花形扫描图案的切片1550将产生1560所示类型的扫描。穿过花形扫描图案的切片1570将产生1580所示类型的扫描。
170.图16是示出根据一些实施例的视网膜的不同横截面的所创建的b扫描的集合可以如何被组合以产生视网膜的3d可视化或厚度图1620的图示。该图示出了从使用扫描图案获得的数据的不同部分生成的图像可以如何被组合，以产生可以在扫描图案上可视化的体积数据。注意，厚度图不限于关于图6描述的9个区域或区。该3d体积数据还可以包括内部结构，例如流体池化。
171.图17a是示出根据一些实施例的常规扫描图案和数据处理方法的性能与使用本文描述的花形扫描图案和利用经训练的cnn的图像处理获得的结果的比较的图示。曲线图1710示出了使用李萨如扫描图案(在该示例中)和高斯混合模型(gmm)数据拟合方法获得的数据中的变化或分散。如曲线图1710所示，回归模型“拟合”的r2值为0.459，表明数据中有相对较大的变化量。
172.曲线图1720示出了使用花形扫描图案(在该示例中具有12个瓣或波瓣)和本文描述的用于处理图像的类型的经训练的神经网络获得的数据中的变化或分散。如曲线图1720所示，回归线“拟合”的r2值为0.965，表明数据中的变化量相对较小，并且更好地拟合回归模型。这表明经训练的神经网络能够产生更一致的结果。
173.图17b是示出课程训练过程的图示，其中从具有较高分辨率的第一oct设备配置和具有较低分辨率的第二oct设备配置获得的图像数据和/或注释被用于在一组训练迭代中进行训练，其中一些数据经受退化。示出了与训练迭代相关的训练图像的图像质量和图像退化。在一些实施例中，训练图像退化的增加对应于图像质量的降低。图像数据1770包括来自第二oct设备配置的多个图像，第二oct设备配置包括基本固定的降低的图像质量，例如较低的分辨率、增加的失真、噪声等，例如本文所述的个性化生物测量系统(pbos)。以下示出了三种类型的数据：1)来自第二oct设备配置的数据1770；2)来自具有高分辨率的第一oct设备配置的数据1760，其已被重采样，然后退化，其中退化是随机化的并且随时间逐渐增加；以及3)来自具有高分辨率的第一oct设备配置的数据1750，其被重采样，然后随着退化的线性增加而逐渐退化。在一些实施例中，训练图像的像素分辨率保持基本固定，而退化增加并且相应的图像质量降低。例如，重采样图像的基本固定的像素分辨率可以对应于第二oct设备配置的分辨率，使得来自第一oct设备配置的重采样和退化图像可以与来自第二oct设备配置的图像组合，例如在训练过程的迭代中彼此穿插。
174.还示出了图像数据的相对质量，其包括目标图像质量1765(用线示出)和重采样图像质量1755(用线示出)。重采样图像质量1755对应于来自具有高分辨率的第一oct设备配置的重采样图像的图像质量，该重采样图像已经被下采样到较低的横向分辨率并且还没有退化。在一些实施例中，重采样包括横向下采样以提供横向分辨率的降低，并且退化包括轴向下采样以提供轴向分辨率的降低。目标图像质量1765被选择为对应于来自具有较低分辨率的第二oct设备配置的图像数据1770的图像质量，使得退化的图像数据模仿图像数据1770。例如，图像数据1760和图像数据1750的质量在训练会话1780的结束1780附近向目标图像质量1765收敛。该方法允许经训练的网络接收来自第二低分辨率设备的输入图像，并输出如本文所述的分割图像之类的带注释的图像。
175.来自较低分辨率系统的图像数据1770的质量用于建立用于神经网络训练的目标图像质量1765。随着神经网络的渐进训练迭代，用于神经网络的退化的输入训练图像的质量向目标图像质量1765收敛。这可以通过退化重采样图像来实现。重采样图像可以包括图像质量1755。这些重采样的图像可以退化适当的量，并用作训练模型的输入。退化的量可以与训练迭代的次数相关。例如，重采样和线性退化的数据1750沿着对应于线性增加的图像退化和线性减少的图像质量的线1785示出。在一些实施例中，图像质量在可变范围1790内，该可变范围1790从目标量1765延伸到线1785所示的退化的较低阈值量。退化量可以随渐进迭代来增加，以提供具有近似与图像数据1770一致的图像质量1765的图像质量的输入训练图像。如箭头1775所示，图像1770的图像质量对应于图像质量1765，使得接近训练过程结束的退化图像的图像质量基本上对应于较低分辨率oct系统的图像质量。
176.如图17b所示，随着训练迭代的增加(在x轴上向右移动)，用于训练的图像数据的质量降低(如沿y轴的向上箭头所示)。在一些实施例中，数据的分辨率可以随着训练过程的迭代次数的增加而降低。可替代地，该分辨率可以在训练过程期间基本上固定，以便与具有较低分辨率的第二oct设备配置的分辨率相对应。数据质量(例如，分辨率)的降低可以是以下中的一个或更多个的结果：重采样数据(例如，从具有较低分辨率的oct设备获得的数据)、退化从具有较高分辨率的oct设备获得的数据(例如，退化程度可以被随机化并且可以随着迭代次数的增加而增加)或随着迭代次数的增加而逐渐退化从具有较高分辨率的oct设备获得的数据。随着训练迭代次数的增加，数据质量的下降对应于任务难度的增加。
177.如参考图11c所讨论的，在使用课程学习的一些实施例中，随着迭代次数的增加，较高分辨率的图像数据可以退化到更大的程度，和/或随着迭代次数的增加，从不同oct系统获得的较低分辨率的图像数据可以以更高的概率被添加到训练数据集。
178.在一些实施例中，可以在训练过程中使用迁移学习和课程学习的组合。在这样的实施例中，一组训练图像可以从两个源形成：由较高分辨率oct系统配置生成的图像和由较低分辨率oct系统配置生成的图像。该组训练图像中的图像的组合提供了迁移学习的源，作为本文所述的训练过程的输入。由较高分辨率oct系统生成的图像可以如本文所述的许多方式中的一种或更多种方式退化，例如，重采样到较低分辨率并失真，以更好地近似由较低分辨率oct系统生成的图像的分辨率和其他属性。为了生成退化图像，来自较高分辨率oct系统的图像可以随着每个连续的训练迭代经受线性或随机增加的退化量。在一些实施例中，来自具有较高分辨率的oct系统的图像被重采样，例如下采样，以提供对应于较低分辨率oct系统配置的较低分辨率，然后进一步退化一定量以对应于较低分辨率oct系统的图像
质量。退化量可以包括对应于逐渐增加的难度的线性增加的退化，或者在难度随机增加至少阈值量时是随机增加的退化。在一些实施例中，整个训练图像集由低分辨率oct系统生成的图像和通过对由高分辨率oct系统生成的重采样图像的线性或随机增加的退化量形成的图像的组合形成。
179.虽然课程迁移学习可以以多种方式配置，但在一些实施例中，确定训练数据集中的下一个图像的难度水平，并且将适当量的退化应用于来自较高分辨率oct图像的重采样oct图像，以便将下一个图像提供给训练数据集。退化量可以包括线性增加的量，或者具有逐渐增加的最小退化阈值量的随机量，使得退化程度和相应的难度通常朝着图像质量1765增加。再次参考图17b，可以参考重采样的高分辨率图像的图像质量1755和对应于低分辨率oct设备的图像质量1765来确定图像质量。具有图像质量1755的重采样图像可以退化适当的量，以对应于特定迭代的适当的难度量。在一些实施例中，难度级别可以用线性增加的难度水平例如参考图像数据1750来确定，其具有线性增加的退化量和线性增加的难度，其中来自第一oct设备配置的高分辨率图像数据被重采样以对应于图像质量1750，然后退化适当的量以对应于所示的降低的图像数据质量。可替换地或组合地，特定迭代的难度水平可以包括从目标图像质量1765延伸到线1785所示的线性增加阈值量的范围1790内的随机难度量。对于线性增加的难度和随机增加的难度，随着迭代次数的增加，图像质量接近图像质量1765。一旦确定了训练图像的图像质量，例如学习难度，重采样图像可以退化适当的量，以对应于数据集中下一个训练图像的所确定的图像数据质量和/或学习难度。
180.根据本公开，可以以多种方式配置和组合本文描述的方法。在一些实施例中，初始训练数据集包括来自低分辨率oct系统的多个图像和来自高分辨率oct系统的多个重采样图像。用这个初始数据集训练诸如神经网络的人工智能模型。一旦用初始训练数据集完成了训练，就可以用重采样和退化的图像来训练模型。重采样和退化的图像可以包括具有随机选择的难度(例如参考图像数据1760)和线性增加的难度(例如参考图像数据1750)的图像的组合，两者都来自更高分辨率的oct系统配置。在一些实施例中，增加的难度的重采样和退化图像与来自较低分辨率系统配置的较低分辨率图像(例如参考图像数据1770)组合。
181.在一些实施例中，训练数据集包括来自第二低分辨率oct设备配置的图像和来自第一高分辨率oct设备配置的退化图像的组合。在一些实施例中，训练数据集包括来自第二低分辨率oct设备配置的图像数据(例如，图像数据1770)、来自第一高分辨率oct设备配置的重采样和线性退化的图像数据(例如，图像数据1750)、以及来自第一高分辨率oct设备的重采样和随机退化的图像数据(例如，图像数据1760)的组合。在一些实施例中，训练图像数据的像素分辨率基本上保持固定在第二较低分辨率oct设备配置的像素分辨率。例如，输入到模型中的图像数据可以包括经历如本文所述的退化和扩充的分割的和灰度级的图像。
182.所公开的用于生成训练数据和训练模型(例如神经网络)以分割从oct系统获得的图像数据的技术和方法的实施例包括使用图像数据和相关联的注释的多个组合，其中一个或更多个操作或处理可以应用于图像数据、注释或两者。在一些实施例中，与来自第一oct设备的图像数据相关联的注释可以被重采样和配准，以提供来自第二oct设备的图像数据的注释，其中第二设备具有与第一设备不同的扫描图案。然后，第二设备的图像数据和注释可以用于训练模型。如果需要，来自第一设备的图像数据也可以在重采样后用作训练数据。
183.在另一个实施例中，来自第一设备的图像数据和相关联的注释可以进行退化以生
成与分辨率低于第一设备的第二设备相对应的训练数据和相关联的注释。退化的数据和注释可以经受重采样或扩充中的一个或更多个，以生成附加训练数据和注释。注释可以被配准到来自第二设备的图像数据。然后可以使用第二设备的附加训练数据和/或图像数据和注释来训练模型。
184.在另一个实施例中，来自第一设备的图像数据和相关联的注释可用作迁移学习技术的一部分，以生成用于训练模型以处理来自第二设备的数据的训练数据和注释。在该实施例中，不使用来自第二设备的数据。
185.在迁移学习过程的另一个实施例和示例中，来自第一设备的图像数据被重采样、退化和扩充，相关联的注释被重采样和扩充，以生成用于模型的训练数据和注释，以处理来自第二设备的数据。在该实施例中，不使用来自第二设备的图像数据和注释。
186.在另一个实施例中，第一oct设备的图像数据和相关联的注释可以被用作利用来自第二oct设备的图像数据和相关联的注释的迁移学习过程的一部分，以训练模型来处理来自第二设备的数据。
187.在另一实施例中，来自第一设备的图像数据被重采样、退化和扩充，相关联的注释被重采样和扩充，以生成用于模型的训练数据和注释，以处理来自第二设备的数据。在该实施例中，来自第二oct设备的图像数据和相关联的注释可以用作模型的训练数据的一部分。在这个或其他实施例中，来自第二设备的图像数据的注释可以直接从第二设备的图像数据中获得，或者通过来自第一设备的图像数据的注释的重采样和配准来获得。
188.本文描述的oct系统、数据处理方法和设备可以根据各种参数、设置、编程配置等来操作或实现。本文提供的示例性操作参数或特性或参数范围旨在为实施系统和设备(或实施所描述的过程或方法)提供指导，而不意味着提供对操作特性的限制。对于本领域技术人员来说明显的是，操作参数或特性的其他组合或值是可能的，并且包括在本公开中提供的描述中。
189.作为示例，在一些实施例中，扫描图案是花形图案或玫瑰线并且具有多个波瓣。在一些实施例中，波瓣的数量可以在四(4)和二十四(24)之间变化。在一些实施例中，设备可以在两(2)次和二十(20)次之间重复扫描以收集数据。
190.在一些实施例中，用于单次扫描的扫描图案的测量光束路径延伸从10mm到100mm的范围内的距离，并且该距离可选地从12mm到60mm。在一些实施例中，重复多次的扫描图案的总测量光束路径延伸在100mm至1000mm的范围内的总距离，并且可选地在120mm至600mm的范围内。在一些实施例中，扫描图案重复多次的总时间在1到3秒的范围内，并且可选地在1.5秒到2.5秒的范围内。在一些实施例中，扫描仪包括一个或更多个致动器，用于改变反射镜的位置以移动视网膜上的测量光束。在一些实施例中，在扫描期间沿着轨迹移动的测量光束的速度在10mm/s到400mm/s的范围内，并且可选地在15mm/s到300mm/s的范围内。在一些实施例中，处理器配置有指令来生成视网膜的多个a扫描，每个a扫描包括扫描仪沿着扫描图案的多个波瓣中的每一个移动测量光束，并且其中a扫描的采样率在10khz到50khz的范围内，并且可选地在15khz到25khz的范围内。
191.如本文所用，术语“oct设备”和“oct系统”可互换使用。
192.如本文所述，本文所述和/或示出的计算装置和系统广义地表示能够执行计算机可读指令的任何类型或形式的计算设备或系统，诸如包含在本文所述模块中的那些。在其
最基本配置中，这些计算设备可以各自包括至少一个存储器设备和至少一个物理处理器。
193.本文使用的术语“存储器”或“存储器设备”通常表示能够存储数据和/或计算机可读指令的任何类型或形式的易失性或非易失性存储设备或介质。在一个示例中，存储器设备可以存储、加载和/或维护这里描述的一个或更多个模块。存储器设备的示例包括但不限于随机存取存储器(ram)、只读存储器(rom)、闪存、硬盘驱动器(hdd)、固态驱动器(ssd)、光盘驱动器、高速缓存器、其中的一个或更多个的变型或组合，或任何其他合适的存储用的存储器。
194.此外，本文使用的术语“处理器”或“物理处理器”通常指能够解释和/或执行计算机可读指令的任何类型或形式的硬件实现的处理单元。在一个示例中，物理处理器可以访问和/或修改存储在上述存储器设备中的一个或更多个模块。物理处理器的示例包括但不限于微处理器、微控制器、中央处理单元(cpu)、实现软核处理器的现场可编程门阵列(fpga)、专用集成电路(asic)、其中的一个或更多个的部分、其中的一个或更多个的变型或组合、或任何其他合适的物理处理器。该处理器可以包括分布式处理器系统，例如运行并行处理器或者远程处理器(如服务器)以及其组合。
195.尽管作为单独的要素示出，但本文描述和/或示出的方法步骤可以表示单个应用的部分。此外，在一些实施例中，这些步骤中的一个或更多个可以表示或对应于一个或更多个软件应用或程序，当由计算设备执行时，这些软件应用或程序可以使计算设备执行一个或更多个任务，比如方法步骤。
196.此外，本文描述的一个或更多个设备可以将数据、物理设备和/或物理设备的表示从一种形式转换为另一种形式。附加地或可替代地，本文所述的一个或更多个模块可通过在计算设备上执行、在计算设备上存储数据和/或以其他方式与计算设备交互，将处理器、易失性存储器、非易失性存储器和/或物理计算设备的任何其他部分从一种形式的计算设备转换为另一种形式的计算设备。
197.本文使用的术语“计算机可读介质”通常指能够存储或承载计算机可读指令的任何形式的设备、载体或介质。计算机可读介质的示例包括但不限于，诸如载波的传输型介质和诸如磁存储介质(例如，硬盘驱动器、磁带驱动器和软盘)、光学存储介质(例如，光盘(cd)、数字视频磁盘(dvd)和blu-ray磁盘)、电子存储介质(例如，固态驱动器和闪存介质)和其他分配系统的非瞬态型介质。
198.本领域普通技术人员将认识到，本文公开的任何过程或方法可以以多种方式修改。本文描述和/或说明的步骤的工艺参数和顺序仅作为示例给出，并且可以根据需要改变。例如，虽然本文所示和/或描述的步骤可以以特定顺序示出或讨论，但这些步骤不一定需要以所示或讨论的顺序执行。
199.本文描述和/或示出的各种示例性方法还可以省略本文描述或示出的步骤中的一个或更多个，或者包括除了披露的那些步骤之外的附加步骤。此外，本文公开的任何方法的步骤可以与本文公开的任何其他方法的任何一个或更多个步骤组合。
200.如本文所述的处理器可以被配置为执行本文所公开的任何方法的一个或更多个步骤。替代地或结合地，处理器可以被配置成组合如本文所公开的一个或更多个方法的一个或更多个步骤。
201.除非另有说明，在说明书和权利要求中使用的术语“连接到”和“联接到”(及其派
生词)应被解释为允许直接和间接(即，通过其他元件或部件)的连接。此外，在说明书和权利要求书中使用的术语“一个(a)”或“一(an)”应被解释为意味着“至少一个”。最后，为了便于使用，在说明书和权利要求书中使用的术语“包括(including)”和“具有(having)”(及其派生词)可以与“包含(comprising)”一词互换，并应具有与“包含”一词相同的含义。
202.如本文所公开的处理器可以配置有指令以执行如本文所公开的任何方法的任何一个或更多个步骤。
203.将理解，尽管术语“第一”、“第二”、“第三”等在此可用于描述各种层、元件、部件、区域或区段，而不涉及任何特定的事件顺序或次序。这些术语仅用于将一个层、元件、部件、区域或区段与另一个层、元件、部件、区域或区段区分开来。本文所描述的第一层、元件、部件、区域或区段可被称为第二层、元件、部件、区域或区段，而不脱离本公开的教导。
204.如本文所使用的，术语“或”包括地用于指代替代项和组合项。
205.如本文所用，诸如数字的字符指的是类似的元件。
206.本公开包括以下编号的条目。
207.条款1.一种处理从oct系统获得的数据的方法，所述方法包括：
208.获得第一多个图像，其中所述第一多个图像中的每个图像对应于由执行视网膜扫描的oct系统获取的数据；
209.注释来自所述第一多个图像中的每个图像的多个像素以生成所述视网膜的分割图像数据，其中所述注释标识所述视网膜的一个或更多个结构；
210.通过使所述第一多个图像退化，从所述第一多个图像生成多个退化图像；以及
211.使用所述多个退化图像和所述分割图像数据来训练神经网络。
212.条款2.根据条款1所述的方法，其中，注释包括为来自所述第一多个图像中的所述每个图像的多个像素中的每个像素分配分类，并且可选地，其中所述分类包括整数(integer)。
213.条款3.根据条款1所述的方法，其中，所述分割图像数据包括多个分割图像，所述多个分割图像中的每一个包括为所述多个图像中的所述每个图像的每个像素定义类别的注释。
214.条款4.根据条款1所述的方法，其中，所述多个分割图像中的每一个对应于所述多个退化图像中的一个，并且其中所述多个分割图像和相应的退化图像被输入到所述神经网络以训练模型。
215.条款5.根据条款3所述的方法，其中，所述多个分割图像包括对应于所述第一多个图像的第一多个分割图像和对应于所述多个退化图像的第二多个分割图像。
216.条款6.根据条款1所述的方法，其中，生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换。
217.条款7.根据条款5所述的方法，其中，生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换，并且其中将所述变换函数应用于所述第一多个分割图像以获得所述第二多个分割图像。
218.条款8.根据条款5所述的方法，其中，所述第一多个分割图像中的每一个包括用于所述第一多个分割图像的第一多个像素中的每一个的第一位置处的注释，并且其中，所述第二多个分割图像中的每一个包括用于所述第二多个分割图像的第二多个像素中的每一
个的第二位置处的注释。
219.条款9.根据条款1所述的方法，其中，所述视网膜的一个或更多个结构包括背景、视网膜神经纤维层、神经节细胞层和内丛状层、外丛状层和内核层、外核层和外界膜、视网膜色素上皮和光感受器、脉络膜毛细血管和脉络膜隔，并且任选地，其中所述注释包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一种或更多种。
220.条款10.根据条款1所述的方法，其中，用重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个来退化所述第一多个图像，以生成所述退化图像。
221.条款11.根据条款1所述的方法，其中，所述多个退化图像包括扩充图像。
222.条款12.根据条款11所述的方法，其中，通过对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像。
223.条款13.根据条款11所述的方法，其中，通过对所述第一多个图像应用几何变换来生成所述扩充图像。
224.条款14.根据条款13所述的方法，其中，所述几何变换包括弯曲、水平翻转、x滚动、y缩放、y平移或弹性变换中的一个或更多个。
225.条款15.根据条款5所述的方法，还包括：
226.通过将几何变换函数应用于所述第一多个分割图像来生成第一多个几何变换的分割图像；以及
227.通过将几何变换函数应用于第二多个分割图像来生成第二多个几何变换的分割图像。
228.条款16.根据条款1所述的方法，其中，所述oct系统包括第一配置，并且其中所述多个退化图像和分割图像数据包括被配置为训练所述神经网络以对来自第二oct系统的数据进行分类的迁移学习数据集，所述第二oct系统包括不同于所述oct系统的所述第一配置的第二配置，并且可选地，其中所述第一配置与所述第二配置的不同之处在于轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
229.条款17.根据条款16所述的方法，其中，所述迁移学习数据集包括退化图像和扩充图像，所述扩充图像是通过对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个而生成的，并且其中所述神经网络用从所述第一多个图像生成的多个逐渐增加退化的图像来迭代训练，并且其中退化量逐渐接近来自所述第二oct系统的第二配置的图像的轴向分辨率、扫描图案或横向分辨率中的一个或更多个。
230.条款18.根据条款1所述的方法，其中，所述第一多个图像对应于所述oct系统的第一分辨率，并且其中所述多个退化图像对应于具有第二分辨率的第二oct系统的图像，其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
231.条款19.根据条款1所述的方法，其中，所述第一多个图像被注释以定义用于训练所述神经网络的基础真实数据集，并且其中所述第一多个图像被重采样并与来自第二oct系统的第二多个图像配准。
232.条款20.根据条款1所述的方法，其中，所述oct系统包括第一oct系统，所述第一oct系统包括第一配置，并且其中所述神经网络在训练之后用于对来自第二oct系统的数据进行分类，所述第二oct系统包括不同于所述第一配置的第二配置，并且可选地，其中所述第一配置在轴向分辨率、扫描图案或横向分辨率中的一个或更多个方面不同于所述第二配
置。
233.条款21.根据条款20所述的方法，其中，所述神经网络不是用来自所述第二oct系统的数据来训练的。
234.条款22.根据条款20所述的方法，其中，所述oct系统的所述第一配置包括第一分辨率，并且所述第二oct系统的所述第二配置包括第二分辨率，并且其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。
235.条款23.根据条款20所述的方法，其中，所述神经网络用迁移学习数据集来训练，所述迁移学习数据集包括来自所述第一oct系统的第一退化和扩充oct图像以及来自所述第一oct系统的相应注释oct图像。
236.条款24.根据条款23所述的方法，其中，所述迁移学习数据集包括来自所述第二oct系统的第二oct图像和来自所述第二oct系统的相应注释oct图像。
237.条款25.根据条款23所述的方法，其中，所述迁移学习数据集源自1)来自所述第一oct系统的重采样和注释的oct图像数据，2)来自所述第一oct系统的重采样、退化和扩充的oct图像数据；以及3)来自所述第二oct系统的oct图像数据和注释数据。
238.条款26.根据条款23所述的方法，其中，所述迁移学习数据集包括来自多只眼睛的oct数据，并且其中所述多只眼睛中的每一只用所述第一oct系统和所述第二oct系统来测量。
239.条款27.根据条款1所述的方法，其中，根据重采样图像数据确定下一退化图像的难度，并且响应于所述难度生成所述下一退化图像，所述重采样图像数据通过重采样所述第一多个图像而生成。
240.条款28.根据条款1所述的方法，其中，所述多个退化图像包括具有增加的难度的多个图像。
241.条款29.根据条款28所述的方法，其中，所述增加的难度包括线性增加的难度。
242.条款30.根据条款28所述的方法，所述增加的难度包括高于增加的难度阈值的随机难度。
243.条款31.根据条款28所述的方法，其中，所述增加的难度朝着来自第二oct系统的图像的难度增加，所述第二oct系统包括比所述oct系统更低的分辨率。
244.条款32.根据条款28所述的方法，其中，所述增加的难度包括线性增加的难度和随机增加的难度的组合。
245.条款33.一种生成分割的oct图像的方法，包括：
246.接收oct图像，所述oct图像包括轴向分辨率和第一多个像素，其中所述第一多个像素中的每一个与相应的灰度级相关联；
247.用经训练的模型处理所接收的oct图像，以生成包括第二多个像素的分割的oct图像，其中所述第二多个像素中的每一个由所述经训练的模型分配给一个类别，其中所述类别包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一个；以及
248.输出所述分割的oct图像。
249.条款34.根据条款33所述的方法，其中，所述视网膜类别包括在所接收的oct图像中不可见的一个或更多个视网膜内液池，并且其中所述一个或更多个视网膜内液池在所述分割的oct图像中可见。
250.条款35.根据条款33所述的方法，其中，所述经训练的模型包括神经网络，并且响应于所述神经网络的概率函数将所述多个像素中的每一个分配给所述类别。
251.条款36.根据条款33所述的方法，其中，所述经训练的模型包括生成神经网络的经训练的机器学习模型。
252.条款37.根据条款33所述的方法，其中，所述经训练的模型包括神经网络，并且所述神经网络已经用多个oct图像训练，所述多个oct图像所具有的分辨率相比所述oct图像的轴向分辨率与更小的可分辨特征尺寸相关联。
253.条款38.一种处理从oct系统获得的数据的方法，所述方法包括：
254.获得第一多个图像，其中所述第一多个图像中的每个图像对应于由第一oct系统用第一扫描图案对多个视网膜执行第一多个扫描而获取的数据；
255.注释来自所述第一多个图像中的每个图像的第一多个像素，其中所述注释包括视网膜的区域的指示；
256.重采样来自所述第一多个图像中的所述每个图像的所述第一多个像素的数据，以生成第二多个图像，该第二多个图像与第二oct系统用不同于所述第一扫描图案的第二扫描图案对所述多个视网膜进行扫描所获取的图像相对应；以及
257.使用所述第二多个图像和所述注释来训练神经网络。
258.条款39.根据条款38所述的方法，还包括使用所述注释来对齐重采样的数据。
259.条款40.根据条款39所述的方法，还包括通过在对所述第一多个像素的数据进行重采样之前扩充或退化所述第一多个图像，并使用所述注释来对齐重采样的数据，来生成用于所述神经网络的附加训练数据。
260.条款41.根据条款40所述的方法，其中，扩充所述第一多个图像还包括对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个。
261.条款42.根据条款40所述的方法，其中，退化所述第一多个图像还包括将重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个应用于所述第一多个图像。
262.条款43.根据条款38所述的方法，其中，所述第一扫描图案是线性扫描图案，并且所述第二扫描图案包括多个波瓣。
263.条款44.一种处理从oct系统获得的数据的方法，包括：
264.获得第一多个干涉图，其中所述干涉图中的每一个对应于由使用第一扫描图案执行视网膜扫描的第一oct系统所获取的数据；
265.注释由使用所述第一扫描图案获取的数据形成的所述第一多个干涉图中的每一个，以指示所述视网膜的组织结构；
266.使用所述第一多个干涉图和所述注释训练神经网络；
267.将第二多个干涉图输入到经训练的神经网络中，所述第二多个干涉图对应于由使用第二扫描图案执行视网膜扫描的第二oct系统所获取的数据；以及
268.从所述经训练的神经网络获得输出，所述输出指示使用所述第二扫描图案扫描的视网膜的组织结构。
269.条款45.根据条款44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括弯曲扫描图案。
270.条款46.根据条款45所述的方法，其中，所述线性扫描图案包括径向扫描图案或光栅扫描图案中的一个或更多个，并且其中所述弯曲扫描图案包括多个波瓣。
271.条款47.根据条款45所述的方法，其中，所述第一多个干涉图对应于沿所述第一扫描图案对所述视网膜的b扫描，并且所述第二多个干涉图包括沿所述弯曲扫描图案布置的对所述视网膜的多个a扫描。
272.条款48.根据条款44所述的方法，其中，所述组织结构包括内界膜(ilm)或视网膜色素上皮(rpe)中的一个或更多个。
273.条款49.根据条款44所述的方法，其中，所述神经网络包括卷积神经网络。
274.条款50.根据条款44所述的方法，其中，所述第二扫描图案包括玫瑰线。
275.条款51.根据条款44所述的方法，还包括：
276.通过对所述第一多个干涉图中的一个或更多个执行一个或更多个处理操作，基于所述第一多个干涉图生成用于所述神经网络的附加训练数据，所述一个或更多个处理操作包括随机水平翻转、沿x方向的随机移位、沿轴的随机缩放、沿方向的随机平移、模糊操作或可变弹性变换中的一个或更多个；
277.基于应用了所述处理操作的所述第一多个干涉图中的一个或更多个干涉图的注释来注释所述附加训练数据；以及
278.使用所述附加训练数据和所述附加训练数据的注释来训练所述神经网络。
279.条款52.根据条款44所述的方法，还包括使用包括基于所述第一扫描图案的所述第一多个干涉图和所述注释的数据以及包括基于所述第二扫描图案的所述第二多个干涉图和所述第二多个干涉图的注释的数据来训练所述神经网络。
280.条款53.根据条款52所述的方法，还包括在训练所述神经网络之前，处理所述第二多个干涉图以产生对应于所述第一多个干涉图的干涉图。
281.条款54.根据条款53所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括多个波瓣，并且其中处理所述第二多个干涉图包括内插从所述第二扫描图案获取的数据以产生对应于所述线性扫描图案的数据。
282.条款55.根据条款51所述的方法，其中，使用高斯模糊操作来执行所述模糊操作。
283.条款56.根据条款52所述的方法，其中，基于所述第一扫描图案的所述第一多个干涉图中的每一个和基于所述第二扫描图案的所述第二多个干涉图中的相应一个是从对同一视网膜的扫描获得的。
284.条款57.根据条款44所述的方法，其中，相比于基于所述第二扫描图案的所述第二多个干涉图，基于所述第一扫描图案的所述第一多个干涉图包括具有与更小的可分辨特征尺寸相关联的分辨率的更高分辨率扫描。
285.条款58.根据条款57所述的方法，其中，所述第一扫描图案包括多个线性扫描，并且所述第二扫描图案包括多个波瓣。
286.条款59.根据条款58所述的方法，其中，在使用所述第一多个干涉图来训练所述神经网络之前，所述第一多个干涉图中的每一个经受模糊操作。
287.条款60.根据条款44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括多个波瓣，并且在输入所述第二多个干涉图之前，所述方法还包括内插从所述第二扫描图案获取的数据以产生将由线性扫描图案产生的数据。
288.条款61.根据条款60所述的方法，还包括：
289.从所述第二扫描图案生成输入数据集合，其中所述集合中的每一个包括表示针对特定平面的对视网膜的径向扫描的内插数据；以及
290.组合经训练的神经网络的输出以形成所述视网膜的3d图像。
291.条款62.根据条款49所述的方法，其中，所述卷积神经网络包括u-net架构，所述u-net架构包括多个卷积神经网络层。
292.条款63.根据条款49所述的方法，其中，所述卷积神经网络包括收缩器路径和扩展路径，所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征，并且沿着所述扩展路径用所述空间特征交换所述语义特征。
293.条款64.根据条款44所述的方法，其中，所述神经网络包括对应于视网膜的ilm层和rpe层的多个语义特征通道。
294.条款65.根据条款44所述的方法，其中，所述第一多个干涉图包括b扫描图像，并且所述经训练的神经网络的输出包括利用来自所述第二扫描图案的数据会获得的b扫描图像，所述第二扫描图案不同于所述第一扫描图案。
295.条款66.根据条款49所述的方法，其中，所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
296.条款67.根据条款44所述的方法，其中，所述第一多个干涉图包括在约1微米至约5微米范围内的轴向分辨率，并且其中所述第二多个干涉图包括在约6微米至约30微米范围内的轴向分辨率。
297.条款68.根据条款44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括所述线性扫描图案。
298.条款69.根据条款44所述的方法，其中，所述第一扫描图案包括弯曲扫描图案，并且所述第二扫描图案包括所述弯曲扫描图案。
299.条款70.一种处理视网膜的图像的方法，包括：
300.接收与沿着oct扫描图案的多个位置相对应的多个a扫描；
301.将所述多个a扫描输入到经训练的神经网络中；以及
302.从所述经训练的神经网络输出与沿着所述oct扫描图案的所述多个位置相对应的分割图像，所述分割图像包括对ilm层的边界、rpe层的边界或所述视网膜内的流体池的边界中的一个或更多个的标识。
303.条款71.根据条款70所述的方法，其中，所述多个a扫描被内插以生成多个b扫描图像，并且其中所述多个b扫描图像被输入卷积神经网络以生成多个分割的b扫描图像，并且其中所述多个分割的b扫描图像被内插以生成与沿着所述oct扫描图案的所述多个位置相对应的分割图像。
304.条款72.根据条款70所述的方法，其中，所述oct扫描图案包括弯曲扫描图案，并且其中沿着所述弯曲扫描图案的多个a扫描被输入到经训练的卷积神经网络中，所述经训练的卷积神经网络被配置为输出所述分割图像，所述分割图像包括与沿着所述弯曲扫描图案的所述多个位置相对应的多个分割a扫描。
305.条款73.根据条款72所述的方法，其中，所述卷积神经网络包括收缩器路径和扩展
路径，所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征，并且沿着所述扩展路径用所述空间特征交换所述语义特征。
306.条款74.根据条款72所述的方法，其中，所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。
307.条款75.根据条款70所述的方法，还包括：
308.处理所述多个a扫描以生成b扫描图像，其中所述b扫描图像对应于针对特定平面对视网膜的径向扫描；
309.将所述b扫描图像输入卷积神经网络，其中所述卷积神经网络输出所述分割图像；
310.重复多个a扫描的处理和输入步骤，其中所述多个a扫描中的每一个对应于不同的平面；以及
311.组合所述卷积神经网络的输出以形成所述视网膜的3d图像。
312.条款76.根据条款75所述的方法，其中，处理所述多个a扫描以生成b扫描图像还包括对来自所述a扫描的数据进行内插。
313.条款77.一种处理oct图像的方法，包括：
314.接收所述oct图像；
315.将接收到的oct图像输入到经训练的神经网络中；以及
316.从所述经训练的神经网络接收分割图像作为输出，所述分割图像对应于输入的oct图像，并且包括对ilm层的边界、rpe层的边界或视网膜内流体池的边界中的一个或更多个的标识。
317.条款78.根据条款77所述的方法，其中，所述神经网络使用训练数据集和用于所述训练数据集的相应的注释集来训练。
318.条款79.根据条款78所述的方法，其中，所述训练数据集包括使用第一扫描图案获得的多个oct图像。
319.条款80.根据条款79所述的方法，其中，所述训练数据还包括从所述多个oct图像生成的扩充图像集。
320.条款81.根据条款80所述的方法，其中，通过对所述多个oct图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像集。
321.条款82.根据条款79所述的方法，其中，所述训练数据还包括从所述多个oct图像生成的退化图像集。
322.条款83.根据条款82所述的方法，其中，通过将重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个应用于所述多个oct图像来生成所述退化图像集。
323.条款84.根据条款79所述的方法，其中，所述训练数据还包括通过对使用所述第一扫描图案获得的多个图像进行重采样以产生基于第二扫描图案的多个图像而获得的第二多个oct图像。
324.条款85.根据条款84所述的方法，其中，所述第一扫描图案是线性扫描图案，并且所述第二扫描图案包括多个波瓣。
325.条款86.一种装置，包括：
326.计算机可执行指令集；
327.配置有所述计算机可执行指令集的处理器，其中当由所述处理器执行时，所述指令集使所述处理器执行前述条款中任一项的方法。
328.本公开的实施例已经如本文所述示出和描述，并且仅作为示例提供。本领域的普通技术人员将在不脱离本公开的范围的情况下认识到许多适配、改变、变化和替换。在不脱离本公开和本文公开的发明的范围的情况下，可以使用本文公开的实施例的若干备选方案和组合。因此，本公开发明的范围仅由所附权利要求及其等同物的范围来定义。

技术特征：
1.一种处理从oct系统获得的数据的方法，所述方法包括：获得第一多个图像，其中所述第一多个图像中的每个图像对应于由执行视网膜的扫描的oct系统获取的数据；注释来自所述第一多个图像中的每个图像的多个像素以生成所述视网膜的分割图像数据，其中所述注释标识所述视网膜的一个或更多个结构；通过使所述第一多个图像退化，从所述第一多个图像生成多个退化图像；以及使用所述多个退化图像和所述分割图像数据来训练神经网络。2.根据权利要求1所述的方法，其中，注释包括为来自所述第一多个图像中的所述每个图像的多个像素中的每个像素分配分类，并且可选地，其中所述分类包括整数。3.根据权利要求1所述的方法，其中，所述分割图像数据包括多个分割图像，所述多个分割图像中的每一个包括为所述多个图像中的所述每个图像的每个像素定义类别的注释。4.根据权利要求1所述的方法，其中，所述多个分割图像中的每一个对应于所述多个退化图像中的一个，并且其中，所述多个分割图像和相应的退化图像被输入到所述神经网络以训练模型。5.根据权利要求3所述的方法，其中，所述多个分割图像包括对应于所述第一多个图像的第一多个分割图像和对应于所述多个退化图像的第二多个分割图像。6.根据权利要求1所述的方法，其中，生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换。7.根据权利要求5所述的方法，其中，生成所述多个退化图像包括将变换函数应用于所述第一多个图像以引起对所述第一多个图像的几何变换，并且其中，将所述变换函数应用于所述第一多个分割图像以获得所述第二多个分割图像。8.根据权利要求5所述的方法，其中，所述第一多个分割图像中的每一个包括用于所述第一多个分割图像的第一多个像素中的每一个的第一位置处的注释，并且其中，所述第二多个分割图像中的每一个包括用于所述第二多个分割图像的第二多个像素中的每一个的第二位置处的注释。9.根据权利要求1所述的方法，其中，所述视网膜的一个或更多个结构包括背景、视网膜神经纤维层、神经节细胞层和内丛状层、外丛状层和内核层、外核层和外界膜、视网膜色素上皮和光感受器、脉络膜毛细血管和脉络膜隔，并且任选地，其中所述注释包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一种或更多种。10.根据权利要求1所述的方法，其中，用重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个来退化所述第一多个图像，以生成所述退化图像。11.根据权利要求1所述的方法，其中，所述多个退化图像包括扩充图像。12.根据权利要求11所述的方法，其中，通过对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像。13.根据权利要求11所述的方法，其中，通过对所述第一多个图像应用几何变换来生成所述扩充图像。14.根据权利要求13所述的方法，其中，所述几何变换包括弯曲、水平翻转、x滚动、y缩放、y平移或弹性变换中的一个或更多个。15.根据权利要求5所述的方法，还包括：
通过将几何变换函数应用于所述第一多个分割图像来生成第一多个几何变换的分割图像；以及通过将所述几何变换函数应用于所述第二多个分割图像来生成第二多个几何变换的分割图像。16.根据权利要求1所述的方法，其中，所述oct系统包括第一配置，并且其中，所述多个退化图像和分割图像数据包括被配置为训练所述神经网络以对来自第二oct系统的数据进行分类的迁移学习数据集，所述第二oct系统包括不同于所述oct系统的所述第一配置的第二配置，并且可选地，其中所述第一配置与所述第二配置的不同之处在于轴向分辨率、扫描图案或横向分辨率中的一个或更多个。17.根据权利要求16所述的方法，其中，所述迁移学习数据集包括退化图像和扩充图像，所述扩充图像是通过对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个而生成的，并且其中所述神经网络用从所述第一多个图像生成的多个逐渐增加退化的图像来迭代训练，并且其中，退化量逐渐接近来自所述第二oct系统的第二配置的图像的轴向分辨率、扫描图案或横向分辨率中的一个或更多个。18.根据权利要求1所述的方法，其中，所述第一多个图像对应于所述oct系统的第一分辨率，并且其中所述多个退化图像对应于具有第二分辨率的第二oct系统的图像，其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。19.根据权利要求1所述的方法，其中，所述第一多个图像被注释以定义用于训练所述神经网络的基础真实数据集，并且其中所述第一多个图像被重采样并与来自第二oct系统的第二多个图像配准。20.根据权利要求1所述的方法，其中，所述oct系统包括第一oct系统，所述第一oct系统包括第一配置，并且其中所述神经网络在训练之后用于对来自第二oct系统的数据进行分类，所述第二oct系统包括不同于所述第一配置的第二配置，并且可选地，其中所述第一配置在轴向分辨率、扫描图案或横向分辨率中的一个或更多个方面不同于所述第二配置。21.根据权利要求20所述的方法，其中，所述神经网络不是用来自所述第二oct系统的数据来训练的。22.根据权利要求20所述的方法，其中，所述oct系统的所述第一配置包括第一分辨率，并且所述第二oct系统的所述第二配置包括第二分辨率，并且其中所述第一分辨率相比所述第二分辨率与更小的可分辨特征尺寸相关联。23.根据权利要求20所述的方法，其中，所述神经网络用迁移学习数据集来训练，所述迁移学习数据集包括来自所述第一oct系统的第一退化和扩充oct图像以及来自所述第一oct系统的相应注释oct图像。24.根据权利要求23所述的方法，其中，所述迁移学习数据集包括来自所述第二oct系统的第二oct图像和来自所述第二oct系统的相应注释oct图像。25.根据权利要求23所述的方法，其中，所述迁移学习数据集源自1)来自所述第一oct系统的重采样和注释的oct图像数据；2)来自所述第一oct系统的重采样、退化和扩充的oct图像数据；以及3)来自所述第二oct系统的oct图像数据和注释数据。26.根据权利要求23所述的方法，其中，所述迁移学习数据集包括来自多只眼睛的oct数据，并且其中所述多只眼睛中的每一只用所述第一oct系统和所述第二oct系统来测量。
27.根据权利要求1所述的方法，其中，根据重采样图像数据确定下一退化图像的难度，并且响应于所述难度生成所述下一退化图像，所述重采样图像数据通过重采样所述第一多个图像而生成。28.根据权利要求1所述的方法，其中，所述多个退化图像包括具有增加的难度的多个图像。29.根据权利要求28所述的方法，其中，所述增加的难度包括线性增加的难度。30.根据权利要求28所述的方法，所述增加的难度包括高于增加的难度阈值的随机难度。31.根据权利要求28所述的方法，其中，所述增加的难度朝着来自第二oct系统的图像的难度增加，所述第二oct系统包括比所述oct系统更低的分辨率。32.根据权利要求28所述的方法，其中，所述增加的难度包括线性增加的难度和随机增加的难度的组合。33.一种生成分割的oct图像的方法，包括：接收oct图像，所述oct图像包括轴向分辨率和第一多个像素，其中所述第一多个像素中的每一个与相应的灰度级相关联；用经训练的模型处理所接收的oct图像，以生成包括第二多个像素的分割的oct图像，其中所述第二多个像素中的每一个由所述经训练的模型分配给一个类别，其中所述类别包括背景、视网膜、视网膜内液、视网膜下液或视网膜色素上皮脱离中的一个；以及输出所述分割的oct图像。34.根据权利要求33所述的方法，其中，所述视网膜类别包括在所接收的oct图像中不可见的一个或更多个视网膜内液池，并且其中所述一个或更多个视网膜内液池在所述分割的oct图像中可见。35.根据权利要求33所述的方法，其中，所述经训练的模型包括神经网络，并且响应于所述神经网络的概率函数将所述多个像素中的每一个分配给所述类别。36.根据权利要求33所述的方法，其中，所述经训练的模型包括生成神经网络的经训练机器学习模型。37.根据权利要求33所述的方法，其中，所述经训练的模型包括神经网络，并且所述神经网络已经用多个oct图像训练，所述多个oct图像具有与比所述oct图像的轴向分辨率更小的可分辨特征尺寸相关联的分辨率。38.一种处理从oct系统获得的数据的方法，所述方法包括：获得第一多个图像，其中所述第一多个图像中的每个图像对应于由第一oct系统用第一扫描图案对多个视网膜执行第一多个扫描而获取的数据；注释来自所述第一多个图像中的每个图像的第一多个像素，其中所述注释包括视网膜的区域的指示；重采样来自所述第一多个图像中的所述每个图像的所述第一多个像素的数据，以生成第二多个图像，所述第二多个图像与第二oct系统用不同于所述第一扫描图案的第二扫描图案对所述多个视网膜执行扫描所获取的图像相对应；以及使用所述第二多个图像和所述注释来训练神经网络。39.根据权利要求38所述的方法，还包括使用所述注释来对齐重采样的所述数据。
40.根据权利要求39所述的方法，还包括通过在对所述第一多个像素的数据进行重采样之前扩充或退化所述第一多个图像，并使用所述注释来对齐重采样的所述数据，来生成用于所述神经网络的附加训练数据。41.根据权利要求40所述的方法，其中，扩充所述第一多个图像还包括对所述第一多个图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个。42.根据权利要求40所述的方法，其中，退化所述第一多个图像还包括将重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个应用于所述第一多个图像。43.根据权利要求38所述的方法，其中，所述第一扫描图案是线性扫描图案，并且所述第二扫描图案包括多个波瓣。44.一种处理从oct系统获得的数据的方法，包括：获得第一多个干涉图，其中所述干涉图中的每一个对应于由使用第一扫描图案执行视网膜的扫描的第一oct系统所获取的数据；注释由使用所述第一扫描图案获取的数据形成的所述第一多个干涉图中的每一个，以指示所述视网膜的组织结构；使用所述第一多个干涉图和所述注释训练神经网络；将第二多个干涉图输入到经训练的神经网络中，所述第二多个干涉图对应于由使用第二扫描图案执行视网膜的扫描的第二oct系统所获取的数据；以及从所述经训练的神经网络获得输出，所述输出指示使用所述第二扫描图案扫描的视网膜的组织结构。45.根据权利要求44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括弯曲扫描图案。46.根据权利要求45所述的方法，其中，所述线性扫描图案包括径向扫描图案或光栅扫描图案中的一个或更多个，并且其中所述弯曲扫描图案包括多个波瓣。47.根据权利要求45所述的方法，其中，所述第一多个干涉图对应于沿所述第一扫描图案对所述视网膜的b扫描，并且所述第二多个干涉图包括沿所述弯曲扫描图案布置的对所述视网膜的多个a扫描。48.根据权利要求44所述的方法，其中，所述组织结构包括内界膜(ilm)或视网膜色素上皮(rpe)中的一个或更多个。49.根据权利要求44所述的方法，其中，所述神经网络包括卷积神经网络。50.根据权利要求44所述的方法，其中，所述第二扫描图案包括玫瑰线。51.根据权利要求44所述的方法，还包括：通过对所述第一多个干涉图中的一个或更多个执行一个或更多个处理操作，基于所述第一多个干涉图生成用于所述神经网络的附加训练数据，所述一个或更多个处理操作包括随机水平翻转、沿x方向的随机移位、沿轴的随机缩放、沿方向的随机平移、模糊操作或可变弹性变换中的一个或更多个；基于应用了所述处理操作的所述第一多个干涉图中的一个或更多个干涉图的注释来注释所述附加训练数据；以及使用所述附加训练数据和所述附加训练数据的注释来训练所述神经网络。52.根据权利要求44所述的方法，还包括使用包括基于所述第一扫描图案的所述第一
多个干涉图和所述注释的数据以及包括基于所述第二扫描图案的所述第二多个干涉图和所述第二多个干涉图的注释的数据来训练所述神经网络。53.根据权利要求52所述的方法，还包括在训练所述神经网络之前，处理所述第二多个干涉图以产生对应于所述第一多个干涉图的干涉图。54.根据权利要求53所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括多个波瓣，并且其中处理所述第二多个干涉图包括内插从所述第二扫描图案获取的数据以产生对应于所述线性扫描图案的数据。55.根据权利要求51所述的方法，其中，使用高斯模糊操作来执行所述模糊操作。56.根据权利要求52所述的方法，其中，基于所述第一扫描图案的所述第一多个干涉图中的每一个和基于所述第二扫描图案的所述第二多个干涉图中的相应一个是从对同一视网膜的扫描获得的。57.根据权利要求44所述的方法，其中，相比于基于所述第二扫描图案的所述第二多个干涉图，基于所述第一扫描图案的所述第一多个干涉图包括具有与更小的可分辨特征尺寸相关联的分辨率的更高分辨率扫描。58.根据权利要求57所述的方法，其中，所述第一扫描图案包括多个线性扫描，并且所述第二扫描图案包括多个波瓣。59.根据权利要求58所述的方法，其中，在使用所述第一多个干涉图来训练所述神经网络之前，所述第一多个干涉图中的每一个经受模糊操作。60.根据权利要求44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括多个波瓣，并且在输入所述第二多个干涉图之前，所述方法还包括内插从所述第二扫描图案获取的数据以产生将由线性扫描图案产生的数据。61.根据权利要求60所述的方法，还包括：从所述第二扫描图案生成输入数据集合，其中所述集合中的每一个包括表示针对特定平面的对视网膜的径向扫描的内插数据；以及组合经训练的神经网络的输出以形成所述视网膜的3d图像。62.根据权利要求49所述的方法，其中，所述卷积神经网络包括u-net架构，所述u-net架构包括多个卷积神经网络层。63.根据权利要求49所述的方法，其中，所述卷积神经网络包括收缩器路径和扩展路径，所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征，并且沿着所述扩展路径用所述空间特征交换所述语义特征。64.根据权利要求44所述的方法，其中，所述神经网络包括对应于视网膜的ilm层和rpe层的多个语义特征通道。65.根据权利要求44所述的方法，其中，所述第一多个干涉图包括b扫描图像，并且所述经训练的神经网络的输出包括利用来自所述第二扫描图案的数据会获得的b扫描图像，所述第二扫描图案不同于所述第一扫描图案。66.根据权利要求49所述的方法，其中，所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。67.根据权利要求44所述的方法，其中，所述第一多个干涉图包括在约1微米至约5微米
范围内的轴向分辨率，并且其中所述第二多个干涉图包括在约6微米至约30微米范围内的轴向分辨率。68.根据权利要求44所述的方法，其中，所述第一扫描图案包括线性扫描图案，并且所述第二扫描图案包括所述线性扫描图案。69.根据权利要求44所述的方法，其中，所述第一扫描图案包括弯曲扫描图案，并且所述第二扫描图案包括所述弯曲扫描图案。70.一种处理视网膜的图像的方法，包括：接收与沿着oct扫描图案的多个位置相对应的多个a扫描；将所述多个a扫描输入到经训练的神经网络中；以及从所述经训练的神经网络输出与沿着所述oct扫描图案的所述多个位置相对应的分割图像，所述分割图像包括对ilm层的边界、rpe层的边界或所述视网膜内的流体池的边界中的一个或更多个的标识。71.根据权利要求70所述的方法，其中，所述多个a扫描被内插以生成多个b扫描图像，并且其中所述多个b扫描图像被输入卷积神经网络以生成多个分割的b扫描图像，并且其中所述多个分割的b扫描图像被内插以生成与沿着所述oct扫描图案的所述多个位置相对应的分割图像。72.根据权利要求70所述的方法，其中，所述oct扫描图案包括弯曲扫描图案，并且其中沿着所述弯曲扫描图案的多个a扫描被输入到经训练的卷积神经网络中，所述经训练的卷积神经网络被配置为输出所述分割图像，所述分割图像包括与沿着所述弯曲扫描图案的所述多个位置相对应的多个分割a扫描。73.根据权利要求72所述的方法，其中，所述卷积神经网络包括收缩器路径和扩展路径，所述卷积神经网络被配置成沿着所述收缩器路径用语义值交换空间特征，并且沿着所述扩展路径用所述空间特征交换所述语义特征。74.根据权利要求72所述的方法，其中，所述卷积神经网络包括在约10至约40范围内的多个卷积层、在约100万至约400万范围内的多个偏差和权重以及在约10至约500范围内的多个语义特征通道。75.根据权利要求70所述的方法，还包括：处理所述多个a扫描以生成b扫描图像，其中所述b扫描图像对应于针对特定平面对视网膜的径向扫描；将所述b扫描图像输入卷积神经网络，其中所述卷积神经网络输出所述分割图像；重复多个a扫描的处理和输入步骤，其中所述多个a扫描中的每一个对应于不同的平面；以及组合所述卷积神经网络的输出以形成所述视网膜的3d图像。76.根据权利要求75所述的方法，其中，处理所述多个a扫描以生成b扫描图像还包括对来自所述a扫描的数据进行内插。77.一种处理oct图像的方法，包括：接收所述oct图像；将接收到的oct图像输入到经训练的神经网络中；以及从所述经训练的神经网络接收分割图像作为输出，所述分割图像对应于输入的oct图
像，并且包括对ilm层的边界、rpe层的边界或视网膜内液池的边界中的一个或更多个的标识。78.根据权利要求77所述的方法，其中，所述神经网络使用训练数据集和用于所述训练数据集的相应的注释集来训练。79.根据权利要求78所述的方法，其中，所述训练数据集包括使用第一扫描图案获得的多个oct图像。80.根据权利要求79所述的方法，其中，所述训练数据还包括从所述多个oct图像生成的扩充图像集。81.根据权利要求80所述的方法，其中，通过对所述多个oct图像应用弯曲、水平翻转、x滚动、y缩放、y平移、弹性变换或伽马对比中的一个或更多个来生成所述扩充图像集。82.根据权利要求79所述的方法，其中，所述训练数据还包括从所述多个oct图像生成的退化图像集。83.根据权利要求82所述的方法，其中，通过将重采样、下采样、散斑噪声、y高斯模糊或a扫描y抖动中的一个或更多个应用于所述多个oct图像来生成所述退化图像集。84.根据权利要求79所述的方法，其中，所述训练数据还包括通过对使用所述第一扫描图案获得的多个图像进行重采样以产生基于第二扫描图案的多个图像而获得的第二多个oct图像。85.根据权利要求84所述的方法，其中，所述第一扫描图案是线性扫描图案，并且所述第二扫描图案包括多个波瓣。86.一种装置，包括：计算机可执行指令集；配置有所述计算机可执行指令集的处理器，其中当由所述处理器执行时，所述指令集使所述处理器执行前述权利要求中任一项的方法。

技术总结
训练神经网络来分割干涉图图像。获得第一多个干涉图，其中每个干涉图对应于由OCT系统使用第一扫描图案获取的数据，注释多个干涉图中的每一个以指示视网膜的组织结构，使用多个干涉图和注释训练神经网络，输入对应于由OCT系统使用第二扫描图案获取的数据的第二多个干涉图，并获得指示使用第二扫描图案扫描的视网膜的组织结构的训练神经网络的输出。系统和方法可替代地接收多个A扫描并输出与沿着OCT扫描图案的多个位置相对应的分割图像。扫描图案的多个位置相对应的分割图像。扫描图案的多个位置相对应的分割图像。


技术研发人员：斯蒂芬
受保护的技术使用者：奥克塞拉有限公司
技术研发日：2021.09.01
技术公布日：2023/8/21