用于提供外科手术指导的系统和方法与流程

用于提供外科手术指导的系统和方法
1.交叉引用
2.本技术要求于2020年12月4日提交的美国临时专利申请号63/121,802的优先权，该申请出于所有目的通过引用以其整体并入本文。


背景技术：

3.外科医生在操作期间可使用解剖学和解剖标志作为进行术中外科手术决策的指导。这样的解剖标志使得外科医生在外科手术过程期间更容易获得和保持视觉取向，这可以防止由于个体变化或病理而对改变或隐藏的关键结构造成未识别的或无意的伤害。在外科手术过程期间使损伤最小化的一种策略是预期识别关键结构并使用安全的关键视图，即描绘在给定过程期间使意外组织损伤最小化所必需的相关解剖结构的术中视图。使用可见光谱以外的光的解剖视觉也可以在术中提供价值。


技术实现要素：

4.目前可用的外科手术指导系统可基于视觉光谱中的标准术中腹腔镜和机器人辅助内窥镜数据集提供解剖位置和组织结构轮廓的预测。考虑到患者解剖学、病理学、外科手术技术以及外科医生风格、能力和熟练程度的变化，这种常规系统的精度和准确度不足以用于临床应用，并且这种系统的可行性是假设的和不切实际的。
5.本文认识到目前可用的外科手术指导系统的各种限制。鉴于与基于人类视觉光谱的常规外科手术指导系统相关联的限制，本公开提供了基于人工智能(ai)的系统，其可用于改善先验或预期的外科手术结果。
6.本公开一般涉及使用人工智能(ai)为外科医生和其他手术助手提供增强视觉、实时指导和决策支持的系统和方法。更具体地，本公开提供了用于在外科手术过程之前、期间和/或之后使用机器学习算法来在术中实时预测关键结构和/或组织活力的位置和识别关键结构和/或组织活力的系统和方法，所述机器学习算法在基于白光的图像和/或视频、诸如荧光近红外(nir)图像和/或视频或者放射性标记的染料成像的化学信号增强剂、固有发色团、自身荧光以及诸如基于激光散斑的图像和/或视频光学的增强信号的任意组合上训练，以便执行、分析、识别、预期和计划预料的步骤并避免非预料的步骤。本公开还提供了实时的基于术中机器学习的指导系统，其可以在外科手术过程(例如，解剖)之前和/或期间在关键结构上或附近提供实时视觉支持，使得外科手术操作者可以在手术期间识别相关的关键结构，评估组织活力，和/或做出外科手术决策。在一些实施方式中，这种实时的基于机器学习的指导系统还可以被实现为用于事后医学或外科手术训练的工具。本公开还提供了一种系统，该系统具有在外科手术过程或介入期间执行组织操纵时自主或半自主地跟踪和更新活动和可变形组织目标的能力。
7.一方面，本公开提供了一种外科手术指导系统，其包括图像处理模块，该图像处理模块被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像或视频数据，以及(ii)基于(a)图像或视频数据或者与图像或视频相关联的生理数据以及(b)包括与患者
或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集，来生成一个或多个医学预测或评估。一个或多个训练数据集可以包括使用多个成像模态获得的解剖和生理数据。该系统还可以包括可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。在一些实施方式中，由可视化模块提供的增强视图包括对应于一个或多个组织区域的组织活力的信息或数据。在一些实施方式中，信息或数据包括组织活力的定量测量值。在一些实施方式，可视化模块与图像处理模块集成或可操作地耦合到图像处理模块。
8.在一些实施方式中，一个或多个图像和/或视频采集模块包括(i)第一图像和/或视频采集模块，其被配置为使用第一成像模态来捕获图像和/或视频，以及(ii)第二图像和/或者视频采集模块，其被配置为使用第二成像模态来捕获图像和/或视频。
9.在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的识别或分类。在一些实施方式中，一个或多个医学预测或评估包括一个或多个关键结构的预测位置。在一些实施方式中，一个或多个医学预测或评估在外科手术过程之前和期间向该外科手术操作者提供预测性临床决策支持。在一些实施方式中，一个或多个医学预测或评估部分地基于一个或多个计算机视觉算法的输出来生成或更新。在一些实施方式中，一个或多个医学预测或评估包括通过一个或多个通知或消息标题提供给用户或操作者的医学信息或实况指导。在一些实施方式中，一个或多个医学预测或评估包括外科手术场景中一个或多个组织区域的组织活力。
10.在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进一个或多个关键结构的预测位置。
11.在一些实施方式中，一个或多个训练数据集包括与一个或多个参考外科手术过程相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括与(i)外科手术过程的一个或多个关键阶段或场景或(ii)在所述外科手术过程期间可见或可检测的关键结构的一个或多个视图相关联的医学数据。在一些实施方式中，一个或多个训练数据集包括使用腹腔镜、机器人辅助成像单元或成像传感器获得的医学数据，所述腹腔镜、机器人辅助成像单元或成像传感器被配置为生成红-绿-蓝可见光谱中的解剖图像和/或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于化学信号增强剂生成生理或功能成像数据。在一些实施方式中，化学信号增强剂包括icg、荧光或放射性标记的染料。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为基于激光散斑图案生成生理或功能成像数据。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括两个或更多个共同配准的图像或视频。在一些实施方式中，一个或多个训练数据集包括使用成像传感器获得的医学数据，该成像传感器被配置为生成生理或功能成像数据，其中该生理或功能成像数据包括外科手术感兴趣的关键结构的分割的解剖位置。在一些实施方式中，一个或多个训练数据集包括使用多个成像模态获得的医学数据，所述多个成像模态实现生理图像或视频与对应的rgb图像或视频之间的直接客观关联。多个成像模态可以包括深度成
像、距离映射、术中胆管造影、血管造影、导管造影、输尿管造影或淋巴管造影。在一些实施方式中，训练数据集包括灌注数据。
12.在一些实施方式中，图像处理模块被配置为基于在外科手术过程期间获得的附加生理数据来更新或改进一个或多个医学预测或评估。在一些实施方式中，可视化模块被配置为实时显示和跟踪一个或多个医学工具或关键特征的位置和取向。在一些实施方式中，可视化模块被配置为显示与关键特征的预测轮廓或边界相对应的一个或多个关键特征的可视外形。在一些实施方式中，使用一个或多个图像和/或视频采集模块获得的图像数据包括灌注数据。在一些实施方式中，可视化模块被配置为在外科手术操作者执行外科手术过程的一个或多个步骤之前、期间或之后，显示指示一个或多个关键特征的预测位置的可视外形。在一些实施方式中，可视化模块被配置为在外科手术过程期间执行组织操纵时，自主或半自主地跟踪活动和可变形的组织目标。
13.在一些实施方式中，图像处理模块包括数据多路复用器，该数据多路复用器被配置为组合使用一个或多个图像和/或视频采集模块获得的解剖和/或生理数据。在一些实施方式中，图像处理模块还包括空间域或时间域上的一个或多个特征提取器。一个或多个特征提取器使用一个或多个训练数据集来训练，并被配置为从组合的解剖和/或生理数据中提取一个或多个特征。在一些实施方式中，一个或多个特征提取器包括空间特征提取器，该空间特征提取器被配置为检测空间特征并为每个图像帧生成特征集。在一些实施方式中，空间特征包括一个或多个关键结构的纹理、颜色或边缘。在一些实施方式中，一个或多个特征提取器包括时间特征提取器，该时间特征提取器被配置为检测多个图像帧上的多个时间特征或特征集。在一些实施方式中，时间特征对应于对比度、灌注或透视的变化。
14.在一些实施方式中，图像处理模块还包括视图分类器，该视图分类器被配置为使用一个或多个提取的特征来确定相对于外科手术场景的当前外科手术视图。在一些实施方式中，图像处理模块还包括组织分类器，该组织分类器被配置为使用一个或多个提取的特征来识别、检测或分类一个或多个组织。在一些实施方式中，图像处理模块还包括阶段检测器，该阶段检测器被配置为使用一个或多个提取的特征来确定外科手术阶段并基于该外科手术阶段生成指导。在一些实施方式中，图像处理模块还包括关键结构检测器，该关键结构检测器被配置为基于(i)使用组织分类器识别、检测或分类的一个或多个组织，(ii)使用视图分类器确定的当前外科手术视图，以及(iii)使用阶段检测器确定的外科手术阶段来定位和识别一个或多个关键特征。在一些实施方式中，图像处理模块还包括增强视图生成器，该增强视图生成器被配置为基于使用关键结构检测器定位和识别的一个或多个关键特征，显示与外科手术过程相关联的指导和度量。
15.本公开的另一方面提供了一种包括机器可执行代码的非暂时性计算机可读介质，该机器可执行代码在由一个或多个计算机处理器、图形处理单元和/或数字信号处理器执行时实施上述或本文别处的任何方法。
16.本公开的另一方面提供了一种包括一个或多个计算机处理器和与其耦合的计算机存储器的系统。计算机存储器包括机器可执行代码，该机器可执行代码在由一个或多个计算机处理器执行时实施上述或本文别处的任何方法。
17.根据以下详细描述，本公开的附加方面和优点对于本领域技术人员来说将变得容易理解，其中仅示出和描述了本公开的说明性实施方式。如将认识到的，本公开能够具有其
他和不同的实施方式，并且其若干细节能够在各种明显的方面进行修改，所有这些都没有背离本公开。因此，附图和描述本质上应被视为是说明性的，而不是限制性的。
18.援引并入
19.本说明书中提及的所有出版物、专利和专利申请均通过引用并入本文，其程度如同每个单独的出版物、专利或专利申请都具体且单独地指明通过引用并入。在通过引用并入的出版物和专利或专利申请与说明书中包含的公开内容相矛盾的情况下，说明书旨在取代和/或优先于任何此类矛盾的材料。
附图说明
20.本发明的新颖特征在所附权利要求中具体阐述。通过参考以下阐明其中利用了本发明原理的说明性实施方式的详细描述以及附图(本文也称“图形”和“图”)，将更好地理解本发明的特征和优点，其中：
21.图1示意性地图示了根据一些实施方式的用于提供医学或外科手术指导的系统。
22.图2示意性地图示了根据一些实施方式的医学指导系统的总体系统图。
23.图3示意性地图示了根据一些实施方式的图像处理引擎的内部图。
24.图4示意性地图示了被编程或以其他方式被配置为实现本文提供的方法的计算机系统。
具体实施方式
25.尽管本文已经示出和描述了本发明的各种实施方式，但是对于本领域技术人员来说容易理解的是这些实施方式是仅作为示例来提供的。在不偏离本发明的情况下，本领域技术人员可以想到多种变型例、变化例和替换例。应当理解，可以采用本文中描述的本发明实施方式的各种取代方案。
26.当术语“至少”、“大于”或“大于或等于”在一系列两个或更多个数值中的第一个数值前面时，术语“至少”、“大于”或“大于或等于”适用于该系列数值中的每个数值。例如，大于或等于1、2或3相当于大于或等于1、大于或等于2，或大于或等于3。
27.当术语“不大于”、“小于”或“小于或等于”在一系列两个或更多个数值中的第一个数值前面时，术语“不大于”、“小于”或“小于或等于”适用于该系列数值中的每个数值。例如，小于或等于3、2或1相当于小于或等于3、小于或等于2，或小于或等于1。
28.术语“实时”或“即时”在本文中可互换使用时，通常是指使用最近收集或接收的数据执行的事件(例如，操作、过程、方法、技术、计算、运算、分析、可视化、优化等)。在一些情况下，实时事件可以几乎立即执行或在短时间跨度内执行，例如在至少0.0001毫秒(ms)、0.0005ms、0.001ms、0.005ms、0.01ms、0.05ms、0.1ms、0.5ms、1ms、5ms、0.01秒、0.05秒、0.1秒、0.5秒、1秒或更长时间内执行。在一些情况下，实时事件可以几乎立即执行或在足够短的时间跨度内执行，例如在至多1秒、0.5秒、0.1秒、0.05秒、0.01秒、5ms、1ms、0.5ms、0.1ms、0.05ms、0.01ms、0.005ms、0.001ms、0.0005ms、0.0001ms或更短的时间内执行。
29.本公开提供了为外科医生或医学人员提供实时增强外科手术指导的系统和方法。本文所公开的系统和方法可被实施以基于外科手术阶段和内容的机器学习(ml)识别来提供关键结构位置和/或组织活力的预测性可视化。在一些情况下，可以基于新获取的信息
(例如，视觉的、解剖的和/或生理的数据)来更新和/或改进这样的预测性可视化。本文所公开的系统和方法还可以被实现为提供用于分析、预期、计划和执行外科手术过程中的步骤的实时预测决策支持，同时避免未预料的、未识别的或不必要的步骤。在一些情况下，这种预测性决策支持可以基于外科手术阶段和内容的ml识别，并且这种ml识别可以基于使用(i)使用多个成像模态获得的数据集和(ii)患者的生理数据的训练。本公开的系统和方法可用于在外科手术过程中执行组织操纵时对活动和可变形的组织目标的自主或半自主跟踪。在一些情况下，本公开的系统和方法可以用于生成一个或多个过程特定的基于ml的模型，该模型被配置为基于(i)使用多个不同成像模态获得的成像数据和(ii)患者的解剖和/或生理数据来识别或预期关键特征、外科手术阶段和/或过程特定指导。在一些情况下，这种过程特定的ml模型还可以被配置为生成向外科医生或手术助手显示指导/度量的外科手术场景的增强视图。
30.基于机器学习的预测
31.本公开一般涉及使用人工智能(ai)为外科医生和其他手术助手提供增强视觉、实时指导和决策支持的系统和方法。更具体地，本公开涉及用于在外科手术过程中使用机器学习算法对关键结构和/或组织活力的位置进行术中实时预测以及对关键结构和/或组织活力进行实时预期和识别的系统和方法。如本文所用，组织活力可指组织(或组织的细胞)接受血液、营养物或允许组织保持存活并以正常方式发挥功能的其它可扩散材料或物质的能力。机器学习算法可以在基于白光的图像和/或视频、诸如荧光近红外(nir)图像和/或视频或放射性标记的染料成像之类的化学信号增强剂、固有发色团、自发荧光和诸如基于激光散斑的图像和/或视频之类的光学增强信号的任何组合上进行训练。本公开的系统和方法可以被实现用于识别、计划、分析和执行外科手术过程的预料步骤，同时避免非预料的或不必要的步骤的目的。本公开的系统和方法可以被实现以便于在外科手术过程期间执行组织操纵时，随着时间的推移自主和/或半自主地检测和跟踪活动和可变形的组织目标。
32.机器学习
33.机器学习可用于实现本公开的系统和方法。如本文所使用的，机器学习可以指各种功能、逻辑和/或算法，以教导模型在模型暴露于新数据时适应、修改和改进其决策制定能力。在一些情况下，模型或规则集可被构建并用于基于一个或多个特征的值来预测结果。一个或多个计算设备可以用于实现机器学习技术和方法，以从输入观察的示例训练数据集来构建和/或训练一个或多个模型、函数或算法，以便基于从训练数据集(而不是严格遵循静态编程指令)学习的已知属性来做出表示为输出的数据驱动预测或决策。
34.机器学习可以包括学习阶段(即，训练阶段)和推断阶段。在训练阶段期间，可以向计算设备呈现一个或多个训练数据集以用于分类。在一些情况下，一个或多个训练数据集可以包括使用多个不同成像模态拍摄的医学图像和/或视频。由计算设备产生的实际结果可以与已知的正确结果进行比较，在一些情况下参考函数。已知的正确结果可以是例如由本领域的专家或基于解剖学数据和生理学数据之间的证据或共识或一致性而预先确定为正确的结果。训练阶段的一个目标是最小化已知正确结果与计算设备基于一个或多个训练数据集的输出之间的差异。来自计算设备的输出的结果然后可以用来调整函数和计算设备的某些参数，使得如果另一训练数据集在另一时间被呈现给计算设备，则计算设备理论上将产生与已知正确结果一致的不同输出。当后续测试数据被呈现给计算设备时使用机器学
习方法的计算设备的训练可以完成，计算设备基于该测试数据生成输出，并且该输出与已知正确结果之间的比较产生在预定可接受裕度内的差异或值。
35.在推断阶段期间，在训练阶段期间训练的一个或多个模型可用于对先前未分类的数据进行分类。这样的分类可以基于在机器学习过程的受监督部分(即，训练阶段)期间输入的数据自动执行。在推断阶段，可以根据在训练阶段期间开发的模型来解析医学数据(例如，实况外科手术解剖和生理图像和/或视频)。一旦解析了医学数据，就可以使用该模型来对医学数据中包含或表示的一个或多个特征进行分类。在一些实施方式中，可以使用监督分类技术来验证该分类(即，编辑者可以验证该分类)。该分类还可以用作输入到训练阶段中的附加训练数据，并用于训练新模型和/或改进先前的模型。
36.在推断阶段期间，可向计算设备提供诸如医学图像和/或视频的医学数据。计算设备可以被编程为识别可能的感兴趣区域，该感兴趣区域已经用包括各种医学图像和/或视频的多个不同的训练数据集进行了训练。在一些情况下，计算设备可以扫描医学图像和/或视频，从医学图像和/或视频中检索特征，从医学图像和/或视频中提取值，并将这些值与计算设备已被编程为识别为与各种关键解剖和生理特征相关联的预定值进行匹配。
37.机器学习算法
38.一个或多个机器学习算法可用于实现本公开的系统和方法。机器学习算法可以是例如无监督学习算法、有监督学习算法或其组合。例如，无监督学习算法可以是聚类、分层聚类、k-均值、混合模型、dbscan、optics算法、异常检测、局部离群因子、神经网络、自动编码器、深度信念网、赫比安(hebbian)学习、生成对抗性网络、自组织映射、期望最大化算法(em)、矩量法、盲信号分离技术、主成分分析、独立成分分析、非负矩阵分解、奇异值分解或其组合。在一些实施方式中，有监督学习算法可以是例如支持向量机、线性回归、逻辑回归、线性判别分析、决策树、k-最近邻居算法、神经网络、相似性学习或其组合。
39.在一些实施方式中，机器学习算法可以包括深度神经网络(dnn)。在其他实施方式中，深度神经网络可以包括卷积神经网络(cnn)。cnn可以是例如u-net、imagenet、lenet-5、alexnet、zfnet、googlenet、vggnet、resnet18或resnet等。在一些情况下，神经网络可以是例如深度前馈神经网络、递归神经网络(rnn)、lstm(长短期记忆)、gru(门控递归单元)、自动编码器、变分自动编码器、对抗性自动编码器、去噪自动编码器、稀疏自动编码器、玻尔兹曼机、rbm(受限bm)、深度信念网络、生成对抗性网络(gan)、深度残差网络、胶囊网络或注意力/变压器网络等。在一些实施方式中，神经网络可以包括神经网络层。神经网络可具有至少约2至1000或更多个神经网络层。在一些情况下，机器学习算法可以是例如随机森林、增强决策树、分类树、回归树、装袋树、神经网络或循环森林。
40.机器学习算法可用于在外科手术过程期间生成一个或多个医学模型，用于预测可视化和/或预测支持。在一些情况下，可以使用神经网络或卷积神经网络来训练一个或多个医学模型。在一些情况下，可以使用深度学习来训练一个或多个医学模型。在一些情况下，深度学习可以是监督的、无监督的和/或半监督的。在一些情况下，可以使用强化学习和/或迁移学习来训练一个或多个医学模型。在一些情况下，可以使用图像阈值化和/或基于颜色的图像分割来训练一个或多个医学模型。在一些情况下，可以使用聚类来训练一个或多个医学模型。在一些情况下，可以使用回归分析来训练一个或多个医学模型。在一些情况下，可以使用支持向量机来训练一个或多个医学模型。在一些情况下，可以使用一个或多个决
策树或与该一个或多个决策树相关联的随机森林来训练该一个或者多个医学模型。在一些情况下，可以使用降维来训练一个或多个医学模型。在一些情况下，可以使用一个或多个递归神经网络来训练一个或多个医学模型。在一些情况下，一个或多个递归神经网络可以包括长短期记忆神经网络。在一些情况下，可以使用一个或多个经典算法来训练一个或多个医学模型。一个或多个经典算法可以被配置为实现指数平滑、单指数平滑、双指数平滑、三指数平滑，holt-winters指数平滑，自回归、移动平均、自回归移动平均、自回归综合移动平均、季节自回归综合移动平均、向量自回归或向量自回归移动平均。
41.应用
42.机器学习算法可用于实施实时术中ai指导系统，该系统在外科手术过程之前、期间和/或之后为外科医生和医疗人员提供视觉支持。在一个示例中，实时术中指导系统可以在组织的解剖或切除期间使用，以帮助外科医生预测和识别相关的关键结构，评估或可视化组织活力，和/或在外科手术过程期间提供外科手术决策的选项。在另一示例中，基于实时ai的指导系统可以在去除医疗对象的胆囊(胆囊切除术)期间的calot三角解剖之前和/或期间向外科医生和/或手术助手提供关键解剖结构的预期识别作为术中决策支持。在另一示例中，基于实时ai的指导系统可被配置和/或用于在外科手术过程期间提供关于组织活力的信息。
43.ai指导系统可被配置为在解剖或切除进行时实时获取和评估关于患者解剖和/或生理的新信息。ai指导系统可被配置为在一个或多个外科手术过程期间对(i)相关关键结构的位置和/或(ii)组织活力作出术中预测或评估。关键结构位置和/或组织活力的预测可以在关键区的解剖或切除之前开始，并且可以在进一步解剖或切除发生时基于由系统获取的新信息来改进。
44.在一些情况下，ai指导系统可以使用通过激光散斑对比成像获得的灌注数据，来在操作期间为外科医生提供医疗决策支持。该系统还可用于针对给定操作过程预测关键结构的位置和/或确定组织活力。例如，在腹腔镜胆囊切除术中，该系统可用于预测一个或多个肝外胆管结构的位置，例如胆囊管、胆囊动脉、总胆管、总肝管和/或胆囊。在其它外科手术过程中(例如，对器官的外科手术、结直肠手术、减肥手术、血管手术、内分泌手术、耳鼻喉科手术、泌尿手术、妇科手术、神经外科手术、骨科手术、淋巴结清扫手术、识别对象的前哨淋巴结的手术等)，该系统可被配置为通过在外科手术过程之前、期间和/或之后预测和描绘关键结构和/或器官的位置以及组织活力来提供外科手术指导和医学数据分析支持。
45.在一个方面，本公开提供了一种基于ai模型的实时指导和数据分析支持系统，该模型已经使用一个或多个对应于整个外科手术过程(或其部分)的医学数据集进行了训练。在一些情况下，一个或多个医学数据集可以包括与外科手术过程的一个或多个关键阶段或场景有关的医学数据，例如关键或重要结构的解剖前和解剖后视图。这样的医学数据可以使用(i)内窥镜，例如腹腔镜，(ii)机器人辅助成像设备，或(iii)红-绿-蓝视觉、近红外和/或短波红外光谱中的任何数字解剖视觉传感器来获得，并且在一些非限制性示例中可以包括生理或功能成像数据。在一些情况下，成像数据可以基于化学信号增强剂，如吲哚菁绿(icg)、荧光或放射性标记的染料，和/或基于相干光传输的光学信号增强剂，如激光散斑成像。在一些情况下，成像数据可以包括共同配准的两个或更多个医学图像和/或视频。在一些情况下，成像数据可以包括一个或多个分割的医学图像和/或视频，其指示(1)外科手术
感兴趣的关键结构的解剖位置和/或(2)组织活力。在本文描述的任何实施方式中，用于训练ai或机器学习模型的医学数据和/或成像数据可以使用诸如，举例而言，深度成像或距离映射的一个或多个成像模态来获得。在一些情况下，从深度成像或距离映射导出的信息可用于训练ai或机器学习模型。从深度成像导出的信息可包括例如距离图，该距离图可以是(1)从视差图(例如，示出一对图像或视频之间的明显像素差异或运动的图)计算的，(2)使用基于ai的单目算法估计的，或(3)使用诸如飞行时间成像的技术测量的。在一些情况下，一个或多个成像模态可以备选地或进一步包括例如荧光成像、散斑成像、红外成像、uv成像、x射线成像、术中胆管造影、血管造影、导管造影、输尿管造影和/或淋巴管造影。这种成像模态的使用可以允许生理特征与对应的rgb图像和/或视频之间的直接客观关联。
46.本文所述的医学模型可使用生理数据(例如，灌注数据)进行训练。医学模型还可被配置为处理生理数据并提供实时更新。在训练数据集中和实时更新中添加生理数据可以提高医学数据分析、关键结构位置的预测、组织活力的评估、外科手术场景和内容识别的计划和/或步骤和程序计划的执行的准确性。
47.在一些情况下，系统可被配置为识别关键结构，并以统计置信度可视地勾勒出关键结构的预测轮廓和/或边界。在一些情况下，该系统还可被配置为基于对手术阶段和内容(例如，组织位置、组织类型或医疗工具或器械的选择、位置和/或移动)的基于机器学习模型的识别，在任何外科手术过程开始时和/或期间，先验地实时显示、跟踪和更新关键结构位置。关键结构位置的显示和跟踪可以基于在外科手术过程期间获得的医学数据、基于云连接和边缘计算来实时更新。如本文其他地方所述，该系统还可用于评价、评估、可视化、量化或预测组织活力。在一些情况下，该系统还可被配置为向外科医生、医生或(本地或远程)参与或支持外科手术过程的任何其他个人显示提供医学推断、信息和/或指导的通知和/或信息标语。当外科医生或医生正在执行步骤或过程时，通知或消息标语可以向外科医生或医生提供与当前过程或过程的步骤有关的信息。通知或消息标语可以提供实时指导或警报，以进一步通知或指导外科医生或医生。通过通知或消息标语提供的信息可以从本文描述的机器学习模型中导出。
48.在一些情况下，系统可被配置为在外科手术过程期间进行组织操纵时，跟踪活动和可变形的组织目标的移动或变形。这种跟踪可以以自主或半自主的方式进行。
49.系统部件
50.系统可被配置为使用一个或多个过程特定的机器学习模型来提供外科手术指导。每个模型可以使用多阶段方法，以数据多路复用器开始，来组合从一个或多个医学成像系统获得的解剖和/或生理数据。数据多路复用器可被配置为组合所有可用的数据流(例如，包括从医学影像导出的医学信息的数据流)，其中每个流被分配给其自己的通道。该系统还可以包括一个或多个基于机器学习的特征提取器。一个或多个基于机器学习的特征提取器可以包括空间特征提取器和/或时间特征提取器。一个或多个基于机器学习的特征提取器可以在空间域和/或时间域中，并且可以在预先存在的外科手术数据上进行训练。基于ml的空间特征提取器可以在每个单独的通道上使用，以找到相关特征，这些相关特征可以被组合以生成用于每个帧(其可以对应于一个或多个不同的时间点)的特征集。基于ml的时间特征提取器可被配置为采用多个这样的特征集，并提取整个特征集的相关特征。基于ml的空间特征提取器可以用于识别纹理、颜色、边缘等，而基于ml的时间特征提取器可以指示逐帧
变化，例如对比度、灌注、透视等的变化。
51.上述提取的特征可以由在预先存在的数据上训练的ml分类器使用，以(i)确定正在进行的外科手术过程的外科手术阶段，(ii)预测或推断外科医生何时需要指导，(iii)当外科医生正在观察和/或在目标组织或其他附近区域上操作时，推断组织类型，和/或(iv)将当前外科手术视图配准到一组已知的坐标或参考系。由ml分类器提供的分类可被馈送到基于机器学习的关键结构检测器或组织活力评估器，其可以向增强视图生成器提供所需的信息，以在外科手术过程的关键阶段期间实时地向外科医生和/或一个或多个操作助手显示指导和度量。
52.图1示意性地示出了用于提供医学或外科手术引导的系统100。系统100可以包括一个或多个成像模块110。一个或多个成像模块110可以用于获得外科手术过程的图像和/或视频。外科手术过程的图像和/或视频可以包括一个或多个组织区域，外科医生或医生在其上或其附近进行操作或准备操作。一个或多个成像模块110可被配置为向图像和/或视频处理模块120提供图像和/或视频。图像和/或视频处理模块120可被配置为使用本文描述的任何机器学习技术来处理图像和/或视频。图像和/或视频处理模块120可被配置为从图像和/或视频中提取一个或多个空间或时间特征。一个或多个空间或时间特征可用于确定外科手术视图、组织类型和/或外科手术过程的阶段。一个或多个空间或时间特征(或从该特征导出的一个或多个医学推断，例如组织位置、组织移动、组织活力、灌注特性等)可被提供给增强视图生成器130。增强视图生成器130可被配置为在外科手术过程期间向外科医生提供实时指导、度量和/或增强图像或视频数据。
53.图2提供了如本文所述的医学指导系统200的总体系统图。医学指导系统200可以包括近至远红外图像和/或视频采集模块210，其可被配置为向图像和/或视频处理引擎220提供一个输入(例如，第一输入)。在一些情况下，图像和/或视频采集模块210可被配置为采集近红外光谱中的图像和/或视频。在其他情况下，图像和/或视频采集模块210可被配置为采集中红外光谱中的图像和/或视频。备选地，图像和/或视频采集模块210可被配置为采集远红外光谱中的图像和/或视频。在本文所述的任何实施方式中，图像和/或视频采集模块210可被配置为采集红外光谱的任何部分或范围中的图像和/或视频。如本文所用，红外光谱可对应于与波长在约700纳米(nm)和约1毫米(mm)之间的光相关联的电磁光谱的一部分。第二输入可以由腹腔镜成像系统230提供，腹腔镜成像系统230可以与医学指导系统200和医学指导系统200的近红外图像和/或视频采集模块210分离。图像和/或视频处理引擎220可被配置为使用人工智能和/或基于机器学习的推断来向外科医生提供增强信息。这样的增强信息可以包括例如当前外科手术步骤、外科手术过程的一个或多个步骤的进展量、关于当前视图(例如，组织、器官或关键结构的前视图)的细节、和/或关于关键结构和组织活力(例如，灌注特性)的信息。
54.图3示意性地图示了图2所示的图像和/或视频处理引擎220的内部图。图像和/或视频处理引擎220可以包括数据多路复用器221、空间特征提取器222、时间特征提取器223、组织分类器224、视图分类器225、阶段检测器226、关键结构检测器227和增强视图生成器228。
55.数据多路复用器221可被配置为接收并组合至少第一数据流301和第二数据流302。在一些情况下，第一数据流301可包括腹腔镜成像和/或视频数据，第二数据流302可包
括红外成像和/或视频数据。数据多路复用器221可被配置为处理第一数据流301和第二数据流302以生成组合数据，该组合数据可被提供给空间特征提取器222和/或时间特征提取器223。如上所述，空间特征提取器222可被配置为从组合数据中找到和/或提取相关的空间特征，并为对应于一个或多个不同时间点的每个帧生成特征集。空间特征可以包括场景信息(例如，外科手术场景中一个或多个特征的存在或不存在)、工具信息(例如，工具相对于外科手术场景的位置和/或取向)和/或一个或多个感兴趣组织区域的位置、取向、形状、结构或变形的实时更新。时间特征提取器223可被配置为采用由空间特征提取器222识别的多个特征集，并提取整个特征集的相关时间特征，以跟踪一段时间内特征的变化。如上所述，空间特征提取器222可用于识别纹理、颜色、边缘等，而时间特征提取器223可用于确定或可视化一个或多个空间特征的逐帧变化，例如对比度、灌注、透视等的变化。
56.上述提取的特征可以提供给一个或多个基于机器学习的分类器，这些分类器在预先存在的数据上进行训练。例如，所提取的特征可以提供给组织分类器224，该组织分类器224被配置为当外科医生正在观察和/或在目标组织或其他附近区域上操作时，使用所提取的特征来推断组织类型。所提取的特征还可以提供给视图分类器225，其被配置为使用所提取的特征来确定相对于已知的一组坐标或参考系的当前外科手术视图，或者将当前外科手术视图配准到已知的一组坐标或参考系。所提取的特征还可以提供给阶段检测器226，该阶段检测器226被配置为使用所提取的特征来确定正在进行的外科手术过程的外科手术阶段。由组织分类器224、视图分类器225和阶段检测器226生成的输出或推断可以提供给关键结构检测器227，该关键结构检测器227被配置为使用输出或推断来检测一个或多个关键结构、确定一个或多个关键结构的位置，和/或识别与一个或多个关键结构相关联的一个或多个生物或生理特性(例如，灌注和/或组织活力)。关键结构检测器227可以可操作地耦合到增强视图生成器228，该增强视图生成器228被配置为预测或推断外科医生何时需要指导，并在外科手术过程的关键阶段期间向外科医生和/或一个或多个操作助手实时显示包括指导和度量的增强手术视图303。
57.计算机视觉
58.在一些非限制性实施方式中，一个或多个计算机视觉算法可用于实施本公开的系统和方法。一个或多个计算机视觉算法可与机器学习组合使用以增强所生成的医学推断的质量。备选地，可以使用一个或多个计算机视觉算法来代替机器学习，以提供不同种类或类型的医学推断。
59.在一些情况下，一个或多个计算机视觉算法可包括，例如，对象识别或对象分类算法、对象检测算法、形状识别算法和/或对象跟踪算法。在一些情况下，计算机视觉算法可以包括利用像素和图案分析的计算机实现的自动图像识别。在其他情况下，计算机视觉算法可以包括涉及不同种类的计算机处理的机器视觉处理，例如对象和字符识别和/或文本和视觉内容分析。在一些实施方式中，计算机视觉算法可以利用机器学习或者可以使用机器学习来训练。备选地，计算机视觉算法可以不利用或不需要利用机器学习或基于机器学习的训练。
60.计算机系统
61.在一方面，本公开提供了被编程或以其他方式配置以实现本公开的方法的计算机系统，例如，用于提供外科手术指导的任何主题方法。图4示出了被编程或以其他方式被配
置成实现用于提供外科手术指导的方法的计算机系统401。计算机系统401可被配置为例如组合从一个或多个医学成像单元获得的数据流，从组合的数据流中提取一个或多个空间或时间特征，对特征进行分类，并使用分类生成增强的外科手术视图，以在外科手术过程的关键阶段期间向外科医生和医疗人员提供实时指导和度量。计算机系统401可以是用户的电子器件或相对于电子器件被远程定位的计算机系统。电子器件可以是移动电子器件。在一些情况下，单个计算机系统或计算设备可以用于向外科医生传递信息、执行图像和/或视频采集、训练或运行一个或多个机器学习模型，和/或基于一个或多个机器学习模型生成医学推断。在其他情况中，多个计算机系统或计算设备可以用于执行不同的功能(包括例如向外科医生传递信息、执行图像和/或视频采集、训练或运行一个或多个机器学习模型，和/或基于一个或多个机器学习模型生成医学推断)。利用两个或更多个计算机系统或计算设备可实现任务或信息的并行处理，以提供基于实时手术推断和/或机器学习的外科手术指导。
62.计算机系统401可以包括中央处理单元(cpu，本文也称为“处理器”和“计算机处理器”)405，该中央处理单元405可以是一种单核或多核处理器，或可以是用于并行处理的多个处理器。计算机系统401还包括一个或多个图形处理单元(gpu)406和/或数字信号处理器(dsp)407、存储器或存储器位置410(例如，随机存取存储器、只读存储器、闪存)、电子储存单元415(例如，硬盘)、用于与一个或多个其他系统进行通信的通信接口420(例如，网络适配器)，以及诸如高速缓存、其他存储器、数据储存和/或电子显示适配器的外围器件425。存储器410、储存单元415、接口420和外围器件425通过诸如母板的通信总线(实线)与cpu 405进行通信。储存单元415可以是用于储存数据的数据储存单元(或数据仓库)。计算机系统401可以在通信接口420的帮助下可操作地耦合到计算机网络(“网络”)430上。网络430可以是因特网、内联网和/或外联网，或与因特网通信的内联网和/或外联网。在一些情况下，网络430是电信和/或数据网络。网络430可以包括一个或多个计算机服务器，该一个或多个计算机服务器可以启用分布式计算，例如云计算。在一些情况下，在计算机系统401的帮助下，网络430可以实现对等网络，该对等网络可以使耦合到计算机系统2001上的设备能够充当客户端或服务器。
63.cpu 405可以执行一系列机器可读指令，该一系列机器可读指令可以体现在程序或软件中。这些指令可以储存在诸如存储器410的存储器位置上。指令可以针对cpu 405，这些指令随后可以对cpu 405进行编程或以其他方式配置cpu 405以实现本公开的方法。由cpu 405进行的操作的示例可以包括获取、解码、执行和回写。
64.cpu 405可以是电路(诸如集成电路)的一部分。系统401的一个或多个其他组件可以包括在电路中。在一些情况下，电路是专用集成电路(asic)。
65.储存单元415可以储存文件，例如驱动程序、程序库和已保存的程序。储存单元415可以储存用户数据，例如用户偏好和用户程序。在一些情况下，计算机系统401可以包括位于计算机系统401的外部的一个或多个附加数据储存单元(例如，在通过内联网或因特网与计算机系统401通信的远程服务器上)。
66.计算机系统401可以通过网络430与一个或多个远程计算机系统通信。举例来说，计算机系统401可以与用户(例如，医生、外科医生、帮助或进行外科手术过程的医务助理等)的远程计算机系统通信。远程计算机系统的示例包括个人计算机(例如，便携式pc)、平板pc或平板型pc(例如，ipad、galaxy tab)、电话、智能电话(例如，
iphone、支持android的设备、)，或个人数字助理。用户可以经由网络430访问计算机系统401。
67.本文所述的方法可以通过储存在计算机系统401的电子储存位置上(例如在存储器410或电子储存单元415上)的机器(例如，计算机处理器)可执行代码来实现。机器可执行代码或机器可读代码可以以软件的形式提供。在使用时，该代码可以由处理器405执行。在一些情况下，该代码可以从储存单元415中取回并储存在存储器410上以供处理器405随时访问。在一些情形下，电子储存单元415可以排除在外，而将机器可执行指令储存在存储器410上。
68.代码可以被预编译和配置为与具有适于执行代码的处理器的机器一起使用，或者可以在运行时编译。代码可以以编程语言来提供，该编程语言可以被选择以使代码能够以预编译或编译后的方式执行。
69.本文提供的系统和方法的各个方面，诸如计算机系统401，可以体现在编程中。该技术的各个方面可以被视为典型地以机器(或处理器)可执行代码和/或相关数据的形式存在的“产品”或“制造品”，这些可执行代码和/或相关数据被携带或体现在一种机器可读介质中。机器可执行代码可以储存在电子储存单元上，诸如存储器(例如，只读存储器、随机存取存储器、闪存)或硬盘。“储存”型介质可以包括计算机、处理器等，或其相关模块中的任何一个或全部的有形存储器，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以为软件编程随时提供非暂时性储存。所有或部分软件有时可以通过因特网或各种其他电信网络进行通信。例如，这样的通信可以使软件能够从一台计算机或处理器加载到另一台计算机或处理器中，例如，从管理服务器或主机加载到应用服务器的计算机平台中。因此，可以承载软件元素的另一种类型的介质包括光波、电波和电磁波，诸如跨越本地设备之间的物理接口、通过有线网络和光陆线网络且经由各种空中链路而使用。承载这种波的物理元件，诸如有线链路或无线链路、光链路等，还可以被认为是承载软件的介质。如本文所用，除非限于非暂时性、有形“储存”介质，否则诸如计算机或机器“可读介质”的术语指的是任何一种参与提供指令给处理器以供其执行的介质。
70.因此，诸如计算机可执行代码的机器可读介质可以采取多种形式，包括但不限于：有形储存介质、载波介质或物理传输介质。非易失性储存介质(例如，包括光盘或磁盘，或任何一台计算机中的任何一种储存设备等)均可用于实现附图中所示的数据库等。易失性储存介质包括动态存储器，诸如这种计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包括构成计算机系统内总线的电线。载波传输介质可以采取电信号或电磁信号，或诸如在射频(rf)和红外(ir)数据通信时生成的声波或光波的形式。因此，计算机可读介质的常见形式包括例如：软盘、柔性盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片纸带、任何其他带有孔图案的物理储存介质、ram、rom、prom和eprom、flash-eprom、任何其他存储器芯片或盒式磁带、传输数据或指令的载波、传输这种载波的电缆或链路，或计算机可以从中读取编程代码和/或数据的任何其他介质。许多这些形式的计算机可读介质可以涉及将一个或多个序列的一个或多个指令携带给处理器以供其执行。
71.计算机系统401可以包括电子显示器435或与电子显示器435通信，该电子显示器435包括用户界面(ui)440，该用户界面(ui)440用于例如为医生或外科医生提供增强的外
科手术视图门户，以在外科手术过程期间实时查看外科手术指导或度量。该门户可以通过应用编程接口(api)提供。用户或实体还可以通过ui与门户中的各种元素进行交互。ui的示例包括但不限于图形用户界面(gui)和基于网络的用户界面。
72.本公开的方法和系统可以通过一个或多个算法来实现。算法可以在由中央处理单元405执行时通过软件来实现。例如，该算法可被配置为组合从一个或多个医学成像单元获得的数据流、从组合的数据流中提取一个或多个空间或时间特征、对特征进行分类，并使用分类生成增强的手术视图，以在外科手术过程的关键阶段期间向外科医生和医疗人员提供实时指导和度量。
73.虽然本文已经显示和描述了本发明的优选实施方式，但是对于本领域技术人员来说容易理解的是，这些实施方式仅作为示例提供。并非旨在本发明受说明书内提供的具体示例的限制。尽管已经参考前述说明书描述了本发明，但是本文的实施方式的描述和图示不意味着以限制意义来解释。在不脱离本发明的情况下，本领域技术人员现在将想到许多变化、改变和替换。此外，应当理解，本发明的所有方面并不局限于本文所述的取决于各种条件和变量的具体描述、配置或相对比例。应当理解，在实施本发明时可以采用本文描述的本发明实施方式的各种替代方案。因此，预期本发明还应涵盖任何此类替代、修改、变化或等同物。所附权利要求旨在限定本发明的范围，并且这些权利要求及其等同物范围内的方法和结构由此被覆盖。

技术特征：
1.一种外科手术指导系统，包括：图像处理模块，其被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像或视频数据，以及(ii)基于(a)所述图像或视频数据或者与所述图像或视频数据相关联的生理数据以及(b)包括与患者或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集来生成一个或多个医学预测或评估，其中所述一个或多个训练数据集包括使用多个成像模态获得的解剖和生理数据；和可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。2.根据权利要求1所述的系统，其中所述一个或多个图像和/或视频采集模块包括(i)第一图像和/或视频采集模块，其被配置为使用第一成像模态来捕获图像和/或视频，以及(ii)第二图像和/或者视频采集模块，其被配置为使用第二成像模态来捕获图像和/或视频。3.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括一个或多个关键结构的识别或分类。4.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括一个或多个关键结构的预测位置。5.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估在外科手术过程之前和期间向所述外科手术操作者提供预测性临床决策支持。6.根据权利要求1所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进所述一个或多个医学预测或评估。7.根据权利要求6所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加图像数据来实时更新或改进一个或多个关键结构的预测位置。8.根据权利要求1所述的系统，其中所述一个或多个训练数据集包括与一个或多个参考外科手术过程相关联的医学数据。9.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括与(i)外科手术过程的一个或多个关键阶段或场景或(ii)在所述外科手术过程期间可见或可检测的关键结构的一个或多个视图相关联的医学数据。10.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用腹腔镜、机器人辅助成像单元或成像传感器获得的医学数据，所述腹腔镜、机器人辅助成像单元或成像传感器被配置为生成红-绿-蓝可见光谱中的解剖图像和/或视频。11.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为基于化学信号增强剂生成生理或功能成像数据。12.根据权利要求11所述的系统，其中所述化学信号增强剂包括icg、荧光或放射性标记的染料。13.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为基于激光散斑图案生成生理或功能成像数据。14.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为生成生理或功能成像数据，其中所述生理或功
能成像数据包括两个或更多个共同配准的图像或视频。15.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用成像传感器获得的医学数据，所述成像传感器被配置为生成生理或功能成像数据，其中所述生理或功能成像数据包括外科手术感兴趣的关键结构的分割的解剖位置。16.根据权利要求8所述的系统，其中所述一个或多个训练数据集包括使用多个成像模态获得的医学数据，所述多个成像模态实现生理图像或视频与对应的rgb图像或视频之间的直接客观关联，其中所述多个成像模态包括深度成像、距离映射、术中胆管造影、血管造影、导管造影、输尿管造影或淋巴管造影。17.根据权利要求1所述的系统，其中所述图像处理模块被配置为基于在外科手术过程期间获得的附加生理数据来实时更新或改进所述一个或多个医学预测或评估。18.根据权利要求1所述的系统，其中所述可视化模块被配置为实时显示和跟踪一个或多个医学工具或关键特征的位置和取向。19.根据权利要求18所述的系统，其中所述可视化模块被配置为显示与所述关键特征的预测轮廓或边界相对应的所述一个或多个关键特征的可视外形。20.根据权利要求1所述的系统，其中所述训练数据集包括灌注数据。21.根据权利要求1所述的系统，其中使用一个或多个图像和/或视频采集模块获得的所述图像数据包括灌注数据。22.根据权利要求1所述的系统，其中所述可视化模块被配置为在所述外科手术操作者执行外科手术过程的一个或多个步骤之前、期间或之后，显示指示一个或多个关键特征的预测位置的可视外形。23.根据权利要求1所述的系统，其中所述可视化模块被配置为在外科手术过程期间执行组织操纵时，自主或半自主地跟踪活动和可变形的组织目标。24.根据权利要求1所述的系统，其中所述图像处理模块包括数据多路复用器，所述数据多路复用器被配置为组合使用所述一个或多个图像和/或视频采集模块获得的解剖和/或生理数据。25.根据权利要求24所述的系统，其中所述图像处理模块还包括空间域或时间域上的一个或多个特征提取器，其中所述一个或多个特征提取器使用所述一个或多个训练数据集来训练，并被配置为从所述组合的解剖和/或生理数据中提取一个或多个特征。26.根据权利要求25所述的系统，其中所述一个或多个特征提取器包括空间特征提取器，所述空间特征提取器被配置为检测空间特征并为每个图像帧生成特征集。27.根据权利要求26所述的系统，其中所述空间特征包括一个或多个关键结构的纹理、颜色或边缘。28.根据权利要求25所述的系统，其中所述一个或多个特征提取器包括时间特征提取器，所述时间特征提取器被配置为检测多个图像帧上的多个时间特征或特征集。29.根据权利要求28所述的系统，其中所述时间特征对应于对比度、灌注或透视的变化。30.根据权利要求25所述的系统，其中所述图像处理模块还包括视图分类器，所述视图分类器被配置为使用所述一个或多个提取的特征来确定相对于所述外科手术场景的当前外科手术视图。
31.根据权利要求30所述的系统，其中所述图像处理模块还包括组织分类器，所述组织分类器被配置为使用所述一个或多个提取的特征来识别、检测或分类一个或多个组织。32.根据权利要求31所述的系统，其中所述图像处理模块还包括阶段检测器，所述阶段检测器被配置为使用所述一个或多个提取的特征来确定外科手术阶段并基于所述外科手术阶段生成指导。33.根据权利要求32所述的系统，其中所述图像处理模块还包括关键结构检测器，所述关键结构检测器被配置为基于(i)使用所述组织分类器识别、检测或分类的所述一个或多个组织，(ii)使用所述视图分类器确定的当前外科手术视图，以及(iii)使用所述阶段检测器确定的所述外科手术阶段来定位和识别一个或多个关键特征。34.根据权利要求33所述的系统，其中所述图像处理模块还包括增强视图生成器，所述增强视图生成器被配置为基于使用所述关键结构检测器定位和识别的所述一个或多个关键特征，显示与所述外科手术过程相关联的指导和度量。35.根据权利要求1所述的系统，其中所述可视化模块与所述图像处理模块集成或可操作地耦合到所述图像处理模块。36.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括通过一个或多个通知或消息标题提供给用户或操作者的医学信息或实况指导。37.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估包括所述外科手术场景中的一个或多个组织区域的组织活力。38.根据权利要求37所述的系统，其中由所述可视化模块提供的所述增强视图包括对应于所述一个或多个组织区域的所述组织活力的信息或数据。39.根据权利要求38所述的系统，其中所述信息或数据包括组织活力的定量测量值。40.根据权利要求1所述的系统，其中所述一个或多个医学预测或评估部分地基于一个或多个计算机视觉算法的输出来生成或更新。

技术总结
本公开提供了用于提供外科手术指导的系统和方法。在一个方面，本公开提供了一种外科手术指导系统，其包括：图像处理模块，其被配置为(i)接收使用一个或多个图像和/或视频采集模块获得的图像数据，以及(ii)基于(a)图像/视频数据或与图像/视频数据相关联的生理数据以及(b)包括与患者或外科手术过程相关联的外科手术或医学数据的一个或多个训练数据集，来生成一个或多个医学预测或评估。该一个或多个训练数据集可以包括使用多个成像模态获得的解剖和生理数据。该系统还可以包括可视化模块，其被配置为基于一个或多个增强数据集为外科手术操作者提供外科手术场景的增强视图。手术操作者提供外科手术场景的增强视图。手术操作者提供外科手术场景的增强视图。


技术研发人员：波格丹
受保护的技术使用者：艾科缇弗外科公司
技术研发日：2021.12.03
技术公布日：2023/9/13