经由模态中性机器学习变换的多模态图像配准的制作方法

1.本公开整体涉及图像配准，并且更具体地涉及经由模态中性机器学习变换的多模态图像配准。


背景技术：

2.图像配准是将一个图像与另一个图像对准以使得两个图像具有对应的取向或特征位置的过程。分析型图像配准非常耗时，而深度学习型图像配准的耗时则少得多。然而，深度学习型图像配准可仅准确地应用于与用来训练此类深度学习型图像配准的图像足够相似的图像。深度学习型图像配准最常在全部由单个成像模态生成的图像上训练。但是，在临床实践中，描绘相同解剖结构的两个不同图像通常由两个不同成像模态生成。遗憾的是，在单模态训练数据集上训练的深度学习型图像配准不能准确地应用于此类多模态图像。此外，在多模态训练数据集上训练深度学习型图像配准的努力已经实现了非常有限的成功。因此，在实施现有技术时，深度学习型图像配准无法准确地配准来自不同成像模态的图像。
3.因此，可以解决这些技术问题中的一个或多个技术问题的系统和/或技术可能是所期望的。


技术实现要素：

4.以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘具体实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，描述了促进经由模态中性机器学习变换的多模态图像配准的设备、系统、计算机实现的方法、装置和/或计算机程序产品。
5.根据一个或多个实施方案，提供了一种系统。该系统可以包括可存储计算机可执行部件的计算机可读存储器。该系统还可包括处理器，该处理器能够可操作地耦接至计算机可读存储器并且能够执行存储在计算机可读存储器中的计算机可执行部件。在各种实施方案中，该计算机可执行部件可包括接收器部件。在各个方面，该接收器部件可访问第一图像和第二图像，其中第一图像可根据第一成像模态描绘解剖结构，并且其中第二图像可根据不同于第一成像模态的第二成像模态描绘该解剖结构。在各种情况下，该计算机可执行部件还可包括模态中性部件。在各种情况下，该模态中性部件可经由在第一图像和第二图像上执行机器学习模型来生成第一图像的模态中性版本和第二图像的模态中性版本。在各个方面，该计算机可执行部件还可包括执行部件。在各种情况下，该执行部件可基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。
6.根据一个或多个实施方案，上述系统可被实现为计算机实现的方法和/或计算机程序产品。
附图说明
7.本专利或专利申请文件包含至少一个彩色绘制的附图。带有彩色附图的本专利或专利申请公布的副本将在提出请求并支付必要费用后由专利局提供。
8.图1示出了根据本文所述的一个或多个实施方案的示例性非限制性系统的框图，该系统促进经由模态中性机器学习变换的多模态图像配准。
9.图2示出了根据本文所述的一个或多个实施方案的经由不同成像模态捕获/生成的可移动图像和固定图像的非限制性示例。
10.图3示出了根据本文所述的一个或多个实施方案的经由不同成像模态捕获/生成的可移动图像和固定图像的示例性非限制性强度分布。
11.图4示出了根据本文所述的一个或多个实施方案的促进经由模态中性机器学习变换的多模态图像配准的示例性非限制性系统的框图，该系统包括机器学习模型、模态中性可移动图像和模态中性固定图像。
12.图5示出了根据本文所述的一个或多个实施方案的示出机器学习模型可如何生成输入图像的模态中性版本的示例性非限制性框图。
13.图6示出了根据本文所述的一个或多个实施方案的模态中性可移动图像和模态中性固定图像的非限制性示例。
14.图7示出了根据本文所述的一个或多个实施方案的模态中性可移动图像和模态中性固定图像的示例性非限制性强度分布。
15.图8示出了根据本文所述的一个或多个实施方案的包括配准场的示例性非限制性系统的框图，该系统促进经由模态中性机器学习变换的多模态图像配准。
16.图9示出了根据本文所述的一个或多个实施方案的示例性非限制性框图，其示出了可如何基于模态中性可移动图像和模态中性固定图像来生成配准场。
17.图10示出了根据本文所述的一个或多个实施方案的包括配准图像的示例性非限制性系统的框图，该系统促进经由模态中性机器学习变换的多模态图像配准。
18.图11示出了根据本文所述的一个或多个实施方案的示例性非限制性框图，其示出了可如何基于配准场来生成配准图像。
19.图12示出了根据本文所述的一个或多个实施方案的未经历模态中性机器学习变换的刚性配准图像和非刚性配准图像的示例性非限制性视图。
20.图13示出了根据本文所述的一个或多个实施方案的已经历了模态中性机器学习变换的配准图像的示例性非限制性视图。
21.图14示出了根据本文所述的一个或多个实施方案的包括训练部件和训练数据集的示例性非限制性系统的框图，该系统促进经由模态中性机器学习变换的多模态图像配准。
22.图15示出了根据本文所述的一个或多个实施方案的训练数据集的示例性非限制性框图。
23.图16示出了根据本文所述的一个或多个实施方案的示出可如何在训练数据集上训练机器学习模型的示例性非限制性框图。
24.图17示出了根据本文所述的一个或多个实施方案的示例性非限制性计算机实现的方法的流程图，该方法促进经由模态中性机器学习变换的多模态图像配准。
25.图18示出了可在其中促进本文所述的一个或多个实施方案的示例性非限制性操作环境的框图。
26.图19示出了可操作为执行本文所述的各种具体实施的示例性联网环境。
具体实施方式
27.以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”或“发明内容”部分或者“具体实施方式”部分中提出的任何明示或暗示信息的约束。
28.现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
29.图像配准是将一个图像(例如，二维像素阵列、或三维体素阵列、或甚至四维体素阵列)与另一个图像(例如，也是二维像素阵列、或也是三维体素阵列、或也是四维体素阵列)对准以使得两个图像具有对应的取向(例如，使得在这两个图像中描绘的结构和/或特征具有彼此相同的取向和/或位置)的过程。
30.分析型图像配准可能非常耗时。具体地，分析型图像配准可通过对第一图像执行冗长的迭代微扰过程来将第一图像(例如，称为“可移动图像”)与第二图像(例如，称为“固定图像”)配准。因此，当期望在许多对图像上执行配准时，分析型图像配准可能需要对每一对期望的图像执行这种冗长的迭代扰动过程，这可能最终消耗过多的时间和/或资源。
31.另一方面，深度学习型图像配准可消耗少得多的时间。实际上，如本领域的技术人员将理解的，深度学习型图像配准可涉及训练深度学习神经网络接收可移动图像和固定图像两者作为输入，并且产生配准场(例如，也称为“变形场”)作为输出，其中配准场可为指示可移动图像的特定像素和/或体素应如何几何平移、变换和/或移位以便变得与固定图像对准的矢量场。因此，与分析型图像配准不同，一旦被训练，深度学习神经网络就可工作/操作(例如，在推断时间期间)，而无需冗长和/或耗时的迭代。然而，深度学习神经网络只能在与用来训练深度学习神经网络的图像足够相似的图像上准确地执行。
32.深度学习型图像配准最常在全部由单个成像模态(例如，由单个类型的成像扫描器和/或图像捕获设备)生成的图像上训练。例如，可在全部由计算机断层摄影(ct)扫描器生成的图像上训练深度学习配准神经网络。在这种情况下，一旦经过训练，深度学习配准神经网络就能够将ct生成的图像与另一个ct生成的图像准确地配准。然而，即使在训练之后，深度学习配准神经网络也不能将ct生成的图像与由不同成像模态生成的图像(例如，由不同类型的成像扫描器诸如磁共振成像(mri)扫描器、x射线扫描器、正电子发射断层摄影(pet)扫描器和/或超声扫描器生成的图像)准确地配准。该缺点是由于以下事实：不同的成像模态可产生具有显著不同的像素/体素强度分布的图像。例如，给定的成像模态(例如，mri)可利用暗和/或低强度值(例如，低hounsfield单位量值)来表示骨组织并且可利用亮和/或高强度值(例如，高hounsfield单位量值)来表示软组织，而不同的成像模态(例如，ct)可利用亮和/或高强度值(例如，高hounsfield单位量值)来表示骨组织并且可利用暗和/或低强度值(例如，低hounsfield单位量值)来表示软组织。因此，如果深度学习配准神
经网络被训练成仅处理与特定成像模态相关联的像素/体素强度分布，则深度学习配准神经网络可能无法学习如何处理与不同成像模态相关联的显著不同的像素/体素强度分布。因此，在单模态图像数据集上训练的深度学习配准神经网络无法准确地配准多模态图像。
33.已经做出了一些努力来在多模态图像数据集上训练深度学习配准神经网络。然而，此类努力仅实现了非常有限的成功(例如，实现了不充足的准确和/或精确水平)。更具体地，此类努力涉及了训练深度学习神经网络接收由一个成像模态生成的可移动图像和由不同成像模态生成的固定图像两者作为输入(例如，这些输入图像可被称为“多模态图像”)，并且产生配准场作为输出，该配准场指示可移动图像的像素/体素应如何移位以变得与固定图像的像素/体素对准。这种训练实质上需要深度学习神经网络学习如何处理这两种输入图像之间的结构/特征未对准，同时还不受这两种输入图像之间的像素/体素强度失配的影响。形成鲜明对比的是，在单模态数据集上训练仅需要深度学习神经网络学习如何处理结构/特征未对准而不是强度分布失配，因为单模态图像具有相似的强度分布。遗憾的是，训练深度学习神经网络处理结构/特征未对准和强度分布失配非常困难，并且需要使用复杂的损失函数(例如，归一化互相关)。此外，因为深度学习神经网络受到用来对其进行训练的数据的限制，所以这种多模态训练还需要极大而且多样的训练数据集，该训练数据集表示深度学习神经网络在部署期间可能遇到的各种像素/体素强度分布变化(例如，即，训练数据集应包括深度学习神经网络当在现场部署时可能遇到的所有可能的结构/特征未对准和所有可能的强度分布失配的示例)。遗憾的是，这种大而且多样的训练数据集在实践中可能非常难以获得。
34.无论如何，在实施现有技术时，深度学习型图像配准无法被准确地应用于多模态图像。这可能造成问题，因为在临床实践中可能经常期望配准多模态图像(例如，将描绘患者解剖结构的一个图像与描绘相同患者的相同解剖结构但由不同成像模态生成的另一图像配准)。
35.因此，可以解决这些技术问题中的一个或多个技术问题的系统和/或技术可能是所期望的。
36.本主题创新的各种实施方案可以解决这些技术问题中的一个或多个技术问题。本文所述的一个或多个实施方案可包括可促进经由模态中性机器学习变换的多模态图像配准的设备、系统、计算机实现的方法、装置和/或计算机程序产品。在各个方面，本文中所述的各种实施方案的发明人认识到，在实施现有技术时，深度学习型图像配准可准确地应用于单模态图像，但无法准确地应用于多模态图像。具体地，本发明人认识到，在精确地实施现有技术时，由于在多模态图像之间(例如，在由不同成像模态生成的图像之间)存在显著的像素/体素强度分布失配，深度学习型图像配准无法被准确地应用于多模态图像。因此，本发明人设计了本文所述的各种实施方案，其可将多模态图像转换和/或变换成模态中性表示，其中此类模态中性表示可具有相似的(而不是失配的)像素/体素强度分布。因为此类模态中性表示可具有相似的像素/体素强度分布，所以深度学习型图像配准可被准确地应用于此类模态中性表示。换句话说，本发明人设计了一种能够将深度学习型图像配准准确地应用于多模态图像的技术，其中这种技术可概括如下：获得期望彼此配准的一对多模态图像；生成这对多模态图像的模态中性表示；以及将深度学习型图像配准应用于该模态中性表示。在各种情况下，此类模态中性表示可经由深度学习来生成，如本文更充分地描述。
37.在各个方面，本文所述的各种实施方案可被视为可促进经由模态中性机器学习变换的多模态图像配准的计算机化工具(例如，计算机可执行硬件和/或计算机可执行软件的任何合适的组合)。在各个方面，该计算机化工具可包括接收器部件、模态中性部件、场部件和/或执行部件。
38.在各种实施方案中，该计算机化工具的接收器部件可电子地接收和/或以其他方式电子地访问可移动图像和固定图像。在一些情况下，接收器部件可从任何合适的集中和/或分散数据结构(例如，图形数据结构、关系数据结构、混合数据结构)电子地检索可移动图像和/或固定图像，无论远离接收器部件和/或在接收器部件的本地。在其他情况下，接收器部件可从捕获/生成了可移动图像和/或固定图像的任何合适的成像设备(例如，x射线扫描器、ct扫描器、mri扫描器、超声扫描器、pet扫描器)电子地检索可移动图像和/或固定图像。在任何情况下，接收器部件可电子地获得和/或访问可移动图像和/或固定图像，使得计算机化工具的其他部件可与可移动图像和/或固定图像电子地交互(例如，读取、写入、编辑、操纵)。
39.在各个方面，可移动图像可以是描绘患者(例如，人、动物和/或其他)的任何合适的解剖结构(例如，身体部位、器官、组织和/或它们的任何合适的部分)的任何合适的二维像素阵列和/或任何合适的三维体素阵列。此外，在各种情况下，可移动图像可由第一成像模态(例如，ct扫描器、mri扫描器、x射线扫描器、超声扫描器、pet扫描器中的一者)生成、捕获和/或以其他方式与第一成像模态相关联。在各种情况下，固定图像可以是对应于可移动图像的任何合适的图像。例如，固定图像可具有与可移动图像相同的维数(例如，如果可移动图像为二维像素阵列，那么固定图像可同样为具有与可移动图像相同数量和/或布局的像素的二维像素阵列；如果可移动图像为三维体素阵列，那么固定图像可同样为具有与可移动图像相同的数量和/或布局的体素的三维体素阵列)。此外，固定图像可描绘与可移动图像所描绘的相同的解剖结构，尽管固定图像中所描绘的解剖结构可具有与可移动图像中所描绘的不同的位置和/或取向。然而，在各个方面，固定图像可由不同于第一成像模态的第二成像模态生成、捕获和/或以其他方式与第二成像模态相关联(例如，可移动图像和固定图像可不都由ct扫描器生成，可不都由mri扫描器生成，可不都由x射线扫描器生成，可不都由超声扫描器生成，可不都由pet扫描器生成)。因此，固定图像的像素/体素强度分布可与可移动图像的像素/体素强度分布不同(例如，相差任何合适的阈值裕度)。在任何情况下，可期望将可移动图像与固定图像配准和/或对准。在各个方面，本文所述的计算机化工具可促进这种配准和/或对准，如下文所说明。
40.在各种实施方案中，该计算机化工具的模态中性部件可电子地存储、电子地维护、电子地控制和/或以其他方式电子地访问机器学习模型。在各个方面，机器学习模型可根据需要表现出任何合适的人工智能架构。例如，机器学习模型可表现出深度学习神经网络架构(例如，卷积神经网络)。在这种情况下，机器学习模型可包括任何合适数量的层(例如，输入层，一个或多个隐藏层，输出层)，可在各种层中包括任何合适数量的神经元(例如，不同层可具有彼此相同和/或不同数量的神经元)，可在各种神经元中包括任何合适的激活函数(例如，softmax、s形、双曲线正切、修正线性单元)(例如，不同的神经元可具有彼此相同和/或不同的激活函数)，并且/或者可包括任何合适的神经元间连接模式(例如，前向连接、跳跃连接、轮回连接)。
41.在任何情况下，机器学习模型可被配置为接收可移动图像和固定图像两者作为输入，并且产生可移动图像的模态中性版本和固定图像的模态中性版本作为输出。
42.在各个方面，可移动图像的模态中性版本可以是具有与可移动图像相同的维数(例如，具有与可移动图像相同的尺寸、形状和/或像素/体素数量)并且描绘与可移动图像相同的解剖结构(例如，可移动图像的模态中性版本中所描绘的解剖结构的取向和/或位置可与可移动图像中所描绘的解剖结构的取向和/或位置相同)的图像。然而，与可移动图像相比，可移动图像的模态中性版本可具有不同的像素/体素强度分布。因此，在一些情况下，机器学习模型可被视为变换和/或改变可移动图像的像素/体素强度分布，而不消除/擦除可移动图像中所描绘的结构/特征。
43.同样，在各种情况下，固定图像的模态中性版本可以是具有与固定图像相同的维数(例如，具有与固定图像相同的尺寸、形状和/或像素/体素数量)并且描绘与固定图像相同的解剖结构(例如，固定图像的模态中性版本中所描绘的解剖结构的取向和/或位置可与固定图像中所描绘的解剖结构的取向和/或位置相同)的图像。但是，与固定图像相比，固定图像的模态中性版本可具有不同的像素/体素强度分布。因此，在一些情况下，机器学习模型可被视为变换和/或改变固定图像的像素/体素强度分布，而不消除/擦除固定图像中所描绘的结构/特征。
44.如上所述，由于可移动图像和固定图像与不同的成像模态相关联这一事实，可移动图像的强度分布可与固定图像的强度分布不同(例如，相差超过任何合适的阈值裕度，如通过互相关、通过陆地移动距离或通过任何其他合适的直方图失配值所测量的)。然而，在各个方面，可移动图像的模态中性版本的强度分布可与固定图像的模态中性版本的强度分布相差较小(例如，相差小于阈值裕度，如通过交叉相关、通过陆地移动距离或任何其他合适的直方图失配值所测量)。换句话说，可移动图像和固定图像可具有显著不同的像素/体素强度分布，但是机器学习模型可被配置为将可移动图像和固定图像变换，使得它们现在具有相似的像素/体素强度分布。再换句话说，由于可移动图像和固定图像不是由相同的成像模态生成的，可移动图像和固定图像可具有明显的视觉差异，并且机器学习模型可被认为生成可移动图像和固定图像的不存在这种明显的视觉差异的版本。
45.在任何情况下，模态中性部件可通过在可移动图像和固定图像上执行机器学习模型来电子地生成可移动图像的模态中性版本和固定图像的模态中性版本。更具体地，在各种情况下，可移动图像和固定图像可级联在一起并且被馈送到机器学习模型的输入层，可移动图像和固定图像可完成通过机器学习模型的一个或多个隐藏层的向前传递，并且机器学习模型的输出层可基于来自该一个或多个隐藏层的激活来计算可移动图像的模态中性版本和固定图像的模态中性版本。
46.在各种实施方案中，计算机化工具的场部件可基于可移动图像的模态中性版本和固定图像的模态中性版本来电子地生成配准场。在各个方面，该配准场可以是矢量场，它指示可移动图像的模态中性版本(例如，和/或固定图像的模态中性版本，诸如在应用逆场映射的情况下)的像素/体素应如何移位、平移和/或以其他方式变换，使得在可移动图像的模态中性版本中描绘的解剖结构可变得与在固定图像的模态中性版本中描绘的解剖结构对准。
47.例如，如果对于任何合适的正整数a和b，可移动图像是a
×
b像素阵列，则固定图像
同样可以是a
×
b像素阵列；可移动图像的模态中性版本同样可以是a
×
b像素阵列；固定图像的模态中性版本同样可以是a
×
b像素阵列；并且配准场可以是a
×
b矩阵，其中这种矩阵的每个元素可以是移位矢量，它指示可移动图像的模态中性版本的相应像素应平移和/或移位的方向和/或量值。
48.又如，如果对于任何合适的正整数a、b和c，可移动图像是a
×b×
c体素阵列，则固定图像同样可以是a
×b×
c体素阵列；可移动图像的模态中性版本同样可以是a
×b×
c体素阵列；固定图像的模态中性版本同样可以是a
×b×
c体素阵列；并且配准场可以是a
×b×
c张量，其中这种张量的每个元素可以是移位矢量，它指示可移动图像的模态中性版本的相应体素应平移和/或移位的方向和/或量值。
49.在各个方面，场部件可通过将任何合适的配准技术应用于可移动图像的模态中性版本和固定图像的模态中性版本来生成配准场。作为非限制性示例，在一些情况下，场部件可通过将任何合适的分析配准技术应用于可移动图像的模态中性版本和固定图像的模态中性版本来导出配准场。
50.作为另一非限制性示例，在其他情况下，场部件可通过在可移动图像的模态中性版本和固定图像的模态中性版本上执行深度学习配准神经网络来生成配准场。在这种情况下，深度学习配准神经网络可包括任何合适数量的层(例如，输入层，一个或多个隐藏层，输出层)，可在各种层中包括任何合适数量的神经元(例如，不同层可具有彼此相同和/或不同数量的神经元)，可在各种神经元中包括任何合适的激活函数(例如，softmax、s形、双曲线正切、修正线性单元)(例如，不同的神经元可具有彼此相同和/或不同的激活函数)，并且/或者可包括任何合适的神经元间连接模式(例如，前向连接、跳跃连接、轮回连接)。此外，在这种情况下，深度学习神经网络可被配置为接收可移动图像的模态中性版本和固定图像的模态中性版本两者作为输入，并且产生配准场作为输出。更具体地，可将可移动图像的模态中性版本和固定图像的模态中性版本级联在一起，这种级联可完成通过深度学习配准神经网络的一个或多个隐藏层的向前传递，并且深度学习配准神经网络的输出层可基于来自该一个或多个隐藏层的激活来计算配准场。本领域的普通技术人员将理解，这种深度学习配准神经网络可采用任何合适的方式(例如，监督训练、无监督训练、加强学习)来训练，以基于输入的图像对生成配准场。
51.在各种实施方案中，计算机化工具的执行部件可基于该配准场来电子地生成配准图像，其中该配准图像可被认为是可移动图像的与固定图像对准的版本。如上所述，配准场可以是指示可移动图像的模态中性版本的每个像素/体素应如何移动/移位以便变得与固定图像的模态中性版本对准的逐像素和/或逐体素矢量场。因此，在各种情况下，执行部件可通过将配准场应用于可移动图像本身(例如，而不是将配准场应用于可移动图像的模态中性版本)来生成配准图像。换句话说，执行部件可如配准场的移位矢量所指示的那样使可移动图像的像素/体素移位和/或平移，并且这种移位和/或平移的最终结果可以是配准图像。在各种情况下，执行部件可根据需要将配准图像电子地传输到任何合适的计算设备和/或可根据需要在任何合适的计算监视器、显示器和/或屏幕上电子地呈现配准图像。
52.在一些其他实施方案中，计算机化工具还可包括训练部件，该训练部件可训练模态中性部件的机器学习模型，使得机器学习模型可学习如何准确地推断输入图像对的模态中性版本。下面进一步更详细地描述这种训练。
53.在任何情况下，在各种实施方案中，本文所述的计算机化工具可经由深度学习型图像配准来将可移动图像与固定图像配准，尽管可移动图像和固定图像与不同的成像模态相关联。更具体地，计算机化工具可经由机器学习模型生成可移动图像和固定图像的模态中性版本，计算机化工具可基于可移动图像和固定图像的这种模态中性版本来计算配准场，并且计算机化工具可基于该配准场来将可移动图像与固定图像配准。
54.本主题创新的各种实施方案可用于使用硬件和/或软件来解决本质上技术性很强的问题(例如，以促进经由模态中性机器学习变换的多模态图像配准)，这些问题不是抽象的并且不能作为人类的一组心理行为来执行。此外，所执行的过程中的一些可由专用计算机(例如，深度学习神经网络)执行，该专用计算机用于执行与多模态图像配准相关的限定的任务。例如，此类限定的任务可包括：由操作地耦接到处理器的设备访问第一图像和第二图像，其中第一图像根据第一成像模态描绘解剖结构，并且其中第二图像根据不同于第一成像模态的第二成像模态描绘该解剖结构；由该设备并且经由在第一图像和第二图像上执行机器学习模型来生成第一图像的模态中性版本和第二图像的模态中性版本；以及由该设备基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。
55.此类定义的任务不由人类手动执行。实际上，人类心智和利用笔和纸的人都不能电子地接收两个多模态图像，在这两个多模态图像上电子地执行机器学习模型(例如，神经网络)，从而产生这两个多模态图像的模态中性表示，基于这两个多模态图像的模态中性表示电子地生成配准场，以及电子地利用该配准场来将这两个多模态图像彼此配准。相反，本主题创新的各种实施方案固有地并且密不可分地与计算机技术相关联，并且无法在计算环境之外实现(例如，图像配准是固有地计算机化的技术，利用该技术，不同的像素/体素阵列彼此电子地对准，以便具有可比较的取向；利用深度学习神经网络来促进图像配准的计算机化工具同样是固有地计算机化的，并且在没有计算机的情况下无法以任何明智、实用或合理的方式实现)。
56.此外，本主题创新的各种实施方案可将本文所述的与经由模态中性机器学习变换的多模态图像配准相关的各种教导内容集成到实际应用中。如上所述，现有技术不能将深度学习型图像配准准确地应用于多模态图像。具体地，当两个图像与不同的成像模态相关联时(例如，一个可以是ct图像，并且另一个可以是mri图像)，这两个图像可表现出显著不同的像素/体素强度分布。因为大多数深度学习型图像配准模型是在单模态数据集上训练的(例如，在全部由单一类型的成像模态生成的图像上训练的)，所以此类深度学习型图像配准模型无法准确地应用于多模态图像(例如，此类深度学习型图像配准模型已经学习了如何仅处理具有相似强度分布的输入图像之间的所描绘的特征失配；此类深度学习型图像配准模型尚未学习如何处理输入图像之间的所描绘的特征失配和强度分布失配两者)。此外，在多模态数据集上训练这种深度学习型图像配准模型的尝试只获得了有限的成功(例如，多模态训练需要非常复杂的损失函数以及在实践中难以获得的非常大的、多样的训练数据集)。因此，现有技术不能将深度学习型图像配准准确地应用于多模态图像。
57.形成鲜明对比的是，本发明人设计了本主题创新，本主题创新可促进经由模态中性机器学习变换的多模态图像配准。换句话说，本文所述的各种实施方案可利用机器学习模型(例如，深度学习神经网络)来生成输入的多模态图像对的模态中性版本。尽管输入的多模态图像对可具有显著不同的强度分布，但是这些图像的模态中性版本的输出可具有相
似的强度分布。换句话说，输出的模态中性版本的强度分布可如同模态中性版本是由相同的成像模态生成/捕获的那样。因此，因为多模态图像的输出模态中性版本可具有相似的强度分布，所以深度学习型图像配准可准确地应用于此类输出的模态中性版本。即，本文所述的计算机化工具可使得深度学习型图像配准能够准确地应用于多模态图像，而现有技术不能使得深度学习型图像配准能够准确地应用于多模态图像。这种计算机化工具构成了图像配准领域中具体而且有形的技术改进，因此当然有资格成为计算机的有用而且实用的应用。
58.此外，本主题创新的各种实施方案可基于所公开的教导内容来控制真实世界的有形设备。例如，本主题创新的各种实施方案可电子地接收真实世界医学图像(例如，真实世界x射线图像、真实世界ct图像)，可在此类真实世界医学图像上电子地执行真实世界神经网络以产生这些真实世界医学图像的模态中性版本，并且可基于模态中性版本促进在此类真实世界医学图像上的深度学习型图像配准。
59.应当理解，本文的附图和描述提供了本主题创新的非限制性示例，并且不一定按比例绘制。
60.图1示出了根据本文所述的一个或多个实施方案的示例性非限制性系统100的框图，该系统可促进经由模态中性机器学习变换的多模态图像配准。如图所示，模态中性图像配准系统102可经由任何合适的有线和/或无线电子连接与可移动图像104和/或固定图像106电子地集成。
61.在各种实施方案中，可移动图像104可以是描绘患者的任何合适的解剖结构和/或其部分的任何合适的医学图像。在各个方面，可移动图像104可具有任何合适的维数。例如，在一些情况下，可移动图像104可以是具有任何合适数量和/或布置的像素的二维像素阵列(例如，对于任何合适的正整数s和t，可移动图像104可以是s
×
t像素阵列)。又如，在其他情况下，可移动图像104可以是具有任何合适数量和/或布置的体素的三维体素阵列(例如，对于任何合适的正整数s、t和u，可移动图像104可以是s
×
t
×
u体素阵列)。此外，在各种情况下，可移动图像104可由任何合适的第一成像模态生成、捕获和/或以其他方式与该成像模态相关联。作为一些非限制性示例，第一成像模态可以是x射线成像模态(例如，可移动图像104可以是患者的x射线扫描)、ct成像模态(例如，可移动图像104可以是患者的ct扫描)、mri成像模态(例如，可移动图像104可以是患者的mri扫描)、超声成像模态(例如，可移动图像104可以是患者的超声扫描)和/或pet成像模态(例如，可移动图像104可以是患者的pet扫描)。
62.在各种实施方案中，固定图像106可以是对应于可移动图像104的任何合适的医学图像。在各个方面，固定图像106可具有与可移动图像104相同的维数(例如，如果可移动图像104为s
×
t像素阵列，则固定图像106可同样为s
×
t像素阵列；如果可移动图像104为s
×
t
×
u体素阵列，则固定图像106同样可为s
×
t
×
u体素阵列)。此外，在各种情况下，固定图像106可描绘与可移动图像104中所描绘的相同患者的相同解剖结构和/或其部分。然而，在各种情况下，与在可移动图像104中描绘的相同患者的解剖结构和/或其部分相比，在固定图像106中描绘的相同患者的解剖结构和/或其部分可具有不同的取向和/或不同的位置。此外，在各个方面，固定图像106可由不同于第一成像模态的任何合适的第二成像模态生成、捕获和/或以其他方式该第二成像模态相关联。作为非限制性示例，如果第一成像模态是ct
成像模态，则第二成像模态可以不是ct成像模态；相反，第二成像模态可以是x射线成像模态、mri成像模态、超声成像模态和/或pet成像模态。作为另一非限制性示例，如果第一成像模态是mri成像模态，则第二成像模态可以不是mri成像模态；相反，第二成像模态可以是x射线成像模态、ct成像模态、超声成像模态和/或pet成像模态。
63.在任何情况下，可期望将可移动图像104与固定图像106配准。换句话说，可期望将可移动图像104的像素/体素移位和/或平移，使得在可移动图像104中描绘的特征(例如，解剖结构和/或其部分)变得与在固定图像106中描绘的特征对准(例如，可移动图像104可以是其像素/体素被移位的图像，而固定图像106可以是其像素/体素未被移位的图像)。在各种情况下，模态中性图像配准系统102可促进这种配准，如本文所述。
64.在各种实施方案中，模态中性图像配准系统102可包括处理器108(例如，计算机处理单元、微处理器)和可操作地和/或操作地和/或通信地连接/耦接到处理器108的计算机可读存储器110。计算机可读存储器110可存储计算机可执行指令，该计算机可执行指令在由处理器108执行时可致使处理器108和/或模态中性图像配准系统102的其他部件(例如，接收器部件112、模态中性部件114、场部件116、执行部件118)执行一个或多个动作。在各种实施方案中，计算机可读存储器110可存储计算机可执行部件(例如，接收器部件112、模态中性部件114、场部件116、执行部件118)，并且处理器108可执行计算机可执行部件。
65.在各种实施方案中，模态中性图像配准系统102可包括接收器部件112。在各个方面，接收器部件112可电子地接收和/或以其他方式电子地访问可移动图像104和/或固定图像106。在各种情况下，接收器部件112可从任何合适的集中式和/或分散式数据结构(未示出)电子地检索可移动图像104和/或固定图像106。在各种其他情况下，接收器部件112可从捕获和/或以其他方式生成了可移动图像104和/或固定图像106的任何合适的成像设备(例如，x射线扫描器、ct扫描器、mri扫描器、超声扫描器、pet扫描器)电子地检索可移动图像104和/或固定图像106。在任何情况下，接收器部件112可电子地获得和/或访问可移动图像104和/或固定图像106，使得模态中性图像配准系统102的其他部件可与可移动图像104和/或固定图像106电子地交互。
66.在各种实施方案中，模态中性图像配准系统102可包括模态中性部件114。在各个方面，如本文中描，模态中性部件114可在可移动图像104和/或固定图像106上电子地执行机器学习模型，以便生成可移动图像104的模态中性版本和/或固定图像106的模态中性版本。
67.在各种实施方案中，模态中性图像配准系统102可包括场部件116。在各种情况下，如本文所述，场部件116可基于可移动图像104的模态中性版本和/或固定图像106的模态中性版本电子地生成配准场，其中该配准场可被认为是指示可移动图像104的模态中性版本的像素/体素应如何移位以便变得与固定图像106的模态中性版本对准的矢量场。在一些情况下，场部件116可分析地和/或经由深度学习型图像配准来生成该配准场。
68.在各种实施方案中，模态中性图像配准系统102可包括执行部件118。在各个方面，如本文所述，执行部件118可基于该配准场电子地生成配准图像。在各种情况下，配准图像可被视为可移动图像104的变换版本，其中这种变换版本与固定图像106对准。
69.图2示出了根据本文所述的一个或多个实施方案的经由不同成像模态捕获/生成的可移动图像和固定图像的非限制性示例。换句话说，图2示出了可移动图像104和固定图
像106的非限制性示例性实施方案。
70.如图所示，图2包括ct体素阵列202和mri体素阵列204。出于说明的目的，ct体素阵列202被描绘为一系列二维像素阵列(例如，在该非限制性示例中为十一个像素阵列)，其中此类像素阵列可被认为是当彼此堆叠时共同形成ct体素阵列202的横截面切片。相似地，出于说明的目的，mri体素阵列204被描绘为一系列二维像素阵列(例如，在该非限制性示例中为十一个像素阵列)，其中此类像素阵列可被认为是当彼此堆叠时共同形成mri体素阵列204的横截面切片。
71.如图所示，ct体素阵列202和mri体素阵列204两者可描绘患者的骨盆区域。即，在ct体素阵列202中描绘的骨盆区域属于与在mri体素阵列204中描绘的患者相同的患者。因为ct体素阵列202可由ct扫描器生成和/或捕获，并且因为mri体素阵列204可由mri扫描器生成和/或捕获，所以ct体素阵列202和mri体素阵列204可被认为是多模态图像(例如，可被认为是来自不同的成像模态)。在各种情况下，ct体素阵列202可被认为是可移动图像104的非限制性示例，并且mri体素阵列204可被认为是固定图像106的非限制性示例。
72.如图2中可见，ct体素阵列202具有与mri体素阵列204显著不同的强度分布。具体地，ct体素阵列202具有更多的具有低和/或暗强度值的像素/体素，而mri体素阵列204具有更多的具有高和/或亮强度值的像素/体素。这种像素/体素强度分布之间的差异可能是由于ct体素阵列202和mri体素阵列204与不同的成像模态相关联的事实(例如，由于ct体素阵列202和mri体素阵列204来自不同的成像模态，因此它们具有显著不同的强度分布)。相对于图3更详细地示出了这一点。
73.图3示出了根据本文所述的一个或多个实施方案的经由不同成像模态捕获/生成的可移动图像和固定图像的示例性非限制性强度分布。
74.更具体地，图3描绘了曲线图300，它示出了ct体素阵列202的像素/体素强度值的频率分布，并且还示出了mri体素阵列204的像素/体素强度值的频率分布。具体地，ct体素阵列202的像素/体素强度分布在曲线图300中被标为橙色，并且mri体素阵列204的像素/体素强度分布在曲线图300中被标为蓝色。可以看出，ct体素阵列202的像素/体素强度分布显著不同于mri体素阵列204的像素/体素强度分布。实际上，ct体素阵列202具有比例高得多的低强度像素/体素值和比例低得多的高强度像素/体素值。相比之下，mri体素阵列204具有比例高得多的高强度像素/体素值和比例低得多的低强度像素/体素值。这有助于解释为什么ct体素阵列202在视觉上看起来比mri体素阵列204暗得多。实际上，如本领域的普通技术人员将理解的，ct扫描器经由暗和/或低强度值来表示软组织，并且经由亮和/或高强度值来表示骨组织；另一方面，mri扫描器经由暗和/或低强度值表示骨组织，并且经由亮和/或高强度值来表示软组织。因此，由于患者的骨盆区域大部分是软组织而不是骨，所以ct体素阵列202在视觉上看起来较暗，而mri体素阵列204在视觉上看起来较亮。在任何情况下，曲线图300表明ct体素阵列202和mri体素阵列204的强度分布可显著不同，并且这种显著不同是由于它们是多模态图像的事实(例如，它们不是由相同的成像模态生成的)。
75.此外，如上所述，这种强度分布的显著不同妨碍了深度学习型图像配准准确地应用于多模态图像(例如，对于深度学习技术而言，这使得多模态图像配准更困难和/或更复杂)。此外，当实施现有技术时，深度学习型图像配准模型不仅必须学习如何处理一对多模态图像之间的所描绘的结构/特征失配，而且深度学习型图像配准模型还必须学习如何处
理一对多模态图像之间的强度分布的显著差异。如上所述，在单模态数据集上训练的深度学习型图像配准模型不能处理后面的任务，并且在多模态数据集上不能容易地和/或实际地训练深度学习型图像配准模型。因此，当使用现有技术时，深度学习型图像配准确实不能准确地应用于多模态图像。然而，如本文所解释的，模态中性图像配准系统102可解决现有技术的这些缺点。
76.图4示出了根据本文所述的一个或多个实施方案的可促进经由模态中性机器学习变换的多模态图像配准的示例性非限制性系统400的框图，该系统包括机器学习模型、模态中性可移动图像和模态中性固定图像。如图所示，在一些情况下，系统400可包括与系统100相同的部件，并且还可包括机器学习模型402、模态中性可移动图像404和/或模态中性固定图像406。
77.在各个方面，模态中性部件114可电子地存储、电子地维护、电子地控制和/或以其他方式电子地访问机器学习模型402。在各种情况下，模态中性部件114可在可移动图像104和固定图像106两者上电子地执行机器学习模型402，从而产生模态中性可移动图像404和模态中性固定图像406。相对于图5进一步说明了这一点。
78.图5示出了根据本文所述的一个或多个实施方案的示出机器学习模型402可如何生成模态中性可移动图像404和模态中性固定图像406的示例性非限制性框图500。
79.在各个方面，机器学习模型402可根据需要具有任何合适的人工智能架构。例如，机器学习模型402可以是具有任何合适数量的层、在各个层中具有任何合适数量的神经元、在各个神经元中具有任何合适的激活函数和/或具有任何合适的神经元间连接模式的深度学习神经网络。在各种情况下，机器学习模型402可被配置为接收可移动图像104和固定图像106两者作为输入，并且产生模态中性可移动图像404和模态中性固定图像406两者作为输出。更具体地，可移动图像104和固定图像106可级联在一起，机器学习模型402的输入层可接收这种级联，这种级联可完成通过机器学习模型402的一个或多个隐藏层的向前传递，并且机器学习模型402的输出层可基于由该一个或多个隐藏层提供的激活来计算模态中性可移动图像404和模态中性固定图像406两者。
80.在各个方面，模态中性可移动图像404可对应于可移动图像104。例如，在各种情况下，模态中性可移动图像404可具有与可移动图像104相同的维数。例如，如果对于任何合适的正整数s和t，可移动图像104是s
×
t像素阵列，则模态中性可移动图像404同样可以是s
×
t像素阵列。又如，如果对于任何合适的正整数s、t和u，可移动图像104是s
×
t
×
u体素阵列，则模态中性可移动图像404同样可以是s
×
t
×
u体素阵列。此外，在各个方面，模态中性可移动图像404可在与可移动图像104相同的取向和/或位置上描绘相同的解剖结构和/或其部分。即，可移动图像104可在一个或多个给定取向/位置描绘一个或多个解剖结构，并且模态中性可移动图像404可在相同的一个或多个给定取向/位置描绘相同的一个或多个解剖结构。然而，在各种情况下，模态中性可移动图像404可表现出与可移动图像104不同的像素/体素强度分布。换句话说，模态中性可移动图像404可被认为传达与可移动图像104相同的视觉内容(例如，以相同的所描绘的取向和/或位置示出相同的所描绘的特征和/或结构)，但是经由与可移动图像104不同的像素/体素强度值。
81.在各个方面，模态中性固定图像406可对应于固定图像106。例如，在各种情况下，模态中性固定图像406可具有与固定图像106相同的维数。例如，如果对于任何合适的正整
数s和t，固定图像106是s
×
t像素阵列，则模态中性固定图像406同样可以是s
×
t像素阵列。又如，如果对于任何合适的正整数s、t和u，固定图像106是s
×
t
×
u体素阵列，则模态中性固定图像406同样可以是s
×
t
×
u体素阵列。此外，在各个方面，模态中性固定图像406可在与固定图像106相同的取向和/或位置上描绘相同的解剖结构和/或其部分。即，固定图像106可在一个或多个特定取向/位置描绘一个或多个解剖结构，并且模态中性固定图像406可在相同的一个或多个特定取向/位置描绘相同的一个或多个解剖结构。然而，在各种情况下，模态中性固定图像406可表现出与固定图像106不同的像素/体素强度分布。即，模态中性固定图像406可被认为传达与固定图像106相同的视觉内容(例如，以相同的所描绘的取向和/或位置示出相同的所描绘的特征和/或结构)，但是经由与固定图像106不同的像素/体素强度值。
82.如上所述并且如至少关于图2至图3所示，可移动图像104和固定图像106可具有彼此显著不同的像素/体素强度分布。同样，这可能是由于可移动图像104和固定图像106是多模态图像(例如，由不同成像模态和/或不同类型的成像设备生成/捕获)的事实。然而，形成鲜明对比的是，模态中性可移动图像404和模态中性固定图像406可具有彼此显著相似的像素/体素强度分布。换句话说，机器学习模型402可被认为将可移动图像104和固定图像106的像素/体素强度分布转换、改变和/或变换，使得经转换、改变和/或变换的像素/体素强度分布不会显著不同(例如，在彼此的任何合适的阈值裕度内)。再换句话说，机器学习模型402可被认为生成可移动图像104和固定图像106的新版本，这些新版本具有协调的强度分布。
83.在任何情况下，因为模态中性可移动图像404和模态中性固定图像406可具有彼此相似(例如，被测量为在任何合适的阈值裕度内)的强度分布，所以模态中性可移动图像404和模态中性固定图像406可被认为不是多模态图像。相反，模态中性可移动图像404和模态中性固定图像406可被认为类似于单模态图像。换句话说，因为模态中性可移动图像404和模态中性固定图像406可具有非常相似的强度分布，所以模态中性可移动图像404和模态中性固定图像406可在视觉上表现为由相同类型的成像模态生成/捕获。再换句话说，由于多模态图像表现为具有显著不同的强度分布，由于单模态图像表现为具有显著相似的强度分布，并且由于模态中性可移动图像404和模态中性固定图像406可表现出彼此显著相似的强度分布，所以模态中性可移动图像404和模态中性固定图像406可被认为更像单模态图像而不太像多模态图像。相对于图6至图7更详细地说明了这一点。
84.图6示出了根据本文所述的一个或多个实施方案的模态中性可移动图像和模态中性固定图像的非限制性示例。换句话说，图6示出了模态中性可移动图像404和模态中性固定图像406的非限制性示例性实施方案。
85.如图所示，图6包括模态中性体素阵列602和模态中性体素阵列604。出于说明的目的，模态中性体素阵列602被描绘为一系列二维像素阵列(例如，在该非限制性示例中为十一个像素阵列)，其中此类像素阵列可被认为是当彼此堆叠时共同形成模态中性体素阵列602的横截面切片。相似地，出于说明的目的，模态中性体素阵列604被描绘为一系列二维像素阵列(例如，在该非限制性示例中为十一个像素阵列)，其中此类像素阵列可被认为是当彼此堆叠时共同形成模态中性体素阵列604的横截面切片。
86.在各个方面，模态中性体素阵列602可被认为是模态中性可移动图像404的非限制
性示例，并且模态中性体素阵列604可被认为是模态中性固定图像406的非限制性示例。更具体地，当机器学习模型402接收ct体素阵列202和mri体素阵列204作为输入时，模态中性体素阵列602和模态中性体素阵列604可被认为是由机器学习模型402生成的输出。具体地并且如图所示，模态中性体素阵列602在与ct体素阵列202相同的取向/位置中描绘相同的骨盆区域；然而，模态中性体素阵列602表现出与ct体素阵列202不同的强度分布。注意，尽管存在这种不同的强度分布，在ct体素阵列202中示出的相同的特征内容和/或结构细节(例如，器官边缘、组织区域)在模态中性体素阵列602中保留。相似地并且如图所示，模态中性体素阵列604在与mri体素阵列204相同的取向/位置中描绘相同的骨盆区域；然而，模态中性体素阵列604表现出与mri体素阵列204不同的强度分布。同样，注意，尽管存在这种不同的强度分布，在mri体素阵列204中示出的相同的特征内容和/或结构细节(例如，器官边缘、组织区域)在模态中性体素阵列604中保留。
87.此外，如图6中可见，模态中性体素阵列602和模态中性体素阵列604表现出彼此非常相似的像素/体素强度分布。即，模态中性体素阵列602和模态中性体素阵列604具有相似比例的暗/低强度值和亮/高强度值。这与具有显著不同的强度分布的ct体素阵列202和mri体素阵列204形成鲜明对比。有关更多说明，考虑图7。
88.图7示出了根据本文所述的一个或多个实施方案的模态中性可移动图像和模态中性固定图像的示例性非限制性强度分布。
89.更具体地，图7描绘了曲线图700，它示出了模态中性体素阵列602的像素/体素强度值的频率分布，并且还示出了模态中性体素阵列604的像素/体素强度值的频率分布。具体地，模态中性体素阵列602的像素/体素强度分布在曲线图700中被标为橙色，并且模态中性体素阵列604的像素/体素强度分布在曲线图700中被标为蓝色。可以看出，模态中性体素阵列602的像素/体素强度分布非常类似于模态中性体素阵列604的像素/体素强度分布。实际上，模态中性体素阵列602和模态中性体素阵列604两者具有在“0”hounsfield单位标记附近的相似大小和相似形状的峰。这有助于说明为什么模态中性体素阵列602与模态中性体素阵列604相比在阴影和/或暗度方面在视觉上看起来相似。
90.此外，因为模态中性体素阵列602的强度分布非常类似于模态中性体素阵列604的强度分布，这就如同模态中性体素阵列602和模态中性体素阵列604不是多模态图像一样。相反，这就如同模态中性体素阵列602和模态中性体素阵列604是单模态图像一样(例如，如同模态中性体素阵列602和模态中性体素阵列604由相同类型的成像模态生成一样)。因此，在一些情况下，机器学习模型402可被认为生成ct体素阵列202和mri体素阵列204的变换版本(例如，模态中性体素阵列602可以是ct体素阵列202的变换版本，并且模态中性体素阵列604可以是mri体素阵列204的变换版本)，其中此类变换版本具有协调的和/或相似的强度分布。更一般地，当给定输入的多模态图像对时，机器学习模型402可输出输入的多模态图像对的版本，其中此类输出版本可在视觉上表现为由彼此相同类型的成像模态而不是由不同类型的成像模态创建/生成(例如，可在视觉上表现为单模态图像而不是多模态图像)。
91.本领域的普通技术人员将理解，模态中性体素阵列602和模态中性体素阵列604不仅仅是单纯边缘检测的结果(例如，机器学习模型402不被训练成执行单纯边缘检测)。毕竟，由于多模态图像的特征在于强度分布之间的显著差异，所以单纯边缘检测不能准确地应用于多模态图像。更具体地，一种类型的成像模态可利用暗/低强度值来表示某些边缘，
而不同类型的成像模态可利用亮/高强度值来表示对应边缘。在存在此类不同边缘表示的情况下无法成功地使用单纯边缘检测(例如，在存在此类不同强度分布的情况下无法成功地使用该检测)。
92.图8示出了根据本文所述的一个或多个实施方案的包括配准场的示例性非限制性系统800的框图，该系统可促进经由模态中性机器学习变换的多模态图像配准。如图所示，在一些情况下，系统800可包括与系统400相同的部件，并且还可包括配准场802。
93.在各种实施方案中，场部件116可基于模态中性可移动图像404和模态中性固定图像406电子地生成配准场802。在各个方面，配准场802可为指示逐像素和/或逐体素移位矢量的矢量场，当应用于模态中性可移动图像404时，该逐像素和/或逐体素移位矢量使得模态中性可移动图像404变得与模态中性固定图像406对准和/或配准。例如，如果对于任何合适的正整数s和t，模态中性可移动图像404是s
×
t像素阵列，则配准场802可以是s
×
t矩阵，其中这种矩阵的每个元素是指示模态中性可移动图像404的分别对应像素应移位和/或平移的方向和/或量值以便促进与模态中性固定图像406配准的矢量(例如，与标量相反)。又如，如果对于任何合适的正整数s、t和u，模态中性可移动图像404是s
×
t
×
u体素阵列，则配准场802可以是s
×
t
×
u张量，其中这种张量的每个元素是指示模态中性可移动图像404的分别对应体素应移位和/或平移的方向和/或量值以便促进与模态中性固定图像406配准的矢量(例如，与标量相反)。在任何情况下，场部件116可经由任何合适的技术电子地生成配准场802。相对于图9更详细地说明了这一点。
94.图9示出了根据本文所述的一个或多个实施方案的示例性非限制性框图，其示出了可如何基于模态中性可移动图像404和模态中性固定图像406来生成配准场802。如图所示，图9包括两个场景：场景902和场景904。
95.在场景902中，场部件116可通过将任何合适的分析型图像配准技术应用于模态中性可移动图像404和/或模态中性固定图像406来电子地生成配准场802。如本领域普通技术人员将理解的，存在各种分析技术，利用这些分析技术，可基于给定的一对图像导出配准场，因此这些分析技术中的任一种都可由场部件116实施。
96.另一方面，在场景904中，场部件116可电子地存储、电子地维护、电子地控制和/或以其他方式电子地访问深度学习配准模型906。在各个方面，深度学习配准模型906可表现出神经网络架构。例如，深度学习配准模型906可具有任何合适数量的层，在各个层中具有任何合适数量的神经元，在各个神经元中具有任何合适的激活函数，和/或具有任何合适的神经元间连接模式。在任何情况下，深度学习配准模型906可被配置为接收模态中性可移动图像404和模态中性固定图像406两者作为输入，并且产生配准场802作为输出。更具体地，模态中性可移动图像404和模态中性固定图像406可级联在一起，深度学习配准模型906的输入层可接收这种级联，这种级联可完成通过深度学习配准模型906的一个或多个隐藏层的向前传递，并且深度学习配准模型906的输出层可基于由该一个或多个隐藏层提供的激活来计算配准场802。因此，在各个方面，场部件116可在模态中性可移动图像404和模态中性固定图像406上执行深度学习配准模型906，从而产生配准场802。
97.如本领域普通技术人员将理解的，可采用任何合适的方式(例如，监督训练、无监督训练、强化学习)来训练深度学习配准模型906，以从输入的图像对准确地推断配准场。
98.例如，可存在包括一组训练图像对和分别对应于该组训练图像对的一组注释的经
注释训练数据集。在各种情况下，对于任何合适的正整数n，该组训练图像对可包括n对图像，并且该组注释可类似地包括n个注释(例如，每个训练图像对一个注释)。在各种情况下，每个训练图像对可包括训练可移动图像和训练固定图像，其中训练可移动图像和训练固定图像可为多模态的(例如，可经由不同的成像模态生成和/或捕获)。在各个方面，每个注释可为已知对应于相应训练图像对(例如，已知将对应训练可移动图像变换为对应训练固定图像)的基础事实配准场。在各种情况下，可将深度学习配准模型906的内部参数(例如，权重、偏离)随机地初始化，并且可在经注释训练数据集上以监督方式训练深度学习配准模型906。
99.例如，可从经注释训练数据集中选择训练图像对和对应的注释。在各种情况下，可在所选择的训练图像对上执行深度学习配准模型906，从而使得深度学习配准模型906产生某种输出。更具体地，所选择的训练图像对可被馈送到深度学习配准模型906的输入层，所选择的训练图像对可完成通过深度学习配准模型906的一个或多个隐藏层的向前传递，并且深度学习配准模型906的输出层可基于由该一个或多个隐藏层提供的激活来计算输出。在各种情况下，该输出可被认为表示深度学习配准模型906认为应对应于所选择的训练图像对的配准场，而所选择的注释可被认为表示已知对应于所选择的训练图像对的基础事实配准场。注意，如果深度学习配准模型906到目前为止没有经历训练和/或经历很少训练，则该输出可能极不准确(例如，可能与所选择的注释差别很大)。在任何情况下，可计算该输出与所选择的注释之间的误差和/或损失，并且可经由该误差和/或损失驱动的反向传播来更新深度学习配准模型906的内部参数。可针对经注释训练数据集中的每个训练图像对重复该训练过程，最终结果是深度学习配准模型906的内部参数可被迭代地优化以用于从输入图像对准确地推断配准场。如本领域普通技术人员将理解的，可实现任何合适的训练批次大小、任何合适的训练终止标准和/或任何合适的误差、损失和/或目标函数。
100.又如，可存在包括一组训练图像对的未注释训练数据集。在各种情况下，对于任何合适的正整数n，该组训练图像对可包括n对图像。在各种情况下，每个训练图像对可包括训练可移动图像和训练固定图像，其中训练可移动图像和训练固定图像可为多模态的(例如，可经由不同的成像模态生成和/或捕获)。在各种情况下，可将深度学习配准模型906的内部参数(例如，权重、偏离)随机地初始化，并且可在未注释训练数据集上以无监督方式训练深度学习配准模型906。
101.例如，可从未注释训练数据集中选择训练图像对，其中该训练图像对包括训练可移动图像和训练固定图像。在各种情况下，可在所选择的训练图像对上执行深度学习配准模型906，从而使得深度学习配准模型906产生某种输出。更具体地，所选择的训练图像对可被馈送到深度学习配准模型906的输入层，所选择的训练图像对可完成通过深度学习配准模型906的一个或多个隐藏层的向前传递，并且深度学习配准模型906的输出层可基于由该一个或多个隐藏层提供的激活来计算输出。在各种情况下，该输出可被认为表示深度学习配准模型906认为应对应于所选择的训练图像对的配准场。因此，在各个方面，该输出(例如，推断的配准场)可应用于训练可移动图像。注意，如果该输出(例如，推断的配准场)是准确的，则训练可移动图像在变换之后将非常类似于训练固定图像。因此，如果训练可移动图像在变换之后没有非常类似于训练固定图像(例如，没有与训练固定图像适当地对准/配准)，则可确定该输出不准确。因此，在任何情况下，可计算经变换的训练可移动图像和训练
固定图像之间的误差和/或损失，并且可经由该误差和/或损失驱动的反向传播来更新深度学习配准模型906的内部参数。可针对为注释训练数据集中的每个训练图像对重复该训练过程，最终结果是深度学习配准模型906的内部参数可被迭代地优化以用于从输入图像对准确地推断配准场。如本领域普通技术人员将理解的，可实现任何合适的训练批次大小、任何合适的训练终止标准和/或任何合适的误差、损失和/或目标函数。
102.如本领域普通技术人员将理解的，场景904可被认为示出了深度学习型图像配准。如上文充分解释的，深度学习型图像配准无法准确地应用于可移动图像104和固定图像106，因为可移动图像104和固定图像106具有显著不同的强度分布(例如，它们是多模态图像)。然而，如图9和上述讨论所示，深度学习型图像配准可准确地应用于模态中性可移动图像404和模态中性固定图像406，因为模态中性可移动图像404和模态中性固定图像406具有相似的而并非不同的强度分布。换句话说，从深度学习配准模型906的角度来看，模态中性可移动图像404和模态中性固定图像406可被认为是单模态图像，因为它们具有相似的强度分布。尽管可移动图像104和固定图像106实际上是多模态图像。再换句话说，可在模态中性可移动图像404上和模态中性固定图像406上毫不费力地执行深度学习配准模型906，因为深度学习配准模型906仅被分派处理所描绘的特征未对准的任务；除了所描绘的特征未对准之外，深度学习配准模型906没有被分派处理强度分布失配的任务。
103.图10示出了根据本文所述的一个或多个实施方案的包括配准图像的示例性非限制性系统1000的框图，该系统可促进经由模态中性机器学习变换的多模态图像配准。如图所示，在一些情况下，系统1000可包括与系统800相同的部件，并且还可包括配准图像1002。
104.在各种实施方案中，执行部件118可基于配准场802电子地生成配准图像1002。如上所述，配准场802可为指示逐像素和/或逐体素移位矢量的矢量场，该逐像素和/或逐体素移位矢量指示模态中性可移动图像404的相应像素/体素应如何移位/平移以便变得与模态中性固定图像406对准。在各种情况下，代替将配准场802应用于模态中性可移动图像404，执行部件118可将配准场802应用于可移动图像104。即，执行部件118可根据配准场802和/或以其他方式如由该配准场所指示的那样使可移动图像104的像素/体素移位和/或平移，并且这种移位和/或平移的结果可以是配准图像1002。因此，配准图像1002可被视为可移动图像104的经变换、经移位及/或经修改的版本，其中这种经变换、经移位及/或经修改的版本与固定图像106对准和/或配准。相对于图11更详细地示出了这一点。
105.图11示出了根据本文所述的一个或多个实施方案的示例性非限制性框图1100，其示出了可如何基于配准场802来生成配准图像1002。
106.如上所述，配准场802可基于模态中性可移动图像404和模态中性固定图像406而导出。换句话说，配准场802可指示模态中性可移动图像404的像素/体素应如何移动以便变得与模态中性固定图像406对准。然而，在各种情况下，配准场802可不应用于模态中性可移动图像404。相反，在各个方面，配准场802可应用于可移动图像104本身。即，可移动图像104的像素/体素可根据在配准场802中指示的逐像素和/或逐体素移位矢量而移位，并且配准图像1002可被认为是这种移位的结果。如本发明人通过实验验证的，配准图像1002可被认为与固定图像106对准和/或配准。换句话说，配准图像1002可被认为是可移动图像104的移位版本，其中在这种移位版本中描绘的解剖结构现在与在固定图像106中描绘的解剖结构对准。
107.在各种情况下，执行部件118可随后对配准图像1002采取任何合适的电子动作。例如，执行部件118可根据需要向任何合适的计算设备(未示出)传输配准图像1002。又如，执行部件118可根据需要在任何合适的计算机屏幕和/或显示器(未示出)上呈现配准图像1002。
108.如上文充分解释的，现有技术不能使深度学习型图像配准准确地应用于多模态图像。形成鲜明对比的是，模态中性图像配准系统102的各种实施方案确实使得深度学习型图像配准能够应用于多模态图像。具体地，如本文所述，模态中性图像配准系统102可将输入的一对多模态图像(例如，104和106)转换为模态中性表示(例如，404和406)。尽管输入的这对多模态图像可具有彼此非常不同的强度分布，但是模态中性表示可反而具有彼此非常相似的强度分布(例如，图3和图7所示)。因为模态中性表示可具有相似的强度分布，所以深度学习型图像配准可被准确地应用于模态中性表示。因此，模态中性图像配准系统102可通过将深度学习型图像配准(例如，906)应用于模态中性表示来生成配准场(例如，802)，并且模态中性图像配准系统102可通过将这种配准场应用于原始输入的这对多模态图像来生成配准图像(例如，1002)。换句话说，期望彼此配准的多模态图像可被认为表现出使深度学习型图像配准出错的各种特性(例如，显著不同的强度分布)，并且模态中性图像配准系统102(例如，经由机器学习模型402)可被认为移除这样的混淆特性，以便使得能够应用深度学习型图像配准。这当然构成了具体而有形的技术改进。
109.图12示出了根据本文所述的一个或多个实施方案的未经历模态中性机器学习变换的刚性配准图像和非刚性配准图像的示例性非限制性视图1200。更具体地，图12描绘了在已经在ct体素阵列202和mri体素阵列204上执行现有的刚性配准和非刚性配准之后，ct体素阵列202和mri体素阵列204的叠层。注意，图12中所示的叠层不是经由本主题创新的任何实施方案生成的。如本领域普通技术人员将理解的，根据现有技术的刚性配准和非刚性配准的应用可产生对准不佳的结构边缘。具体地，图12的红色箭头指出各种对准不佳的边界。本发明人针对图12中描绘的叠层计算出0.64的相互信息分数。
110.图13示出了根据本文所述的一个或多个实施方案的已经历了模态中性机器学习变换的配准图像的示例性非限制性视图1300。更具体地，图13描绘了在已经在ct体素阵列202和mri体素阵列204上执行经由模态中性机器学习变换的配准之后的ct体素阵列202和mri体素阵列204的叠层。如本领域普通技术人员将理解的，与图12的叠层相比，图13的叠层示出了对准好得多的边界。实际上，图13的绿色箭头指出比图12中的那些对准得更好的各种边界。此外，本发明人针对图13中所描绘的叠层计算出0.71的相互信息分数，该值显著优于针对图12中所描绘的叠层的0.64的相互信息分数。事实上，本发明人通过实验验证了本文所述的各种实施方案的配准准确度与作为基准的先进技术水平的分析配准技术相当。
111.如上所述，机器学习模型402可被配置为接收可移动图像104和固定图像106作为输入，并且产生模态中性可移动图像404和模态中性固定图像406作为输出。为了促进这种功能，应首先训练机器学习模型402。在各种情况下，可采用无监督方式训练机器学习模型402，如关于图14至图16所述。
112.图14示出了根据本文所述的一个或多个实施方案的包括训练部件和训练数据集的示例性非限制性系统1400的框图，该系统可促进经由模态中性机器学习变换的多模态图像配准。如图所示，在一些情况下，系统1400可包括与系统1000相同的部件，并且还可包括
训练部件1402和训练数据集1404。
113.在各种实施方案中，接收器部件112可电子地接收和/或访问训练数据集1404，并且训练部件1402可在训练数据集1404上电子地训练机器学习模型402，如关于图15至图16所述。
114.图15示出了根据本文所述的一个或多个实施方案的训练数据集的示例性非限制性框图1500。换句话说，图15描绘了训练数据集1404的非限制性示例性实施方案。
115.在各个方面，训练数据集1404可包括任何合适数量的训练图像对。例如，如图所示，训练数据集1404可包括对于任何合适的正整数x的x个图像对：训练图像对1至训练图像对x。在各种情况下，每个训练图像对可包括具有与可移动图像104相同大小的可移动图像(例如，s
×
t像素阵列和/或s
×
t
×
u体素阵列)和具有与固定图像106相同大小的固定图像。例如，训练图像对1可包括训练可移动图像1和训练固定图像1。在各个方面，训练可移动图像1可被认为是将被移位和/或平移以便与训练固定图像1对准/配准的图像(例如，训练可移动图像1和训练固定图像1可被认为以不同的位置和/或取向描绘彼此相同的特征和/或解剖结构)。又如，训练图像对x可包括训练可移动图像x和训练固定图像x。在各种情况下，训练可移动图像x可被认为是将被移位和/或平移以便与训练固定图像x对准/配准的图像(例如，训练可移动图像x和训练固定图像x可被认为以不同的位置和/或取向描绘彼此相同的特征和/或解剖结构)。
116.图16示出了根据本文所述的一个或多个实施方案的示出可如何在训练数据集1404上训练机器学习模型402的示例性非限制性框图1600。
117.在各种实施方案中，机器学习模型402的内部参数(例如，权重、偏离)可以随机初始化。在各个方面，训练部件1402可从训练数据集1404中电子地选择训练图像对1602。如图所示，训练图像对1602可包括训练可移动图像1604和训练固定图像1606。在各种情况下，训练部件1402可将训练图像对1602作为输入电子地馈送到机器学习模型402，并且这可使得机器学习模型402产生某种输出1608。更具体地，训练可移动图像1604和训练固定图像1606可级联在一起，机器学习模型402的输入层可接收这种级联，这种级联可完成通过机器学习模型402的一个或多个隐藏层的向前传递，并且机器学习模型402的输出层可基于由机器学习模型402的该一个或多个隐藏层提供的激活来计算输出1608。
118.如图所示，输出1608可包括推断的模态中性可移动图像1610和推断的模态中性固定图像1612。在各种情况下，推断的模态中性可移动图像1610可被认为是机器学习模型402所认为的训练可移动图像1604的模态中性表示。相似地，推断的模态中性固定图像1612可被认为是机器学习模型402所认为的训练固定图像1606的模态中性表示。注意，如果机器学习模型402迄今为止没有经历训练和/或经历很少训练，则推断的模态中性可移动图像1610和/或推断的模态中性固定图像1612可能极不准确。
119.在任何情况下，训练部件1402可基于输出1608和/或基于训练图像对1602来计算误差和/或损失。在各种情况下，可实施任何合适的损失函数。作为非限制性示例，损失函数可如下给出：
120.l＝α
×
mse(g(ia)，g(ib))+β
×
h(g(ia)，g(ib))+γ
×
[d(g(ia)，ia)+d(g(ib)，ib)]
[0121]
在该公式中，列出的变量可具有以下含义：ia可表示训练可移动图像1604(例如，可表示根据成像模态a捕获的图像)；ib可表示训练固定图像1606(例如，可表示根据不同于
成像模态a的成像模态b捕获的图像)；l可表示计算出的损失和/或误差值；g(ia)可表示推断的模态中性可移动图像1610(例如，可表示ia的模态中性版本)；g(ib)可表示推断的模态中性固定图像1612(例如，可表示ib的模态中性版本)；mse(g(ia)，g(ib))可表示g(ia)和g(ib)之间的逐像素和/或逐体素均方误差；h(g(ia)，g(ib))可表示g(ia)和g(ib)之间的基于直方图的误差(例如，可表示g(ia)的强度分布和g(ib)的强度分布之间的差异)；d(g(ia)，ia)可表示将g(ia)和ia之间的差异量化的任何合适的距离函数；d(g(ib)，ib)可表示将g(ib)和ib之间的差异量化的任何合适的距离函数；并且α、β和γ可为任何合适的标量权重。
[0122]
因此，上述损失函数可被认为包括三个单独的项。第一项mse(g(ia)，g(ib))可被认为量化推断的模态中性可移动图像1610与推断的模态中性固定图像1612有多不相同。本领域的普通技术人员将理解如何计算两个图像之间的均方误差。
[0123]
第二项h(g(ia)，g(ib))可被认为量化推断的模态中性可移动图像1610的像素/体素强度分布与推断的模态中性固定图像1612的像素/体素强度分布有多不相同。作为非限制性示例，训练部件1402可如下计算该差异(例如，可计算h(g(ia)，g(ib)))：训练部件可对任何合适的正整数k计算描述推断的模态中性可移动图像1610的像素/体素强度分布的k分区频率直方图；训练部件1402可计算描述推断的模态中性可移动图像1612的像素/体素强度分布的k分区频率直方图；训练部件1402可计算描述推断的模态中性可移动图像1610的像素/体素强度分布的频率直方图与描述推断的模态中性固定图像1612的像素/体素强度分布的频率直方图之间的k分区绝对值差异；并且训练部件1402可最终将所有这种k分区绝对值差异加在一起。换句话说，h(g(ia)，g(ib))可如下给出：
[0124][0125]
其中i为求和指数，其中表示描述g(ia)的像素/体素强度分布的频率直方图，其中表示描述g(ib)的像素/体素强度分布的频率直方图，其中表示中的第i个分区，其中表示中的第i个分区，并且其中k是和中每一者内的直方图分区内的总数。如本领域普通技术人员将理解的，h(g(ia)，g(ib))可根据需要经由任何其他合适的直方图匹配函数和/或直方图差函数来计算。在任何情况下，在损失函数中包括该第二项h(g(ia)，g(ib))可帮助确保由机器学习模型402产生的输出具有彼此足够相似的像素/体素强度分布。
[0126]
第三项[d(g(ia)，ia)+d(g(ib)，ib)]可包括两个差异：第一差异d(g(ia)，ia)和第二差异d(g(ib)，ib)。在各个方面，第一差异d(g(ia)，ia)可表示推断的模态中性可移动图像1610与训练可移动图像1604有多不同(例如，g(ia)与ia有多不同)。在一些情况下，该第一差异可为g(ia)和ia之间的互相关分数，和/或g(ia)和ia之间的相互信息分数。在其他情况下，该第一差异可基于存在于g(ia)和ia内的界标和/或边缘之间的距离来计算。在其他情况下，该第一差异可基于g(ia)和ia之间的余弦相似度(例如，unity负余弦相似度)来计算。在各个方面，可实施任何其他合适的距离函数和/或相似性函数来计算该第一差异。同样，第二差异d(g(ib)，ib)可表示推断的模态中性固定图像1612与训练固定图像1606有多不同(例如，g
(ib)与ib有多不同)。在一些情况下，该第二差异可为g(ib)和ib之间的互相关分数，和/或g(ib)和ib之间的相互信息分数。在其他情况下，该第二差异可基于存在于g(ib)和ib内的界标和/或边缘之间的距离来计算。在其他情况下，该第二差异可基于g(ib)和ib之间的余弦相似度(例如，unity负余弦相似度)来计算。在各个方面，可实施任何其他合适的距离函数和/或相似性函数来计算该第二差异。在任何情况下，在损失函数包括该第三项[d(g(ia)，ia)+d(g(ib)，ib)]可帮助确保由机器学习模型402产生的输出维持和/或保留在输入的多模态图像对中描绘的重要结构特征(例如，该第三项防止机器学习模型402简单地输出空白图像作为模态中性版本)。
[0127]
一旦训练部件1402如上所述计算出损失和/或误差，训练部件1402就可通过基于这种计算出的损失和/或误差执行反向传播来更新机器学习模型402的内部参数(例如，权重矩阵、偏离值)。
[0128]
在各个方面，训练部件1402可针对训练数据集1404中的所有训练图像对重复该训练过程，最终结果是机器学习模型402的内部参数可被迭代地优化以准确地推断输入的多模态图像对的模态中性版本。在各种情况下，可实施任何合适的训练批次大小和/或任何合适的训练终止标准。
[0129]
图17示出了根据本文所述的一个或多个实施方案的示例性非限制性计算机实现的方法1700的流程图，该方法可促进经由模态中性机器学习变换的多模态图像配准。在各种情况下，模态中性图像配准系统102可促进计算机实现的方法1700。
[0130]
在各种实施方案中，动作1702可包括由(例如，经由112)操作地耦接到处理器的设备访问第一图像(例如，104)和第二图像(例如，106)，其中第一图像可根据第一成像模态(例如，ct)描绘解剖结构，并且其中第二图像可根据不同于第一成像模态的第二成像模态(例如，mri)描绘该解剖结构。
[0131]
在各个方面，动作1704可包括由设备(例如，经由114)并且经由在第一图像和第二图像上执行机器学习模型(例如，402)来生成第一图像的模态中性版本(例如，404)和第二图像的模态中性版本(例如，406)。
[0132]
在各种情况下，动作1706可包括由设备(例如，经由118)基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。
[0133]
虽然在图17中未明确示出，但是第一图像的强度分布可与第二图像的强度分布相差超过阈值量(例如，如图2至图3中所示)，并且第一图像的模态中性版本的强度分布可与第二图像的模态中性版本的强度分布相差小于该阈值量(例如，如图6至图7中所示)。
[0134]
虽然在图17中未明确示出，但是机器学习模型可为深度学习神经网络，该深度学习神经网络可接收第一图像和第二图像两者作为输入，并且该深度学习神经网络可产生第一图像的模态中性版本和第二图像的模态中性版本两者作为输出(例如，如图5中所示)。
[0135]
虽然在图17中未明确示出，但是计算机实现的方法1700还可包括：由设备(例如，经由116)基于第一图像的模态中性版本和第二图像的模态中性版本生成配准场(例如，802)，其中该配准场可为指示第一图像的模态中性版本的像素和/或体素应如何移动以促进与第二图像的模态中性版本配准的矢量场；并且将第一图像与第二图像配准可包括由设备(例如，经由118)根据配准场来变换第一图像(例如，如图11所示)。
[0136]
虽然在图17中未明确示出，但是生成配准场可包括由设备(例如，经由116)将第一
图像的模态中性版本和第二图像的模态中性版本两者作为输入馈送到深度学习配准模型(例如，906)，并且该深度学习配准模型可产生配准场作为输出(例如，如图9中所示)。
[0137]
虽然在图17中未明确示出，但是计算机实现的方法1700还可包括：由设备(例如，经由1402)训练机器学习模型生成输入图像对的模态中性版本。在各种情况下，这种训练可由损失函数来促进，该损失函数包括：第一误差项，其基于第一图像的模态中性版本与第二图像的模态中性版本之间的像素到像素或体素到体素差异(例如，mse(g(ia)，g(ib)))；第二误差项，其基于第一图像的模态中性版本与第二图像的模态中性版本之间的强度分布到强度分布差异(例如，h(g(ia)，g(ib)))；第三误差项，其基于第一图像与第一图像的模态中性版本之间的第一差异，并且其基于第二图像与第二图像的模态中性版本之间的第二差异(例如，[d(g(ia)，ia)+d(g(ib)，ib)])。
[0138]
因此，本文所述的各种实施方案包括一种计算机化工具，其可接收期望彼此配准的一对多模态图像，可经由经训练的机器学习模型的执行来生成该对多模态图像的模态中性版本，并且可基于此类模态中性版本来配准该对多模态图像。如本文所述，这种计算机化工具能够将深度学习型图像配准准确地应用于多模态图像，而现有技术则完全做不到。因此，本文所述的计算机化工具当然构成了计算机的有用而且实用的应用。
[0139]
尽管本文的公开内容主要将本主题创新的各种实施方案描述为将配准场和/或技术应用于可移动图像104而不应用于固定图像106，但是这仅仅是为了便于解释的非限制性示例。本领域的普通技术人员将理解，在各种实施方案中，当需要将一个图像(例如，104)与另一图像(例如，106)配准时，可将这两个图像移位和/或变换而非仅对其中的一者进行此类操作。
[0140]
尽管本文的公开内容主要将本主题创新的各种实施方案描述为应用于医学图像(例如，x射线图像、ct图像、mri图像、超声图像、pet图像)，但这仅仅是为了便于解释的非限制性示例。本领域的普通技术人员将理解，本文所述的教导内容可应用于和/或外推至需要配准/对准的任何合适的图像。
[0141]
尽管本文的公开内容主要将本主题创新的各种实施方案描述为应用于表现出显著不同的像素/体素强度分布的多模态图像，但是这仅仅是为了便于解释的非限制性示例。在各种实施方案中，本文所述的教导内容可应用于需要彼此配准而且表现出显著不同的像素/体素强度分布的任何合适的图像对，即使此类图像对不是多模态的。作为非限制性示例，可能的是，一对单模态图像可表现出彼此显著不同的像素/体素强度分布。具体地，在一些情况下，可采用多对比度和/或多参数方式(例如，多参数mri、多对比度ct)来实施单个成像模态。在这种情况下，该单个成像模态可根据第一对比度/参数设置来生成解剖结构的第一图像，该单个成像模态可根据不同于第一对比度/参数设置的第二对比度/参数设置来生成相同解剖结构的第二图像，并且由于第一对比度/参数设置不同于第二对比度/参数设置，因此第一图像和第二图像的强度分布可显著不同。如本领域的普通技术人员将理解的，当期望配准具有不同采集协议的图像(例如，导致具有显著不同的强度分布/表示的图像)时和/或当期望实施图册配准时，可能出现类似的情况。即，本文所述的各种实施方案可应用于具有显著不同的强度分布的可移动图像和固定图像，即使此类图像是由相同的成像模态捕获/生成的(例如，强度直方图以任何合适的阈值量失配的两个图像可被认为和/或视为类似于多模态图像，即使这样的两个图像实际上是单模态的)。
[0142]
在各种情况下，机器学习算法和/或模型可采用任何合适的方式来实施以促进本文所述的任何合适的方面。为了有利于本主题创新的各种实施方案的上述机器学习方面中的一些机器学习方面，考虑对人工智能(ai)的以下讨论。本文的本创新的各种实施方案可采用人工智能来促进本创新的一个或多个特征的自动化。这些部件可以采用各种基于ai的方案来执行本文所公开的各种实施方案/示例。为了提供或有助于本创新的众多确定(例如，确定、探知、推断、计算、预测、预后、估计、导出、预报、检测、计算)，本创新的部件可以检查其被授予访问权限的数据的整体或子集，并且可以提供关于或确定来自经由事件和/或数据捕获的一组观察结果的系统和/或环境的状态的推理。例如，可以使用确定来识别特定背景或动作，或者可以生成状态的概率分布。这些确定可以是概率性的；即，对感兴趣状态的概率分布的计算基于对数据和事件的考虑。确定还可以指用于从一组事件和/或数据组成更高级别事件的技术。
[0143]
这种确定可以导致从一组观察的事件和/或存储的事件数据构造新的事件或动作，无论事件是否在时间上紧密相关，以及无论事件和数据来自一个还是多个事件和数据源。本文所公开的部件可以结合执行与要求保护的主题相关的自动和/或确定的动作采用各种分类(显式训练的(例如，经由训练数据)以及隐式训练的(例如，经由观察行为、偏好、历史信息、接收外在信息等))方案和/或系统(例如，支持向量机、神经网络、专家系统、贝叶斯信度网络、模糊逻辑、数据融合引擎等)。因此，分类方案和/或系统可以用于自动学习和执行多种功能、动作和/或确定。
[0144]
分类器可将输入属性矢量z＝(z1,z2,z3,z4,zn)映射到该输入属于某个类别的置信度，如根据f(z)＝置信度(类别)。这种分类可以采用基于概率和/或统计的分析(例如，分析实用程序和费用考虑的因素)来确定要自动执行的动作。支持向量机(svm)可以是可以使用的分类器的示例。svm通过在可能输入的空间中找到超表面来操作，其中超表面尝试将触发标准与非触发事件分开。直观地，这使得分类对于测试接近但不同于训练数据的数据是正确的。其他有向和无向模型分类方法包括例如朴素贝叶斯、贝叶斯网络、决策树、神经网络、模糊逻辑模型，并且可以采用提供不同独立模式的概率分类模型中的任一种。本文所用的分类还包括用于开发优先级模型的统计回归。
[0145]
本领域的普通技术人员将会理解，本文的公开内容描述了本主题创新的各种实施方案的非限制性示例。为了便于描述和/或解释，当讨论本主题创新的各种实施方案时，本文公开内容的各个部分利用术语“每个”。本领域的普通技术人员将会理解，术语“每个”的此类用途为非限制性示例。换句话说，当本文公开内容提供应用于一些特定对象和/或部件中的“每个”特定对象和/或部件的描述时，应当理解，这是本主题创新的各种实施方案的非限制性示例，并且还应当理解，在本主题创新的各种其他实施方案中，可以是此类描述适用于少于该特定对象和/或部件中的“每个”特定对象和/或部件的情况。
[0146]
为了为本文所述的各种实施方案提供附加上下文，图18和以下讨论旨在提供可在中实现本文所述的实施方案的各种实施方案的合适计算环境1800的简要一般描述。虽然上文已在可在一个或多个计算机上运行的计算机可执行指令的一般上下文中描述了实施方案，但本领域的技术人员将认识到，这些实施方案也可与其他程序模块结合和/或作为硬件和软件的组合来实现。
[0147]
通常，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、部件、
数据结构等。此外，本领域的技术人员将会理解，本发明的方法可以用其他计算机系统配置来实践，包括单处理器或多处理器计算机系统、小型计算机、大型计算机、物联网(iot)设备、分布式计算系统，以及个人计算机、手持计算设备、基于微处理器的或可编程的消费电子产品等，它们中的每一个可操作地耦接至一个或多个相关联的设备。
[0148]
本文实施方案的所例示的实施方案还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行特定任务。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
[0149]
计算设备通常包括各种介质，该各种介质可以包括计算机可读存储介质、机器可读存储介质和/或通信介质，其中在本文中这两个术语的使用彼此不同，如下所述。计算机可读存储介质或机器可读存储介质可以是可由计算机访问的任何可用存储介质，并且包括易失性和非易失性介质、可移动和不可移动介质。以举例的方式而非限制，计算机可读存储介质或机器可读存储介质可以结合用于存储信息诸如计算机可读或机器可读指令、程序模块、结构化数据或非结构化数据的任何方法或技术来实现。
[0150]
计算机可读存储介质可以包括但不限于随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、闪存存储器或其他存储器技术、光盘只读存储器(cdrom)、数字通用盘(dvd)、蓝光盘(bd)或其他光盘存储装置、磁带盒、磁带、磁盘存储器或其他磁存储设备、固态驱动器或其他固态存储设备或可用于存储所需信息的其他有形和/或非暂态介质。就这一点而言，本文中应用于存储装置、存储器或计算机可读介质的术语“有形”或“非暂态”应理解为仅排除传播暂态信号本身作为修饰语，并且不放弃不仅是传播暂态信号本身的所有标准存储装置、存储器或计算机可读介质的权利。
[0151]
计算机可读存储介质可以由一个或多个本地或远程计算设备访问，例如，通过访问请求、查询或其他数据检索协议，以实现关于由介质存储的信息的各种操作。
[0152]
通信介质通常在数据信号中包含计算机可读指令、数据结构、程序模块或其他结构化或非结构化数据，该数据信号可以是诸如调制数据信号，例如载波或其他传输机制，并包括任何信息传递或传输介质。术语“调制数据信号”或“信号”是指设置或改变其一个或多个特征以在一个或多个信号中编码信息的信号。以举例的方式而非限制，通信介质包括有线介质，诸如有线网络或直接有线连接，以及无线介质，诸如声学、rf、红外和其他无线介质。
[0153]
再次参考图18，用于实现本文所述方面的各种实施方案的示例性环境1800包括计算机1802，计算机1802包括处理单元1804、系统存储器1806和系统总线1808。系统总线1808将包括但不限于系统存储器1806的系统部件耦接到处理单元1804。处理单元1804可以是各种可商购获得的处理器中的任何一种处理器。双微处理器和其他多处理器架构也可用作处理单元1804。
[0154]
系统总线1808可以是可使用多种可商购获得的总线架构中的任一种总线架构进一步互连到存储器总线(具有或不具有存储器控制器)、外围总线和局部总线的若干类型总线结构中的任一种总线结构。系统存储器1806包括rom 1810和ram 1812。基本输入/输出系统(bios)可存储在非易失性存储器诸如rom、可擦除可编程只读存储器(eprom)、eeprom中，其中bios包含基本例程，该基本例程有助于诸如在启动期间在计算机1802内的元件之间传输信息。ram 1812还可包括高速ram，诸如用于高速缓存数据的静态ram。
[0155]
计算机1802还包括内部硬盘驱动器(hdd)1814(例如，eide、sata)、一个或多个外部存储设备1816(例如，磁软盘驱动器(fdd)1816、记忆棒或闪存驱动器阅读器、存储卡读卡器等)和驱动器1820，例如诸如固态驱动器、光盘驱动器，其可以从磁盘1822(诸如cd-rom盘、dvd、bd等)读取或写入。另选地，在涉及固态驱动器的情况下，除非分开，否则将不包括磁盘1822。虽然内部hdd 1814被示出为位于计算机1802内，但内部hdd 1814也可被配置为在合适的基础结构(未示出)中用于外部使用。另外，虽然在环境1800中未示出，但固态驱动器(ssd)可作为hdd 1814的补充或替代使用。hdd 1814、外部存储设备1816和驱动器1820可分别通过hdd接口1824、外部存储接口1826和驱动器接口1828连接到系统总线1808。用于外部驱动具体实施的接口1824可包括通用串行总线(usb)和电气与电子工程师协会(ieee)1394接口技术中的至少一者或两者。其他外部驱动连接技术在本文所述的实施方案的设想内。
[0156]
驱动器及其相关联的计算机可读存储介质提供数据、数据结构、计算机可执行指令等的非易失性存储。对于计算机1802，驱动器和存储介质以合适的数字格式容纳任何数据的存储。尽管上文对计算机可读存储介质的描述涉及相应类型的存储设备，但本领域的技术人员应当理解，计算机可读的其他类型的存储介质(无论是目前存在的还是将来开发的)都也可用于示例性操作环境中，并且此外，任何此类存储介质可包含用于执行本文所述的方法的计算机可执行指令。
[0157]
多个程序模块可存储在驱动器和ram 1812中，包括操作系统1830、一个或多个应用程序1832、其他程序模块1834和程序数据1836。操作系统、应用程序、模块和/或数据的全部或部分也可被高速缓存在ram 1812中。本文所述的系统和方法可利用各种可商购获得的操作系统或操作系统的组合来实现。
[0158]
计算机1802可任选地包括仿真技术。例如，超级管理程序(未示出)或其他中介可仿真用于操作系统1830的硬件环境，并且仿真的硬件可任选地不同于图18所示的硬件。在此类实施方案中，操作系统1830可包括在计算机1802处托管的多个虚拟机(vm)中的一个vm。此外，操作系统1830可为应用程序1832提供运行时环境，诸如java运行时环境或.net框架。运行时环境是允许应用程序1832在包括运行时环境的任何操作系统上运行的相符执行环境。类似地，操作系统1830可支持容器，并且应用程序1832可采用容器的形式，其是轻质的、独立的、可执行的软件包，该软件包包括例如用于应用程序的代码、运行时、系统工具、系统库和设置。
[0159]
此外，计算机1802可利用安全模块诸如可信处理模块(tpm)来启用。例如，在tpm的情况下，引导部件在下一次引导部件中散列化，并且在加载下一个引导部件之前等待结果与安全值的匹配。该过程可发生在计算机1802的代码执行栈中的任何层，例如应用于应用程序执行层级或操作系统(os)内核层级，从而实现任何代码执行层级的安全性。
[0160]
用户可通过一个或多个有线/无线输入设备(例如，键盘1838、触摸屏1840和指向设备诸如鼠标1842)将命令和信息输入到计算机1802中。其他输入设备(未示出)可包括麦克风、红外(ir)遥控器、射频(rf)遥控器或其他遥控器、操纵杆、虚拟现实控制器和/或虚拟现实头戴式耳机、游戏板、触笔、图像输入设备(例如相机)、手势传感器输入设备、视觉移动传感器输入设备、情绪或面部检测设备、生物识别输入设备(例如指纹或虹膜扫描仪)等。这些和其他输入设备通常通过输入设备接口1844连接到处理单元1804，该输入设备接口可耦
接至系统总线1808，但这些和其他输入设备可通过其他接口连接，诸如并行端口、ieee 1394串行端口、游戏端口、usb端口、ir接口、接口等。
[0161]
监视器1846或其他类型的显示设备也可经由接口(诸如视频适配器1848)连接到系统总线1808。除了监视器1846之外，计算机通常包括其他外围输出设备(未示出)，诸如扬声器、打印机等。
[0162]
计算机1802可使用经由有线和/或无线通信到一个或多个远程计算机(诸如，远程计算机1850)的逻辑连接而在联网环境中操作。远程计算机1850可以是工作站、服务器计算机、路由器、个人计算机、便携式计算机、基于微处理器的娱乐设备、对等设备或其他公共网络节点，并且通常包括相对于计算机1802所述的许多或所有元件，但为了简洁起见，仅示出了存储器/存储设备1852。所描绘的逻辑连接包括到局域网(lan)1854和/或更大网络(例如，广域网(wan)1856)的有线/无线连接。此类lan和wan联网环境常见于办公室和公司中，并且有利于企业范围内的计算机网络，诸如内联网，所有这些网络均可连接到全球通信网络，例如互联网。
[0163]
当在lan联网环境中使用时，计算机1802可通过有线和/或无线通信网络接口或适配器1858连接到本地网络1854。适配器1858可促进与lan1854的有线或无线通信，该lan还可包括设置在其上的无线接入点(ap)，用于在无线模式下与适配器1858通信。
[0164]
当在wan联网环境中使用时，计算机1802可包括调制解调器1860或可经由用于通过wan 1856建立通信的其他装置(诸如通过互联网)连接到wan 1856上的通信服务器。调制解调器1860(其可为内部或外部的以及有线或无线设备)可经由输入设备接口1844连接到系统总线1808。在联网环境中，相对于计算机1802或其部分示出的程序模块可存储在远程存储器/存储设备1852中。应当理解，所示的网络连接是示例，并且可使用在计算机之间建立通信链路的其他装置。
[0165]
当在lan或wan联网环境中使用时，除了如上所述的外部存储设备1816之外或作为其替代，计算机1802可访问云存储系统或其他基于网络的存储系统，诸如但不限于提供信息存储或处理的一个或多个方面的网络虚拟机。一般来讲，计算机1802与云存储系统之间的连接可例如分别通过适配器1858或调制解调器1860通过lan 1854或wan 1856建立。在将计算机1802连接到相关联的云存储系统时，外部存储接口1826可在适配器1858和/或调制解调器1860的帮助下管理由云存储系统提供的存储，如同其他类型的外部存储装置那样。例如，外部存储接口1826可被配置为提供对云存储源的访问，如同这些源物理地连接到计算机1802一样。
[0166]
计算机1802可操作为与以无线通信方式可操作地设置的任何无线设备或实体通信，例如打印机、扫描仪、台式计算机和/或便携式计算机、便携式数据助理、通信卫星、与无线可检测标签(例如，自助服务机、书报亭、商店货架等)相关联的任何装备件或位置。这可包括无线保真(wi-fi)和无线技术。因此，通信可以是与常规网络一样的预定义结构，或者仅仅是至少两个设备之间的自组织通信。
[0167]
图19是所公开的主题可以与其交互的样本计算环境1900的示意性框图。样本计算环境1900包括一个或多个客户端1910。客户端1910可以是硬件和/或软件(例如，线程、进程、计算设备)。样本计算环境1900还包括一个或多个服务器1930。服务器1930还可以是硬件和/或软件(例如，线程、进程、计算设备)。例如，服务器1930可以容纳线程以通过采用本
文所述的一个或多个实施方案来执行变换。客户端1910和服务器1930之间的一种可能的通信可以是适合于在两个或更多个计算机进程之间传输的数据分组的形式。样本计算环境1900包括可用于促进客户端1910和服务器1930之间的通信的通信框架1950。客户端1910可操作地连接到一个或多个客户端数据存储库1920，该客户端数据存储库可用于存储客户端1910本地的信息。类似地，服务器1930可操作地连接到一个或多个服务器数据存储库1940，该服务器数据存储库可用于存储服务器1930本地的信息。
[0168]
本发明可以是在集成的任何可能技术细节水平上的系统、方法、装置和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处理器执行本发明的方面的计算机可读存储介质(或多个介质)。计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备或前述的任何适当组合。计算机可读存储介质的更具体示例的不完全列表还可包括以下各项：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能磁盘(dvd)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)，以及上述项的任何适当组合。如本文所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线传输的电信号。
[0169]
本文中描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每一计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据或以一种或多种编程语言(包括面向对象的编程语言，诸如smalltalk、c++等)和过程编程语言(诸如“c”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
[0170]
本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。应当理解，流程图图示和/或框图的每个框，以及流程图图示和/或框图中的框的组合可由计算机可读程序指令来实现。可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机
器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实施流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其它设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实施在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。也可将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以致使一系列操作动作在计算机、其他可编程装置或其他设备上执行以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
[0171]
附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机程序产品的可能具体实施的架构、功能性和操作。在这方面，流程图或框图中的每一框可以表示指令的模块、片段或部分，其包括用于实施指定逻辑功能的一个或多个可执行指令。在一些替代实施中，框中所指出的功能可不按图中所指出的次序发生。例如，实际上可基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框，具体取决于所涉及的功能性。还将指出，框图和/或流程图图示的每一框以及框图和/或流程图图示中的框的组合可由执行指定功能或动作或者实施专用硬件和计算机指令的组合的基于专用硬件的系统来实施。
[0172]
尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可以与其他程序模块结合来实现。一般来说，程序模块包括执行特定任务和/或实施特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将了解，可用其它计算机系统配置来实践本发明的计算机实现的方法，所述计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如pda、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可在其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境中实践。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
[0173]
如本技术中所用，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文中公开的实体可以是硬件、硬件与软件的组合、软件或执行中的软件。例如，部件可以是但不限于是在处理器上运行的程序、处理器、对象、可执行文件、执行线程、程序和/或计算机。借助于说明，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在程序和/或执行线程内，并且部件可位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读媒体来执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如来自一个部件的数据，所述部件经由信号与本地系统、分布式系统和/或网络(诸如与其它系统的互联网)中的另一部件交互)。作为另一个示例，部件可以是具有由电气或电子电路系统所操作的机械零件提供的特定功能的装置，所述电气或电子电路系统由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执
行软件或固件应用程序的至少一部分。作为又另一示例，部件可以是通过电子部件而非机械零件来提供特定功能的装置，其中电子部件可包括处理器或用以执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一方面，部件可例如在云计算系统内经由虚拟机来仿真电子部件。
[0174]
另外，术语“或”旨在意指包括性的“或”而不是排他性的“或”。也就是说，除非另有指定或从上下文中清楚，否则“x采用a或b”旨在意指任何自然的包括性置换。也就是说，如果x采用a；x采用b；或者x采用a和b两者，则在任何前述情况下都满足“x采用a或b”。此外，除非另有指定或从上下文中清楚是针对单数形式，否则本说明书和附图中使用的冠词“一(a)”和“一(an)”一般应解释为意指“一个或多个”。如本文中所用，利用术语“示例”和/或“示例性”来表示用作示例、实例或说明。为了避免疑问，本文中所公开的主题不受这类示例的限制。另外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意指排除本领域普通技术人员已知的等效示例性结构和技术。
[0175]
如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布式共享存储器的并行平台。另外，处理器可指集成电路、专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑控制器(plc)、复杂可编程逻辑设备(cpld)、分立栅极或晶体管逻辑、分立硬件部件或其被设计成执行本文中所描述的功能的任何组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实施为计算处理单元的组合。在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”以及与部件的操作和功能相关的基本上任何其它信息存储部件用以指代“存储器部件”、体现在“存储器”中的实体或包括存储器的部件。应了解，本文中所描述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可包括易失性存储器和非易失性存储器两者。借助于说明而非限制，非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存存储器或非易失性随机访问存储器(ram)(例如铁电ram(feram))。举例来说，易失性存储器可包括可充当外部高速缓存存储器的ram。借助于说明而非限制，ram能以多种形式提供，诸如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)、直接rambus ram(drram)、直接rambus动态ram(drdram)和rambus动态ram(rdram)。另外，本文中的系统或计算机实现的方法的所公开存储器部件旨在包括但不限于包括这些和任何其它合适类型的存储器。
[0176]
上文已描述的内容仅包括系统和计算机实现的方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现的方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多其它组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。
[0177]
已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的
或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域的普通技术人员而言将是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。

技术特征：
1.一种系统，所述系统包括：处理器，所述处理器执行存储在计算机可读存储器中的计算机可执行部件，所述计算机可执行部件包括：接收器部件，所述接收器部件访问第一图像和第二图像，其中所述第一图像根据第一成像模态描绘解剖结构，并且其中所述第二图像根据不同于所述第一成像模态的第二成像模态描绘所述解剖结构；模态中性部件，所述模态中性部件经由在所述第一图像和所述第二图像上执行机器学习模型来生成所述第一图像的模态中性版本和所述第二图像的模态中性版本；和执行部件，所述执行部件基于所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本将所述第一图像与所述第二图像配准。2.根据权利要求1所述的系统，其中所述第一图像的强度分布与所述第二图像的强度分布相差超过阈值量，并且其中所述第一图像的所述模态中性版本的强度分布与所述第二图像的所述模态中性版本的强度分布相差小于所述阈值量。3.根据权利要求1所述的系统，其中所述机器学习模型是深度学习神经网络，其中所述模态中性部件将所述第一图像和所述第二图像两者作为输入馈送到所述深度学习神经网络，并且其中所述深度学习神经网络产生所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输出。4.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：场部件，所述场部件基于所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本生成配准场，其中所述配准场是指示所述第一图像的所述模态中性版本的像素或体素应如何移动以促进与所述第二图像的所述模态中性版本配准的矢量场，并且其中所述执行部件通过根据所述配准场变换所述第一图像来将所述第一图像与所述第二图像配准。5.根据权利要求4所述的系统，其中所述场部件将所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输入馈送到深度学习配准模型，并且其中所述深度学习配准模型产生所述配准场作为输出。6.根据权利要求1所述的系统，其中所述计算机可执行部件还包括：训练部件，所述训练部件训练所述机器学习模型生成输入图像对的模态中性版本。7.根据权利要求6所述的系统，其中所述训练部件经由损失函数训练所述机器学习模型，所述损失函数包括：第一误差项，所述第一误差项是基于所述第一图像的所述模态中性版本与所述第二图像的所述模态中性版本之间的像素到像素或体素到体素差异的；第二误差项，所述第二误差项是基于所述第一图像的所述模态中性版本与所述第二图像的所述模态中性版本之间的强度分布到强度分布差异的；和第三误差项，所述第三误差项是基于所述第一图像与所述第一图像的所述模态中性版本之间的第一差异的，并且所述第三误差项是基于所述第二图像与所述第二图像的所述模态中性版本之间的第二差异的。8.根据权利要求1所述的系统，其中所述第一成像模态是计算机断层摄影成像模态、磁共振成像模态、超声成像模态、x射线成像模态或正电子发射断层摄影成像模态中的一者，
并且其中所述第二成像模态是所述计算机断层摄影成像模态、所述磁共振成像模态、所述超声成像模态、所述x射线成像模态或所述正电子发射断层摄影成像模态中的不同一者。9.一种计算机实现的方法，所述计算机实现的方法包括：由操作地耦接到处理器的设备访问第一图像和第二图像，其中所述第一图像根据第一成像模态描绘解剖结构，并且其中所述第二图像根据不同于所述第一成像模态的第二成像模态描绘所述解剖结构；由所述设备并且经由在所述第一图像和所述第二图像上执行机器学习模型来生成所述第一图像的模态中性版本和所述第二图像的模态中性版本；以及由所述设备基于所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本将所述第一图像与所述第二图像配准。10.根据权利要求9所述的计算机实现的方法，其中所述第一图像的强度分布与所述第二图像的强度分布相差超过阈值量，并且其中所述第一图像的所述模态中性版本的强度分布与所述第二图像的所述模态中性版本的强度分布相差小于所述阈值量。11.根据权利要求9所述的计算机实现的方法，其中所述机器学习模型是深度学习神经网络，其中所述深度学习神经网络接收所述第一图像和所述第二图像两者作为输入，并且其中所述深度学习神经网络产生所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输出。12.根据权利要求9所述的计算机实现的方法，所述方法还包括：由所述设备基于所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本生成配准场，其中所述配准场是指示所述第一图像的所述模态中性版本的像素或体素应如何移动以促进与所述第二图像的所述模态中性版本配准的矢量场；并且其中所述将所述第一图像与所述第二图像配准包括由所述设备根据所述配准场来变换所述第一图像。13.根据权利要求12所述的计算机实现的方法，其中所述生成所述配准场包括由所述设备将所述第一图像的所述模态中性版本和所述第二图像的所述模态中性版本两者作为输入馈送到深度学习配准模型，并且其中所述深度学习配准模型产生所述配准场作为输出。14.根据权利要求9所述的计算机实现的方法，所述方法还包括：由所述设备训练所述机器学习模型生成输入图像对的模态中性版本。15.根据权利要求14所述的计算机实现的方法，其中所述训练所述机器学习模型由损失函数来促进，所述损失函数包括：第一误差项，所述第一误差项是基于所述第一图像的所述模态中性版本与所述第二图像的所述模态中性版本之间的像素到像素或体素到体素差异的；第二误差项，所述第二误差项是基于所述第一图像的所述模态中性版本与所述第二图像的所述模态中性版本之间的强度分布到强度分布差异的；和第三误差项，所述第三误差项是基于所述第一图像与所述第一图像的所述模态中性版本之间的第一差异的，并且所述第三误差项是基于所述第二图像与所述第二图像的所述模态中性版本之间的第二差异的。16.根据权利要求9所述的计算机实现的方法，其中所述第一成像模态是计算机断层摄
影成像模态、磁共振成像模态、超声成像模态、x射线成像模态或正电子发射断层摄影成像模态中的一者，并且其中所述第二成像模态是所述计算机断层摄影成像模态、所述磁共振成像模态、所述超声成像模态、所述x射线成像模态或所述正电子发射断层摄影成像模态中的不同一者。17.一种用于促进经由模态中性机器学习变换的多模态图像配准的计算机程序产品，所述计算机程序产品包括计算机可读存储器，所述计算机可读存储器具有通过其体现的程序指令，所述程序指令能够由处理器执行以使得所述处理器执行根据权利要求9至16中任一项所述的方法。

技术总结
提供了促进经由模态中性机器学习变换的多模态图像配准的系统/技术。在各种实施方案中，系统可访问第一图像和第二图像，其中第一图像可根据第一成像模态描绘解剖结构，并且其中第二图像可根据不同于第一成像模态的第二成像模态描绘该解剖结构。在各个方面，该系统可经由在第一图像和第二图像上执行机器学习模型来生成第一图像的模态中性版本和第二图像的模态中性版本。在各种情况下，该系统可基于第一图像的模态中性版本和第二图像的模态中性版本将第一图像与第二图像配准。中性版本将第一图像与第二图像配准。中性版本将第一图像与第二图像配准。


技术研发人员：S
受保护的技术使用者：通用电气精准医疗有限责任公司
技术研发日：2023.01.16
技术公布日：2023/7/26