用于生成医学图像的系统和方法与流程

用于生成医学图像的系统和方法


背景技术：

1.在本发明的一些实施例中，本发明涉及医学图像处理，并且更具体地但不排他地涉及用于从3d医学图像生成2d医学图像的系统和方法。
2.可以从3d医学图像创建2d医学图像，以帮助放射科医师浏览3d医学图像。放射科医师可以使用2d医学图像以便确定要聚焦在3d医学图像的哪些部分上。例如，在示出了特定肺的特定肺叶中的肺结节的ct扫描的2d图像中，放射科医师可以观察对应于特定肺叶的ct扫描的切片以获得对肺结节的更好的观察。


技术实现要素：

3.根据第一方面，一种用于从3d医学图像生成合成2d解释图像的计算机实现的方法，包括：将通过划分3d医学图像所创建的多个2d医学图像中的每个2d医学图像输入到2d分类器，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合(aggregate)权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；以及提供所述合成2d解释图像以用于在显示器上呈现。
4.根据第二方面，一种生成用于分析3d医学图像的2d图像的2d分类器的方法，包括：访问多个训练3d医学图像，对于所述多个3d医学图像中的每个相应的3d医学图像：将所述相应的3d医学图像划分为多个2d医学图像，将所述多个2d医学图像中的每个2d医学图像输入到2d分类器，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算，将指示在其中所描绘的所述视觉发现的存在的标签分配给所述合成2d解释图像；生成包括多个所述合成2d解释图像和对应标签的经更新的训练数据集；以及通过使用所述经更新的训练数据集更新所述2d分类器的所述训练来生成经更新的2d分类器。
5.根据第三方面，一种用于从顺序采集的视频2d医学图像生成合成2d解释图像的计算机实现的方法，包括：接收在时间间隔内作为视频捕获的顺序的(sequence)多个2d医学
图像，其中，所述多个2d医学图像在时间上间隔开，将所述多个2d医学图像中的每个2d医学图像输入到2d分类器，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响，以及计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算。
6.根据第四方面，一种从3d医学图像生成合成2d解释图像的计算机实现的方法，包括：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；以及提供所述合成2d解释图像以用于在显示器上呈现。
7.根据第五方面，一种用于从3d医学图像生成合成2d解释图像的设备，包括：至少一个硬件处理器，其执行代码以用于：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的，针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响，计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算，以及提供所述合成2d解释图像以用于在显示器上呈现。
8.根据第六方面，一种用于从3d医学图像生成合成2d解释图像的计算机程序产品包括存储计算机程序的非暂时性介质，所述计算机程序在由至少一个硬件处理器执行时使所述至少一个硬件处理器执行：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的，针
对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响，计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算，以及提供所述合成2d解释图像以用于在显示器上呈现。
9.在第一、第二、第三、第四、第五和第六方面的进一步实施形式中，每个相应的聚合权重表示在所计算的合成2d解释图像的对应的相应区域处存在视觉发现的相应的可能性。
10.在第一、第二、第四、第五和第六方面的进一步实施形式中，通过将所述3d医学图像沿着z轴划分成多个顺序的2d切片来计算所述多个2d医学图像，其中，针对所述多个顺序的2d切片中的具有沿着x轴和y轴的共同x、y坐标以及沿着所述z轴的可变z坐标的每个相应区域来计算相应的聚合权重。
11.在第一、第二、第四、第五和第六方面的进一步实施形式中，根据由观看被呈现在显示器上的所述3d医学图像的用户所选择的视轴，获得限定将所述3d医学图像切成所述多个顺序的2d切片的轴的所述z轴的取向，其中，基于与所述视轴对应的所述z轴所计算的所述合成2d解释图像与所述3d医学图像一起被呈现在所述显示器上，并且所述方法还包括：在至少一次迭代中，动态地检测在所述显示器上所呈现的所述3d医学图像的所述视轴的变化，基于所述视轴的所述变化，动态计算经更新的合成2d解释图像，以及动态地更新所述显示器以呈现所述经更新的合成2d解释图像。
12.在第一、第二、第四、第五和第六方面的进一步实施形式中，还包括：计算所述z轴的特定取向，所述z轴限定将所述3d医学图像切成所述多个顺序的2d切片的轴，所述z轴的特定取向生成具有表示所述视觉发现的最小遮挡的最大聚合权重的最佳合成2d解释图像，将所述3d医学图像在所述显示器上的呈现自动调整到所述z轴的所述特定取向，以及在所述显示器上呈现所述最佳合成2d解释图像。
13.在第一、第二、第四、第五和第六方面的进一步实施形式中，所述多个2d医学图像中的每个2d医学图像包括与所述3d医学图像的体素对应的像素，相应的可解释权重被分配给所述多个2d医学图像中的每个2d医学图像的每个像素，并且针对所述合成2d解释图像中的具有特定(x，y)坐标的每个像素，通过聚合所述多个2d医学图像中的具有用于可变z坐标的对应(x，y)坐标的像素的可解释权重，计算相应的聚合权重。
14.在第一、第二、第三、第四、第五和第六方面的进一步实施形式中，对于相应的2d图像整体，所述训练数据集的所述视觉发现的所述指示是非定位的，并且其中，所述2d分类器利用非定位数据生成指示针对输入2d图像整体的所述视觉发现的结果。
15.在第一、第二、第三、第四、第五和第六方面的进一步的实施形式中，每个相应的解释图的每个解释权重表示相应的对应区域对所述2d分类器的所述结果的相对影响。
16.在第一、第二、第三、第四、第五和第六方面的进一步实施形式中，所述合成2d解释图像的每个相应的聚合权重被计算为针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的所述可解释权重的加权平均。
17.在第一、第二、第三、第四、第五和第六方面的进一步实施形式中，每个相应的解释图包括与相应的2d医学图像的像素对应的具有由对应的相应的可解释权重调整的像素强度值的多个像素，其中，所述合成2d解释图像包括具有通过聚合由所述多个解释图中的对应的相应的可解释权重调整的所述像素强度值来计算的像素强度值的多个像素。
18.在第一、第二、第四、第五和第六方面的进一步实施形式中，所述3d医学图像选自包括以下各项的组：ct，mri，乳房断层摄影，数字乳房断层合成(dbt)，3d超声，3d核成像，以及pet。
19.在第一、第二、第三、第四、第五和第六方面的进一步的实施形式中，所述视觉发现表示癌症。
20.在第一、第二、第三、第四、第五和第六方面的进一步的实施形式中，还包括：选择所述多个解释图的子集，其中，每个所选择的解释图包括至少一个区域的至少一个聚类，所述至少一个区域具有比从所述聚类中排除的其他区域的解释权重高出要求的解释权重，其中，根据所选择的子集计算所述合成2d图像。
21.在第四、第五和第六方面的进一步实施形式中，还包括：通过以下步骤生成所述2d分类器的经更新的2d分类器，以用于分析所述3d医学图像的2d图像：访问多个训练3d医学图像，对于所述多个3d医学图像中的每个相应的3d医学图像：将相应的3d医学图像划分成多个2d医学图像，将所述多个2d医学图像中的每个2d医学图像输入到2d分类器中，所述2d分类器是在标记有在其中描绘的视觉发现的指示的2d医学图像的训练数据集上训练的，针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的所述结果的影响，计算合成2d解释图像，所述合成2d解释图像包括所述合成2d解释图像的每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算，将指示在其中所描绘的所述视觉发现的存在的标签分配给所述合成2d解释图像，生成包括多个所述合成2d解释图像和对应标签的经更新的训练数据集，以及通过使用所述经更新的训练数据集更新所述2d分类器的所述训练来生成所述经更新的2d分类器。
22.在第二、第三、第四、第五和第六方面的进一步实施形式中，还包括：在访问所述多个训练3d医学图像之后，将所述多个3d医学图像中的每个3d医学图像划分成多个2d医学图像，用指示存在用相应的2d医学图像描绘的视觉发现的标签来标记每个相应的2d医学图像，其中，所述标签是非定位的，并且被分配给相应的2d医学图像整体，创建2d医学图像的所述训练数据集，其包括所述多个2d医学图像和相关联的非定位的标签，以及使用所述训练数据集来训练所述2d分类器。
23.在第三、第四、第五和第六方面的进一步实施形式中，所述多个2d医学图像是由选自包括以下各项的组的成像设备捕获的：结肠镜，内窥镜，支气管镜，以及2d超声。
24.除非另有定义，本文所用的所有技术和/或科学术语具有与本发明所属领域的普通技术人员通常理解的相同的含义。尽管与本文所述的那些类似或等同的方法和材料可用于本发明实施方案的实践或测试，但示例性方法和/或材料描述如下。在冲突的情况下，以
专利说明书，包括定义为准。另外，材料、方法和示例仅是说明性的，而不是限制性的。
附图说明
25.在此仅通过示例的方式，参考附图描述本发明的一些实施例。现在具体详细参考附图，强调的是，所示的细节是作为示例的，并且是为了说明性地讨论本发明的实施例。在这点上，结合附图的描述使得本领域技术人员清楚如何实践本发明的实施例。
26.在附图中：
27.图1是根据本发明的一些实施例的从3d医学图像生成合成2d解释图像的方法的流程图；
28.图2是根据本发明的一些实施例的用于从3d医学图像生成合成2d解释图像和/或用于使用从3d医学图像生成的合成2d解释图像训练2d分类器的系统的组件的框图；
29.图3是根据本发明的一些实施例，使用从3d医学图像生成的合成2d解释图像来训练2d分类器的方法的流程图；
30.图4是描绘根据本发明的一些实施例的与用于根据3d图像计算2d图像的其它标准方法相比的相应的合成2d解释图像的示意图；以及
31.图5是描绘根据本发明的一些实施例的自动计算z轴的特定取向的示意图，该z轴限定将3d医学图像切成2d切片的轴，用于生成具有表示视觉发现的最大可能性的存在的最大聚合权重的最佳合成2d解释图像。
具体实施方式
32.在本发明的一些实施例中，本发明涉及医学图像处理，并且更具体地但不排他地涉及用于从3d医学图像生成2d医学图像的系统和方法。
33.本发明的一些实施例的一个方面涉及一种用于从3d医学图像生成合成2d解释图像的系统、方法、装置和/或代码指令(例如，存储在存储器上，可由一个或多个硬件处理器执行)，该合成2d解释图像包括从通过划分3d医学图像而创建的多个2d医学图像聚集的临床上和/或诊断上最重要的区域的指示。通过划分3d医学图像所创建的2d医学图像被馈送到2d分类器中。在标记有在其中描绘的视觉发现的指示的2d医学图像的训练数据集上训练2d分类器，可选地，对于2d图像整体，即非定位数据。2d分类器可以生成视觉发现在输入2d图像整体内的存在的非定位指示，而不必提供视觉发现在2d图像内的位置的指示，例如，2d分类器是二进制分类器，其针对视觉发现的存在和/或视觉发现在2d图像整体内的存在的可能性而输出是(yes)/否(no)，并且不必生成指示哪个(哪些)像素对应于视觉发现的区域特定的(例如，每个像素)输出。针对馈送到2d分类器中的对应的相应2d医学图像，计算相应的解释图。相应的解释图包括与相应2d图像的区域对应的区域(例如，单个像素、像素组)(例如，像素到像素对应、像素组对应于单个像素)。相应解释图的每个相应区域与所计算的可解释权重相关联，该所计算的可解释权重指示相应2d医学图像的相应对应区域对被提供了相应2d医学图像的2d分类器的结果的影响。例如，具有相对较高权重的像素指示那些像素在确定2d医学图像中存在视觉发现的结果的2d分类器中扮演更重要的角色。具有较高权重的像素指示由较高权重的像素所描绘的区域可能在临床上和/或诊断上是显著的。例如，可以使用人工智能可解释性(xai)过程来计算可解释权重。通过使用权重将3d体积投影到
合成2d解释图像上来计算合成2d解释图像。相应的聚合权重是针对多个解释图中的每个对应的相应区域。通过聚合针对与合成2d解释图像的相应区域对应的解释图中的相应区域计算的可解释的权重来计算每个相应的聚合权重，例如，当2d图像沿着x-y平面时，针对x-y平面中的每个区域，沿着多个解释图的z轴计算聚合权重。可以提供合成2d解释图像以便在显示器上呈现，例如，与3d图像的呈现一起。2d解释图像可以帮助观察者(例如，放射科医师)例如根据与具有最高聚合权重的合成2d解释图像的区域对应的3d图像的区域来决定聚焦3d图像的哪些区域。
34.本文描述的系统、方法、装置和/或代码指令的至少一些实现涉及减少处理例如由ct、mri、pet和3d乳房x线照片捕获的3d医学图像的计算资源的技术问题。本文描述的系统、方法、装置和/或代码指令的至少一些实施方式通过减少在合理时间内处理3d医学图像所需的计算资源，和/或通过减少使用现有资源处理3d医学图像的时间，改进了计算机处理3d医学图像。由于3d医学图像中存储的大量数据，处理3d医学图像需要大量的处理资源和/或存储器资源。处理这样的3d医学图像需要大量的时间，使得处理大量的3d图像不切实际。例如，应用3d卷积的神经网络花费大量时间和/或使用大量计算资源来处理3d图像。计算3d图像中的所识别的视觉发现的位置消耗了特别大量的计算资源和/或大量的处理时间。一些现有方法将3d图像划分成多个2d切片，并且将每个切片馈送到2d分类器中，该分类器被设计成识别视觉发现在相应2d切片内的位置。然而，这种方法还消耗大量的计算资源和/或大量的处理时间来计算每个2d图像中的每个视觉发现的位置。此外，生成其中标有视觉发现的位置的2d和/或3d图像的训练数据集以训练2d和/或3d分类器需要密集的资源，因为在这种情况下，标签由训练过的用户手动添加，该用户手动查看每个2d和/或3d图像以便定位视觉发现并添加标签。由于创建这种训练数据集涉及大量工作，因此它们是稀缺的并且具有少量图像。使用这种小训练数据集训练的分类器可能具有低准确度。
35.本文描述的系统、方法、装置和/或代码指令的至少一些实现通过将3d医学图像划分成2d图像的切片来提供对上述技术问题的解决方案和/或改进计算机处理3d图像。将每个2d切片馈送到2d分类器中，该分类器被训练成输出视觉发现是否位于2d图像整体内的指示，而不确定视觉发现在2d图像内的位置。可以在用图像整体的非定位标签标记的2d图像的训练数据集上训练2d分类器。例如，可以基于自然语言处理方法自动执行这种标记，所述自然语言处理方法分析放射学报告以确定图像中描绘的视觉发现，并且相应地生成非定位标签。使用定位标签实现了自动化方法和/或与使用位置标签相比消耗更少的手动和/或计算资源的方法。与输出视觉发现的位置的3d分类器和/或2d分类器相比，输出非定位结果的2d分类器消耗显著更少的计算资源和/或处理时间。如本文所述，通过将解释图与权重进行聚合而计算的合成2d解释图像来计算视觉发现在3d图像内的位置的指示，与输出视觉发现的位置的3d分类器和/或2d分类器相比，这消耗显著更少的计算资源和/或处理时间。
36.本文所述的系统、方法、装置和/或代码指令的至少一些实施方式可以与现有的训练的2d分类器一起使用，而不必需要重新训练2d分类器。例如，2d合成图像可以与现有的2d分类器一起使用，该分类器自动分析3dct图像的2d切片以检测肺结节，而不必要求2d分类器的显著调整。
37.本文描述的系统、方法、装置和/或代码指令的至少一些实施方式可以使用用于创建训练数据集的自动化工具来训练2d分类器，例如，分析放射学报告并且生成指示放射科
医师在图像中找到哪些视觉发现而不必在此指示视觉发现位于图像中的标签的自动化工具。
38.本文描述的系统、方法、装置和/或代码指令的至少一些实施方式涉及改进在例如由ct、mri、pet和3d乳房x线照片捕获的3d成像数据中捕获的视觉特征的可见性的技术问题。本文描述的系统、方法、装置和/或代码指令的至少一些实施方式涉及改进视觉特征的可见性的技术问题，该视觉特征作为例如由结肠镜、内窥镜、支气管镜和/或2d超声捕获的2d成像数据的视频而捕获。
39.本文描述的方法、系统、装置和/或代码指令的至少一些实施方式解决了生成3d图像和/或2d视频的2d参考图像的技术问题和/或改进了生成3d图像和/或2d视频的技术领域。2d参考图像可以由用户使用以便帮助导航3d图像和/或2d视频。例如，用户查看2d参考图像以便帮助确定哪些解剖区域似乎可疑以包括视觉发现(例如，癌症)，以便花费更多时间查看3d图像和/或2d视频的帧中的对应解剖区域。
40.本文描述的方法、系统、装置和/或代码指令的至少一些实施方式解决了通过将3d图像的2d切片和/或将2d视频的帧馈送到生成非定位结果的2d分类器中来生成3d图像和/或顺序的2d图像的2d参考图像的技术问题和/或改进了该技术领域。在具有非定位标签的2d图像的训练数据集上训练2d分类器，即，标签用于2d图像整体，而没有视觉发现在2d图像中的位置的指示。针对每个馈送的2d切片和/或帧计算解释图。解释图包括指示馈送的2d切片和/或帧的相应区域对2d分类器的结果的影响的权重。通过聚合解释图的权重来创建2d合成图像。以相对于2d合成图像中未描绘视觉发现的其它像素更高的相对权重来描绘2d合成图像中表示视觉发现的像素，例如，其看起来更亮。
41.本文描述的方法、系统、装置和/或代码指令的至少一些实现的方法不同于用于从3d图像创建2d参考图像的其他标准方法。例如，在一些方法中，3d图像被投影到2d平面以创建2d参考图像，其不提供任何上下文感知，例如，标准cview。在这样的图像中，重要的视觉发现可能被其他非重要的解剖特征和/或伪影模糊。在另一示例中，3d图像被投影到2d平面以使用上下文感知，例如使用最大强度投影(mip)来创建2d参考图像。mip是基于由2d分类器提供的定位信息来执行的。在又一种方法中，3d图像被分成2d切片，其中每个切片被输入到2d分类器中，该分类器生成指示视觉发现在相应图像中的位置的结果。这种2d分类器是在2d图像的训练数据集上训练的，其标记有在其中所描绘的视觉图像的位置。生成输出视觉发现的位置的这种2d分类器是困难的和/或资源密集的，因为难以创建具有定位数据的训练数据集，因为它们需要手动标记，因此可能不可用，或者有限数量的图像可能可用。相反，本文描述的方法、系统、装置和/或代码指令的至少一些实现使用生成视觉发现的非定位指示的2d分类器。可以在具有非定位标签的训练数据集上训练2d分类器，其可以使用nlp方法根据放射学报告自动创建以自动提取标签。通过聚合针对3d图像的每个2d切片和/或针对2d视频的帧所计算的解释图的权重，获得所生成的合成2d解释图像的位置数据。
42.本文描述的方法、系统、装置和/或代码指令的至少一些实现解决了增加2d分类器的准确度的技术问题和/或改进了该技术领域，该2d分类器生成2d图像(例如，3d图像的切片和/或2d视频的帧)中的视觉发现的非定位指示。除了或替代在3d图像的2d切片和/或视频的帧上训练之外，通过计算训练数据集的3d图像和/或2d视频的相应合成2d解释图像(如本文所述)，并在合成2d解释图像上训练2d分类器，来提高分类器的准确度。
43.本文描述的方法、系统、装置和/或代码指令的至少一些实现解决了提高识别3d图像中的显著视觉发现的能力的技术问题和/或改进了提高识别3d图像中的显著视觉发现的能力的技术领域。在非最佳取向观看3d图像可能妨碍重要的视觉发现。例如，位于肝脏中的小肿瘤可能被其他解剖特征和/或某些观察取向处的伪影遮蔽。本文描述的方法、系统、装置和/或代码指令的至少一些实现通过计算3d医学图像的最佳观察取向以便最小化其他解剖特征和/或伪影对视觉发现的阻碍，来提供对技术问题的技术解决方案，和/或改进技术领域。最佳观察取向被计算为相应的轴，3d医学图像沿该轴是切片，以便生成相应的合成2d解释图像，对于该相应的合成2d解释图像，解释图的聚合权重被最大化，例如，在聚类(cluster)中。(例如，在聚类中的)聚合权重的最大化表示视觉发现的最佳视图。3d图像可以以最佳观察取向呈现给用户。
44.在详细解释本发明的至少一个实施例之前，应当理解，本发明不必将其应用限制于在以下描述中阐述和/或在附图和/或示例中示出的部件和/或方法的构造和布置的细节。本发明能够有其它实施例或者以各种方式实践或执行。
45.本发明可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，该计算机可读程序指令用于使处理器执行本发明的各方面。
46.计算机可读存储介质可以是能够保持和存储指令以供指令执行设备使用的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
47.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
48.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者是以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如smalltalk、c++等)以及传统过程编程语言(例如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，使用因
特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
49.在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
50.这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的方面的指令。
51.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
52.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
53.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所提及的功能可不按图中所提及的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
54.现在参考图1，其是根据本发明的一些实施例的从3d医学图像生成合成2d解释图像的方法的流程图。还参考图2，其是根据本发明的一些实施例的用于从3d医学图像生成合成2d解释图像和/或用于使用从3d医学图像生成的合成2d解释图像训练2d分类器的系统200的部件的框图。还参考图3，其是根据本发明的一些实施例的用于使用从3d医学图像生成的合成2d解释图像来训练2d分类器的方法的流程图。系统200可以通过计算设备204的一个或多个硬件处理器202执行存储在存储器(也称为程序存储)206中的代码指令来实现参
考图1和/或图3描述的方法的特征。
55.计算设备204可以被实现为例如客户端终端、服务器、放射工作站、虚拟机、虚拟服务器、计算云、移动设备、台式计算机、瘦客户端、智能电话、平板计算机、膝上型计算机、可穿戴计算机、眼镜计算机和手表计算机。
56.计算204可以包括高级可视化工作站，其有时被附加到放射学工作站和/或其他设备。
57.计算设备204和/或客户端终端208和/或服务器218可以被实现为例如放射学工作站、图像查看站、图片存档与通信系统(pacs)服务器、以及电子病历(emr)服务器。
58.可以实现基于计算设备204的系统200的多个架构。在示例性实现中，存储代码206a的计算设备204可以被实现为一个或多个服务器(例如，网络服务器、web服务器、计算云、虚拟服务器)，其通过网络210向一个或多个服务器218和/或客户端终端208提供服务(例如，参考图1描述的一个或多个动作)，例如，向服务器218和/或客户端终端208提供软件即服务(saas)，提供使用软件接口(例如，应用编程接口(api)、软件开发王(sdk))可访问的软件服务，提供用于本地下载到服务器218和/或客户端终端208的应用，和/或使用远程访问会话向服务器218和/或客户端终端208提供功能，诸如通过web浏览器和/或查看应用。例如，用户使用客户终端208来访问充当pacs服务器或其他医学图像存储服务器的计算设备204。计算设备204从由客户端终端208提供的和/或从另一数据源(例如pacs服务器)获得的3d医学图像计算合成图像。可以将合成图像提供给客户端终端208，以便在客户端终端208的显示器上呈现(例如，在3d医学图像的呈现旁边)和/或提供合成图像以便进一步处理和/或存储。可替换地或附加地，如这里所述，合成图像被用于更新2d分类器220c的训练。例如，可以如本文所述使用更新的2d分类器220c。其他特征可以由计算设备204集中地执行和/或在客户端终端208本地地执行。在另一实现中，计算设备204可包括本地存储的软件(例如，代码206a)，其执行参考图1和/或图3描述的动作中的一个或多个，例如，作为独立的客户端终端和/或服务器。可以从3d图像和/或2d帧本地计算合成图像，并且可以在计算设备204的显示器上呈现合成图像。在又一实现中，服务器218被实现为医学图像存储服务器。用户使用客户端终端208来访问来自服务器218的合成图像。(一个或多个)合成图像可以由服务器218和/或由计算设备204使用可以存储在服务器218上和/或另一位置处的3d图像和/或2d帧来本地计算。合成图像被呈现在客户端终端208的显示器上。计算设备204可以通过根据由图像服务器218存储的3d图像和/或2d帧计算合成图像来向图像服务器218提供增强的特征。例如，pacs服务器218使用api与计算设备204通信，以将3d图像和/或合成图像传送到计算设备204和/或接收所计算的合成图像。
59.计算设备204接收由(一个或多个)医学成像设备212捕获的3d医学图像和/或2d图像(例如，作为视频获得)。医学成像设备212可以捕获3d图像，例如ct、mri、乳房断层摄影、3d超声、和/或诸如pet的核图像。替代地或附加地，医学成像设备212可以捕获2d图像的视频，例如，结肠镜、支气管镜、内窥镜、和2d超声。
60.由医学成像设备212捕获的医学图像可以存储在解剖图像储存库214中，例如存储服务器、计算云、虚拟存储器和硬盘。如本文所述，通过划分3d图像而创建的2d图像220d和/或作为视频捕获的2d切片和/或2d帧可以存储在医学图像储存库214中，和/或存储在诸如计算设备204的数据存储设备220的其他位置中，和/或存储在另一服务器218上。如图2所示
的数据存储设备220对2d图像220d的存储是一个不必限制性的示例。
61.计算设备204可以经由一个或多个成像接口226(例如，有线连接(例如，物理端口)、无线连接(例如，天线)、网络接口卡、其他物理接口实现方式、和/或虚拟接口(例如，软件接口、应用编程接口(api)、软件开发工具包(sdk)、虚拟网络连接))接收3d图像和/或2d帧和/或(一个或多个)顺序的2d医学图像。
62.存储器206存储可由硬件处理器202执行的代码指令。示例性存储器206包括随机存取存储器(ram)、只读存储器(rom)、存储设备、非易失性存储器、磁介质、半导体存储器设备、硬盘驱动器、可移动存储、以及光介质(例如，dvd、cd-rom)。例如，存储器206可以是执行参考图1和/或3描述的方法的一个或多个动作的代码206a。
63.计算设备204可以包括用于存储数据的数据存储设备220，所述数据例如gui代码220a(其可以呈现合成图像，诸如在3d图像旁边)、计算解释图的xai代码220b、接收2d图像作为输入的2d分类器、和/或通过划分3d医学图像获得的和/或作为视频帧获得的2d图像220d，如本文所述。数据存储设备220可以被实现为例如存储器、本地硬盘驱动器、可移除存储单元、光盘、存储设备、虚拟存储器和/或远程服务器218和/或计算云(例如，通过网络210访问)。注意，gui 220a和/或xai代码220b和/或2d分类器220c和/或2d图像220d可以例如存储在数据存储设备220中，其中执行部分被加载到存储器206中以由(一个或多个)处理器202执行。
64.计算设备204可以包括用于连接到网络210的数据接口222(可选地是网络接口)，例如网络接口卡、用于连接到无线网络的无线接口、用于连接到用于网络连接的线缆的物理接口、以软件实现的虚拟接口、提供更高层网络连接的网络通信软件和/或其他实现中的一个或多个。
65.计算设备204可以使用网络210(或另一通信信道，诸如通过直接链路(例如，电缆、无线)和/或间接链路(例如，经由诸如服务器的中间计算单元，和/或经由存储设备)与以下中的一个或多个连接：
66.*客户端终端208，例如，用户使用客户端终端208来访问计算设备204，以查看基于存储在服务器(例如，计算设备204充当pacs服务器)上的3d图像(和/或基于顺序的2d图像)计算的合成图像。合成图像可以由计算设备204和/或由客户端终端208计算。
67.*服务器218，例如，当服务器218被实现为pacs服务器时，其中用户使用客户端终端208来访问pacs服务器。计算设备204向pacs服务器提供增强特征，从pacs服务器接收3d图像和/或2d视频帧，并向pacs服务器提供合成图像，其中客户端终端从pacs服务器访问合成图像。
68.*医学图像储存库214，其存储所捕获的3d图像和/或2d视频帧和/或(一个或多个)合成图像。医学图像储存库214可以存储通过划分3d图像而创建的2d图像。
69.计算设备204和/或客户端终端208和/或服务器218包括一个或多个物理用户接口224和/或与其通信，该物理用户接口包括用于呈现合成图像和/或3d图像和/或视频帧的显示器，和/或用于与合成图像和/或3d图像交互的机构，诸如旋转3d图像的视轴、缩放合成图像和/或3d图像、和/或在合成图像上标记发现。示例性用户接口208包括例如触摸屏、显示器、键盘、鼠标和使用扬声器和麦克风的语音激活软件中的一个或多个。
70.现在返回参考图1，在102，获得3d医学图像。或者，获得顺序的2d图像。顺序的2d医
preprintarxiv:1811.07311。
82.解释图可以包括与相应的2d医学图像的像素对应的具有由对应的相应的可解释权重调整的像素强度值的像素。例如，对于2d图像的特定像素，可以具有75的像素强度值，相应的可解释权重被计算为0.6，获得用于解释图的45的像素强度值。
83.在数学表示方面，3d图像可以表示为v，解释图(例如热图)可以表示为h，其中3d图像的体素表示为v(x，y，z)，并且对应的可解释权重表示为h(x，y，z)，其指示当体积v的馈送切片数量表示为z时对2d分类器的决定的影响。
84.在110，可以针对2d医学图像，顺序地和/或并行地迭代参考106-108描述的特征。可选地，针对每个2d医学图像迭代106-108。或者，例如通过均匀采样来选择2d医学图像的子集。可以如参考106-108所述的那样处理2d医学图像的采样子集。
85.在112，可以选择解释图的子集以创建合成2d图像。可以根据包括满足要求的解释权重的一个或多个区域的一个或多个聚类来选择解释图，例如，聚类具有比从聚类中排除的其他区域的解释权重高的总解释权重值和/或高出阈值和/或范围的平均解释权重值。例如，聚类中的像素的权重至少比不包括在聚类中的像素的权重高0.5。在另一示例中，高于阈值的解释权重的聚类至少具有最小维度。例如，聚类被定义为具有大于0.6的解释权重和/或具有至少5
×
5像素或10
×
10像素的维度和/或大于0.7的平均解释权重或其他值的一组像素。
86.在114，从多个解释图中计算合成2d解释图像。合成2d解释图像包括其每个相应区域的相应聚合权重，例如每个像素或每组像素(例如，2
×
2、3
×
3或其他维度)。每个相应聚合权重可表示在计算的合成2d解释图像的对应相应区域处存在视觉发现的相应可能性。
87.合成2d解释图像可以是经由解释图的权重的3d图像到2d图像的投影。
88.通过聚合针对与合成2d解释图像的相应区域相对应的解释图的相应区域计算的可解释权重来计算每个相应聚合权重。可选地，每个2d医学图像包括与3d医学图像的体素相对应的像素。将每个相应的可解释权重分配给每个2d医学图像的每个像素。针对合成2d解释图像中的具有特定(x，y)坐标的每个像素，可以通过聚合2d医学图像中的具有用于可变z坐标的对应(x，y)坐标的像素的可解释权重，计算相应聚合权重。例如，对于通过将3d医学图像沿z轴划分成2d切片而获得的2d医学图像，针对2d切片的每个相应区域(例如，像素或像素组)计算相应的聚合权重，所述每个相应区域具有沿x轴和y轴的共同x、y坐标以及沿z轴的可变z坐标，其可以指示切片数。例如，5个解释图的在(x，y，z)坐标(10，15，1)、(10，15，2)、(10，15，3)、(10，15，4)和(10，15，5)处的可解释权重被聚合成单个聚合权重，并被分配给合成2d图像的在(x，y)坐标(10，15)处的像素。合成2d图像的坐标(10，15)处的聚合权重对应于3d图像的(x，y，z)坐标(10，15，z)处的体素，其中z在3d图像的z值范围内是可变的。
89.合成2d解释图像的每个相应聚合权重可以被计算为例如针对与合成2d解释图像的相应区域对应的解释图的相应区域所计算的可解释权重的加权平均值、中值、总和、最大值或众数。
90.可选地，当解释图包括与相应的2d医学图像的像素对应的具有由对应的相应的可解释权重调整的像素强度值的像素时，合成2d解释图像包括具有通过聚合由解释图的对应的相应的可解释权重调整的像素强度值而计算的像素强度值的像素。
91.按照数学符号，2d合成图像被表示为c，其中被表示为(x，y)的每个像素是表示为v(z，y,：)的切片(例如，所有切片)的聚合，其由表示为(h(x，y,：))的相应解释图(例如，热图)权重进行加权，其中以下示例等式成立：
92.c(x,y)＝sum_over_z(h(x,y,z)*v(x,y,z))/sum_over_z(h(x,y,z))
93.在116，可选地，计算合成2d图像的最佳视角。可以以所确定的最佳视角呈现3d图像。最佳视角表示3d图像内的视觉发现的最小遮挡。
94.最佳视角可以表示经由解释图的权重将3d图像投影到合成2d图像的最佳角度。
95.最佳视角可以对应于用于从3d图像创建2d切片的切片角度，即，定义将3d医学图像切成2d切片的轴的z轴的特定取向。以最佳视角切片的2d切片用于生成具有表示视觉发现的最小遮挡的最大聚合权重的最佳合成2d解释图像。例如，可以通过顺序和/或并行试错法、通过评估针对不同最佳视角计算的多个合成2d图像(例如，随机选择的和/或从预定值开始顺序选择的)来选择最佳视角，其中，当以最佳视角呈现3d图像时，根据最佳合成2d图像选择最佳视角，其中，3d图像内的视觉发现的遮挡最小。替代地或另外，可例如基于分析3d图像和/或合成2d图像以选择最佳取向的代码来计算最佳视角。
96.注意，例如在将3d图像初始划分为2d图像(例如，如参考104所描述的)之前，可以在用于计算和/或呈现合成2d图像的过程的一个或多个特征处确定最佳视角，和/或通过在试错过程中和/或在该过程的其它适当部分中迭代104-114。
97.在118，提供2d合成图像，例如，呈现在显示器上、存储在存储器和/或数据存储设备(例如，pacs服务器)中、转发到另一设备(例如，从pacs服务器到客户端终端以供在其上查看)、和/或提供给另一过程，例如，馈送到另一分类器中、馈送到2d分类器中、和/或用于更新2d分类器的训练。
98.可选地，2d合成图像与3d图像同时呈现，例如并排呈现。2d合成图像可以代替例如使用cview针对3d图像创建的标准概要图像。
99.可选地，当根据所确定的视轴的最佳角度计算最佳2d合成图像时，可以将显示器上的3d医学图像的呈现自动调整到与最佳观察角对应的取向(例如，z轴的取向)。
100.在120，迭代参考104-118描述的一个或多个特征，可选地，例如，根据实时用户导航，动态地更新2d合成图像以对应于3d图像的实时视轴。
101.用户可以调整在显示器上呈现的3d图像的视轴的角度。可以跟踪3d图像的视轴的实时值。定义将3d医学图像切成2d切片的轴的z轴的取向(例如，如参考104所述)可以根据观看呈现在显示器上的3d医学图像的用户所选择的视轴的实时值来设置。基于与视轴的值相对应的z轴来计算当前合成2d解释图像(例如，如参考106-114所述)。当前合成2d在显示器上与3d医学图像并排呈现(例如，如参考118所述)。动态地检测在显示器上呈现的3d医学图像的视轴的值的变化(例如，如参考120所描述的)。基于视轴值的变化，动态地计算更新的合成2d解释图像(例如，如参考106-114所述)。通过呈现更新的合成2d解释图像(例如，如参考118所述)动态地更新显示。
102.现在返回参考图3，在302，访问多个样本受检者的训练3d医学图像。训练3d医学图像可选地全部是相同类型的成像模态(modality)，描绘相同的身体位置，用于发现相同类型的视觉发现，例如，用于定位肺结节的全部胸部ct扫描，和/或用于定位乳腺癌的全部3d乳房x线照片。
103.在304，将相应的3d医学图像分成多个2d医学图像，例如，如参考图1的104所述。
104.在306，将相应的2d医学图像(例如，每一个)输入到2d分类器中，该2d分类器是在标记有其中描绘的视觉发现的指示的2d医学图像的训练数据集上训练的，例如，如参考图1的106所述。
105.在308，计算相应2d医学图像的相应解释图。相应的解释图包括与相应的2d图像的区域相对应的区域。相应的解释图的每个相应的区域与计算的可解释权重相关联，该计算的可解释权重指示相应2d医学图像的相应的对应的区域对被提供了相应2d医学图像的2d分类器的结果的影响。例如，如参考图1的108所描述的。
106.在310，计算相应的合成2d解释图像。合成2d解释图像包括其每个相应区域的相应聚合权重。通过聚合针对与合成2d解释图像的相应区域相对应的解释图的相应区域所计算的可解释权重来计算每个相应聚合权重。例如，如参考图1的110所描述的。
107.在312，将相应的标签分配给合成2d解释图像，指示其中描绘的视觉发现的存在。例如，可以由用户基于对3d图像和/或合成3d解释图像的人工视觉检查来人工创建标签，和/或例如通过自然语言处理(nlp)代码来自动创建标签，该nlp代码分析针对3d图像创建的放射学报告以提取视觉发现。
108.在314，可以将合成的相应2d解释图像和对应的标签添加到更新的训练数据集。
109.在316，针对多个3d训练医学图像，可选地针对每个3d医学图像，迭代参考304-314描述的一个或多个特征。
110.在318，可以通过使用更新的训练数据集更新2d分类器的训练来创建更新的2d分类器。更新的2d分类器可以用于创建新的合成2d图像，例如，在参照图1的106和/或图3的306描述的过程中使用的。
111.可选地，在320，在如302中访问训练3d医学图像之后，以及在如304中划分3d图像之后，可以创建和/或更新2d分类器。每个相应的2d医学图像可以与指示与相应的2d医学图像一起描绘的视觉发现的存在的标签(例如，如本文所述，手动和/或自动创建的)相关联。标签可以是非定位的，即，被分配给相应的2d医学图像整体。可以通过包括2d医学图像和从3d医学图像创建的非定位的相关标签来创建2d医学图像的训练数据集。可以使用训练数据集来创建和/或更新2d分类器。
112.现在参考图4，其是根据本发明的一些实施例，与用于从3d图像计算2d图像的其它标准方法相比，描绘相应的合成2d解释图像400a、400b和400c的示意图。
113.对于沿3d图像的z轴切片的2d图像、对于y轴的特定固定y值、对于沿x轴的一组x值(例如像素的水平线)计算合成2d解释图像400a、400b和400c。合成2d解释图像400a、400b和400c表示像素的水平线，也称为合成解释线。为了解释的清楚和简单，描绘了像素的水平线。应当理解，完整的合成2d解释图像包括沿y轴的多个平行的水平像素线。
114.合成2d解释图像400a、400b和400c中的每一个基于表示为f(x，y，z)的共同的3d信号，为此示出了3d图像402，即，描绘了每个2d切片的相同y值处的像素的单个水平线。在3d图像402内，第一圆404和第二圆406表示临床上有意义的视觉发现，而矩形408和椭圆410表示非有意义的解剖特征和/或伪影。
115.通过计算3d图像402的线的总和，表示为通过计算3d图像402的线的总和，表示为使用标准方法，计算合成解释线400a。注意，第一圆404被矩形408部分地遮挡，而第二圆406被
矩形408完全遮挡，使得难以将第一圆404和第二圆406的存在离散在合成解释线400a内。
116.使用现有技术(sota)方法计算合成解释线400b，其中由2d分类器针对3d图像402的每个2d图像生成指示视觉发现的位置的热图。在2d图像的训练数据集上训练2d分类器，其中，将标签被分配给训练图像内视觉发现的位置。响应于每个2d切片的2d分类器的热图输出被表示为dz(x，y)。使用公式计算合成解释线400b。注意，尽管第一圆404被矩形408部分地遮挡，并且第二圆406被矩形408完全遮挡，但是第一圆404和第二圆406的存在在合成解释线400b内是可辨别的，因为较高热图在对应于第一圆404和第二圆406的位置处较高，并且在对应于矩形408和椭圆410的位置处较低。
117.如本文所述，使用生成非定位结果的2d分类器来计算合成解释线400c，其中，在具有非定位标签的训练数据集上训练2d分类器，并且通过聚合解释图的解释权重来计算合成解释图像。对于每个2d切片计算的解释图被表示为dz(x，y)。使用公式计算合成解释线400c。注意，存在第一圆404和第二圆406在合成解释线400c内是可辨别的，至少与使用现有技术方法计算的合成解释线400b一样，具有的附加优点是2d分类器是使用非定位标签训练的，这提供了使用诸如使用nlp方法从放射学报告自动提取的标签的2d分类器的自动训练。
118.现在参考图5，其是示出根据本发明的一些实施例的z轴的特定取向的自动计算的示意图，该z轴限定将3d医学图像切成2d切片的轴，用于生成具有表示视觉发现存在的最大可能性的最大聚合权重的最佳合成2d解释图像。可以根据z轴的特定取向调整显示器上3d医学图像的呈现，和/或可以在显示器上呈现基于x轴的特定取向所计算的最佳合成2d解释图像。
119.示意图502是针对标准z轴504的情况。针对沿3d图像508的z轴504切片的2d图像来计算合成2d解释图像506。为了解释的清楚和简单，合成2d解释图像506表示像素的水平线，也称为合成解释线，其是从沿着3d图像的z轴504切片的2d图像计算的，对于y轴的特定固定y值，对于沿着x轴的一组x值，例如像素的水平线。应当理解，完整的合成2d解释图像包括沿y轴的多个平行的水平像素线。
120.在3d图像508内，圆510表示临床上有意义的视觉发现，而矩形512和椭圆514表示非有意义的解剖特征和/或伪影。
121.对于使用标准z轴504创建的合成2d解释图像506，圆510和矩形512沿着平行于标准z轴512的相同线。结果，圆510的权重与矩形512的权重聚合，这可能使得辨别圆510更加困难。在矩形512表示临床上有意义的视觉发现的情况下，圆510的权重与矩形512的权重的组合可能使得更难以区分出在3d图像508中存在两个空间上隔开的视觉发现。
122.相反，示意图516是针对用于生成具有表示视觉发现的最大存在可能性的最大聚合权重的最佳合成2d解释图像520的所选z轴518的情况。对于使用所选z轴518创建的合成2d解释图像520，圆510、矩形512和椭圆514中的每一个都沿着平行于所选z轴518的不同线。结果，圆510的权重不与矩形512的权重聚合，并且不与椭圆514的权重聚合，这使得可以更好地区分最佳合成2d解释图像520上的不同视觉发现的权重。
123.已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的
或限于所公开的实施例。在不背离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术的技术改进，或使本领域的其他普通技术人员能够理解本文所公开的实施例。
124.预计在从本技术到期的专利的有效期期间，将开发许多相关分类器和/或xia过程，并且术语分类器和/或xia过程的范围旨在先验地包括所有这些新技术。
125.如本文所用，术语“约”是指
±
10％。
126.术语“包含”、“包括”、“包含”、“具有”及其变化形式是指“包括但不限于”。该术语包括术语“由组成”和“基本上由组成”。
127.短语“基本上由组成”是指组合物或方法可包括另外的成分和/或步骤，但仅当另外的成分和/或步骤不实质性地改变要求保护的组合物或方法的基本和新颖特征时。
128.如本文所用，单数形式“一”、“一个”和“该”包括复数指代，除非上下文另外清楚地指明。例如，术语“一种化合物”或“至少一种化合物”可以包括多种化合物，包括其混合物。
129.词语“示例性”在这里用于表示“用作示例、实例或说明”。任何被描述为“示例性”的实施例不必被解释为比其它实施例优选或有利和/或排除来自其它实施例的特征的结合。
130.本文使用的词语“任选地”是指“在一些实施例中提供而在其它实施例中不提供”。本发明的任何特定实施例可以包括多个“可选”特征，除非这些特征冲突。
131.在本技术中，本发明的各种实施例可以以范围的形式呈现。应当理解，范围形式的描述仅仅是为了方便和简洁，而不应当被解释为对本发明范围的硬性限制。因此，范围的描述应被认为具体公开了所有可能的子范围以及该范围内的单个数值。例如，对范围如1-6的描述应被认为具体公开了子范围如1-3、1-4、1-5、2-4、2-6、3-6等，以及该范围内的单个数值如1、2、3、4、5和6。这与范围的宽度无关。
132.无论何时在此指出数值范围，其意指包括在指出的范围内的任何引用的数字(分数或整数)。短语“第一指示数字和第二指示数字之间的范围/范围”和“从”第一指示数字“到”第二指示数字“的范围/范围”在本文中可互换使用，并且旨在包括第一和第二指示数字以及其间的所有分数和整数。
133.应当理解，为了清楚起见在单独的实施例的上下文中描述的本发明的某些特征也可以在单个实施例中组合提供。相反地，为了简洁起见在单个实施例的上下文中描述的本发明的各种特征也可以单独地或以任何合适的子组合或如在本发明的任何其它描述的实施例中合适地提供。在各种实施例的上下文中描述的某些特征不被认为是那些实施例的必要特征，除非在没有那些元件的情况下实施例是不可操作的。
134.尽管已经结合本发明的具体实施例描述了本发明，但是显然，许多替换、修改和变化对于本领域技术人员来说是显而易见的。因此，本发明旨在包括所有这些落入所附权利要求的精神和宽范围内的替代、修改和变化。
135.申请人的意图是，本说明书中提及的所有出版物、专利和专利申请都通过引用整体并入本说明书，如同当引用时具体地和单独地指出了每个单独的出版物、专利或专利申请，其通过引用并入本文。此外，本技术中任何参考文献的引用或识别不应被解释为承认这些参考文献可作为本发明的现有技术。就使用部分标题来说，它们不应被解释为必然是限
制性的。此外，本技术的任何优先权文件在此通过引用整体并入本文。

技术特征：
1.一种从3d医学图像生成合成2d解释图像的计算机实现的方法，包括：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；以及提供所述合成2d解释图像以用于在显示器上呈现。2.根据权利要求1所述的方法，其中，每个相应的聚合权重表示在所计算的合成2d解释图像的对应的相应区域处存在视觉发现的相应的可能性。3.根据权利要求1所述的方法，其中，通过将所述3d医学图像沿着z轴划分成多个顺序的2d切片来计算所述多个2d医学图像，其中，针对所述多个顺序的2d切片中的具有沿着x轴和y轴的共同x、y坐标以及沿着所述z轴的可变z坐标的每个相应区域来计算相应的聚合权重。4.根据权利要求3所述的方法，其中，根据由观看被呈现在显示器上的所述3d医学图像的用户所选择的视轴，获得限定将所述3d医学图像切成所述多个顺序的2d切片的轴的所述z轴的取向，其中，基于与所述视轴对应的所述z轴所计算的所述合成2d解释图像与所述3d医学图像一起被呈现在所述显示器上，并且所述方法还包括：在至少一次迭代中，动态地检测在所述显示器上所呈现的所述3d医学图像的所述视轴的变化；基于所述视轴的所述变化，动态计算经更新的合成2d解释图像；以及动态地更新所述显示器以呈现所述经更新的合成2d解释图像。5.根据权利要求3所述的方法，还包括：计算所述z轴的特定取向，所述z轴限定将所述3d医学图像切成所述多个顺序的2d切片的轴，所述z轴的特定取向生成具有表示所述视觉发现的最小遮挡的最大聚合权重的最佳合成2d解释图像；将所述3d医学图像在所述显示器上的呈现自动调整到所述z轴的所述特定取向；以及在所述显示器上呈现所述最佳合成2d解释图像。6.根据权利要求3所述的方法，其中，所述多个2d医学图像中的每个2d医学图像包括与所述3d医学图像的体素对应的像素，相应的可解释权重被分配给所述多个2d医学图像中的每个2d医学图像的每个像素，并且针对所述合成2d解释图像中的具有特定(x，y)坐标的每个像素，通过聚合所述多个2d医学图像中的具有用于可变z坐标的对应(x，y)坐标的像素的可解释权重，计算相应的聚合权重。7.根据权利要求1所述的方法，其中，对于相应的2d图像整体，所述训练数据集的所述视觉发现的所述指示是非定位的，并且其中，所述2d分类器利用非定位数据生成指示针对
输入2d图像整体的所述视觉发现的结果。8.根据权利要求1所述的方法，其中，每个相应的解释图的每个解释权重表示相应的对应区域对所述2d分类器的所述结果的相对影响。9.根据权利要求1所述的方法，其中，所述合成2d解释图像的每个相应的聚合权重被计算为针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的所述可解释权重的加权平均。10.根据权利要求1所述的方法，其中，每个相应的解释图包括与相应的2d医学图像的像素对应的具有由对应的相应的可解释权重调整的像素强度值的多个像素，其中，所述合成2d解释图像包括具有通过聚合由所述多个解释图中的对应的相应的可解释权重调整的所述像素强度值来计算的像素强度值的多个像素。11.根据权利要求1所述的方法，其中，所述3d医学图像选自包括以下各项的组：ct，mri，乳房断层摄影，数字乳房断层合成(dbt)，3d超声，3d核成像，以及pet。12.根据权利要求1所述的方法，其中，所述视觉发现表示癌症。13.根据权利要求1所述的方法，还包括：选择所述多个解释图的子集，其中，每个所选择的解释图包括至少一个区域的至少一个聚类，所述至少一个区域具有比从所述聚类中排除的其他区域的解释权重高出要求的解释权重，其中，根据所选择的子集计算所述合成2d图像。14.根据权利要求1所述的方法，还包括：通过以下步骤生成所述2d分类器的经更新的2d分类器，以用于分析所述3d医学图像的2d图像：访问多个训练3d医学图像；对于所述多个3d医学图像中的每个相应的3d医学图像：将相应的3d医学图像划分成多个2d医学图像；将所述多个2d医学图像中的每个2d医学图像输入到2d分类器中，所述2d分类器是在标记有在其中描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的所述结果的影响；计算合成2d解释图像，所述合成2d解释图像包括所述合成2d解释图像的每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；将指示在其中所描绘的所述视觉发现的存在的标签分配给所述合成2d解释图像；生成包括多个所述合成2d解释图像和对应标签的经更新的训练数据集；以及通过使用所述经更新的训练数据集更新所述2d分类器的所述训练来生成所述经更新的2d分类器。15.根据权利要求14所述的方法，还包括：在访问所述多个训练3d医学图像之后，将所述多个3d医学图像中的每个3d医学图像划分成多个2d医学图像；用指示存在用相应的2d医学图像描绘的视觉发现的标签来标记每个相应的2d医学图
像，其中，所述标签是非定位的，并且被分配给相应的2d医学图像整体；创建2d医学图像的所述训练数据集，其包括所述多个2d医学图像和相关联的非定位的标签；以及使用所述训练数据集来训练所述2d分类器。16.根据权利要求1所述的方法，其中，被捕获为视频的所述多个2d医学图像是由选自包括以下各项的组的成像设备捕获的：结肠镜，内窥镜，支气管镜，以及2d超声。17.一种用于从3d医学图像生成合成2d解释图像的设备，包括：至少一个硬件处理器，其执行代码以用于：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应的2d医学图像中的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；以及提供所述合成2d解释图像以用于在显示器上呈现。18.一种用于从3d医学图像生成合成2d解释图像的计算机程序产品，包括存储计算机程序的非暂时性介质，所述计算机程序在由至少一个硬件处理器执行时使所述至少一个硬件处理器执行：将通过以下中的至少一项获得的多个2d医学图像中的每个2d医学图像输入到2d分类器：划分3d医学图像，以及被捕获为时间间隔上的视频，所述2d分类器是在被标记有在其中所描绘的视觉发现的指示的2d医学图像的训练数据集上训练的；针对所述多个2d医学图像中的每个相应的2d医学图像，计算多个解释图中的相应的解释图，所述相应的解释图包括与相应的2d图像中的多个对应区域对应的多个区域，所述相应的解释图中的每个相应区域与所计算的可解释权重相关联，所述所计算的可解释权重指示相应2的d医学图像的相应的对应区域对被提供了相应的2d医学图像的所述2d分类器的结果的影响；计算合成2d解释图像，所述合成2d解释图像包括其每个相应区域的相应的聚合权重，每个相应的聚合权重通过聚合针对与所述合成2d解释图像中的相应区域对应的所述多个解释图中的相应区域所计算的多个所述可解释权重来计算；以及提供所述合成2d解释图像以用于在显示器上呈现。

技术总结
提供了一种用于生成合成2D解释图像的方法，包括：将划分的3D图像的每个2D医学图像输入到在标记有视觉发现的指示的2D图像上训练的2D分类器(106,306)中；计算每个相应2D图像(108,308)的相应解释图，相应解释图包括对应于相应2D图像的对应区域的区域，相应解释图的每个相应区域与指示相应2D图像的影响的计算的可解释权重相关联；以及计算合成2D解释图像(114,310)，合成2D解释图像包括其每个相应区域的相应聚合权重，每个相应聚合权重通过聚合针对与合成2D解释图像的相应区域对应的相应区域所计算的可解释权重来计算。区域所计算的可解释权重来计算。区域所计算的可解释权重来计算。


技术研发人员：拉特纳 Y
受保护的技术使用者：国际商业机器公司
技术研发日：2021.12.06
技术公布日：2023/9/9