定位血管收缩的制作方法

1.本公开涉及在血管造影图像的时间序列中定位血管收缩。公开了计算机实施的方法、处理装置、系统和计算机程序产品。


背景技术：

2.诸如血栓形成和狭窄之类的血管收缩限制了脉管系统内的血液供应。在没有处置的情况下，血管收缩会导致严重的医学后果。例如，缺血性中风是由大脑中的脉管系统阻塞引起的。中风发生得很快，并且需要立即处置，以便最小化对大脑的损害量。
3.确定如何处置疑似血管收缩的一个重要步骤是识别其位置。这常常使用血管造影图像来执行。例如，在疑似中风的情况下，可以对大脑执行初始计算机断层摄影“ct”血管造影，以尝试识别疑似血管收缩的位置。然而，血管收缩的小尺寸妨碍了来自ct血管造影的这种确定。随后，可以执行ct灌注扫描。ct灌注扫描指示大脑中没有获得足够血流的区域。然而，ct灌注扫描通常仅识别大脑的可能受血管收缩影响的部分，而不是脉管系统的特定分支。随后，可以将造影剂注射到脉管系统中并且可以对大脑执行荧光透视扫描以尝试识别狭窄区域。荧光透视扫描提供血管造影图像的视频序列，表示造影剂在脉管系统内的流动。然而，在血管造影图像中定位血管收缩非常耗时。放射科医生可能会尝试通过反复放大以查看脉管系统的个体分支并且然后在跟随脉管系统的路线时再次缩小来识别具有血流中断的区域。在此过程中，小的血管收缩可能容易被忽视，可能会延误重要的干预。
4.因此，在确定血管造影图像中的血管收缩的位置方面需要改进。


技术实现要素：

5.根据本公开的一个方面，提供了一种在血管造影图像的时间序列中定位血管收缩的计算机实施的方法。所述方法包括：
6.接收表示脉管系统内的造影剂的流动的血管造影图像的时间序列；
7.对于所述时间序列中的血管造影图像中的至少一些，计算表示在脉管系统的多个子区域中序列中的当前图像与较早图像之间的图像强度值的差的差分图像；
8.根据所述差分图像来识别所述子区域的子集的时间序列以及造影剂在哪个子集中进入子区域，以及造影剂随后在哪个子集中离开子区域；
9.将所识别的所述子集的时间序列输入到神经网络中，所述神经网络被训练为根据脉管系统的血管造影图像的时间序列将脉管系统的子区域分类为包括血管收缩；并且
10.基于由神经网络提供的分类来识别包括所述血管收缩的子区域。
11.根据本公开的另一方面，提供了一种训练神经网络以在血管造影图像的时间序列中定位血管收缩的计算机实施的方法。所述方法包括：
12.接收血管造影图像训练数据，所述血管造影图像训练数据包括表示脉管系统的多个子区域内的造影剂流动的血管造影图像的多个时间序列；利用真实情况分类将每个时间序列分类为包括血管收缩或分类为不包括血管收缩；
13.将接收到的血管造影图像训练数据输入到神经网络中；并且基于由神经网络生成的每个输入时间序列的分类与真实情况分类之间的差异来调节神经网络的参数。
14.本公开的其他方面、特征和优点将根据以下参考附图做出的示例描述而变得显而易见。
附图说明
15.图1图示了血管造影图像110的时间序列。
16.图2图示了包括血管收缩140的血管造影图像110的时间序列。
17.图3是图示根据本公开的一些方面的在血管造影图像的时间序列中定位血管收缩的方法的流程图。
18.图4是图示根据本公开的一些方面的在血管造影图像的时间序列中定位血管收缩的方法的示意图。
19.图5图示了根据本公开的一些方面的子区域120
i,j
的差分图像的时间序列，并且其中，差分图像是使用掩模图像作为序列中的较早图像来生成的。
20.图6图示了根据本公开的一些方面的在造影剂进入子区域和造影剂离开子区域之间的时间间隔内子区域120
i,j
的差分图像的时间序列。
21.图7是图示根据本公开的一些方面的指示包括血管收缩140的子区域120
i,j
的显示器200的示意图。
22.图8是图示根据本公开的一些方面的训练神经网络以在血管造影图像的时间序列中定位血管收缩的方法的流程图。
23.图9是图示根据本公开的一些方面的用于在血管造影图像的时间序列中定位血管收缩的系统300的示意图。
具体实施方式
24.参考以下描述和附图来提供本公开的示例。在本说明书中，出于解释的目的，阐述了某些示例的许多具体细节。说明书中对“示例”、“实施方式”或类似语言的引用意味着结合示例描述的特征、结构或特性被包括在至少该一个示例中。还应意识到，关于一个示例描述的特征也可以用于另一示例，并且出于简洁的缘故，在每个示例中不必重复所有特征。例如，关于计算机实施的方法所描述的特征可以以对应的方式在处理装置中、在系统中以及在计算机程序产品中实施。
25.在下面的描述中，参考了涉及在血管造影图像的时间序列中定位血管收缩的计算机实施的方法。参考狭窄形式的血管收缩，即血管导管体或开口变窄或收缩。狭窄可能有各种起源。通过示例，狭窄可能由动脉粥样硬化引起，动脉粥样硬化会导致血管中脂肪沉积和斑块积聚，并可能导致缺血性中风。通过另一示例，狭窄可能由血栓引起，其中，血凝块在血管中形成并减少通过血管的血液流动。然而，应意识到，本文公开的方法不限于这些示例并且还可以用于定位其他类型的血管收缩，并且这些可能具有各种潜在原因。还参考大脑中血管收缩的示例。然而，还应意识到，本文公开的方法也可用于定位身体其他区域中的血管收缩，例如心脏、腿部等中。因此，应意识到，本文公开的方法通常可以用于定位血管收缩。
26.注意，本文所公开的计算机实施的方法可以被提供为非瞬态计算机可读存储介
质，其包括存储在其上的计算机可读指令，该计算机可读指令当由至少一个处理器运行时使所述至少一个处理器执行所述方法。换句话说，计算机实施的方法可以在计算机程序产品中实施。计算机程序产品可以由专用硬件或能够运行与适当的软件相关联的软件的硬件来提供。当由处理器或“处理装置”提供时，方法特征的功能可以由单个专用处理器、由单个共享处理器或由多个个体处理器提供，其中一些可以共享。术语“处理器”或“控制器”的明确使用不应被解释为专门是指能够运行软件的硬件，并且可以隐含地包括但不限于数字信号处理器“dsp”硬件、用于存储软件的只读存储器“rom”、随机存取存储器“ram”、非易失性存储设备等。此外，本公开的示例可以采取可从计算机可用存储介质或计算机可读存储介质访问的计算机程序产品的形式，计算机程序产品提供用于通过计算机或任何指令运行系统使用或与计算机或任何指令运行系统结合使用的程序代码。出于该描述的目的，计算机可用存储介质或计算机可读存储介质可以是能够包括、存储、通信、传播或传输程序以供指令运行系统、装置或设备使用或与其结合使用的任何装置。介质可以是电子、磁性、光学、电磁、红外或者半导体系统或者设备或者传播介质。计算机可读介质的示例包括半导体或者固态存储器、磁带、可移除计算机磁盘、随机存取存储器“ram”、只读存储器“rom”、刚性磁盘和光盘。光盘的当前示例包括光盘只读存储器“cd-rom”、光盘-读/写“cd-r/w”、蓝光
tm
和dvd。
27.图1图示了血管造影图像110的时间序列。图1中的图像是由荧光透视或实况x射线成像流程生成的，该流程在大脑上执行以尝试在发生疑似缺血性中风的情况下识别狭窄区域。图1中的血管造影图像是在已经将不透射线的造影剂注射到脉管系统中之后获得的，并且因此表示造影剂在脉管系统内的流动，特别是在大脑中的流动。
28.如可以意识到的，在图1中的血管造影图像内定位血管收缩能够很耗时。放射科医生可能会尝试通过反复放大以查看脉管系统的个体分支并且然后再次缩小来识别具有血流中断的区域。最终可以在分支之一中发现血管收缩，如图2所示，图2图示了包括血管收缩140的血管造影图像110的时间序列。在该过程中可能很容易忽略小的血管收缩，可能会延迟重要的干预。
29.发明人已经确定了一种在血管造影图像的时间序列中定位血管收缩的改进方法。此外，图3是图示根据本公开的一些方面的在血管造影图像的时间序列中定位血管收缩的方法的流程图。参见图3，所述方法包括：
30.接收s110表示脉管系统内的造影剂的流动的血管造影图像110的时间序列；
31.对于时间序列中的血管造影图像中的至少一些，计算s120差分图像，所述差分图像表示在脉管系统的多个子区域120
i,j
中序列中的当前图像与较早图像之间的图像强度值的差；
32.根据差分图像来识别s130子区域120
i,j
的子集的时间序列以及造影剂在哪个子集中进入子区域，以及造影剂随后在哪个子集中离开子区域；
33.将所识别的所述子集的时间序列输入s140到神经网络130中，神经网络130被训练为根据脉管系统的血管造影图像的时间序列将脉管系统的子区域120
i,j
分类为包括血管收缩140；并且
34.基于由神经网络130提供的分类来识别s150包括血管收缩140的子区域。
35.参考图3，在操作s110中接收到的血管造影图像110的时间序列是二维的，即“投
影”图像，尽管也预期这些可以是3d图像。血管造影图像110的时间序列因此可以由x射线或计算机断层摄影“ct”成像系统生成。血管造影图像110的时间序列可以是对如图2所示的大脑中的脉管系统或身体的另一部分执行的荧光透视成像流程的结果。在操作s110中接收的血管造影图像110的时间序列可以从各种源接收，包括从x射线或ct成像系统、从数据库、从计算机可读存储介质、从云中等等接收。可以使用任何形式的数据通信来接收数据，例如有线或无线数据通信，并且可以经由因特网、以太网，或者通过借助于便携式计算机可读存储介质(例如usb存储器设备、光盘或磁盘等)来传输数据。
36.继续参考图3，在操作s120中，在脉管系统的多个子区域120
i,j
中针对时间序列中的血管造影图像中的至少一些计算表示序列中的当前图像与较早图像之间的图像强度值的差的差分图像。参考图4描述操作s120，图4是图示根据本公开的一些方面的在血管造影图像的时间序列中定位血管收缩的方法的示意图。参考图4的上部，在脉管系统的子区域120
i,j
中以时段δt生成血管造影图像110的时间序列。
37.预期各种技术用于在操作s120中计算差分图像。在一个示例中，用于计算每幅差分图像的在对序列中的当前图像的生成与对序列中的较早图像的生成之间的时间段δt是预先确定的。例如，如果如图4所示，时间段δt等于连续图像帧之间的时段，图4的中心部分所示的针对子区域120
2,2
和120
2,3
的每幅差分图像表示序列中当前图像和前一图像之间的图像强度值的变化率。通过解释，可以看到造影剂进入图像帧fr2中的子区域120
2,3
，并且在时间上稍晚，在图像帧fr3中，造影剂进入子区域120
2,2
。由于这些图像帧是差分图像，因此进入该区域的流由造影剂的脉冲表示，该造影剂脉冲逐渐穿过脉管系统的相应分支，而不是由造影剂的加长暗区表示—如在常规血管造影图像中可能预期的。时间段可以等于时间序列中的连续图像帧之间的时段的任意整数倍，因此，以类似的方式，每幅差分图像表示序列中的当前图像和较早图像之间的图像强度值的变化率。
38.在另一示例中，较早图像由掩模图像提供，并且相同的掩模图像用于计算每幅差分图像。掩模图像是在将造影剂注入脉管系统之前生成的荧光透视图像。在该示例中，在操作s120中计算的差分图像是所谓的数字减影血管造影“dsa”图像。在这两个示例中，当前图像和较早图像共有的图像特征(例如产生于骨骼)从得到的差分图像中移除。
39.在又一示例中，使用了这些技术的组合。在该示例中，血管造影图像110的时间序列是dsa图像，并且通过从当前dsa图像的图像强度值减去来自序列中的较早dsa图像的图像强度值，根据dsa图像来计算差分图像。用于计算每幅差分图像的当前dsa图像的生成与较早dsa图像的生成之间的时间段δt也是预先确定的。时间段δt可以是连续图像帧之间的时间段的整数倍。此处，每幅差分图像再次表示图像强度值的变化率，在该示例中，变化率是序列中的当前dsa图像和较早dsa图像之间的。
40.预期各种技术用于在操作s120中定义子区域120
i,j
。在一个示例中，脉管系统的子区域120
i,j
通过将接收到的时间序列中的血管造影图像划分成多个预定义子区域来定义。这可以通过将预定义区域的网格应用到血管造影图像来实现，如图4的上部所示。可以备选地使用不同于图4所示示例的其他网格。例如，网格可以具有尺寸相等、尺寸不等、形状规则或形状不规则的子区域。网格可以具有连续或不连续的子区域。网格可能具有与图4所示示例不同数量的子区域。
41.在另一示例中，脉管系统的子区域120
i,j
通过在血管造影图像中分割脉管系统并
定义与脉管系统交叠的多个子区域来定义。从moccia,s.等人的题为blood vessel segmentation algorithms-review of methods,datasets and evaluation metrics(computer methods and programs in biomedicine，第158卷，2018年5月，第71-91页)的文档中已知用于在血管造影图像中分割脉管系统的各种技术。在该示例中，可以通过将预定形状(例如矩形或正方形)应用于脉管系统的部分使得形状与脉管系统交叠来定义子区域。继续该示例，可以识别分割的脉管系统中的分支，并且可以确定沿每个分支的轴向长度的位置处的造影剂的量。然后可以将子区域表示为二维图形，所述二维图形指示相对于分支的轴向长度绘制的造影剂的量。在该示例中，脉管系统的形状基本上被拉伸成直线，并且沿着每个分支的轴向长度的造影剂的量通过计算沿例如分支的中心线的位置处的造影剂的量来确定。
42.返回图3，在操作s130中，根据差分图像来识别子区域120
i,j
的子集的时间序列，以及造影剂在哪个子集中进入子区域，以及造影剂随后在哪个子集中离开子区域。发明人已经确定在由放射科医师用于尝试识别血管收缩的血管造影图像的时间序列中存在显著冗余。发明人还已经认识到，其中造影剂进入子区域并且造影剂随后离开子区域的子区域包含可以用于识别血管收缩的位置的有价值的信息。操作s130将该信息识别为子区域的子集，并且在随后的操作s140中，将该子集输入神经网络中以将脉管系统的子区域识别为包括脉管收缩。这样做时，操作s130可以降低神经网络分析血管造影图像110和确定血管收缩的位置的复杂性和/或所花费的时间。
43.还参考图3、图4、图5和图6描述操作s130。图5图示了根据本公开的一些方面的子区域120
i,j
的差分图像的时间序列，并且其中，差分图像是使用掩模图像作为序列中的较早图像生成的。图5所示的子区域120
i,j
表示类似于图4的中心部分的子区域120
2,2
和120
2,3
的子区域，并且其是通过将预定义区域的示例网格应用于脉管系统而生成的。与图4所示的差分图像相反，由于图5中的差分图像是使用掩模图像作为序列中的较早图像生成的，因此脉管系统的分支中的造影剂的流动被示为加长暗区而不是移动脉冲，如图4所示。为了便于解释，图5中的子区域用行和列索引i和j识别。在图中，造影剂以黑色指示。在图5所示的子区域120
i,j
的示例时间序列fr1..fr12中，造影剂确实进入子区域，并且随后离开子区域。图5所示的子区域120
i,j
的时间序列因此将形成在操作s130中识别并在操作s140中输入到神经网络中的子集的一部分。造影剂从子区域进入和离开，以及子区域本身，可以通过将阈值应用于在分割的脉管系统的分支中检测到的造影剂来检测。相比之下，造影剂未进入子区域的脉管系统的子区域的时间序列(未示出)不会形成在操作s130中识别的子集的一部分，并且因此不会在操作s140中输入到神经网络。
44.回到图4的中心部分；以类似的方式，可以看到造影剂进入图像帧fr2中的子区域120
2,3
，并且在时间上稍晚，在图像帧fr3中，造影剂进入子区域120
2,2
。如果这些子区域中的造影剂随后离开相应的子区域，则这些子区域的时间序列也将形成在操作s130中识别并在操作s140中输入到神经网络中的子集的一部分。
45.发明人也已经认识到由放射科医生用来尝试识别血管收缩的血管造影图像的时间序列中的进一步冗余，并且在一些示例中，可以对在操作s130中识别的子区域120
i,j
的子集的时间序列进行进一步细化。这些改进进一步减少了输入到神经网络中的数据量，并且可以进一步减少神经网络分析血管造影图像110和确定血管收缩的位置的复杂性和/或所
花费时间。
46.在这些改进的一个示例中，时间序列的部分被识别。在该示例中，识别s130子区域120
i,j
的子集的时间序列的操作包括：
47.识别在造影剂进入子区域和造影剂离开子区域之间生成的时间序列的部分fr2..fr11；并且其中，将子集的时间序列输入到神经网络130中包括将子集的时间序列的所识别的部分fr2..fr11输入到神经网络130中。
48.在该示例中并且参考图5，图示的时间序列(例如脉管系统的子区域120
i,j
)包括差分图像帧fr1..fr12，其中，差分图像是使用掩模图像作为序列中的较早图像生成的。在该示例中，可以看到造影剂在对应于差分图像帧fr2的时间进入示示例区域120
i,j
，并且在对应于差分图像帧fr11的时间离开子区域120
i,j
。在该示例中，在从fr2到fr11的时间段内的部分在操作s130中被识别并且在操作s140中被输入到神经网络中。
49.还可以对在操作s130中识别的时间序列的部分进行进一步细化。这参考图5以及图6进行描述，图6图示了根据本公开的一些方面的在造影剂进入子区域与造影剂离开子区域之间的时间间隔内子区域120
i,j
的差分图像的时间序列。
50.在此示例中，识别s130子区域的子集的时间序列的操作还可以包括：
51.识别时间序列的另外的部分fr4..fr9，其中，子区域具有最大的造影剂量，并且从时间序列的所识别的部分fr2..fr11中排除时间序列的另外的部分fr4..fr9。
52.参考图5和图6，在该示例中，具体地，在与差分图像帧fr4、fr5、fr6、fr7、fr8和fr9相对应的时间，子区域120
i,j
的时间序列的另外的部分被识别，其中，子区域120
i,j
具有最大的造影剂量。在该示例中，在操作s130中，差分图像帧fr4、fr5、fr6、fr7、fr8和fr9被从在操作s140中输入到神经网络中的时间序列的部分fr2..fr11中排除。因此，如图6所示，在该示例中，从图5所示的图像帧中选择图像帧fr2、fr3、fr10和fr11，并将其输入到神经网络中。通过从输入到神经网络中的时间序列中排除其中子区域具有最大造影剂量的时间序列的部分，进一步减少了输入到神经网络中的数据量。此外，这些被排除的部分对神经网络确定血管收缩位置的能力没有显著贡献。因此，这可以进一步降低神经网络分析血管造影图像110的复杂性和/或所花费的时间，而不降低神经网络确定的准确性。
53.返回图3的流程图所示的方法，已经在操作s130中识别了子区域120
i,j
的子集的时间序列，在操作s140中，这些被输入到神经网络130中，神经网络130被训练为从脉管系统的血管造影图像的时间序列将脉管系统的子区域120
i,j
分类为包括脉管收缩140。操作s140在图4的下部图示，并且在一些示例中可以包括：在将子区域的子集的所识别的时间序列输入到神经网络130中之前，在时域中堆叠，即，布置子区域的子集的所识别的时间序列。
54.同样如图4所示，在操作s140的输入之后，执行操作s150。操作s150包括基于由神经网络130提供的分类识别s150包括血管收缩140的子区域。
55.各种技术被预期用于在操作s150中识别包括血管收缩的子区域。这些可以例如包括识别显示器上的子区域。在一个示例中，可以提供子区域的图像，其中，位置通过交叠形状来识别，如图4中的示例虚线圆圈所示。在另一示例中，子区域的图像可以颜色编码以识别位置，或者可以使用其他标识符(例如箭头)来识别位置。在另一示例中，识别s150包括血管收缩140的子区域包括：
56.显示表示包括血管收缩140的所识别的子区域内的造影剂的流动的血管造影图像
110的时间序列，或显示表示造影剂在包括血管收缩140的所识别的子区域内的流动的差分图像的时间序列。
57.在该示例中，所显示的时间序列可以单独提供在所识别的子区域的显示器上，从而允许用户将注意力集中在该子区域或所有子区域上。在一些示例中，可以为所识别的子区域以及所有子区域提供所显示的时间序列。显示的时间序列可以在时间上彼此对应，所有子区域的时间序列提供大视场，而所识别的子区域的时间序列提供小视场。这在图7中示出，图7是图示根据本公开的一些方面的指示包括血管收缩140的子区域120
i,j
的显示器200的示意图。所显示的时间序列可以任选地显示在造影剂进入子区域和造影剂离开子区域之间的时间间隔内；或者对于该时间间隔的一部分，例如通过省略其中子区域在子区域中具有最大造影剂量的图像帧，因此仅显示示出造影剂进入子区域的图像帧和示出造影剂离开子区域的图像帧。
58.在又一示例中，神经网络130被训练为生成包括血管收缩140的脉管系统的子区域120
i,j
的概率分数。为此目的，神经网络130可以包括回归型神经网络或分类型网络。可以在操作s150中识别概率分数。例如，可以显示血管造影图像或血管造影图像的时间序列，指示子区域中一个或多个的概率分数。这可以例如用子区域周围的颜色编码框来指示，或者通过对脉管系统的子区域进行颜色编码来指示。例如，可以以红色突出显示具有相对高概率值的区域，并且可以以绿色突出显示具有相对低概率值的区域。可以以橙色突出显示具有中间概率值的区域。
59.预期使用各种类型的神经网络130来提供上述方法中描述的功能。可以使用各种类型的分类神经网络，包括卷积神经网络“cnn”、递归神经网络“rnn”，例如长短期记忆网络“lstm”、时间卷积网络“tcn”、变换器、多层感知器、决策树(例如随机森林)、多元回归(例如逻辑回归)或其组合。
60.在一个示例中，神经网络130包括cnn，并且在操作s130中从差分图像中识别出的子区域120
i,j
的子集的时间序列在时间维度上与每一帧堆叠，即布置作为一个单独的通道，并将该3d数据输入输入到cnn中。作为使用2d滤波器的备选，cnn可以包含3d滤波器，即3d卷积核。备选地，这些序列最初可以由cnn和低维表示进行处理，即特征空间以顺序逐帧的方式输入到rnn中，其中，每个帧沿着时间序列形成有向图。在rnn中，当前帧的输出可能取决于一个或多个先前帧。该网络可以包括单向或双向长短期记忆“lstm”架构。要注意，图像中的流动方向性不如图像中的流动速度重要。为了考虑每个序列中不同数量的图像帧，较短的序列可以在序列的开始或结尾处用空图像填充。备选地，可以使用内插来内插新的图像帧，以便均衡所有时间序列中的帧数。帧速率可以作为神经网络的参数被包括在内。
61.在另一示例中，完全卷积神经网络可用于提供神经网络130。特征图可用于补偿输入序列长度的差异。为了提高该神经网络的准确性，在训练期间，可以通过例如在序列中随机丢弃或内插帧来调节输入序列的尺寸，使得输入序列长度捕获更多方差。在该示例中，在训练期间，可以通过使用手动注释的特征集或使用图像处理方法(例如尺度不变特征变换“sift”、加速鲁棒特征“surf”)作为真实情况提取的特征集来以监督方式学习特征图。也可以使用诸如自动编码器的神经网络以无监督方式学习特征图，以学习固定尺寸的特征表示。
62.在另一示例中，神经网络130可以包括cnn和rnn。在该示例中，在操作s130中从差
分图像中识别的子区域120
i,j
的子集的时间序列中的每个帧被输入到cnn中，并且生成该帧的低维表示，例如1d特征向量。然后将该特征向量输入到rnn中，例如lstm或门控循环单元“gru”以捕获输入的时间方面。
63.如上所述，在一些示例中，使用序列中较早的图像针对当前图像计算差分图像，并且其中，当前图像的生成与序列中的较早图像的生成之间的时间段δt是预先确定的，使得每幅差分图像表示当前图像和序列中的较早图像之间的图像强度值的变化率。与例如将表示例如dsa图像数据的差分图像输入到神经网络中相比，将表示当前图像和序列中的较早图像之间的图像强度值的变化率的差分图像输入到神经网络中的益处是后者提供对表示造影剂流动的动态变化的图像帧的相对较高强调，以及对表示连续造影剂流动或根本没有流动的图像帧的相对较低强调。换句话说，它对图5和图6中的图像帧fr2、fr3、fr10和fr11提供了相对较高强调。当造影剂进入区域时，时间导数将为正，而当造影剂离开区域时，时间导数将为负。这提高了定位感兴趣子区域的效率。在一些示例中，可以通过低通滤波进一步处理图像以便减少来自例如心脏和呼吸源、患者移动和噪声的运动。在一些示例中，图像也可以相互配准，例如在操作s140中将子区域120
i,j
的时间序列输入到神经网络中之前，使用刚性、仿射或可变形配准，以便进一步减少运动的效应。
64.在一些示例中，额外信息以脉管系统的每个子区域的首次到达时间的形式被输入到神经网络130中。首次到达时间表示造影剂进入子区域的时间。在这些示例中，在血管造影图像的时间序列中定位血管收缩的方法包括：
65.计算脉管系统的每个子区域的首次到达时间，所述首次到达时间表示造影剂进入子区域的时间；
66.并且其中，神经网络130被训练为根据脉管系统的时间序列并且根据首次到达时间将脉管系统的子区域分类为包括血管收缩；
67.并且其中，将所识别的所述子集的时间序列输入到神经网络130中还包括将子区域的首次到达时间输入到神经网络130中。
68.首次到达时间可以被计算为造影剂进入每个子区域的绝对时间，或者被计算为相对于另一参考的时间差，例如造影剂进入脉管系统的预定区域与造影剂进入每个子区域之间的时间差。例如，如果血管造影图像表示大脑，则可以将首次到达时间确定为造影剂进入动脉树基部与造影剂进入每个子区域之间的时间差。这些事件的时间可以例如通过分割脉管系统并将阈值应用于子区域以便检测造影剂来确定。首次到达时间可以在脉管系统的血管造影图像的所显示的时间序列中表示，例如通过在所显示的时间序列中对首次到达时间进行颜色编码。
69.在一些示例中，额外信息以来自其他成像模态的相应图像数据的形式输入到神经网络中。例如，灌注ct图像数据、ct血管造影图像数据或来自其他成像模态的图像数据可以被配准到接收到的表示脉管系统内的造影剂的流动的血管造影图像110的时间序列，并且被输入到神经网络中。
70.以这种方式输入到神经网络130中的额外信息可以帮助神经网络将脉管系统的子区域120
i,j
分类为包括脉管收缩140。
71.图8是图示根据本公开的一些方面的训练神经网络以在血管造影图像的时间序列中定位血管收缩的方法的流程图。该方法可用于训练上述神经网络。参考图8，一种训练神
经网络130以在血管造影图像的时间序列中定位血管收缩的计算机实施的方法包括：
72.接收s210血管造影图像训练数据，所述血管造影图像训练数据包括表示脉管系统的多个子区域内的造影剂的流动的血管造影图像的多个时间序列；利用真实情况分类将每个时间序列分类为包括血管收缩或分类为不包括血管收缩；
73.将接收到的血管造影图像训练数据输入s220到神经网络130中；并且基于神经网络130生成的每个输入时间序列的分类与真实情况分类之间的差异来调节神经网络130的参数。
74.血管造影图像训练数据可以例如由荧光透视或dsa成像数据集提供。如上所述，可以以差分图像的形式提供训练数据。训练数据可以源自一个或多个临床站点。训练数据可以从一个或多个对象收集。可以使用上述技术定义血管造影图像训练数据的子区域，以便提供在操作s220中输入到神经网络中的子区域120
i,j
的时间序列。子区域的真实情况分类可以由专家利用任何狭窄的位置或者任选地不存在任何狭窄来注释血管造影图像训练数据来提供。
75.在参考图8描述的训练方法中，神经网络130的参数基于神经网络130生成的每个输入时间序列的分类与真实情况分类之间的差异自动调节。在该流程中调节的参数包括神经网络中激活函数的权重和偏差。通过输入训练数据并计算表示由神经网络130生成的每个输入时间序列的分类与真实情况分类之间的差异的损失函数的值来调节参数。当神经网络准确地提供对应的预期输出数据时，训练通常会终止。损失函数的值或误差可以使用诸如负对数似然损失、均方误差或huber损失或交叉熵的函数来计算。在训练期间，损失函数的值通常被最小化，并且当损失函数的值满足停止准则时，训练终止。有时，当损失函数的值满足多个准则中的一个或多个时，训练终止。
76.已知用于解决损失最小化问题的各种方法，诸如梯度下降、拟牛顿方法等。已经开发了各种算法来实施这些方法及其变型，包括但不限于随机梯度下降“sgd”、分批梯度下降、小批量梯度下降、高斯-牛顿、levenberg-marquardt、momentum、adam、nadam、adagrad、adadelta、rmsprop和adamax“优化器”。这些算法使用链规则计算损失函数相对于模型参数的导数。该过程被称为反向传播，因为导数是从最后一层或输出层开始、朝向第一层或输入层移动来计算的。这些导数通知算法必须如何调节模型参数，以便使误差函数最小化。即，从输出层开始做出对模型参数的调节，并且在网络中向后工作，直到到达输入层。在第一训练迭代中，初始权重和偏置常常是随机的。然后，神经网络预测输出数据，其同样是随机的。反向传播然后被用于调节权重和偏置。通过对每次迭代中的权重和偏置进行调节来迭代执行训练过程。当预测输出数据与预期输出数据之间的误差或差异在针对训练数据或针对一些验证数据的可接受范围内时，训练终止。随后，可以部署神经网络，并且经训练的神经网络使用其参数的经训练的值对新的输入数据进行预测。如果训练过程成功，则经训练的神经网络根据新的输入数据中准确地预测预期输出数据。
77.训练神经网络通常涉及将大的训练数据集输入到神经网络中，并且迭代地调节神经网络参数，直到训练的神经网络提供准确的输出。训练常常使用图形处理单元“gpu”或专用神经处理器执行，诸如神经处理单元“npu”或张量处理单元“tpu”。因此，训练通常采用集中式方法，其中，使用基于云或基于主机的神经处理器来训练神经网络。在其用训练数据集进行训练之后，经训练的神经网络可以被部署到用于分析新输入数据的设备；被称为“推
理”的过程。推理期间的处理要求显著低于训练期间需要的那些要求，从而允许神经网络部署到各种系统中，诸如膝上型计算机、平板电脑、移动电话等等。例如，推理可以由中央处理单元“cpu”、gpu、npu、tpu、在服务器上或云中执行。
78.图9是图示根据本公开的一些方面的用于在血管造影图像的时间序列中定位血管收缩的系统300的示意图。系统300包括一个或多个处理器310，其被配置为执行上述方法的一个或多个方面。系统300还可以包括x射线成像系统320，如图3所示，并且其可以被配置为提供表示脉管系统内的造影剂的流动的血管造影图像110的时间序列，以用于以上方法。系统300还可以包括显示器200和/或诸如键盘的用户接口设备，和/或用于控制方法的执行的诸如鼠标的定点设备，和/或患者床330。这些项目可以经由有线或无线通信彼此通信，如图9所示。
79.以上示例要被理解为对于本公开是说明性而非限制性的。还预期了其他示例。例如，关于计算机实施的方法描述的示例也可以由计算机程序产品、或者由计算机可读存储介质、或者由处理装置、或者由系统以对应的方式提供。应理解，关于任何一个示例描述的特征可以单独使用，或者与其他描述的特征组合使用，并且还可以与示例中的另一个的一个或多个特征组合使用或者与其他示例的组合组合使用。此外，在不脱离在权利要求书中定义的本发明的范围的情况下，也可以采用上文未描述的等效方案和修改。在权利要求中，词语“包括”不排除其他元件或者操作，并且词语“一”或“一个”不排除多个。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。权利要求中的任何附图标记不应当解释为对其范围的限制。

技术特征：
1.一种在血管造影图像的时间序列中定位血管收缩的计算机实施的方法，包括：接收(s110)表示脉管系统内的造影剂的流动的血管造影图像(110)的时间序列；对于所述时间序列中的所述血管造影图像中的至少一些，计算(s120)差分图像，所述差分图像表示在所述脉管系统的多个子区域(120
i,j
)中所述序列中的当前图像与较早图像之间的图像强度值的差；根据所述差分图像来识别(s130)所述子区域(120
i,j
)的子集的时间序列以及所述造影剂在哪个子集中进入所述子区域，以及所述造影剂随后在哪个子集中离开所述子区域；将所识别的所述子集的时间序列输入(s140)到神经网络(130)中，所述神经网络被训练为根据所述脉管系统的血管造影图像的时间序列将所述脉管系统的子区域(120
i,j
)分类为包括血管收缩(140)；并且基于由所述神经网络(130)提供的分类来识别(s150)包括所述血管收缩(140)的子区域。2.根据权利要求1所述的计算机实施的方法，其中，所述神经网络(130)被训练为通过以下操作根据所述脉管系统的血管造影图像的时间序列将所述脉管系统的子区域(120
i,j
)分类为包括血管收缩(140)：接收(s210)血管造影图像训练数据，所述血管造影图像训练数据包括表示脉管系统的多个子区域内的造影剂的流动的血管造影图像的多个时间序列；每个时间序列被分类为具有真实情况分类，所述真实情况分类将所述时间序列识别为包括血管收缩或不包括血管收缩；将接收到的血管造影图像训练数据输入(s220)到所述神经网络(130)中；并且基于由所述神经网络(130)生成的每个输入时间序列的分类与所述真实情况分类之间的差异来调节所述神经网络(130)的参数。3.根据权利要求1所述的计算机实施的方法，其中，被用于计算每幅差分图像的在对所述序列中的所述当前图像的生成与对所述序列中的所述较早图像的生成之间的时间段(δt)是预先确定的，使得每幅差分图像表示所述序列中的所述当前图像与所述较早图像之间的图像强度值的变化率。4.根据权利要求1所述的计算机实施的方法，其中，所述较早图像由掩模图像提供，并且其中，相同的掩模图像被用于计算每幅差分图像。5.根据权利要求1所述的计算机实施的方法，其中，识别(s150)包括所述血管收缩(140)的子区域包括：显示表示在包括所述血管收缩(140)的所识别的子区域内的造影剂的流动的血管造影图像(110)的时间序列，或者显示表示在包括所述血管收缩(140)的所识别的子区域内的造影剂的流动的差分图像的时间序列。6.根据权利要求1所述的计算机实施的方法，其中，识别(s130)所述子区域(120
i,j
)的子集的时间序列包括：识别在所述造影剂进入所述子区域与所述造影剂离开所述子区域之间生成的所述时间序列的部分(fr2..fr11)；并且其中，将所述子集的所述时间序列输入到神经网络(130)中包括将所述子集的所述时间序列的所识别的部分(fr2..fr11)输入到所述神经网络(130)中。7.根据权利要求6所述的计算机实施的方法，其中，识别(s130)所述子区域的子集的时间序列包括：识别所述时间序列的另外的部分(fr4..fr9)，其中，所述子区域具有最大造影
剂量；并且从所述时间序列的所识别的部分(fr2..fr11)中排除所述时间序列的所述另外的部分(fr4..fr9)。8.根据权利要求1所述的计算机实施的方法，包括：计算针对所述脉管系统的每个子区域的首次到达时间，所述首次到达时间表示所述造影剂进入所述子区域的时间；并且其中，所述神经网络(130)被训练为根据所述脉管系统的所述时间序列并且根据所述首次到达时间将所述脉管系统的子区域分类为包括血管收缩；并且其中，将所识别的所述子集的时间序列输入到神经网络(130)中还包括将所述子区域的所述首次到达时间输入到所述神经网络(130)中。9.根据权利要求1所述的计算机实施的方法，包括通过将接收到的时间序列中的所述血管造影图像划分成多个预定义子区域来定义所述脉管系统的所述子区域。10.根据权利要求1所述的计算机实施的方法，包括通过在所述血管造影图像中分割所述脉管系统并且定义与所述脉管系统交叠的多个子区域来定义所述脉管系统的所述子区域。11.根据权利要求10所述的计算机实施的方法，包括：识别所分割的脉管系统中的多个分支；并且对于每个分支，确定沿着所述分支的轴向长度的造影剂的量；并且将所述子区域表示为二维图形，所述二维图形指示相对于所述分支的所述轴向长度绘制的造影剂的量。12.根据权利要求1所述的计算机实施的方法，包括在将所识别的所述子区域的所述子集的时间序列输入到神经网络(130)之前，在时域中堆叠所识别的所述子集的时间序列。13.一种训练神经网络(130)以在血管造影图像的时间序列中定位血管收缩的计算机实施的方法，包括：接收(s210)血管造影图像训练数据，所述血管造影图像训练数据包括表示脉管系统的多个子区域内的造影剂的流动的血管造影图像的多个时间序列；利用真实情况分类将每个时间序列分类为包括血管收缩或将每个时间序列分类为不包括血管收缩；将接收到的血管造影图像训练数据输入(s220)到所述神经网络(130)中；并且基于由所述神经网络(130)生成的每个输入时间序列的所述分类与真实情况分类之间的差异来调节所述神经网络(130)的参数。14.一种包括指令的计算机程序产品，所述指令当由一个或多个处理器运行时使所述一个或多个处理器执行根据权利要求1-13中的任一项所述的方法。15.一种用于在血管造影图像的时间序列中定位血管收缩的系统(300)；所述系统包括一个或多个处理器(310)，所述一个或多个处理器被配置为执行根据权利要求1-13中的任一项所述的方法。

技术总结
一种在血管造影图像的时间序列中定位血管收缩的计算机实施的方法，包括根据差分图像的时间序列来识别(S130)脉管系统的子区域(120


技术研发人员：R
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2021.12.15
技术公布日：2023/9/16