基于多模态影像的胶质瘤患者预后生存期预测方法及系统

1.本发明涉及数据处理技术领域，更具体地说，它涉及基于多模态影像的胶质瘤患者预后生存期预测方法及系统。


背景技术：

2.多模态磁共振影像(multi-modal magnetic resonance image，mmri)是目前临床诊断最常用的医学影像，在胶质瘤的治疗过程中与术后追踪中也常常用到。较其它成像设备，mri能显示更丰富、清晰的脑结构细节信息，并且它的多个模态之间(t1w、t2w、t1wce、flair)，各自突出不同组织结构部分，能提供互补信息。
3.现有技术中记载有从t1增强加权像中提取出肿瘤增强区与非增强区的mr影像特征，并以肿瘤几何特性作为影像特征的补充来实现患者生存期预测分析的技术。然而，现有技术在对胶质瘤患者预后生存期进行分析时，主要是利用分割得到的肿瘤区域，再次从肿瘤区域中提取特征，而先做分割再次提取特征的方法，特征选择的准确性依赖于分割的准确性，分割不精准、不全面则也易导致分类特征提取的误差。此外，现有的生存期预测方法存在对影像所富含的肿瘤信息无法充分利用的局限，如感受野的局限导致的信息丢失以及位置信息等，所以选取肿瘤几何特性进行补充，而一般情况下基于影像组学的特征数量较多，全部用于预测常易导致模型过拟合，易导致预测分析结果准确度较低。
4.因此，如何研究设计一种能够克服上述缺陷的基于多模态影像的胶质瘤患者预后生存期预测方法及系统是我们目前急需解决的问题。


技术实现要素：

5.为解决现有技术中的不足，本发明的目的是提供基于多模态影像的胶质瘤患者预后生存期预测方法及系统，采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。
6.本发明的上述技术目的是通过以下技术方案得以实现的：
7.第一方面，提供了基于多模态影像的胶质瘤患者预后生存期预测方法，包括以下步骤：
8.获取目标对象的多模态磁共振影像数据和核磁波谱数据；
9.将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；
10.依据肿瘤级别匹配相应预构建的cov-split transformer模型；
11.通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；
12.对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。
13.本发明采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；而将核磁波谱数据中的特征与mri影像提供的形态特征结合，能更有效的反映出患者的肿瘤发展情况，无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。
14.进一步的，所述多模态磁共振影像数据包括t1w、t2w、t1wce和flair四个模态数据。
15.进一步的，所述决策树依据生化特征进行肿瘤级别划分。
16.进一步的，所述生化特征包括idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3 g34r/v和h3 k27m。
17.进一步的，所述肿瘤级别包括胶质细胞瘤who1、who2、who3和who4四个等级。
18.进一步的，所述cov-split transformer模型包括2d卷积块、池化块、3个bottleneck0、1个bottleneck1、2个矩阵相加函数块、分割标号模块、线性投影模块以及transformer encoder模块。
19.进一步的，所述数据导入模块，用于接收输入的多模态磁共振影像数据和核磁波谱数据；
20.所述2d卷积块，用于将三维的多模态磁共振影像数据投影到二维；
21.所述池化块，用于对数据进行池化处理；
22.所述bottleneck0，由三个卷积层组成；
23.所述bottleneck1，由三个卷积层组成；
24.所述矩阵相加函数块，用于对卷积结果进行相加运算
25.所述分割标号模块，用于将图像分成九个等大的小正方形并标号；
26.所述线性投影模块，用于对图像进行线性投影；
27.所述transformer encoder模块，用于对高维的全局特征建模。
28.第二方面，提供了基于多模态影像的胶质瘤患者预后生存期预测系统，包括：
29.数据获取模块，用于获取目标对象的多模态磁共振影像数据和核磁波谱数据；
30.级别划分模块，用于将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；
31.模型匹配模块，用于依据肿瘤级别匹配相应预构建的cov-split transformer模型；
32.特征提取模块，用于通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；
33.预测分析模块，用于对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。
34.第三方面，提供了一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。
35.第四方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行可实现如第一方面中任意一项所述的基于多模态影像的胶质瘤患者预后生
存期预测方法。
36.与现有技术相比，本发明具有以下有益效果：
37.1、本发明提供的基于多模态影像的胶质瘤患者预后生存期预测方法，采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度；
38.2、本发明采用决策树对目标对象的生化特征进行逻辑判断，预先确定目标对准的肿瘤级别，从而匹配对应的cov-split transformer模型，使得特征提取的准确性与可靠性更高，有利于增强患者预后生存期预测的精确度；
39.3、本发明在患者预后生存期预测时，还考虑了年龄信息，更加全面的考虑了生存期预测的影响因子。
附图说明
40.此处所说明的附图用来提供对本发明实施例的进一步理解，构成本技术的一部分，并不构成对本发明实施例的限定。在附图中：
41.图1是本发明实施例1中的流程图；
42.图2是本发明实施例1中肿瘤级别的划分流程图；
43.图3是本发明实施例1中cov-split transformer模型的网络结构图，a为cov部分，b为split部分，c为transformer部分；
44.图4是本发明实施例2中的系统框图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
46.实施例1：基于多模态影像的胶质瘤患者预后生存期预测方法，如图1所示，包括以下步骤：
47.步骤s1：获取目标对象的多模态磁共振影像数据和核磁波谱数据；
48.步骤s2：将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；
49.步骤s3：依据肿瘤级别匹配相应预构建的cov-split transformer模型；
50.步骤s4：通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；
51.步骤s5：对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。
52.需要说明的是，mrs是能无创性观察活体组织代谢及生化变化的技术，mrs技术获取的核磁波谱数据可以提供较为精确的肿瘤部位的化学物质成分及其含量，与mri影像提供的形态特征结合，能更有效的反映出患者的肿瘤发展情况。
53.而本发明采用新的cov-split transformer模型提取多模态磁共振影像数据和核磁波谱数据中的全局特征，在不需要补充影像几何特征的情况下，深度提取更加全面的特
征，使得所提取的特征较为轻量化，提高了预测的精度。
54.多模态磁共振影像数据包括t1w、t2w、t1wce和flair四个模态数据。
55.本发明采用决策树对目标对象的生化特征进行逻辑判断，预先确定目标对准的肿瘤级别，从而匹配对应的cov-split transformer模型，使得特征提取的准确性与可靠性更高，有利于增强患者预后生存期预测的精确度。具体的，决策树依据一个或多个生化特征进行肿瘤级别划分，而生化特征包括但不限于idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3 g34r/v和h3 k27m。
56.如图2所示，例如同时考虑idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3 g34r/v和h3 k27m生化特征，肿瘤级别可以分为胶质细胞瘤who1、who2、who3和who4四个等级，不同肿瘤级别的模型是依据对应等级的样本数据进行训练的。
57.如图3所示，cov-split transformer模型包括1个2d卷积块、1个池化块、3个bottleneck0、1个bottleneck1、2个矩阵相加函数块、1个分割标号模块、1个线性投影模块以及1个transformer encoder模块。
58.其中，数据导入模块，用于接收输入的多模态磁共振影像数据和核磁波谱数据；2d卷积块，用于将三维的多模态磁共振影像数据投影到二维；池化块，用于对数据进行池化处理，可以加快计算速度和防止过拟合；bottleneck0，由三个卷积层组成；bottleneck1，由三个卷积层组成；矩阵相加函数块，用于对卷积结果进行相加运算分割标号模块，用于将图像分成九个等大的小正方形并标号；线性投影模块，用于对图像进行线性投影；transformer encoder模块，用于对高维的全局特征建模。
59.一般情况下，cov-split transformer模型的输入为3x224x224，经过cov部分输出为512x28x28，2d投影处理得到512x784，将512x784输入split部分，分割，输入liner，将其位置信息和特征线性化输入transformer encoder最后输出512x784，输入线性化层，输出512x1x1，加入年龄，全连接输出生存期。
60.实施例2：基于多模态影像的胶质瘤患者预后生存期预测系统，该系统用于实现实施例1中所记载的基于多模态影像的胶质瘤患者预后生存期预测方法，如图4所示，包括数据获取模块、级别划分模块、模型匹配模块、特征提取模块和预测分析模块。
61.其中，数据获取模块，用于获取目标对象的多模态磁共振影像数据和核磁波谱数据；级别划分模块，用于将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；模型匹配模块，用于依据肿瘤级别匹配相应预构建的cov-split transformer模型；特征提取模块，用于通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；预测分析模块，用于对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。
62.工作原理：本发明采用cov-split transformer模型从多模态磁共振影像数据和核磁波谱数据提取特征，能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度；此外，采用决策树对目标对象的生化特征进行逻辑判断，预先确定目标对准的肿瘤级别，从而匹配对应的cov-split transformer模型，使得特征提取的准确性与可靠性更高，有利于增强患者预后生存期预测的精确度；另外，在患者预后生存期预测
时，还考虑了年龄信息，更加全面的考虑了生存期预测的影响因子。
63.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
64.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
65.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
66.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
67.以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，包括以下步骤：获取目标对象的多模态磁共振影像数据和核磁波谱数据；将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；依据肿瘤级别匹配相应预构建的cov-split transformer模型；通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。2.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述多模态磁共振影像数据包括t1w、t2w、t1wce和flair四个模态数据。3.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述决策树依据生化特征进行肿瘤级别划分。4.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述生化特征包括idh、atrx、1p/19q、cdkn2a/b、tert_egfr、h3.3 g34r/v和h3 k27m。5.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述肿瘤级别包括胶质细胞瘤who1、who2、who3和who4四个等级。6.根据权利要求1所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述cov-split transformer模型包括2d卷积块、池化块、3个bottleneck0、1个bottleneck1、2个矩阵相加函数块、分割标号模块、线性投影模块以及transformer encoder模块。7.根据权利要求5所述的基于多模态影像的胶质瘤患者预后生存期预测方法，其特征是，所述数据导入模块，用于接收输入的多模态磁共振影像数据和核磁波谱数据；所述2d卷积块，用于将三维的多模态磁共振影像数据投影到二维；所述池化块，用于对数据进行池化处理；所述bottleneck0，由三个卷积层组成；所述bottleneck1，由三个卷积层组成；所述矩阵相加函数块，用于对卷积结果进行相加运算所述分割标号模块，用于将图像分成九个等大的小正方形并标号；所述线性投影模块，用于对图像进行线性投影；所述transformer encoder模块，用于对高维的全局特征建模。8.基于多模态影像的胶质瘤患者预后生存期预测系统，其特征是，包括：数据获取模块，用于获取目标对象的多模态磁共振影像数据和核磁波谱数据；级别划分模块，用于将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；模型匹配模块，用于依据肿瘤级别匹配相应预构建的cov-split transformer模型；特征提取模块，用于通过cov-split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；预测分析模块，用于对多模态磁共振影像数据和核磁波谱数据中的全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。
9.一种计算机终端，包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。10.一种计算机可读介质，其上存储有计算机程序，其特征是，所述计算机程序被处理器执行可实现如权利要求1-7中任意一项所述的基于多模态影像的胶质瘤患者预后生存期预测方法。

技术总结
本发明公开了基于多模态影像的胶质瘤患者预后生存期预测方法及系统，涉及数据处理技术领域，其技术方案要点是：将多模态磁共振影像数据输入到决策树后确定目标对象的肿瘤级别；依据肿瘤级别匹配cov-Split transformer模型；通过cov-Split transformer模型分别提取多模态磁共振影像数据和核磁波谱数据中的全局特征；对全局特征进行线性化处理，并加入目标对象的年龄信息后进行全连接，预测得到目标对象的预后生存期。本发明能够对深度提取图像的特征，同时扩大了感受野，加入了位置信息，一定程度上避免了特征的损失；且无需补充肿瘤几何特性，使得所提取的特征较为轻量化，提高了预测的精度。了预测的精度。了预测的精度。


技术研发人员：刘齐宏
受保护的技术使用者：四川大学
技术研发日：2023.05.05
技术公布日：2023/8/6