一种基于注意力机制的深度学习影像组学诺模图预测方法

：
1.本发明涉及模型预测的技术，尤其是一种基于注意力机制的深度学习影像组学诺模图预测方法，该方法在模型预测方面有着很好的应用。


背景技术：

2.乳腺癌是最常见的恶性肿瘤，也是全世界女性癌症相关死亡的主要原因之一。随着辅助治疗的广泛采用，早期乳腺癌患者的预后得到显著改善。然而，大约20％到25％的乳腺癌患者会发生乳腺癌远处转移，远处转移是乳腺癌患者死亡的主要原因。为了提取医学影像中更深层次的医学信息，基于卷积神经网络的深度学习模型被越来越多的研究学者运用到医学图像分析的研究中。深度学习中的卷积神经网络可以用高通量、多维度和抽象化的特征信息来表达原始图像，相比其他方法，卷积核可以自动地提取图像特征，从而避免了繁杂耗时的特征提取工作。采用深度学习方法提取特征，通常将整张图像作为输入。然而医学影像分析更关注于病灶区域信息，对图像的全局处理会导致信息冗余。注意力机制作为一种高效的资源分配方案，已经被应用于特征提取模型。将注意力机制嵌入神经网络中，可以引导网络以高权重方式聚焦身体成分区域的重要信息，以低权重方式忽略不相关的信息，从而能够提高网络的特征提取能力。
3.为了实现更好的预测性能，本发明采用了一种基于注意力机制的深度学习影像组学诺模图模型，用于预测和评估乳腺癌的远处转移。进一步构建了网络特征，身体成分和临床病理因素的整合多模态诺模图模型。


技术实现要素：

4.为了解决提升模型预测性能的问题，本发明公开了一种基于注意力机制的深度学习影像组学诺模图方法。
5.为此，本发明提供了如下技术方案：
6.1.一种基于注意力机制的深度学习影像组学诺模图方法，其特征在于，该方法包括以下步骤：
7.步骤1：利用imagej软件来分析t4层和t11层的ct横截面图像，从而测量身体成分参数。
8.步骤2：使用densenet121结合senet注意力机制训练深度学习网络，然后使用数据集中验证队列的数据调整模型参数。
9.步骤3：特征选择模块，采用单因素和多因素cox回归，将p值小于0.05的显著性因素纳入多变量cox回归中进行分析。
10.步骤4：从ct图像中提取10个网络特征进行逻辑回归加权得到dl.signature。
11.步骤5：使用逻辑回归将选取的临床病理因素和身体成分特征以及dl.signature加权融合构建乳腺癌的诺模图预后模型sedlr-n。
12.有益效果：
13.1.本发明是一种基于融合注意力机制的深度学习影像组学诺模图方法，是对乳腺癌远处转移模型预测的一种新方法。
14.2.本发明结合了深度学习影像组学方法从乳腺癌的ct图像中提取出高通量特征，使用融合通道注意力机制的卷积神经网络来以高权重方式聚焦身体成分区域的重要信息，以低权重方式忽略ct图像中不相关的信息，从而能够提高网络的特征提取能力。采用加权诺模图结合不同模态的特征，为每个模态的特征赋予不同的权重值提高多模态模型的预测性能。
附图说明：
15.图1为本发明的结构示意图。
16.图2为本发明实施方式中的基于融合注意力机制的深度学习影像组学诺模图模型过程图。
17.图3为本发明实施方式中的sedlr-n模型在不同阈值下的标准化净收益图。
具体实施方式：
18.为了使本发明的实施例中的技术方案能够清楚和完整地描述，以下结合实施例中的附图，对本发明进行进一步的详细说明。
19.如图1所示，本发明实施例提供了一种基于融合注意力机制的深度学习影像组学诺模图方法，包括以下步骤：
20.步骤1：利用imagej软件来分析t4层和t11层的ct横截面图像，从而测量身体成分参数。
21.步骤1-1调整imagej软件的阈值，骨骼肌的hu阈值为-29到+150，内脏脂肪组织为-150到-50，皮下脂肪组织为-190到-30。
22.步骤1-2从乳腺癌的t4层和t11层的ct图像中测量出胸肌面积(pma)、竖脊肌面积(esma)、内脏脂肪组织面积(vfa)和皮下脂肪组织面积(sfa)。
23.步骤1-3面积除以患者身高的平方可计算得到胸肌指数(pmi)、竖脊肌指数(esmi)、内脏脂肪组织指数(vfi)和皮下脂肪组织指数(sfi)。
24.本发明实施方式中的一种基于注意力机制的深度学习影像组学诺模图模型过程，如图2所示，具体过程如下：
25.步骤2-1densenet121网络密集连接的稠密块加强了特征的传播，其第n个卷积块的输出特征向量可以表示为：
26.fn＝[x0,x1,...,x
n-1
,hn([x0,x1,...,x
n-1
])]
[0027]
步骤2-2在卷积神经网络模型中加入senet注意力机制，在每个密集块的最后一层使用senet模块。
[0028]
步骤2-3全链接层，模型在全连接层中执行矩阵计算：output＝wx+b然后进行非线性激活，其中w、x、b分别是可学习的权重矩阵、数据矩阵和按元素添加的偏置值。将深度学习模型的倒数第二个全连接(fc)层输出，作为每个图像的网络特征。
[0029]
步骤2-4损失函数，预测分类情况的好坏可以通过损失函数来评价，使用交叉熵损失(cross-entropy loss)来评价模型。
[0030][0031]
n为待预测样本总数，x为预测样本，y为该样本实际值，为该样本预测值。
[0032]
步骤2-5优化器，adam优化器将动量直接整合到了梯度的一阶矩(即指数加权移动平均)估计中。相比于rmsprop优化器在训练初期可能出现高偏差的问题，adam优化器通过包含修正因子来修正从原点初始化的一阶矩(即动量项)和非中心的二阶矩估计。adam算法策略可以表示为：
[0033][0034]
其中，和分别为一阶动量项和二阶动量项。为动力值大小通常分别取0.9和0.999，分别为各自的修正值。表示t时刻即第t迭代模型的参数，表示t次迭代代价函数关于w的梯度大小；∈是一个取值很小的数(一般为1e-8)为了避免分母为0。
[0035]
步骤2-6卷积神经网络中的激活函数可以表示为：
[0036][0037][0038]
relu＝max(0,r)
[0039]
步骤3：特征选择模块，采用单因素和多因素cox回归，将p值小于0.05的显著性因素纳入多变量cox回归中进行分析。具体为：
[0040]
步骤3-1对原始数据集的全部临床变量进行单因素分析，根据以下公式计算：
[0041][0042]
其中，β1,β2,...,βm为自变量的偏回归系数；
[0043]
步骤3-2将步骤3-1中p值小于0.05的显著性因素纳入多变量cox回归中进行分析；
[0044]
步骤3-3将多变量cox回归中的显著性因素作为独立的预后因素，特征子集如表1所示。
[0045]
表1
[0046][0047][0048]
步骤4：从t4层图像提取的10个网络特征进行逻辑回归加权得到dl.signature。
[0049]
步骤4-1从乳腺癌的ct图像中提取了10个特征，并将网络特征命名为xi，i∈[1，10]。
[0050]
步骤4-2特征提取后，获取了10个深度学习网络特征，并利用逻辑回归技术开发了影像组学特征。深度学习签名根据以下公式计算：
[0051]
s＝w1x1+w2x2+
…
+wixi+b
[0052]
其中，xi是深度网络特征，wi是对应的权重。
[0053]
深度学习网络特征对应的特征权重如表2所示。
[0054]
表2
[0055]
featureweightx1-0.5212x2-0.5304x31.6928x40.3079x5-2.4457x6-0.7143x7-0.5978x80.7675x90.5629x10-0.9429
[0056]
步骤5：使用诺模图将选取的临床病理因素和身体成分参数以及ct图像特征结合构建乳腺癌的预后模型sedlr-n，具体步骤为：
[0057]
步骤5-1从临床病理因素和身体成分参数中选取乳腺癌预后的独立预后因素。
[0058]
步骤5-2使用逻辑回归方法为临床数据和ct图像特征赋予不同的权重。
[0059]
步骤5-3计算模型整体性能c-index，brier分数，nergekerke的r2和标准化净收益(snb)来评估模型的整体性能，brier分数公式计算：
[0060]
σ(y
j-probj)2/n
[0061]
其中，y为结果，prob为n个样本的数据集中样本j的预测概率。
[0062]
r2公式计算：
[0063][0064]
其中，若用yj表示真实的观测值，用y2表示真实观测值的平均值，用表示预测值。
[0065]
本实施例采用的数据集来源于某肿瘤医院提供的乳腺癌数据实例，本发明与传统单模态分类性能进行相比，性能有所提高，选择如下算法评价分类指标：c-index，brier，r2，snb(标准化净收益)作为算法的分类性能指标，本发明深度学习影像组学模型的性能指标如表3所示。
[0066]
表3
[0067]
模型对比c-indexbrierr2snb(0.5)
sedlr-n0.9500.0830.6960.607
[0068]
以上所述是结合附图对本发明的实施例进行的详细介绍，需要指出的是，本文的具体实施方式只是用于帮助理解本发明的方法，对于本技术领域的普通技术人员在依据本发明的前提下，可以做出若干变化和修改，上述变化和修改的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，该方法包括以下步骤：步骤1：利用imagej软件来分析t4层和t11层的ct横截面图像，从而测量身体成分参数。步骤2：使用densenet121结合senet注意力机制训练深度学习网络，然后使用数据集中验证队列的数据调整模型参数。步骤3：特征选择模块，采用单因素和多因素cox回归，将p值小于0.05的显著性因素纳入多变量cox回归中进行分析。步骤4：从ct图像中提取10个网络特征进行逻辑回归加权得到dl.signature。步骤5：使用逻辑回归将选取的临床病理因素和身体成分特征以及dl.signature加权融合构建乳腺癌的诺模图预后模型sedlr-n。2.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤1中，数据预处理模块，对完整图像数据集进行身体成分参数的测量，具体步骤为：步骤1-1调整imagej软件的阈值，骨骼肌的hu阈值为-29到+150，内脏脂肪组织为-150到-50，皮下脂肪组织为-190到-30。步骤1-2从乳腺癌的t4层和t11层的ct图像中测量出胸肌面积(pma)、竖脊肌面积(esma)、内脏脂肪组织面积(vfa)和皮下脂肪组织面积(sfa)。步骤1-3面积除以患者身高的平方可计算得到胸肌指数(pmi)、竖脊肌指数(esmi)、内脏脂肪组织指数(vfi)和皮下脂肪组织指数(sfi)。3.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤2中图像特征提取模块，使用通道注意力机制和卷积神经网络相结合的方法对乳腺癌ct图像进行特征提取，具体步骤为：步骤2-1densenet121网络密集连接的稠密块加强了特征的传播，其第n个卷积块的输出特征向量可以表示为：f
n
＝[x0,x1,...,x
n-1
,h
n
([x0,x1,...,x
n-1
])]步骤2-2在卷积神经网络模型中加入senet注意力机制，在每个密集块的最后一层使用senet模块。步骤2-3全链接层，模型在全连接层中执行矩阵计算：output＝wx+b然后进行非线性激活，其中w、x、b分别是可学习的权重矩阵、数据矩阵和按元素添加的偏置值。将深度学习模型的倒数第二个全连接(fc)层输出，作为每个图像的网络特征。步骤2-4损失函数，预测分类情况的好坏可以通过损失函数来评价，使用交叉熵损失(cross-entropy loss)来评价模型。n为待预测样本总数，x为预测样本，y为该样本实际值，为该样本预测值。步骤2-5优化器，adam优化器将动量直接整合到了梯度的一阶矩(即指数加权移动平均)估计中。相比于rmsprop优化器在训练初期可能出现高偏差的问题，adam优化器通过包含修正因子来修正从原点初始化的一阶矩(即动量项)和非中心的二阶矩估计。adam算法策
略可以表示为：其中，和分别为一阶动量项和二阶动量项。为动力值大小通常分别取0.9和0.999，分别为各自的修正值。表示t时刻即第t迭代模型的参数，表示t次迭代代价函数关于w的梯度大小；∈是一个取值很小的数(一般为1e-8)为了避免分母为0。步骤2-6卷积神经网络中的激活函数可以表示为：6卷积神经网络中的激活函数可以表示为：relu＝max(0,r)。4.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤3中，特征选择模块，采用单因素和多因素cox回归分析选择独立的预后因素，具体步骤为：步骤3-1对原始数据集的全部临床变量进行单因素分析，根据以下公式计算：其中，β1,β2,...,β
m
为自变量的偏回归系数；步骤3-2将p值小于0.05的显著性因素纳入多变量cox回归中进行分析；步骤3-3将多变量cox回归中的显著性因素作为独立的预后因素。5.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤4中，从t4层图像提取10个网络特征进行逻辑回归加权得到dl.signature，具体步骤为：步骤4-1从乳腺癌的ct图像中提取了10个特征，并将网络特征命名为x
i
，i∈[1，10]。步骤4-2特征提取后，获取了10个深度学习网络特征，并利用逻辑回归技术开发了影像组学特征。深度学习签名根据以下公式计算：s＝w1x1+w2x2+...+w
i
x
i
+b其中，x
i
是深度网络特征，w
i
是对应的权重。6.根据权利要求1所述的一种基于注意力机制的深度学习影像组学诺模图预测方法，其特征在于，所述步骤5中，使用诺模图将选取的临床病理因素和身体成分参数以及ct图像特征结合构建乳腺癌的预后模型sedlr-n，具体步骤为：步骤5-1从临床病理因素和身体成分参数中选取乳腺癌预后的独立预后因素。步骤5-2使用逻辑回归方法为临床数据和ct图像特征赋予不同的权重。步骤5-3计算模型整体性能c-index，brier分数，nergekerke的r2和标准化净收益(snb)来评估模型的整体性能，brier分数公式计算：
∑(y
j-prob
j
)2/n其中，y为结果，prob为n个样本的数据集中样本j的预测概率。r2公式计算：其中，若用y
j
表示真实的观测值，用y2表示真实观测值的平均值，用表示预测值。

技术总结
本发明涉及一种基于注意力机制的深度学习影像组学诺模图预测方法，该方法包括以下步骤：数据预处理模块，深度学习网络的训练和图像特征提取模块、临床病理的特征选择模块，深度学习特征评分的建立以及多模态特征融合模块；对深度学习网络的训练和图像特征提取模块，使用DenseNet121结合SENet注意力机制训练深度学习网络，并深度学习模型的倒数第二个全连接层输出，作为每个图像的网络特征；特征选择模块，采用单因素和多因素COX回归，将P值小于0.05的显著性因素纳入多变量COX回归中进行分析；本发明将SENet注意力机制信引入DenseNet121卷积神经网络，可以引导网络以高权重方式聚焦CT图像中的重要信息，使用逻辑回归诺模图的方法结合多模态特征，SEDLR-N模型在预测乳腺癌预后方面具有很高的性能，并且将不同模态的信息进行融合，在融合多模态的同时也考虑了不同模态的重要程度并给予不同的权重。重。


技术研发人员：安云飞 周文进 苗世迪
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.04.02
技术公布日：2023/7/28