肿瘤治疗预后预测方法、装置、电子设备及存储介质

1.本发明涉及医学检测技术领域，尤其涉及一种肿瘤治疗预后预测方法、装置、电子设备及存储介质。


背景技术：

2.近年来，随着深度学习技术的高速发展，不断有面向医疗领域，特别是预后预测和生存分析等具体问题的模型被提出。例如，现有技术公开了一种基于深度学习技术的肺癌疗效预测模型，通过分析序列的肺部ct图像进行预后预测。另外，现有技术还公开了一种多层级的注意力架构来学习全景病理图像的信息，并进行预后分析。
3.虽然，这些模型能够在各自的任务上取得一定效果，但是这些模型均是基于单模态数据处理的模型，对于肿瘤抗her2治疗预后的预测精度并不高，很难达到临床应用的要求。


技术实现要素：

4.本发明提供一种肿瘤治疗预后预测方法、装置、电子设备及存储介质，用以解决现有技术中肿瘤抗her2治疗预后的预测精度并不高，很难达到临床应用要求的缺陷。
5.本发明提供一种肿瘤治疗预后预测方法，包括：获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
6.根据本发明提供的一种肿瘤治疗预后预测方法，所述双模态预后模型包括特征提取层、特征融合层和输出层；所述将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果，包括：将所述肿瘤组织的切片图像输入至所述特征提取层进行特征提取，得到所述特征提取层输出的所述切片图像的深度特征和组学特征；将所述临床报告信息、所述患者信息以及所述切片图像的深度特征和组学特征输入至所述特征融合层进行特征融合，得到所述特征融合层输出的多模态融合特征；将所述多模态融合特征输入至所述输出层进行分类处理，得到所述输出层输出的所述待测患者的肿瘤抗her2治疗预后预测结果。
7.根据本发明提供的一种肿瘤治疗预后预测方法，所述切片图像包括放射学图像和病理学图像中的至少一种；所述放射学图像包括多个第一感兴趣区域；所述病理学图像包括多个第二感兴趣区域，每个所述第二感兴趣区域包括多个图像块，每个图像块包括多个
图像子块；所述特征提取层包括深度特征提取模块、自注意力模块、特征聚合模块和组学特征提取模块；所述深度特征提取模块用于提取所述放射学图像中各个第一感兴趣区域的第一初始深度特征图；所述自注意力模块用于识别各个所述第一初始深度特征图之间的相关性，生成所述各个第一感兴趣区域对应的第一增强特征；所述特征聚合模块用于将所述各个第一感兴趣区域对应的第一增强特征聚合为单个特征，得到所述放射学图像的深度特征；所述组学特征提取模块用于提取所述放射学图像的组学特征；所述深度特征提取模块还用于提取所述病理学图像中每个第二感兴趣区域中各个图像子块的第二初始深度特征图；所述自注意力模块还用于识别所述第二初始深度特征图的每个图像块中各个图像子块的第二初始深度特征图之间的相关性，得到每个所述图像块中各个图像子块对应的第二增强特征；所述特征聚合模块还用于将每个所述图像块中各个图像子块对应的第二增强特征聚合为单个特征，得到每个所述第二感兴趣区域中每个所述图像块的聚合特征；所述自注意力模块还用于识别每个所述第二感兴趣区域中每个所述图像块的聚合特征之间的相关性，得到每个所述第二感兴趣区域对应的第三增强特征；所述特征聚合模块还用于将每个所述第二感兴趣区域对应的第三增强特征聚合为单个特征，得到所述病理学图像的深度特征；所述组学特征提取模块还用于提取所述病理学图像的组学特征。
8.根据本发明提供的一种肿瘤治疗预后预测方法，所述特征融合层包括模态内融合模块、模态间融合模块和患者信息融合模块； 所述模态内融合模块用于利用交叉注意力机制，将所述临床报告信息以及所述切片图像的深度特征和组学特征进行特征融合，得到模态内融合特征；所述模态间融合模块用于根据所述模态内融合特征的类型，采用对应的特征融合策略对所述模态内融合特征进行融合处理，得到模态间融合特征；所述模态内融合特征的类型是基于所述切片图像的类型和所述临床报告信息的类型确定的；所述患者信息融合模块用于对所述患者信息进行编码处理，得到患者信息特征，并将所述患者信息特征和所述模态间融合特征进行特征融合，得到所述多模态融合特征。
9.根据本发明提供的一种肿瘤治疗预后预测方法，所述切片图像包括放射学图像和/或病理学图像；所述模态间融合模块用于在所述模态内融合特征的类型包括所述放射学图像对应的第一模态内融合特征和所述病理学图像对应的第二模态内融合特征的情况下，分别对所述第一模态内融合特征和所述第二模态内融合特征进行模态特征划分，得到所述第一模态内融合特征对应的第一模态特定特征和第一模态无关特征、所述第二模态内融合特征对应的第二模态特定特征和第二模态无关特征；利用预设对齐算法，将所述第一模态无关特征和所述第二模态无关特征进行特征对齐，并对对齐后的第一模态无关特征和第二模态无关特征进行融合，得到平均模态无关特征；将所述第一模态特定特征、所述平均模态无关特征和所述第二模态特定特征进行依次拼接处理，得到第一模态间融合特征；或，在所述模态内融合特征的类型仅包括所述放射学图像对应的第一模态内融合特征的情况下，对所述第一模态内融合特征进行模态特征划分，得到所述第一模态特定特征和所述第一模态无关特征；将所述第一模态特定特征、所述第一模态无关特征和预设可学习的病理学特征进行依次拼接处理，得到第二模态间融合特征；或，在所述模态内融合特征的类型仅包括所述病理学图像对应的第二模态内融合特征的情况下，对所述第二模态内融合特征进行模态特征划分，得到所述第二模态特定特征和所述第二模态无关特征；将所述第二模态特定特征、所述第二模态无关特征和预设可
学习的放射学特征进行依次拼接处理，得到第三模态间融合特征；所述模态间融合特征包括所述第一模态间融合特征、所述第二模态间融合特征和所述第三模态间融合特征。
10.根据本发明提供的一种肿瘤治疗预后预测方法，在所述将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型之前，所述方法还包括：将所述肿瘤抗her2治疗信息样本和对应的样本标签信息作为一组训练样本，获取多组训练样本；对于任意一组训练样本，将所述训练样本输入到所述双模态预后模型，获得所述双模态预后模型输出的所述训练样本对应的预测概率值；利用预设损失函数，根据所述训练样本对应的预测概率值和所述训练样本对应的样本标签信息计算损失值；若所述损失值小于预设阈值，则所述双模态预后模型训练完成。
11.根据本发明提供的一种肿瘤治疗预后预测方法，所述预设损失函数是基于交叉熵损失函数、深度生存损失函数、对比学习损失函数和中间监督损失函数确定的；所述深度生存损失函数是基于所述肿瘤抗her2治疗信息样本对应的患者总生存期与预后预测结果之间的关系确定的；所述对比学习损失函数是基于所述肿瘤抗her2治疗信息样本对应的模态融合特征确定的，所述模态融合特征是基于所述肿瘤抗her2治疗信息样本中肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本确定的；所述中间监督损失函数是基于所述肿瘤抗her2治疗信息样本中不同病灶图像的真实类别确定的。
12.本发明还提供一种肿瘤治疗预后预测装置，包括：获取模块，用于获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；预测模块，用于将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述肿瘤治疗预后预测方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述肿瘤治疗预后预测方法。
15.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述肿瘤治疗预后预测方法。
16.本发明提供的肿瘤治疗预后预测方法、装置、电子设备及存储介质，通过考虑癌症患者的肿瘤组织影像、患者信息以及临床报告信息等多模态数据对患者预后结果的影响，利用患者的肿瘤抗her2治疗信息样本包括肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本，以及对应的样本标签信息进行深度神经网络模型训练，得到双模态预后模
型，通过双模态预后模型对待测患者的肿瘤组织的切片图像、临床报告信息和患者信息进行多维度信息融合，根据融合得到的特征进行待测患者的肿瘤抗her2治疗预后预测，可以有效提高肿瘤抗her2治疗预后预测结果的精度，有助于患者的肿瘤抗her2治疗预后的有效评估。
附图说明
17.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1是本发明提供的肿瘤治疗预后预测方法的流程示意图；图2是本发明提供的肿瘤治疗预后预测方法中特征提取的流程示意图之一；图3是本发明提供的肿瘤治疗预后预测方法中特征提取的流程示意图之二；图4是本发明提供的肿瘤治疗预后预测方法中模态内融合模块数据处理的流程示意图；图5a是本发明提供的放射学图像对应的模态内融合特征与病理学图像对应的模态内融合特征进行模态间融合的流程示意图；图5b是本发明提供的仅存在放射学图像对应的模态内融合特征进行模态间融合的流程示意图；图5c是本发明提供的仅存在病理学图像对应的模态内融合特征进行模态间融合的流程示意图；图6是本发明提供的肿瘤治疗预后预测方法中患者信息融合模块数据处理的流程示意图；图7a是本发明提供的her2队列中训练集的roc曲线示意图；图7b是本发明提供的her2队列中验证集的roc曲线示意图;图7c是本发明提供的her2队列中测试队列的roc曲线示意图;图7d是本发明提供的her2+ici队列中训练集的roc曲线示意图;图7e是本发明提供的her2+ici队列中验证集的roc曲线示意图;图8a 是本发明提供的her2队列中训练集对应的kaplan-meier曲线示意图；图8b是本发明提供的her2队列中验证集对应的kaplan-meier曲线示意图；图8c是本发明提供的her2队列中测试队列对应的kaplan-meier曲线示意图；图8d是本发明提供的her2+ici队列中训练集对应的kaplan-meier曲线示意图；图8e是本发明提供的her2+ici队列中验证集对应的kaplan-meier曲线示意图；图9是本发明提供的肿瘤治疗预后预测装置的结构示意图；图10是本发明提供的电子设备的实体结构示意图。
具体实施方式
19.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，
而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.下面结合图1-图10描述本发明的肿瘤治疗预后预测方法、装置、电子设备及存储介质。
21.图1是本发明提供的肿瘤治疗预后预测方法的流程示意图，如图1所示，包括：步骤110和步骤120。
22.步骤110，获取待测患者的肿瘤抗her2治疗信息，肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；步骤120，将待测患者的肿瘤抗her2治疗信息输入至双模态预后模型（dual-modal prognosis model，dmpm），得到双模态预后模型输出的待测患者的肿瘤抗her2治疗预后预测结果；双模态预后模型用于对肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定待测患者的肿瘤抗her2治疗预后预测结果；双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
23.具体地，本发明实施例所描述的肿瘤组织的切片图像可以包括肿瘤组织的放射学图像和病理学图像，其中，放射学图像可以是ct图像，病理学图像可以通过使用全自动定量病理成像系统，例如mantra定量病理分析平台，得到肿瘤组织切片的多重免疫染色图像。
24.需要说明的是，在本发明实施例中，采用的肿瘤组织可以是胃癌肿瘤组织、肝癌肿瘤组织，以及其他可以用于进行抗人表皮生长因子受体-2（her2）治疗预后评估的癌症肿瘤组织。
25.本发明实施例所描述的临床报告信息指的是待测患者临床治疗过程中的报告文本信息。
26.本发明实施例所描述的患者信息指的是待测患者的基本身份信息和病情信息，具体可以包括年龄、性别、肿瘤部位、肿瘤分布、分化程度、lauren分型、治疗线数和开始治疗的时间等文本信息。
27.进一步地，在本发明的实施例中，步骤110中，获取待测患者的多类型的肿瘤抗her2治疗信息，包括肿瘤组织的切片图像、临床报告信息和患者信息。
28.可以理解的是，本发明实施例所描述的肿瘤抗her2治疗信息样本具体可以包括肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本。
29.本发明实施例所描述的肿瘤抗her2治疗预后预测结果指的是预测待测患者肿瘤抗her2治疗预后评估的预测结果，以给医生提供一个数据、图像类分析的预后预测结果进行参考。具体地，其可以采用预后的风险分数的形式来表示。
30.本发明实施例所描述的双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的，用于学习不同肿瘤抗her2治疗预后预测结果下肿瘤抗her2治疗信息之间的内在联系，通过对肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，基于融合得到的特征进行识别，从而输出待测患者的肿瘤抗her2治疗预后预测结果。
31.需要说明的是，本发明实施例中，双模态预后模型可以是基于带有注意力机制的
深度神经网络构建得到的。其中，该深度神经网络模型具体可以为主要基于自注意力机制（self-attention）和交叉注意力机制（cross-attention）的深度神经网络模型，还可以为其他用于肿瘤抗her2治疗预后评估的深度神经网络，在本发明中不做具体限定。
32.其中，在本发明的实施例中，模型训练样本是由多组携带有样本标签信息的肿瘤抗her2治疗信息样本组成的。
33.在本发明的实施例中，样本标签信息是根据肿瘤抗her2治疗信息样本预先确定的，并与肿瘤抗her2治疗信息样本是一一对应的。也就是说，训练样本中的每一个肿瘤抗her2治疗信息样本，都预先设定好携带一个与之对应的样本标签信息。
34.进一步地，通过利用肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到双模态预后模型，将待测患者的肿瘤抗her2治疗信息，包括肿瘤组织的切片图像、临床报告信息和患者信息输入至双模态预后模型进行多模态特征融合和识别，可以得到待测患者的肿瘤抗her2治疗预后预测结果。
35.本发明实施例的肿瘤治疗预后预测方法，通过考虑癌症患者的肿瘤组织影像、患者信息以及临床报告信息等多模态数据对患者预后结果的影响，利用患者的肿瘤抗her2治疗信息样本包括肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本，以及对应的样本标签信息进行深度神经网络模型训练，得到双模态预后模型，通过双模态预后模型对待测患者的肿瘤组织的切片图像、临床报告信息和患者信息进行多维度信息融合，根据融合得到的特征进行待测患者的肿瘤抗her2治疗预后预测，可以有效提高肿瘤抗her2治疗预后预测结果的精度，有助于患者的肿瘤抗her2治疗预后的有效评估。
36.基于上述实施例的内容，作为一种可选的实施例，双模态预后模型包括特征提取层、特征融合层和输出层；将待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到双模态预后模型输出的待测患者的肿瘤抗her2治疗预后预测结果，包括：将肿瘤组织的切片图像输入至特征提取层进行特征提取，得到特征提取层输出的切片图像的深度特征和组学特征；将临床报告信息、患者信息以及切片图像的深度特征和组学特征输入至特征融合层进行特征融合，得到特征融合层输出的多模态融合特征；将多模态融合特征输入至输出层进行分类处理，得到输出层输出的待测患者的肿瘤抗her2治疗预后预测结果。
37.具体地，在本发明的实施例中，双模态预后模型包括特征提取层1、特征融合层2和输出层3，其中，特征提取层1可以对待测患者的肿瘤组织的切片图像进行特征提取，得到该切片图像的深度特征和组学特征。
38.基于上述实施例的内容，作为一种可选的实施例，切片图像包括放射学图像和病理学图像中的至少一种；放射学图像包括多个第一感兴趣区域；病理学图像包括多个第二感兴趣区域，每个第二感兴趣区域包括多个图像块，每个图像块包括多个图像子块。
39.特征提取层1包括深度特征提取模块11、自注意力模块12、特征聚合模块13和组学特征提取模块14；深度特征提取模块11用于提取放射学图像中各个第一感兴趣区域的第一初始深度特征图；自注意力模块12用于识别各个第一初始深度特征图之间的相关性，生成各个第一
forward neural network，fnn），fnn依次包括线性层、relu激活层、dropout层和线性层，还包括残差路径，用于结合第一个线性层的输入和输出。
50.在本发明的实施例中，组学特征提取模块可以采用组学特征提取工具pyradiomics库，以提取待测患者肿瘤组织的切片图像的组学特征。
51.本发明实施例所描述的组学特征可以包括一阶统计特征、形态特征、二阶及高阶纹理特征。其中，一阶统计特征可以反映图像区域内的体素强度的分布；形态特征用来定量描述感兴趣区域的几何特征，如肿瘤的表面积、体积、球形度等，这些特征可以描述肿瘤三维大小和形态信息；二阶及高阶纹理特征可以反映图像体素灰度之间的空间排列关系，包括灰度共生矩阵、灰度尺寸区域矩阵、灰度相关矩阵等参数。
52.图2是本发明提供的肿瘤治疗预后预测方法中特征提取的流程示意图之一，如图2所示，在本发明的实施例中，对于放射学图像，采用深度特征提取模块11从预处理后的放射学图像的各个第一roi中提取第一初始深度特征。然后，利用自注意力模块12来识别各个第一初始深度特征图之间的相关性，并生成第一增强特征。随后，使用特征聚合模块13将各个第一感兴趣区域对应的第一增强特征聚合为单个特征，以为每个病灶生成重要性得分，并将多病灶特征聚合为每个患者的单一特征，并通过多层感知机（multilayer perception，mlp）产生放射学图像的深度特征。此外，使用组学特征提取模块14获得放射学图像的组学特征。
53.具体来说，对于放射学图像，采用mnasnet v1.0的深度学习特征提取器作为深度特征提取模块，从预处理后的放射学图像的各个第一roi中提取第一初始深度特征，可以表示为，其中，表示第一初始深度特征的个数，表示第一初始深度特征的维度。
54.其中，在本发明的实施例中，权重因子的mnasnet作为深度学习backbone，在性能和效率之间达到均衡。该架构具有4383312个参数和0.31个浮点运算 gflops，本实施例中只使用mnasnet作为特征提取器，删除了其分类器，可以获得一个1280维的特征向量，最后应用mlp将此特征向量映射到512维的较低维空间，即特征维度为512。
55.进一步地，利用自注意力模块，识别各个第一初始深度特征图之间的相关性，来识别各第一roi区域中病灶之间的相关性，生成各个第一感兴趣区域对应的第一增强特征。
56.具体来说，将n个对象的深层特征向量输入至自注意力模块，首先使用三个独立的功能层将其映射为query、key和value。通过采用softmax激活的掩码矩阵乘法来生成query和key之间的相关性，得到相关性矩阵或热图表示。接下来，将相关性矩阵与value相乘，获得集成了对象之间相关性信息的增强特征。最后，增强后的特征通过具有dropout层和残差路径的mlp传递，得到最终的第一增强特征，可以表示为。
57.在本发明的实施例中，特征维数设置为512，对应于从mnasnet提取的特征。对自注意力模块使用单个头部来减少参数数量和防止过拟合。此外，自注意力模块中的mlp的dropout比率设置为0.2。
58.进一步地，利用特征聚合模块，将各个第一感兴趣区域对应的第一增强特征聚合为单个特征，通过mlp层，生成放射学图像的深度特征。
59.需要说明的是，基于自注意力模块，为个对象生成了增强的高效特征。但是，不同的患者有不同的对象。例如，不同患者中的病变数量或病理图像的分辨率可能不同，导致包的数量不同。因此，有必要将不同对象的特征聚合为每个患者的单个特征，这是特征聚合模块的责任。
60.具体来说，由前面的自注意力模块生成的第一增强特征，会通过线性层为每个对象的重要性得分（）压缩维特征到单个维度。然后，重要性得分将用于聚合多个特征，定义如下：；在本发明的实施例中，使用没有偏差的线性层将维特征投影到单个维度（重要性得分），后跟softmax激活和dropout层，dropout比例为0.2。此外，第一个线性层将特征从映射到维，第二个线性层将映射回。fnn中的所有dropout层比例为0.2。此外，值得注意的是，fnn的输入由层归一化（layer normalization）进行归一化处理。
61.在使用特征聚合模块为每个病灶生成重要性得分，并将多病灶特征聚合为每个患者的单一特征之后，采用mlp产生放射学图像的深度特征。
62.进一步地，在本发明的实施例中，使用预训练的病灶分割器对预处理后的roi放射学图像进行分割，并使用pyradiomics库获得放射学图像的组学特征。放射学图像的深度特征和放射学图像的组学特征共同构成放射学图像特征。
63.图3是本发明提供的肿瘤治疗预后预测方法中特征提取的流程示意图之二，如图3所示，在本发明的实施例中，对于病理学图像，首先根据其标注的第二roi，将高分辨率全切片病理学图像中每个第二roi划分成多个较大的图像块，称为袋（bags）。bags进一步划分成较小的图像子块，称为词（words）。所有图像子块words使用基于mnasnet的特征提取模块11映射成第二初始深度特征，可以表示为，其中，表示第二初始深度特征的个数，表示第二初始深度特征的维度。然后，采用自注意力模块12，后跟特征聚合模块13，识别每个图像块中各个图像子块的第二初始深度特征图之间的相关性，以识别每个bag内words之间的相关性，得到每个bag内各个word对应的第二增强特征，并将其聚合成每个bag的单一特征，即得到每个第二roi中每个bag的聚合特征。
64.需要说明的是，聚合特征的含义根据具体应用场景的不同而不同。在放射学中，聚合特征是指通过聚合每个患者多个病灶的特征生成的特征。在病理学中，它是指通过聚合对应bag内的words特征或通过聚合每个患者的bags特征生成的特征。
65.同样，在本实施例中，使用另一个自注意力模块12和特征聚合模块13在bags之间执行相同的操作，以识别每个第二roi中每个bag的聚合特征之间的相关性，得到每个第二roi对应的第三增强特征，并将每个第二roi对应的第三增强特征聚合为单个特征，即生成
每个患者的单一特征。这一系列自底向上的特征提取过程构成了病理切片的深度特征提取，最后通过mlp，生成该病理学图像的深度特征。此外，使用组学特征提取模块14，如采用pyradiomics库工具，从bags生成病理学图像的组学特征。病理学图像的深度特征和病理学图像的组学特征共同构成病理学图像特征。
66.需要说明的是，在本实施例中，特征提取模块、自注意力模块和特征聚合模块具体的处理过程可以参照上述放射学图像场景中的介绍，在此不做赘述。
67.本发明实施例的方法，通过采用深度特征提取模块、自注意力模块、特征聚合模块和组学特征提取模块构成特征提取层，针对切片图像为放射学图像或病理学图像场景，可以有效提取对应的图像深度特征和组学特征，提高肿瘤组织切皮图像特征提取的有效性和多样性。
68.进一步地，在本发明的实施例中，在提取到切片图像的深度特征和组学特征之后，将临床报告信息、患者信息以及切片图像的深度特征和组学特征输入至特征融合层进行特征融合，可以得到特征融合层输出的多模态融合特征。
69.基于上述实施例的内容，作为一种可选的实施例，特征融合层包括模态内融合模块、模态间融合模块和患者信息融合模块；模态内融合模块用于利用交叉注意力机制，将临床报告信息以及切片图像的深度特征和组学特征进行特征融合，得到模态内融合特征；模态间融合模块用于根据模态内融合特征的类型，采用对应的特征融合策略对模态内融合特征进行融合处理，得到模态间融合特征；模态内融合特征的类型是基于切片图像的类型和临床报告信息的类型确定的；患者信息融合模块用于对患者信息进行编码处理，得到患者信息特征，并将患者信息特征和模态间融合特征进行特征融合，得到多模态融合特征。
70.具体地，本发明实施例所描述的模态内融合特征指的是将待测患者的临床报告信息、肿瘤组织切片图像的深度特征和组学特征进行交叉融合所得到的特征。
71.图4是本发明提供的肿瘤治疗预后预测方法中模态内融合模块数据处理的流程示意图，如图4所示，在本发明的实施例中，首先，切片图像特征由组学特征和深度特征组成，通过一系列功能线性层生成不同的功能特征（query、key和value），获得组学特征对应的为query和value，以及深度特征对应的key。其次，交叉注意力层用于根据query和key之间的交互聚合来自value和key的信息，由此生成组学特征和深度特征之间的交叉注意力特征。同时，使用独热编码器，即one-hot编码器，将临床报告信息映射为one-hot码嵌入，其在之后充当query和value的角色。与用于上述组学特征的处理过程相似，采用交叉注意力层来聚合来自value和key的信息，获得临床报告信息和深度特征之间的交叉注意力特征。最后，将这两个交叉注意力特征与原始的深度特征一起输入到逐元素叠加模块进行逐元素相加，得到模态内融合特征。
72.在本发明的实施例中，模态内融合模块的输入是肿瘤组织的切片图像特征和专家提供的临床报告信息，其中，切片图像特征可以包括放射学图像特征和病理学图像特征，放射学图像特征包括放射学图像的深度特征和放射学图像的组学特征，病理学图像特征包括病理学图像的深度特征和病理学图像的组学特征；临床报告信息包括放射学家提供的患者的放射学临床报告信息，以及病理学家提供的患者的病理学临床报告信息。
73.可以理解的是，针对输入是肿瘤组织的放射学图像特征和放射学临床报告信息，模态内融合模块输出的放射学图像对应的模态内融合特征；针对输入是肿瘤组织的病理学图像特征和病理学临床报告信息，模态内融合模块输出的病理学图像对应的模态内融合特征。
74.进一步地，在本发明的实施例中，模态间融合模块用于根据模态内融合特征的类型，采用对应的特征融合策略对模态内融合特征进行融合处理，得到模态间融合特征。
75.可以理解的是，模态内融合特征的类型是基于切片图像的类型和临床报告信息的类型确定的，可以分为放射学图像对应的模态内融合特征和病理学图像对应的模态内融合特征。
76.基于上述实施例的内容，作为一种可选的实施例，切片图像包括放射学图像和/或病理学图像；模态间融合模块用于在模态内融合特征的类型包括放射学图像对应的第一模态内融合特征和病理学图像对应的第二模态内融合特征的情况下，分别对第一模态内融合特征和第二模态内融合特征进行模态特征划分，得到第一模态内融合特征对应的第一模态特定特征和第一模态无关特征、第二模态内融合特征对应的第二模态特定特征和第二模态无关特征；利用预设对齐算法，将第一模态无关特征和第二模态无关特征进行特征对齐，并对对齐后的第一模态无关特征和第二模态无关特征进行融合，得到平均模态无关特征；将第一模态特定特征、平均模态无关特征和第二模态特定特征进行依次拼接处理，得到第一模态间融合特征；或，在模态内融合特征的类型仅包括放射学图像对应的第一模态内融合特征的情况下，对第一模态内融合特征进行模态特征划分，得到第一模态特定特征和第一模态无关特征；将第一模态特定特征、第一模态无关特征和预设可学习的病理学特征进行依次拼接处理，得到第二模态间融合特征；或，在模态内融合特征的类型仅包括病理学图像对应的第二模态内融合特征的情况下，对第二模态内融合特征进行模态特征划分，得到第二模态特定特征和第二模态无关特征；将第二模态特定特征、第二模态无关特征和预设可学习的放射学特征进行依次拼接处理，得到第三模态间融合特征；模态间融合特征包括第一模态间融合特征、第二模态间融合特征和第三模态间融合特征。
77.具体地，本发明实施例所描述的第一模态内融合特征即为放射学图像对应的模态内融合特征，第二模态内融合特征即为病理学图像对应的模态内融合特征。
78.本发明实施例所描述的模态特定特征指的是每个模态内融合特征所特有的向量特征，模态无关特征指的是不同模态内融合特征之间所具有的相同向量特征。
79.在本发明的实施例中，模态内融合模块生成的放射学聚合特征（即放射学图像对应的模态内融合特征）和病理学聚合特征（即病理学图像对应的模态内融合特征）被用作模态间融合模块的输入。
80.图5a是本发明提供的放射学图像对应的模态内融合特征与病理学图像对应的模态内融合特征进行模态间融合的流程示意图，如图5a所示，在本发明的实施例中，在确定模态内融合特征的类型包括放射学图像对应的第一模态内融合特征和病理学图像对应的第二模态内融合特征的情况下，这种情况下，说明待测患者的放射学和病理学数据均可用，这时可以通过对应的线性层、模态特定层以及模态无关层，分别对第一模态内融合特征和第二模态内融合特征进行模态特征划分，得到第一模态内融合特征对应的第一模态特定特征和第一模态无关特征，以及第二模态内融合特征对应的第二模态特定特征和第二模态无关特征。
81.其中，在本实施例中，模态特定层和模态无关层可以采用两个独立的全连接层，分别对第一模态内融合特征和第二模态内融合特征进行模态特征分类，划分出对应的模态特定特征和模态无关特征。
82.进一步地，利用预设对齐算法，将第一模态无关特征和第二模态无关特征进行特征对齐，并对对齐后的第一模态无关特征和第二模态无关特征进行执行逐元素平均操作，实现特征融合，得到平均模态无关特征，进而，可以利用concat操作，将第一模态特定特征、平均模态无关特征和第二模态特定特征进行依次拼接处理，得到第一模态间融合特征。
83.可以理解的是，第一模态间融合特征为待测患者的放射学和病理学数据均可用情况下的模态间融合特征。
84.图5b是本发明提供的仅存在放射学图像对应的模态内融合特征进行模态间融合的流程示意图，如图5b所示，在本发明的实施例中，在确定模态内融合特征的类型仅包括放射学图像对应的第一模态内融合特征的情况下，这种情况说明缺乏待测患者的病理学数据，病理学聚合特征缺失。此时可以提前设置一个预设可学习的病理学特征作为占位符。进一步地，通过对应的模态特定层和模态无关层，对第一模态内融合特征进行模态特征划分，得到第一模态特定特征和第一模态无关特征，此时，仅产生一个模态无关特征，将其视为平均模态无关特征，并利用concat操作，将第一模态特定特征、第一模态无关特征和预设可学习的病理学特征进行依次拼接处理，得到第二模态间融合特征。
85.可以理解的是，第二模态间融合特征为仅待测患者的放射学数据可用情况下的模态间融合特征。
86.图5c是本发明提供的仅存在病理学图像对应的模态内融合特征进行模态间融合的流程示意图，如图5c所示，同样地，在本发明的实施例中，在确定模态内融合特征的类型仅包括病理学图像对应的第二模态内融合特征的情况下，这种情况说明缺乏待测患者的放射学数据，放射学聚合特征缺失。此时同样可以提前设置一个预设可学习的放射学特征作为占位符。进一步地，通过对应的模态特定层和模态无关层，对第二模态内融
合特征进行模态特征划分，得到第二模态特定特征和第二模态无关特征，并利用concat操作，将第二模态特定特征、第二模态无关特征和预设可学习的放射学特征进行依次拼接处理，得到第三模态间融合特征。
87.可以理解的是，第三模态间融合特征为仅待测患者的病理学数据可用情况下的模态间融合特征。
88.需要说明的是，预设可学习的病理学特征和预设可学习的放射学特征初始化为零向量。
89.本发明实施例的方法，通过考虑临床实践中患者治疗数据的情况，针对不同场景采用不同特征融合策略进行多模态特征的融合处理，可以灵活应对某一模态缺失的情况，有效提升了肿瘤抗her2治疗预后预测模型在实际临床场景中的适用性。
90.图6是本发明提供的肿瘤治疗预后预测方法中患者信息融合模块数据处理的流程示意图，如图6所示，在本发明的实施例中，通过患者信息融合模块，首先利用one-hot编码器，将待测患者的患者信息编码为one-hot嵌入，得到患者信息特征，并通过线性层映射为query和value，同时将模态间融合特征，包括第一模态间融合特征，或第二模态间融合特征，或第三模态间融合特征，通过线性层映射为对应的key，最后，将key、query和value输入至交叉注意力层，实现将该患者信息特征和模态间融合特征之间的特征融合，得到多模态融合特征。
91.可以理解的是，针对不同类型的输入，患者信息融合模块输出的多模态融合特征的类型也不同。针对待测患者的放射学和病理学数据均可用情况下的模态间融合特征、仅待测患者的放射学数据可用情况下的模态间融合特征和仅待测患者的病理学数据可用情况下的模态间融合特征的输入，对应输出各自情况下的多模态融合特征。
92.也就是说，在本发明的实施例中，多模态融合特征可以包括三类多模态融合特征，分别是待测患者的放射学和病理学数据均可用情况下的多模态融合特征、仅待测患者的放射学数据可用情况下的多模态融合特征和仅待测患者的病理学数据可用情况下的多模态融合特征。
93.本发明实施例的方法，通过采用模态内融合模块、模态间融合模块和患者信息融合模块构建特征融合层，从多个维度对患者信息、临床报告信息以及切片图像的深度特征和组学特征进行跨模态特征融合，有利于提升肿瘤抗her2治疗预后预测模型的预测精度。
94.进一步地，在本发明的实施例中，在获取到多模态融合特征之后，可以将多模态融合特征输入至输出层进行分类处理，得到输出层输出的待测患者的肿瘤抗her2治疗预后预测结果。
95.其中，在本实施例中，输出层可以采用全连接层，对基于患者信息、临床报告信息以及切片图像的深度特征和组学特征进行跨模态融合后的多模态融合特征进行分类计算，得到待测患者肿瘤抗her2治疗预后的风险分数，从而获取待测患者的肿瘤抗her2治疗预后预测结果。
96.本发明实施例的方法，通过特征提取层从放射学或病理学数据中提取深度特征和
组学特征构成图像特征，由特征融合层融合放射学或病理学的图像特征以及临床报告信息生成两种模态的特征，同时使用跨模态融合机制整合两种模态的特征，并合并患者信息的文本特征，最后由全连接层输出预测的预后风险分数，可以有效提升肿瘤抗her2治疗预后预测的精度。
97.基于上述实施例的内容，作为一种可选的实施例，将待测患者的肿瘤抗her2治疗信息输入至双模态预后模型之前，该方法还包括：将肿瘤抗her2治疗信息样本和对应的样本标签信息作为一组训练样本，获取多组训练样本；对于任意一组训练样本，将训练样本输入到双模态预后模型，获得双模态预后模型输出的训练样本对应的预测概率值；利用预设损失函数，根据训练样本对应的预测概率值和训练样本对应的样本标签信息计算损失值；若损失值小于预设阈值，则双模态预后模型训练完成。
98.具体地，在本发明的实施例中，在将肿瘤抗her2治疗信息输入至双模态预后模型之前，还需对双模态预后模型进行训练，以得到训练好的双模态预后模型。
99.在本发明的实施例中，从多个医学机构收集患者的肿瘤抗her2治疗信息样本数据，用于训练和评估双模态预后模型。样本数据集包含380名患者，其中271名患者接受了抗her2治疗（描述为her2队列），119名患者接受了联合抗her2治疗（描述为her2+ici队列）。对于her2队列，将其随机分为215名患者的样本数据作为训练集和 56 名患者的样本数据作为验证集。此外，使用来自其他机构的 39 名患者的样本数据作为进一步结果分析的测试集。对于her2+ici队列，遵循与 her2 队列相同的训练和验证过程，随机将其分为89名患者的样本数据用于模型训练，以及30名患者的样本数据用于验证和模型评估。在两个队列的实验过程中，双模态预后模型均先在训练集上进行训练，并在验证集上冻结参数，以进行结果分析和计算。
100.在本发明的实施例中，利用训练集数据对双模态预后模型进行训练，具体训练过程如下：将肿瘤抗her2治疗信息样本和对应的样本标签信息作为一组训练样本，即将肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本作为一组肿瘤抗her2治疗信息样本，将每个带有真实样本标签信息的肿瘤抗her2治疗信息样本作为一组训练样本，由此获取多组训练样本。
101.在本发明的实施例中，肿瘤抗her2治疗信息样本与其携带的样本标签信息是一一对应的。
102.本发明实施例所描述的预设损失函数指的是预先设置在双模态预后模型里的损失函数，用于进行模型评估；预设阈值指的是模型预先设置的阈值，用于获得最小损失值，完成模型训练。
103.在获得多组训练样本之后，对于任意一组训练样本，将每组训练样本中的肿瘤抗her2治疗信息样本与其携带的样本标签信息同时输入至双模态预后模型，输出该训练样本对应的预测概率值。
104.在此基础上，利用预设损失函数，根据该训练样本对应的预测概率值和该训练样
本对应的样本标签信息，计算损失值。
105.基于上述实施例的内容，作为一种可选的实施例，预设损失函数是基于交叉熵损失函数、深度生存损失函数、对比学习损失函数和中间监督损失函数确定的；深度生存损失函数是基于肿瘤抗her2治疗信息样本对应的患者总生存期与预后预测结果之间的关系确定的；对比学习损失函数是基于肿瘤抗her2治疗信息样本对应的模态融合特征确定的，模态融合特征是基于肿瘤抗her2治疗信息样本中肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本确定的；中间监督损失函数是基于肿瘤抗her2治疗信息样本中不同病灶图像的真实类别确定的。
106.具体地，在本发明的实施例中，将实验样本表示为()，。这里，代表输入数据，包括放射学图像数据、病理学图像数据、临床报告信息和患者信息；表示真实类别，定义为响应者和非响应者，代表总生存期，表示事件指示符，1表示死亡，0表示删失。为了解决上面提到的三种数据可用的情况，可以定义三个集合：表示可用双模态数据; 表示缺失放射学数据; 表示缺失病理学数据。基于此，本发明实施例中定义了几个损失函数，分别包括交叉熵损失函数、深度生存损失函数、对比学习损失函数和中间监督损失函数，以此构建预设损失函数。
107.在本发明的实施例中，交叉熵损失用于将患者区分为响应者和非响应者。对于这个二分类问题，损失函数定义如下：；式中，代表模型的可学习参数，代表模型的2维输出。第一个维度对应非响应者（也称为风险评分），第二个维度对应响应者（也称为生存评分）。
108.在本发明的实施例中，深度生存损失函数考虑了不同患者之间总生存期的等级关系，通过使用深度生存损失来指导模型根据总生存期生成有效的风险评分，计算负偏差对数似然如下：；式中，表示一个小批量内总生存期超过第个患者的患者集合；表示参数模型预测的风险评分。
109.在本发明的实施例中，对比学习损失函数用于在不同模态之间对齐模态无关特征。受视觉表示对比学习框架simclr的启发，研究中定义的正对（positive pair）是来自同一患者的聚合特征和，负对（negative pair）被定义为来自不同患者的不同模态的聚合特征。对比学习损失函数可以写为,；
这里，是一个温度系数，在此可以设置为1。
110.在本发明的实施例中，由于患者数有限，患者级监督比较稀疏。然而，数据集包含成千上万的病灶，数以万计的病理切片bags和数百万个words。为提高双模态预后模型的效率，引入三个中间监督损失函数，来鼓励网络学习更好的特征。其中，使用表示放射学图像深层特征提取器的参数，和分别表示病理学图像深层特征提取器的病理切片bags或words的参数。值得注意的是，在自下而上的特征提取过程中，可以简单地形成或。
111.针对放射学图像，中间监督损失可以定义如下:；式中，表示不同病灶放射学图像的真实类别，如胃、肝、淋巴结等。该损失鼓励学习不同类型病灶之间的区分特征。
112.针对病理学图像，引入两个中间监督损失函数。第一个损失为words级别，定义如下:；式中，表示words的真实类别，如her2 0/1+（阴性表达），her2 2+（阳性表达），her2 3+（高度阳性表达）等。另一个损失，在病理切片bags级别进行监督，表达如下：；式中，表示病理切片bags的真实类别，如her2 0/1+（阴性表达），her2 2+（阳性表达），her2 3+（高度阳性表达）等。
113.需要说明的是，words或病理切片bags的类型是基于对应图像中最大区域的类型来定义的。
114.在本发明的实施例中，为了构建一个集成前面提到的损失的总损失函数，引入几个权重：用于深度生存损失，用于对比损失，用于几个中间监督损失。目标在于在训练的早期阶段使模型了解更多关于病灶、病理切片bags或words的类型信息，然后在后期阶段更加关注患者级目标，如，以及与模态无关的特征。因此，将定义为一个动态权重，如下所示：；
式中，和分别表示当前迭代次数和总迭代次数。
115.进一步地，总损失函数即预设损失函数可以表示为:；式中，可以将和分别设置为1。
116.本发明实施例的方法，通过考虑将患者区分为响应者和非响应者，不同患者之间总生存期的等级关系，以及不同患者模态数据的不同等，以此考虑多类不同损失构建模型训练过程中的预设损失函数，有助于提升训练得到的双模态预后模型的模型精度。
117.可以理解的是，样本标签信息包括患者为响应者或非响应者的二分类信息、患者的总生存期信息、放射学图像的真实类别、病理学图像的真实类别。
118.进一步地，在计算获得损失值之后，本次训练过程结束。可以再利用如反向传播（back propagation，bp）算法，基于该损失值对双模态预后模型的模型参数进行调整，来更新双模态预后模型中的各层权重参数，之后再进行下一次训练，如此反复迭代进行模型训练。
119.在训练的过程中，若针对某组训练样本的训练结果满足预设训练终止条件，如对应计算获得的损失值小于预设阈值，说明模型的损失值可以控制在收敛范围内，此时模型训练结束，可以将所得到的模型参数作为训练好的双模态预后模型的模型参数，则此时双模态预后模型训练完成，可以得到训练好的双模态预后模型。
120.在一些实施例中，在训练的过程中，若针对某组训练样本的训练结果满足预设训练终止条件，可以是模型训练次数已达到预设训练终止次数，如350轮次，最后挑选在验证集上性能最高的轮次所对应的模型作为训练好的双模态预后模型。
121.在本发明的一个具体实施例中，采用pytorch（版本1.10.2）和cuda 11.0开发双模态预后模型。在放射学中，将每个裁剪的roi病灶图像调整为112
×
112像素作为输入。在病理学中，从原始高分辨率全切片图像中裁剪出2048
×
2048像素的病理切片bags，并将其缩放为448
×
448像素作为输入。每个病理切片bag被划分为64
×
64像素的word。进一步地，分别在her2队列和her2 + ici队列中训练双模态预后模型。对于每个模型，使用总迭代次数为360，批量大小为16和4个工作器。使用随机梯度下降（stochastic gradient descent，sgd）算法优化器来优化损失函数，初始学习率可以设为1e-3，权重衰减可以设为1e-4，动量可以设为0.9。
122.在本实施例中，在训练过程中，可以使用多步学习率衰减策略，在第120轮和第240轮将学习率衰减0.5。此外，为了防止过拟合和提高模型的泛化能力，还可以在每轮训练中随机抽样五个病理切片bag和四个病灶roi来模拟图像级dropout。本发明实施例的方法，通过利用多组训练样本对双模态预后模型进行反复迭代训练，将双模态预后模型的损失值控制在收敛范围内，从而有利于提高模型输出的肿瘤抗her2治疗预后预测结果的准确性，提升双模态预后模型的预测精度。
123.在本实施例中，接收者操作特性（receiver operating characteristic，roc）曲线显示了双模态预后模型（dmpm）在区分五个集合中的应答者（response）和非应答者（non-response）的表现。
124.在本实施例中，五个集合分别包括her2队列中的训练集、验证集和测试队列以及her2+ici队列中的训练集、验证集。其中，对于her2队列，将其随机分为215名患者的样本数据作为训练集和 56 名患者的样本数据作为验证集，并使用来自其他机构的 39 名患者的样本数据作为测试队列。对于her2+ici队列，随机将其分为89名患者的样本数据作为训练集，以及30名患者的样本数据作为验证集。
125.在本实施例中，进一步计算五个集合的roc曲线下的auc指标。
126.图7a是本发明提供的her2队列中训练集的roc曲线示意图，如图7a所示，her2队列中训练集的roc曲线下的auc指标为0.780。
127.图7b是本发明提供的her2队列中验证集的roc曲线示意图，如图7b所示，her2队列中验证集的roc曲线下的auc指标为0.839。
128.图7c是本发明提供的her2队列中测试队列的roc曲线示意图，如图7c所示，her2队列中测试队列的roc曲线下的auc指标为0.896。
129.图7d是本发明提供的her2+ici队列中训练集的roc曲线示意图，如图7d所示，her2+ici队列中训练集的roc曲线下的auc指标为0.935。
130.图7e是本发明提供的her2+ici队列中验证集的roc曲线示意图，如图7e所示，her2+ici队列中验证集的roc曲线下的auc指标为0.920。
131.根据上述五个集合的roc曲线下的auc指标，可以表明本发明提供的双模态预后模型确实可以用来预测患者肿瘤抗her2治疗的反应和预后，且预测结果很好。
132.图8a是本发明提供的her2队列中训练集对应的kaplan-meier曲线示意图，如图8a所示，her2队列中训练集对应的kaplan-meier曲线的p值小于0.0001。
133.图8b是本发明提供的 her2队列中验证集对应的kaplan-meier曲线示意图，如图8b所示，her2队列中验证集对应的kaplan-meier曲线的p值为0.0059。
134.图8c 是本发明提供的her2队列中测试队列对应的kaplan-meier曲线示意图，如图8c所示，her2队列中验证队列对应的kaplan-meier曲线的p值为0.0024。
135.图8d是本发明提供的her2+ici队列中训练集对应的kaplan-meier曲线示意图，如图8d所示，her2+ici队列中训练集对应的kaplan-meier曲线的p值小于0.0001。
136.图8e是本发明提供的her2+ici队列中验证集对应的kaplan-meier曲线示意图，如图8e所示，her2+ici队列中验证集对应的kaplan-meier曲线的p值为0.022。
137.在本实施例中，对于五个集合中的每个集合进行生存分析，以模型预测的中位风险概率为切分点（cut-off），其中，中位风险概率是根据各个集合中患者的风险概率中的中位数得到的，由此可以将每个集合中的所有患者分为高风险组（风险概率高于中位风险概率）以及低风险组（风险概率不超过中位风险概率）。虚线表示每一组患者的中位生存时间，p值是通过在高、低风险组两组患者之间进行log-rank test（一种检验假设）而得到的结果，如果p《0.05，则表示两组患者的生存时间在统计学上具有显著差异；如果p》=0.05，则表示两组患者的生存时间在统计学上无显著差异。
138.由此，在本实施例中，从上述五个集合对应的kaplan-meier曲线中可以看出，五个集合对应的kaplan-meier曲线的p值均小于0.05，各个集合中高风险组与低风险组组间生存时间存在明显差异。
139.下面对本发明提供的肿瘤治疗预后预测装置进行描述，下文描述的肿瘤治疗预后
预测装置与上文描述的肿瘤治疗预后预测方法可相互对应参照。
140.图9是本发明提供的肿瘤治疗预后预测装置的结构示意图，如图9所示，包括：获取模块910，用于获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；预测模块920，用于将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
141.本实施例所述的肿瘤治疗预后预测装置可以用于执行上述肿瘤治疗预后预测方法实施例，其原理和技术效果类似，此处不再赘述。
142.本发明实施例的肿瘤治疗预后预测装置，通过考虑癌症患者的肿瘤组织影像、患者信息以及临床报告信息等多模态数据对患者预后结果的影响，利用患者的肿瘤抗her2治疗信息样本包括肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本，以及对应的样本标签信息进行深度神经网络模型训练，得到双模态预后模型，通过双模态预后模型对待测患者的肿瘤组织的切片图像、临床报告信息和患者信息进行多维度信息融合，根据融合得到的特征进行待测患者的肿瘤抗her2治疗预后预测，可以有效提高肿瘤抗her2治疗预后预测结果的精度，有助于患者的肿瘤抗her2治疗预后的有效评估。
143.图10是本发明提供的电子设备的实体结构示意图，如图10所示，该电子设备可以包括：处理器（processor）1010、通信接口（communications interface）1020、存储器（memory）1030和通信总线1040，其中，处理器1010，通信接口1020，存储器1030通过通信总线1040完成相互间的通信。处理器1010可以调用存储器1030中的逻辑指令，以执行上述各方法所提供的肿瘤治疗预后预测方法，该方法包括：获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
144.此外，上述的存储器1030中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
145.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机
程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的肿瘤治疗预后预测方法，该方法包括：获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
146.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的肿瘤治疗预后预测方法，该方法包括：获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。
147.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
148.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
149.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种肿瘤治疗预后预测方法，其特征在于，包括：获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。2.根据权利要求1所述的肿瘤治疗预后预测方法，其特征在于，所述双模态预后模型包括特征提取层、特征融合层和输出层；所述将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果，包括：将所述肿瘤组织的切片图像输入至所述特征提取层进行特征提取，得到所述特征提取层输出的所述切片图像的深度特征和组学特征；将所述临床报告信息、所述患者信息以及所述切片图像的深度特征和组学特征输入至所述特征融合层进行特征融合，得到所述特征融合层输出的多模态融合特征；将所述多模态融合特征输入至所述输出层进行分类处理，得到所述输出层输出的所述待测患者的肿瘤抗her2治疗预后预测结果。3.根据权利要求2所述的肿瘤治疗预后预测方法，其特征在于，所述切片图像包括放射学图像和病理学图像中的至少一种；所述放射学图像包括多个第一感兴趣区域；所述病理学图像包括多个第二感兴趣区域，每个所述第二感兴趣区域包括多个图像块，每个图像块包括多个图像子块；所述特征提取层包括深度特征提取模块、自注意力模块、特征聚合模块和组学特征提取模块；所述深度特征提取模块用于提取所述放射学图像中各个第一感兴趣区域的第一初始深度特征图；所述自注意力模块用于识别各个所述第一初始深度特征图之间的相关性，生成所述各个第一感兴趣区域对应的第一增强特征；所述特征聚合模块用于将所述各个第一感兴趣区域对应的第一增强特征聚合为单个特征，得到所述放射学图像的深度特征；所述组学特征提取模块用于提取所述放射学图像的组学特征；所述深度特征提取模块还用于提取所述病理学图像中每个第二感兴趣区域中各个图像子块的第二初始深度特征图；所述自注意力模块还用于识别所述第二初始深度特征图的每个图像块中各个图像子块的第二初始深度特征图之间的相关性，得到每个所述图像块中各个图像子块对应的第二增强特征；所述特征聚合模块还用于将每个所述图像块中各个图像子块对应的第二增强特征聚合为单个特征，得到每个所述第二感兴趣区域中每个所述图像块的聚合特征；所述自注意力模块还用于识别每个所述第二感兴趣区域中每个所述图像块的聚合特
征之间的相关性，得到每个所述第二感兴趣区域对应的第三增强特征；所述特征聚合模块还用于将每个所述第二感兴趣区域对应的第三增强特征聚合为单个特征，得到所述病理学图像的深度特征；所述组学特征提取模块还用于提取所述病理学图像的组学特征。4.根据权利要求2所述的肿瘤治疗预后预测方法，其特征在于，所述特征融合层包括模态内融合模块、模态间融合模块和患者信息融合模块；所述模态内融合模块用于利用交叉注意力机制，将所述临床报告信息以及所述切片图像的深度特征和组学特征进行特征融合，得到模态内融合特征；所述模态间融合模块用于根据所述模态内融合特征的类型，采用对应的特征融合策略对所述模态内融合特征进行融合处理，得到模态间融合特征；所述模态内融合特征的类型是基于所述切片图像的类型和所述临床报告信息的类型确定的；所述患者信息融合模块用于对所述患者信息进行编码处理，得到患者信息特征，并将所述患者信息特征和所述模态间融合特征进行特征融合，得到所述多模态融合特征。5.根据权利要求4所述的肿瘤治疗预后预测方法，其特征在于，所述切片图像包括放射学图像和/或病理学图像；所述模态间融合模块用于在所述模态内融合特征的类型包括所述放射学图像对应的第一模态内融合特征和所述病理学图像对应的第二模态内融合特征的情况下，分别对所述第一模态内融合特征和所述第二模态内融合特征进行模态特征划分，得到所述第一模态内融合特征对应的第一模态特定特征和第一模态无关特征、所述第二模态内融合特征对应的第二模态特定特征和第二模态无关特征；利用预设对齐算法，将所述第一模态无关特征和所述第二模态无关特征进行特征对齐，并对对齐后的第一模态无关特征和第二模态无关特征进行融合，得到平均模态无关特征；将所述第一模态特定特征、所述平均模态无关特征和所述第二模态特定特征进行依次拼接处理，得到第一模态间融合特征；或，在所述模态内融合特征的类型仅包括所述放射学图像对应的第一模态内融合特征的情况下，对所述第一模态内融合特征进行模态特征划分，得到所述第一模态特定特征和所述第一模态无关特征；将所述第一模态特定特征、所述第一模态无关特征和预设可学习的病理学特征进行依次拼接处理，得到第二模态间融合特征；或，在所述模态内融合特征的类型仅包括所述病理学图像对应的第二模态内融合特征的情况下，对所述第二模态内融合特征进行模态特征划分，得到所述第二模态特定特征和所述第二模态无关特征；将所述第二模态特定特征、所述第二模态无关特征和预设可学习的放射学特征进行依次拼接处理，得到第三模态间融合特征；所述模态间融合特征包括所述第一模态间融合特征、所述第二模态间融合特征和所述第三模态间融合特征。
6.根据权利要求1-5任一项所述的肿瘤治疗预后预测方法，其特征在于，在所述将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型之前，所述方法还包括：将所述肿瘤抗her2治疗信息样本和对应的样本标签信息作为一组训练样本，获取多组训练样本；对于任意一组训练样本，将所述训练样本输入到所述双模态预后模型，获得所述双模态预后模型输出的所述训练样本对应的预测概率值；利用预设损失函数，根据所述训练样本对应的预测概率值和所述训练样本对应的样本标签信息计算损失值；若所述损失值小于预设阈值，则所述双模态预后模型训练完成。7.根据权利要求6所述的肿瘤治疗预后预测方法，其特征在于，所述预设损失函数是基于交叉熵损失函数、深度生存损失函数、对比学习损失函数和中间监督损失函数确定的；所述深度生存损失函数是基于所述肿瘤抗her2治疗信息样本对应的患者总生存期与预后预测结果之间的关系确定的；所述对比学习损失函数是基于所述肿瘤抗her2治疗信息样本对应的模态融合特征确定的，所述模态融合特征是基于所述肿瘤抗her2治疗信息样本中肿瘤组织的切片图像样本、临床报告信息样本和患者信息样本确定的；所述中间监督损失函数是基于所述肿瘤抗her2治疗信息样本中不同病灶图像的真实类别确定的。8.一种肿瘤治疗预后预测装置，其特征在于，包括：获取模块，用于获取待测患者的肿瘤抗her2治疗信息，所述肿瘤抗her2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；预测模块，用于将所述待测患者的肿瘤抗her2治疗信息输入至双模态预后模型，得到所述双模态预后模型输出的所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型用于对所述肿瘤抗her2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定所述待测患者的肿瘤抗her2治疗预后预测结果；所述双模态预后模型是根据肿瘤抗her2治疗信息样本和对应的样本标签信息训练得到的。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述肿瘤治疗预后预测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述肿瘤治疗预后预测方法。

技术总结
本发明提供一种肿瘤治疗预后预测方法、装置、电子设备及存储介质，属于医学检测技术领域，所述方法包括：获取待测患者的肿瘤抗HER2治疗信息，肿瘤抗HER2治疗信息包括肿瘤组织的切片图像、临床报告信息和患者信息；将待测患者的肿瘤抗HER2治疗信息输入至双模态预后模型，得到双模态预后模型输出的待测患者的肿瘤抗HER2治疗预后预测结果；双模态预后模型用于对肿瘤抗HER2治疗信息中的肿瘤组织的切片图像、临床报告信息和患者信息进行多模态特征融合，并基于融合得到的特征确定待测患者的肿瘤抗HER2治疗预后预测结果。本发明可以有效提高肿瘤抗HER2治疗预后预测精度，有助于患者的肿瘤抗HER2治疗预后的有效评估。瘤抗HER2治疗预后的有效评估。瘤抗HER2治疗预后的有效评估。


技术研发人员：沈琳 董彬 陈杨 张小田 孙宇 张立 唐磊 赵杰 陈梓帆
受保护的技术使用者：北京大学
技术研发日：2023.08.10
技术公布日：2023/9/9