肝胆管细胞癌术后的复发情况预测方法

1.本发明涉及计算机技术领域，尤其涉及一种肝胆管细胞癌术后的复发情况预测方法。


背景技术：

2.肝内胆管细胞癌(intrahepaticcholangiocarcinoma，icc)是一种恶性肿瘤，起源于左右肝管汇合部上方的胆管，是原发性肝癌中最常见的类型之一。这类癌症的早期症状不太明显，但随着病情进展，可能会出现非特异性的腹部症状。使用ct和mri可以帮助确定诊断，然而，大多数患者在确诊时已经处于晚期，因此肝切除术成为最佳的治疗方案，而放疗和化疗则只能作为辅助手段，总体预后不佳。原发性肝癌是一种全球性的癌症，其发病率高达第六位，而死亡率则位居第二位。在解剖学的定义里，肝内胆管是指汇合在左右肝管以上的胆管。肝内胆管细胞癌是一种发源于这些胆管的恶性肿瘤，常见的例如肝内胆管结石、肝硬化、病毒性肝炎、胆汁淤积、胆管长期炎症刺激等因素均有可能诱导其发生。除肝细胞癌外，icc是最常见的原发性肝癌类型之一，其在所有原发性肝癌病例中所占比例为10％至15％。据统计，2018年全球共有8.4万至12.6万名患者被诊断为icc，但地域分布存在巨大差异，其中近四分之三的病例来自太平洋西岸国家，且男性患者多于女性。根据数据显示，我国icc的发病人数约占全世界发病总人数一半，在2008年至2012年期间，我国icc的年龄标准化发病率约为0.63/10万，且正以年均约百分之十一点一的速率上升,在乡村甚至超过了城市。icc是一类恶性度很高的恶性肿瘤，几乎没有早期干预手段，尽管可通过药物、化疗和放疗等各种医疗手段进行治疗，但是世界范围内icc发生率却没有明显的下降，相反，在很多发达国家却呈上升态势，已经变成了危害人体生命的主要病症之一。
3.ct扫描是icc检查的重要手段之一。它能够相对准确地评估肿瘤的位置、大小以及与周围组织的关系。此外，ct扫描还能显示肿瘤血管分布和淋巴结受累性等特征，这些特征对可切除性的评估有很大帮助，同时也为治疗方案的选择提供了重要参考依据。在平扫图像中，肝内的肿块呈现为低于肝实质的均匀或不均匀的低密度区域，边界相对模糊且一般没有包膜或者包膜已经退缩，形状多为圆形或不规则形状。此外，肝内胆管可能出现与肿瘤相关联的不同程度的节段性或局域性扩张。在增强ct中，肝内胆管癌通常会在动脉期和门静脉期表现出不同的强化程度。在动脉期，肝内胆管癌往往呈现出明显的强化，而在门静脉期则呈现出稍微低于肝实质的强化。而在延迟期，则会呈向心进行性增强的特征，即造影剂将充满焦点中心并逐渐扩散至中心周围区域，强度也将逐渐增大。此外，随着先进后处理技术的应用，例如多平面重建、轴向和冠状面最大强度投影以及三维体绘制图像，医生们可以更加精准地观察血管和胆道解剖结构，帮助诊断icc，但是仍需要专业且经验丰富的医生进行诊断。


技术实现要素：

4.本发明的目的就在于为了解决上述问题设计了一种肝胆管细胞癌术后的复发情
况预测方法。
5.本发明通过以下技术方案来实现上述目的：
6.肝胆管细胞癌术后的复发情况预测方法，包括：
7.s1、构建复发情况预测模型，复发情况预测模型包括图像分割模块、指标数据分析模块和预测分析模块，图像分割模块的输出和指标数据分析模块的输出均作为预测模块的输入，图像分割模块依次包括初始卷积层、池化层、n层下采样层、n层第一上采样层和输出模块，从1到n顺序的下采样层的输出依次与从n到1顺序的第一上采样层的输出跳跃连接，初始卷积层对原始ct图像进行卷积、正则化并利用relu函数进行激活，池化层对激活得到的特征进行最大池化后的中间特征；
8.s2、获取训练数据集，训练数据包括ct图像和病例指标；
9.s3、训练数据集导入复发情况预测模型，并对其进行训练优化；
10.s4、获取待预测数据；
11.s5、利用优化后的复发情况预测模型对待预测数据进行分析得到，肝胆管细胞癌术后的复发情况。
12.本发明的有益效果在于：除了对ct图像进行充分利用外，本方法还将病例所对应的指标数据与其图像数据进行了融合使用，以补充ct图像无法表达的信息。通过不断地优化训练，最终得到了具有良好性能的术后复发情况预测模型。
附图说明
13.图1是本发明肝胆管细胞癌术后的复发情况预测方法中图像分割模块的结构示意图；
14.图2是实施例1中预测分析模块的结构示意图；
15.图3是实施例2中预测分析模块的结构示意图；
16.图4是混淆矩阵示意图；
17.图5是roc曲线示意图；
18.图6是不同图像使用策略对于模型性能的影响；
19.图7是不同学习率衰减策略对于模型性能的影响；
20.图8是patch大小对于模型性能的影响；
21.图9是α的大小对模型性能的影响；
22.图10是在不同卷积模块下预测分析模块在测试集上的表现；
23.图11是集成模型在测试集上的表现；
24.图12是常见机器学习模型在测试集上的表现。
具体实施方式
25.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
26.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护
的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
28.在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
29.此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
30.在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
31.下面结合附图，对本发明的具体实施方式进行详细说明。
32.实施例1
33.如图1、图2所示，肝胆管细胞癌术后的复发情况预测方法，包括：
34.s1、构建复发情况预测模型，复发情况预测模型包括图像分割模块、指标数据分析模块和预测分析模块，图像分割模块的输出和指标数据分析模块的输出均作为预测模块的输入，图像分割模块依次包括初始卷积层、池化层、n层下采样层、n层第一上采样层和输出模块，从1到n顺序的下采样层的输出依次与从n到1顺序的第一上采样层的输出跳跃连接，初始卷积层对原始ct图像进行卷积、正则化并利用relu函数进行激活，池化层对激活得到的特征进行最大池化后的中间特征；
35.s2、获取训练数据集，训练数据包括ct图像和病例指标；
36.s3、训练数据集导入复发情况预测模型，并对其进行训练优化；
37.s4、获取待预测数据；
38.s5、利用优化后的复发情况预测模型对待预测数据进行分析得到，肝胆管细胞癌术后的复发情况。
39.指标数据分析模块包括多组顺序连接的组合模块，每组组合模块包括正则化层和线性层，相邻两个组合模块之间采用relu进行激活。
40.预测分析模块包括：
41.提取层；提取层用于提取图像分割模块的输出的初始局部特征；
42.卷积网络层；卷积网络层用于进一步提取初始局部特征得到ct图像的最终局部特征；
43.第一切块处理层；第一切块处理层用于对初始局部特征进行切块处理，将初始局部特征的维度转化为(k+1)*e，其中k为patch的数量，e代表embedding的维度，提取层的输
出分别作为卷积网络层和第一切块处理层的输入；
44.第一拼接层；第一拼接层用于对第一切块处理层的输出和指标数据分析模块的输出在长度维度上进行拼接处理，第一切块处理层的输出和指标数据分析模块的输出均作为第一拼接层的输入；
45.第一transformer模块；第一transformer模块用于提取ct图像的全局信息，第一拼接层的输出作为第一transformer模块的输入；
46.特征对齐层；特征对齐层采用二维卷积以及第一transformer模块所使用的gelu激活对卷积网络层和第一transformer模块的特征进行相应的操作；
47.两个分类器；两个分类器分别根据最终局部特征和全局信息进行分类得到初始分类结果，第一transformer模块的输出和卷积网络层的输出分别作为两个分类器的输入；
48.输出层；输出层根据两个初始分类结果输出最终预测结果，两个分类器的输出均作为输出层的输入。
49.第一transformer模块包括至少一个transformer模型，卷积网络层包括至少一个卷积网络模块，卷积网络模块与transformer模型的数量相同。
50.在s3中，复发情况预测模型进行训练优化时，使用的损失函数表示为loss＝α
×
loss
conv
+(1-α)
×
loss
trans
，其中，α为系数，loss
conv
表示卷积网络层或特征提取卷积网络的损失，loss
trans
表示第一transformer模块或第二transformer模块的损失。
51.对于卷积网络层和第一transformer模块各自的损失而言，采用交叉熵损失函数，表示为其中p
ij
为输入序列中第i个样本属于第j类的概率，c
ij
为一个二值函数，当第i个样本的标签恰好为j时，c
ij
的值为1，否则c
ij
的值为0。
52.本实施例的分析过程
53.图像分割：在图1中可以清楚的看到，整个u型结构的左半部分是一个标准的resnet模型结构，对于一个样本来说，首先被送入到一个初始卷积层中，通过一个7*7的卷积，然后使用batchnorm进行正则化，之后利用relu进行激活，最后经过一个3*3的最大池化。通过这样的处理之后，得到的中间特征依次被送入resnet的四层下采样层中处理(此处采用bottleneck)。而u型结构的右半部分是对于高维度特征的上采样层，通过对高维特征的依次上采样，使得其拥有与之对应的相同分辨率的特征块，然后直接进行拼接操作。图中1的
⊕
表示两个特征向量在通道维度上的拼接。最后，通过一个输出模块，完成对原始图像的分割。u-net模型中，最为经典的便是跳跃连接，即为前文提到的拼接操作，因为，网络模型在通过卷积操作下采样层之后，势必会造成信息的损失，而通过上采样操作并不能对这些信息找回，因此跳跃连接很好的解决了信息丢失的问题，通过拼接操作，使得网络最后得到的特征向量既包含了卷积提取到的深层特征和浅层特征，又包含了上采样操作得到的边缘特征。这样丰富的特征空间使得图像分割模块能够获得更好的分割效果。
54.预测：对于一个样本而言，首先经过一个初始局部特征的提取，得到初始的局部特征，然后将送到双分支主体结构中，卷积网络层作为卷积网络分支，第一transformer模块作为transformer分支；对于卷积网络分支来讲，采用了resnet的结构，共有若干个重复的卷积网络模块组成，而transformer分支则是由同等数量的transformer模型组成。而具体
来讲，对于transformer分支，是一个标准的vit结构，在拿到初始局部特征之后，需要对其进行一个切块处理，因为对于一个由卷积网络提取的特征而言，它的维度为c*h*w，其中c表示通道数，h和w分别表示特征向量的高度和宽度，因此，需要通过embedding操作将其维度转化为(k+1)*e，其中k为patch的数量，+1是因为在此结构中还需要一个指示类别的标志，e代表embedding的维度。在这之后，会将transformer分支的输入序列与经过指标数据分析模块处理的病理指标数据拼接，以完成两种模态数据的融合。图2中所示的
⊕
操作表示在长度维度上进行拼接。因此，在最终进入transformer分支的输入序列维度为(k+2)*e。指标数据分析模块的意义便在于将每一位病例对应的n*1的指标数据转化为1*e。
55.在图2中也可以清晰的看到，指标数据分析模块采用了五组layernorm加线性层的模块，在各组之间采用relu进行激活。之所以采用layernorm进行正则化处理，是因为经过指标数据分析模块后的数据会拼接到transformer分支的输入序列中，因此采取了更适合transformer框架的正则化方法。
56.而对于进行特征对齐的两种卷积操作而言，采用了普通的二维卷积以及vit中所使用的gelu激活，在对特征进行相应的卷积操作之后，利用view或者rearrange对其进行一维或二维展开，在此处不再做更加细致的介绍。
57.对于预测分析模块的优化目标而言，因为有两个分支，且每个分支扮演着不同的角色，因此整个预测分析模块的优化目标是一个混合损失，具体表现为loss＝α
×
loss
conv
+(1-α)
×
loss
trans
。
58.为了更好的协调两条分支之间的关系，在对损失函数进行处理时，相比于传统并行混合结构中直接对二者求平均值，本方法增加了一个系数α，通过调节不同的α值，让网络去关注输入序列中不同的侧重点。而对于卷积网络分支和transformer分支各自的损失而言，采用了最基本的交叉熵损失函数，具体表现为
59.实施例2
60.如图1、图3所示，肝胆管细胞癌术后的复发情况预测方法，包括：
61.s1、构建复发情况预测模型，复发情况预测模型包括图像分割模块、指标数据分析模块和预测分析模块，图像分割模块的输出和指标数据分析模块的输出均作为预测模块的输入，图像分割模块依次包括初始卷积层、池化层、n层下采样层、n层第一上采样层和输出模块，从1到n顺序的下采样层的输出依次与从n到1顺序的第一上采样层的输出跳跃连接，初始卷积层对原始ct图像进行卷积、正则化并利用relu函数进行激活，池化层对激活得到的特征进行最大池化后的中间特征；
62.s2、获取训练数据集，训练数据包括ct图像和病例指标；
63.s3、训练数据集导入复发情况预测模型，并对其进行训练优化；
64.s4、获取待预测数据；
65.s5、利用优化后的复发情况预测模型对待预测数据进行分析得到，肝胆管细胞癌术后的复发情况。
66.指标数据分析模块包括多组顺序连接的组合模块，每组组合模块包括正则化层和线性层，相邻两个组合模块之间采用relu进行激活。
67.预测分析模块包括：
68.特征提取卷积网络；特征提取卷积网络用于提取图像分割模块输出的ct图像的局部特征；
69.第二切块处理层；第二切块处理层用于对局部特征进行切块处理，将局部特征的维度转化为(k+1)*e，其中k为patch的数量，e代表embedding的维度，特征提取卷积网络的输出作为第二切块处理层的输入；
70.第二拼接层；第二拼接层用于对第二切块处理层的输出和指标数据分析模块的输出在长度维度上进行拼接处理，第二切块处理层的输出和指标数据分析模块的输出均作为第二拼接层的输入；
71.第二transformer模块；第二transformer模块用于提取ct图像的全局信息，第二拼接层的输出作为第二transformer模块的输入；
72.输出层；输出层用于输出最终预测结果，第二transformer模块的输出作为输出层的输入。
73.指标数据分析模块还包括强化学习模块，强化学习模块采用了演员评论家算法模型，强化学习模块包括actor模型和critic模型，actor模型用来对指标数据赋权，critic模型用来对actor模型的好坏做出评价，actor模型的输出分别作为critic模型的输入和第一个组合模块的输入，critic模型的输出作为actor模型的输入，在s3中，对复发情况预测模型进行训练优化时，通过广义优势估计gae进行优势估计，并利用ppo算法对actor模型的网络参数和critic模型的网络参数进行更新。
74.在s3中，复发情况预测模型进行训练优化时，使用的损失函数表示为loss＝α
×
loss
conv
+(1-α)
×
loss
trans
，其中，α为系数，loss
conv
表示卷积网络层或特征提取卷积网络的损失，loss
trans
表示第一transformer模块或第二transformer模块的损失。
75.对于特征提取卷积网络和第二transformer模块各自的损失而言，采用交叉熵损失函数，表示为其中p
ij
为输入序列中第i个样本属于第j类的概率，c
ij
为一个二值函数，当第i个样本的标签恰好为j时，c
ij
的值为1，否则c
ij
的值为0。
76.本实施例的分析过程为：
77.图像分割：在图1中可以清楚的看到，整个u型结构的左半部分是一个标准的resnet模型结构，对于一个样本来说，首先被送入到一个初始卷积层中，通过一个7*7的卷积，然后使用batchnorm进行正则化，之后利用relu进行激活，最后经过一个3*3的最大池化。通过这样的处理之后，得到的中间特征依次被送入resnet的四层下采样层中处理(此处采用bottleneck)。而u型结构的右半部分是对于高维度特征的上采样层，通过对高维特征的依次上采样，使得其拥有与之对应的相同分辨率的特征块，然后直接进行拼接操作。图中1的
⊕
表示两个特征向量在通道维度上的拼接。最后，通过一个输出模块，完成对原始图像的分割。u-net模型中，最为经典的便是跳跃连接，即为前文提到的拼接操作，因为，网络模型在通过卷积操作下采样层之后，势必会造成信息的损失，而通过上采样操作并不能对这些信息找回，因此跳跃连接很好的解决了信息丢失的问题，通过拼接操作，使得网络最后得
到的特征向量既包含了卷积提取到的深层特征和浅层特征，又包含了上采样操作得到的边缘特征。这样丰富的特征空间使得图像分割模块能够获得更好的分割效果。
78.预测：对于一个样本而言，依次经过特征提取卷积网络和第二transformer模块深度的提取数据中所包含的特征，特征提取卷积网络提取ct图像的局部特征，第二transformer模块为transformer模型，是一个标准的vit结构，在拿到局部特征之后，需要对其进行一个切块处理，因为对于一个由卷积网络提取的特征而言，它的维度为c*h*w，其中c表示通道数，h和w分别表示特征向量的高度和宽度，因此，需要通过embedding操作将其维度转化为(k+1)*e，其中k为patch的数量，+1是因为在此结构中还需要一个指示类别的标志，e代表embedding的维度。在这之后，会将transformer模型的输入序列与经过指标数据分析模块处理的病理指标数据拼接，以完成两种模态数据的融合。图3中所示的
⊕
操作表示在长度维度上进行拼接。因此，在最终进入transformer模型的输入序列维度为(k+2)*e。指标数据分析模块的意义便在于将每一位病例对应的n*1的指标数据转化为1*e。
79.指标数据分析模块采用了五组layernorm加线性层的模块，在各组之间采用relu进行激活。之所以采用layernorm进行正则化处理，是因为经过指标数据分析模块后的数据会拼接到transformer分支的输入序列中，因此采取了更适合transformer框架的正则化方法。
80.对于预测分析模块的优化目标而言，因此整个预测分析模块的优化目标是一个混合损失，具体表现为loss＝α
×
loss
conv
+(1-α)
×
loss
trans
。
81.为了更好的协调特征提取卷积网络和第二transformer模块之间的关系，在对损失函数进行处理时，本方法增加了一个系数α，通过调节不同的α值，让网络去关注输入序列中不同的侧重点。而对于特征提取卷积网络和第二transformer模块各自的损失而言，采用了最基本的交叉熵损失函数，具体表现为
82.试验一：不同图像使用策略对于模型性能的影响
83.如图6所示，当直接使用全图时，准确度为73.91％，灵敏度为69.57％，特异性为78.26％，而auc为74.62％。当对原始ct图像进行了遮盖操作之后，模型的性能相对于使用全图在准确度和auc上有了一定的提升，也说明了遮盖的方式相对于直接使用全图，消除了一部分噪音和多余的信息，在一定程度上缓解了这些问题对于模型的影响。而当对ct图像进行了裁剪之后，性能上有了更进一步的提升。例如对于全瘤裁剪裁剪来说，准确度为81.52％，灵敏度为80.44％，特异性为82.61％，而auc为82.33％；而对于固定裁剪，准确度为80.45％，灵敏度为78.65％，特异性为84.78％，而auc为83.46％。由此处可以看到，对于不同的裁剪方式，性能相差不多。这也印证了前文所做的分析，通过裁剪能够极大的减少多余信息和噪音对于模型的影响，同时由于整个数据集中大部分病例的病灶区域相对集中，因此两种不同的裁剪方式并没有显现出明显的差异。所以在之后的所有实验中，均采用了固定裁剪这种方式。
84.实验二：学习率衰减策略、patch大小、α大小对模型性能的影响
85.如图7所示，在线性学习率衰减策略下，准确度为79.35％，灵敏度为77.31％，特异性为81.52％，auc为82.85％；而在cos学习率衰减策略下，准确度为80.45％，灵敏度为
78.65％，特异性为84.78％，auc为83.46％，二者并没有展现出很大的差异。但总体来讲，cos学习率在四个指标上的表现大多略好于线性学习率。实验结果也在一定程度上说明了两种学习率衰减方式都可以很好的使模型收敛。
86.如图8所示，当将patch的大小设置为32*32时，各项指标均好于将patch大小设置为16*16。虽然说更小的patch可以使模型提取到更多的特征，但是在transformer分支中加入了病理指标数据作为输入序列中的一个patch，过小的尺寸使得patch数量过多，也就导致了在整个输入序列中指标的占比显得微不足道，无法发挥指标数据的作用。
87.如图9所示，对于α的探讨可以去更好的理解在本文的整个研究中卷积模块和transformer模块之间的关系。可以从表4中清楚的看到，当把二者置于同样重要的位置时(即α＝0.5)，模型在各项指标上的表现明显弱于将卷积模块置于更重要的位置(即α＝0.8)。之所以出现这样的结果，可能是因为数据集本身以局部特征为主，因此，当卷积分支占据主要地位时，对于局部特征的把握更完善，模型整体的性能也更好。当然transformer模块的作用也是不可忽视的。
88.实验三：在不同卷积模块下预测分析模块在测试集上的表现
89.如图10所示，在不同的卷积模块下，我们在本方法构建的预测分析模块都表现出了优越的性能。具体来讲，对于准确度来说，五种不同的卷积块均能达到80％以上，其中resnet表现最为优异，达到了85.87％。而在特异性这个指标上，inception取得了最大值88.20％，其他卷积模块也都有着不错的表现，这也说明了我们所构建的实施例2中的预测分析模块，只有很小的概率把未出现复发情况的患者判定为出现了复发。对于灵敏度来讲，前文已经详细的描述其表示模型识别正例的能力，在本实验的研究中为识别出现复发情况的能力。resnet在这个指标上展示出了优越性，达到了86.96％。对于最为重要的auc指标，本方法所采用的几种不同的卷积模块也都展现出了很好的性能。其中resnet达到了88.44％，senet为85.39％，inception、densenet、regnet分别为86.78％，86.72％，84.52％。虽然五种不同的卷积模块展现出了或多或少的差异，但这也恰好提供了集成学习的可能，让具有差异化的模型进行集成学习，从而得到一个更好的结果。为了更加清晰地表现预测分析模块地性能，在图4中展示了采用resnet时预测模型在测试集上的混淆矩阵。
90.实验四：集成学习及实验结果
91.在本方法中，因为不同的卷积网络总是有着性能上的差异，因此，采用带有权重的平均法是一个更好的选择。并且在医学图像领域，auc比准确度能更好的说明实施例2中预测分析模块的性能，因此，此处的权重采用了对应模型的auc值，经过对所得结果进行归一化，得到最终集成学习的预测结果。具体的实验结果如图11所示。
92.对于多个不同的网络模型进行集成之后，最终得到的结果相比于单一的网络模型，在各项指标上有着不同程度的优势。这也进一步的提升了本方法所设计的模型的泛化性，使其可靠性也进一步得到了提升。为了更加直观的体现集成的模型相对于单一模型的优势，在图5中绘制了每种单一模型以及集成模型的roc曲线。
93.实验四：机器学习模型实验结果及对比
94.如图12所示，可以清晰的看到，相对于传统的机器学习方法，本发明所提出的方法在性能上有着很大的优势。
95.本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做
出的技术变形，均落入本发明的保护范围之内。

技术特征：
1.肝胆管细胞癌术后的复发情况预测方法，其特征在于，包括：s1、构建复发情况预测模型，复发情况预测模型包括图像分割模块、指标数据分析模块和预测分析模块，图像分割模块的输出和指标数据分析模块的输出均作为预测模块的输入，图像分割模块依次包括初始卷积层、池化层、n层下采样层、n层第一上采样层和输出模块，从1到n顺序的下采样层的输出依次与从n到1顺序的第一上采样层的输出跳跃连接，初始卷积层对原始ct图像进行卷积、正则化并利用relu函数进行激活，池化层对激活得到的特征进行最大池化后的中间特征；s2、获取训练数据集，训练数据包括ct图像和病例指标；s3、训练数据集导入复发情况预测模型，并对其进行训练优化；s4、获取待预测数据；s5、利用优化后的复发情况预测模型对待预测数据进行分析得到，肝胆管细胞癌术后的复发情况。2.根据权利要求1所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，指标数据分析模块包括多组顺序连接的组合模块，每组组合模块包括正则化层和线性层，相邻两个组合模块之间采用relu进行激活。3.根据权利要求1所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，预测分析模块包括：提取层；提取层用于提取图像分割模块的输出的初始局部特征；卷积网络层；卷积网络层用于进一步提取初始局部特征得到ct图像的最终局部特征；第一切块处理层；第一切块处理层用于对初始局部特征进行切块处理，将初始局部特征的维度转化为(k+1)*e，其中k为patch的数量，e代表embedding的维度，提取层的输出分别作为卷积网络层和第一切块处理层的输入；第一拼接层；第一拼接层用于对第一切块处理层的输出和指标数据分析模块的输出在长度维度上进行拼接处理，第一切块处理层的输出和指标数据分析模块的输出均作为第一拼接层的输入；第一transformer模块；第一transformer模块用于提取ct图像的全局信息，第一拼接层的输出作为第一transformer模块的输入；特征对齐层；特征对齐层采用二维卷积以及第一transformer模块所使用的gelu激活对卷积网络层和第一transformer模块的特征进行相应的操作；两个分类器；两个分类器分别根据最终局部特征和全局信息进行分类得到初始分类结果，第一transformer模块的输出和卷积网络层的输出分别作为两个分类器的输入；输出层；输出层根据两个初始分类结果输出最终预测结果，两个分类器的输出均作为输出层的输入。4.根据权利要求3所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，第一transformer模块包括至少一个transformer模型，卷积网络层包括至少一个卷积网络模块，卷积网络模块与transformer模型的数量相同。5.根据权利要求2所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，预测分析模块包括：特征提取卷积网络；特征提取卷积网络用于提取图像分割模块输出的ct图像的局部特
征；第二切块处理层；第二切块处理层用于对局部特征进行切块处理，将局部特征的维度转化为(k+1)*e，其中k为patch的数量，e代表embedding的维度，特征提取卷积网络的输出作为第二切块处理层的输入；第二拼接层；第二拼接层用于对第二切块处理层的输出和指标数据分析模块的输出在长度维度上进行拼接处理，第二切块处理层的输出和指标数据分析模块的输出均作为第二拼接层的输入；第二transformer模块；第二transformer模块用于提取ct图像的全局信息，第二拼接层的输出作为第二transformer模块的输入；输出层；输出层用于输出最终预测结果，第二transformer模块的输出作为输出层的输入。6.根据权利要求5所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，指标数据分析模块还包括强化学习模块，强化学习模块采用了演员评论家算法模型，强化学习模块包括actor模型和critic模型，actor模型用来对指标数据赋权，critic模型用来对actor模型的好坏做出评价，actor模型的输出分别作为critic模型的输入和第一个组合模块的输入，critic模型的输出作为actor模型的输入，在s3中，对复发情况预测模型进行训练优化时，通过广义优势估计gae进行优势估计，并利用ppo算法对actor模型的网络参数和critic模型的网络参数进行更新。7.根据权利要求3或5所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，在s3中，复发情况预测模型进行训练优化时，使用的损失函数表示为loss＝α
×
loss
conv
+(1-α)
×
loss
trans
，其中，α为系数，loss
conv
表示卷积网络层或特征提取卷积网络的损失，loss
trans
表示第一transformer模块或第二transformer模块的损失。8.根据权利要求7所述的肝胆管细胞癌术后的复发情况预测方法，其特征在于，对于卷积网络和transformer模型各自的损失而言，采用交叉熵损失函数，表示为其中p
ij
为输入序列中第i个样本属于第j类的概率，c
ij
为一个二值函数，当第i个样本的标签恰好为j时，c
ij
的值为1，否则c
ij
的值为0。

技术总结
本发明公开了肝胆管细胞癌术后的复发情况预测方法，涉及计算机技术领域，包括S1构建复发情况预测模型，复发情况预测模型包括图像分割模块、指标数据分析模块和预测分析模块；S2获取训练数据集，训练数据包括CT图像和病例指标；S3训练数据集导入复发情况预测模型，并对其进行训练优化；S4获取待预测数据；S5利用优化后的复发情况预测模型对待预测数据进行分析得到，肝胆管细胞癌术后的复发情况；除了对CT图像进行充分利用外，本方法还将病例所对应的指标数据与其图像数据进行了融合使用，以补充CT图像无法表达的信息。通过不断地优化训练，最终得到了具有良好性能的术后复发情况预测模型。测模型。测模型。


技术研发人员：刘明辉 王晓敏 范世晓 刘念伯 龚海刚 程旋 刘明
受保护的技术使用者：电子科技大学长三角研究院（衢州）
技术研发日：2023.06.21
技术公布日：2023/9/12