基于深度学习的ADPKD患者进入ESRD的风险预测方法与流程

基于深度学习的adpkd患者进入esrd的风险预测方法
技术领域
1.本发明涉及肾脏疾病医疗技术领域，具体涉及基于深度学习的adpkd患者进入esrd(终末期肾病)的风险预测方法。


背景技术：

2.常染色体显性遗传性多囊肾(adpkd)是最常见的单基因遗传性肾脏疾病，发生率约为1/4000至1/1000活产儿。其特征是肾囊肿的大小和数量随着年龄的增长而进行性增加，早期多无明显症状；随着肾脏的增大，患者出现腰腹部疼痛、肾功能进行性恶化，并可伴有肝囊肿、心脑血管病等肾外表现。据研究表明，adpkd已成为esrd的第四大病因，约占5～10％。早期临床症状不典型致使疾病容易被忽视是导致adpkd患者肾脏预后不良的原因之一。因此，及时预测adpkd患者发生esrd的风险，特别是疾病早期，能够引起患者对疾病的充分重视，对早期干预并延缓疾病的进展具有重要意义。
3.当前，国内外研究提出基因型、肾脏总体积(tkv)、高血压、性别、年龄、血红蛋白水平等是adpkd患者进入esrd的危险因素。其中，肾脏总体积被认为是评估adpkd病情和预后的关键因素。如何通过图像更准确、方便地测量肾脏总体积成为当前的研究热点。目前在tkv的测量上，广泛使用的医学成像模式为ct、mri以及超声。但受超声技术分辨率的限制以及观察者主观因素的影响，超声不推荐作为tkv精准测量的方式。立体学边界追踪技术通过测量ct或mri成像的连续图像的区域面积和切片厚度来确定单个肾脏体积，是测量tkv的金标准，但操作过程繁琐且耗时长。为便于临床应用，国内外研究者应用机器学习等方法对tkv进行自动化测量，并用tkv数据值对病情进行评估；然而，简单的用tkv将肾脏影像学表现数值化，忽略了肾实质被囊肿取代的程度，特别是在单侧、不对称、节段、不匀称囊性分布的非典型影像学表现的adpkd患者中。如何将肾脏成像的形态、体积大小与年龄、血红蛋白等数值型数据融合，建立预测adpkd患者进入esrd的风险预测模型，对临床诊疗具有重要意义。为此，本发明提出了一种基于深度学习的adpkd患者进入esrd的风险预测模型。


技术实现要素：

4.为了有效地处理肾脏形态对肾脏疾病的影响，本发明提供了一种基于结合了肾脏形态、tkv、病人基础数据的深度学习模型的风险预测方法，以预测adpkd患者进入esrd的风险，该方法包括如下步骤：
5.1)收集诊断adpkd且未进入esrd患者的基线临床资料、肾脏ct/mri影像学资料，获取肾脏图像的数据集和患者基础数据；
6.2)通过卷积神经网络获取肾脏图像的深度特征向量并进行聚类，以获得相似的图像簇；
7.3)均匀划分卷积神经网络的全连接层，形成多个与图像簇一一对应的基学习器；
8.4)训练基学习器，输入对应图像簇内的相似的样本对及簇间不相似的样本对，计算样本对损失函数、基学习器多样性和共识损失函数，计算梯度并反向传播更新基学习器；
9.5)通过图像分割模型计算tkv，并用身高校正获得httkv，将httkv与患者的其他基础信息组织成向量，训练基学习器，提升模型提取患者基础信息特征的能力；
10.6)重复上述步骤直至基学习器收敛，将肾脏截面图库输入基学习器组成的集成学习器，得到相似类别的图像集合，从而获取参考诊断意见。
11.进一步地，步骤1)中所述基线临床资料包括患者性别、基因型、年龄、有无高血压、egfr、血红蛋白水平。
12.进一步地，步骤2)的具体过程如下：
13.2.1)预处理肾脏截面图像训练数据集，对步骤1)获得的肾脏图像数据集进行图像数据增强操作，得到预处理后的肾脏截面图像训练数据集，记为n为图像数目；
14.2.2)选用在imagenet图像数据集上预训练的残差卷积神经网络resnet-18，将预处理后的肾脏截面图像训练数据集输入网络中，以获得每张肾脏截面图像所对应的resnet-18平均池化层之后的2048维深度特征向量
15.2.3)对肾脏截面图像的深度特征向量进行聚类操作，聚类后原始的训练集被组织成聚类图像簇的集合c为聚类图像簇个数，使得聚类图像簇ki中的肾脏截面图像在深度特征上相似。
16.进一步地，步骤3)的具体过程如下：
17.根据步骤2)中所得到的c个图像簇，按照线性的顺序尽可能均匀地将残差网络resnet-18的平均池化层之后的全连接输入层划分为c段，作为c个基学习器其中基学习器fi用于学习图像簇ki，使得基学习器与图像簇一一对应。
18.进一步地，步骤4)的具体过程如下：
19.4.1)对于每个聚类图像簇ki，基学习器fi所需要的批量样本元组ti包括参考深度特征向量簇内相对于参考深度特征向量的一个正例特征向量以及(m-1)个负例特征向量(c-1)个簇外负例其中m为簇内的类个数；
20.4.2)上述的簇内外负例特征向量采样过程：在簇ki内，采样与参考点不同类别的样本特征，每个类随机采样一个样本，即可获得(m-1)个簇内负例特征向量；同理地，在簇中分别随机采样一个样本，即可获得(c-1)个簇外负例特征向量
21.4.3)根据所得到的训练批量样本元组ti，由如下损失函数计算式计算批量中每个样本元组所产生的损失及梯度：
[0022][0023]
对学习器fi进行参数更新，通过一致性损失函数提升多个学习器对同一对样本给出接近的相似度值：
[0024][0025][0026]
其中表示数学期望，c表示基学习器数目，(xi,xj)～x表示(xi,xj)采样于肾脏图像数据集的一对样本；
[0027]
通过多样性损失函数增大基学习器之间的差异性：
[0028][0029]
xi＝[f1(xi),
…
,fc(xi)]
[0030]
使得多个基学习器从不同的方面评估样本对的相似度。
[0031]
进一步地，步骤5)的具体过程如下：
[0032]
5.1)通过deeplab语义分割模型获取肾脏截面图像的肾脏区域二值图像，求肾脏区域的面积并计算tkv：
[0033][0034]
其中si表示第i层面划定界限内计算出的肾脏面积，t为切片数量，p表示像素间距，h表示切片厚度；
[0035]
5.2)将患者的基础信息组织成向量，输入基学习器，使模型同时提取患者的肾脏截面图像特征和基础信息特征。
[0036]
进一步地，步骤6)的具体过程如下：
[0037]
6.1)重复上述步骤2)、3)、4)、5)，使得c个基学习器充分地学习c个图像簇，直至基学习器收敛；
[0038]
6.2)将图像测试数据集以1:1的比例划分为查询集和图库集；同时将已收敛的c个基学习器以线性顺序的方式合并为一个集成学习器f；然后，将查询集和图库集中的图片分别输入集成学习器f，以得到对应的深度特征表示其中x，y分别是查询集和图库集的大小；
[0039]
6.3)根据余弦相似度计算深度特征向量之间的相似度sf，得到查询与图库图像的相似度矩阵；并根据相似度矩阵排列与查询图像相似的图库图像，最终得到相似病例肾脏图像的图像集合。
[0040]
本发明提出了一种基于深度神经网络的簇基学习器的adpkd患者进入esrd的风险预测模型。主要思路是：首先对图像的深度特征向量聚类以获取簇(图像簇)集合，使得簇中
的图像在高维特征空间中语义相似；然后通过均匀划分深度特征空间获取对应每个簇的基学习器，用于解决对应簇的子问题。据此，本发明给出了簇内的正例对和负例对及簇间的负例对的采样过程、基学习器的训练方案以及基学习器多样化和共识策略。本发明有效地处理了肾脏图像数据分布的复杂性，高效地利用了深度特征向量的表示空间，充分地挖掘了肾脏图像数据分布不同类别间的不相似的样本对，并缓解了网络模型收敛缓慢的问题。此外，本发明首次将肾脏形态的图像数据集与httkv、年龄、血红蛋白定量等数值型数据集融合，建立了更为全面、有效的adpkd患者发生esrd的风险预测模型。
附图说明
[0041]
图1是本发明的预测模型示意图。
具体实施方式
[0042]
为了使本发明的目的、技术方案及优点更加清楚明白，下面通过实施例及附图对本发明作进一步具体的说明。
[0043]
本技术实施例提供了一种基于深度学习的adpkd患者进入esrd的风险预测方法，其技术目的主要通过建立风险预测模型来实现，并根据风险预测模型得出的结果预测adpkd患者达到esrd的风险及时间，进而可以获得已知病例的诊断意见作为参考。
[0044]
参考图1，本实施例中风险预测模型的建立及训练的具体过程包括如下步骤：
[0045]
1)纳入符合adpkd疾病诊断且基线时尚未达到esrd的患者，收集患者的基线临床资料以及完整的肾脏ct/mri影像学资料，其中基线临床资料包括患者性别、基因型(截断pkd1突变、非截断pkd1突变、pkd2突变)、年龄、有无高血压、egfr、血红蛋白水平；对研究人群进行长期随访，记录患者egfr变化、肾脏存活时间(t：从基线评估到达到esrd的时间，未达到esrd的按最后一次随访时间计算)。
[0046]
2)通过卷积神经网络获取肾脏图像的深度特征向量并进行聚类，以获得相似的图像类别(图像簇)：
[0047]
2.1)预处理肾脏截面图像训练数据集，对步骤1)获得的肾脏图像数据集进行缩放、修剪、翻转、旋转等常见的图像数据增强操作，得到预处理后的肾脏截面图像训练数据集，记为n为图像数目；
[0048]
2.2)选用在imagenet图像数据集上预训练的残差卷积神经网络resnet-18，将预处理后的肾脏截面图像训练数据集输入网络中，以获得每张肾脏截面图像所对应的resnet-18平均池化层之后的2048维深度特征向量
[0049]
2.3)对肾脏截面图像的深度特征向量进行聚类操作，可选用常见的聚类算法，如k-均值聚类或基于密度的聚类算法(dbscan)；其中，聚类操作的聚类簇个数c由模型的超参数指定(一般取4～8之间)，聚类后原始的训练集被组织成聚类簇的集合而簇ki中的肾脏截面图像在深度特征上相似，即确定了形态相似的肾脏截面图像类。
[0050]
3)均匀划分卷积神经网络的全连接层，形成多个与图像簇一一对应的基学习器：
[0051]
根据步骤2)中所得到的c个图像簇，按照线性的顺序尽可能均匀地将残差网络
(resnet-18)的平均池化层之后的全连接输入层划分为c段，作为c个基学习器其中基学习器fi用于学习图像簇ki，使得基学习器与图像簇一一对应。
[0052]
4)训练基学习器，输入对应图像簇内的相似的样本对及簇间不相似的样本对，计算样本对损失函数、基学习器多样性和共识损失函数，计算梯度并反向传播更新基学习器：
[0053]
4.1)对于每个簇ki，基学习器fi所需要的批量样本元组ti包括参考深度特征向量簇内相对于参考深度特征向量的一个正例特征向量以及(m-1)个负例特征向量(c-1)个簇外负例其中m为簇内的类个数；
[0054]
4.2)上述的簇内外负例特征向量采样过程：在簇ki内，采样与参考点不同类别的样本特征，每个类随机采样一个样本，即可获得(m-1)个簇内负例特征向量；同理地，在簇{kj}
j≠i
中分别随机采样一个样本，即可获得(c-1)个簇外负例特征向量
[0055]
4.3)根据所得到的训练批量样本元组ti，由如下损失函数计算式计算批量中每个样本元组所产生的损失及梯度：
[0056][0057]
对学习器fi进行参数更新，一致性损失函数能够提升多个学习器对同一对样本给出接近的相似度值，而多样性损失函数能够增大基学习器之间的差异性，使得多个基学习器从不同的方面评估样本对的相似度。
[0058][0059][0060][0061]
xi＝[f1(xi),
…
,fc(xi)]
[0062]
其中表示数学期望，c表示基学习器数目，(xi,xj)～x表示(xi,xj)采样于肾脏图像数据集的一对样本。
[0063]
本质上，共识损失的基本原理是，由来自第c个学习器的特征向量测量的数据点的特征相似性应接近标量
[0064]
5)通过图像分割模型计算tkv，并用身高校正获得httkv(httkv＝tkv/患者身高)，将httkv与患者的其他基础信息组织成向量，训练基础信息学习器，提升模型提取患者基础信息特征的能力：
[0065]
5.1)通过deeplab语义分割模型获取肾脏截面图像的肾脏区域二值图像，求肾脏区域的面积并计算tkv；其中si表示第i层面划定界限内计算出的肾脏面积，t为切片数量，p表示像素间距，h表示切片厚度；
[0066][0067]
5.2)将患者的基础信息(基因型、httkv、有无高血压、性别、年龄、血红蛋白水平、基线egfr)组织成向量，输入基学习器，使模型同时提取患者的肾脏截面图像特征和基础信息特征。
[0068]
6)重复上述步骤直至基学习器收敛，将肾脏截面图库输入基学习器组成的集成学习器，得到相似类别的图像集合，从而获取参考诊断意见：
[0069]
6.1)重复上述步骤2)、3)、4)、5)，使得c个基学习器充分地学习c个图像簇，直至基学习器收敛。
[0070]
6.2)将图像测试数据集以1:1的比例划分为查询集(query)和图库集(gallery)；同时将已收敛的c个基学习器以线性顺序的方式合并为一个集成学习器f；然后，将查询集和图库集中的图片分别输入集成学习器f，以得到对应的深度特征表示查询集和图库集中的图片分别输入集成学习器f，以得到对应的深度特征表示其中x，y分别是查询集和图库集的大小；
[0071]
6.3)根据余弦相似度计算深度特征向量之间的相似度sf，得到查询与图库图像的相似度矩阵；并根据相似度矩阵排列与查询图像相似的图库图像，最终得到相似病例肾脏图像的图像集合。
[0072][0073]
上述风险预测模型在验证过程中，共纳入428例符合纳排标准的adpkd患者，将研究总体按照8：1：1的比例随机划分，其中80％(342例)作为训练集，10％(43例)作为测试集，10％(43例)作为验证集，用训练集研究人群的基线基础数据值及肾脏图像数据集训练模型，进一步在测试集中找出最佳模型，最后在验证集中验证模型准确率为(79.56
±
3.78)％，c-index为0.782
±
0.056。
[0074]
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

技术特征：
1.基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，包括如下步骤：1)收集诊断adpkd且未进入esrd患者的基线临床资料、肾脏ct/mri影像学资料，获取肾脏图像的数据集和患者基础数据；2)通过卷积神经网络获取肾脏图像的深度特征向量并进行聚类，以获得相似的图像簇；3)均匀划分卷积神经网络的全连接层，形成多个与图像簇一一对应的基学习器；4)训练基学习器，输入对应图像簇内的相似的样本对及簇间不相似的样本对，计算样本对损失函数、基学习器多样性和共识损失函数，计算梯度并反向传播更新基学习器；5)通过图像分割模型计算tkv，并用身高校正获得httkv，将httkv与患者的其他基础信息组织成向量，训练基学习器，提升模型提取患者基础信息特征的能力；6)重复上述步骤直至基学习器收敛，将肾脏截面图库输入基学习器组成的集成学习器，得到相似类别的图像集合，从而获取参考诊断意见。2.根据权利要求1所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤1)中所述基线临床资料包括患者性别、基因型、年龄、有无高血压、egfr、血红蛋白水平。3.根据权利要求1所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤2)的具体过程如下：2.1)预处理肾脏截面图像训练数据集，对步骤1)获得的肾脏图像数据集进行图像数据增强操作，得到预处理后的肾脏截面图像训练数据集，记为n为图像数目；2.2)选用在imagenet图像数据集上预训练的残差卷积神经网络resnet-18，将预处理后的肾脏截面图像训练数据集输入网络中，以获得每张肾脏截面图像所对应的resnet-18平均池化层之后的2048维深度特征向量2.3)对肾脏截面图像的深度特征向量进行聚类操作，聚类后原始的训练集被组织成聚类图像簇的集合c为聚类图像簇个数，使得聚类图像簇k
i
中的肾脏截面图像在深度特征上相似。4.根据权利要求3所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤3)的具体过程如下：根据步骤2)中所得到的c个图像簇，按照线性的顺序尽可能均匀地将残差网络resnet-18的平均池化层之后的全连接输入层划分为c段，作为c个基学习器其中基学习器f
i
用于学习图像簇k
i
，使得基学习器与图像簇一一对应。5.根据权利要求4所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤4)的具体过程如下：4.1)对于每个聚类图像簇k
i
，基学习器f
i
所需要的批量样本元组t
i
包括参考深度特征向量簇内相对于参考深度特征向量的一个正例特征向量以及(m-1)个负例特征向量(c-1)个簇外负例其中m为簇内的类个数；
4.2)上述的簇内外负例特征向量采样过程：在簇k
i
内，采样与参考点不同类别的样本特征，每个类随机采样一个样本，即可获得(m-1)个簇内负例特征向量；同理地，在簇中分别随机采样一个样本，即可获得(c-1)个簇外负例特征向量4.3)根据所得到的训练批量样本元组t
i
，由如下损失函数计算式计算批量中每个样本元组所产生的损失及梯度：对学习器f
i
进行参数更新，通过一致性损失函数提升多个学习器对同一对样本给出接近的相似度值：样本给出接近的相似度值：其中表示数学期望，c表示基学习器数目，(x
i
,x
j
)～x表示(x
i
,x
j
)采样于肾脏图像数据集的一对样本；通过多样性损失函数增大基学习器之间的差异性：x
i
＝[f1(x
i
),
…
,f
c
(x
i
)]使得多个基学习器从不同的方面评估样本对的相似度。6.根据权利要求1或5所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤5)的具体过程如下：5.1)通过deeplab语义分割模型获取肾脏截面图像的肾脏区域二值图像，求肾脏区域的面积并计算tkv：其中s
i
表示第i层面划定界限内计算出的肾脏面积，t为切片数量，p表示像素间距，h表示切片厚度；5.2)将患者的基础信息组织成向量，输入基学习器，使模型同时提取患者的肾脏截面图像特征和基础信息特征。7.根据权利要求1所述的基于深度学习的adpkd患者进入esrd的风险预测方法，其特征在于，步骤6)的具体过程如下：
6.1)重复上述步骤2)、3)、4)、5)，使得c个基学习器充分地学习c个图像簇，直至基学习器收敛；6.2)将图像测试数据集以1:1的比例划分为查询集和图库集；同时将已收敛的c个基学习器以线性顺序的方式合并为一个集成学习器f；然后，将查询集和图库集中的图片分别输入集成学习器f，以得到对应的深度特征表示其中x，y分别是查询集和图库集的大小；6.3)根据余弦相似度计算深度特征向量之间的相似度s
f
，得到查询与图库图像的相似度矩阵；并根据相似度矩阵排列与查询图像相似的图库图像，最终得到相似病例肾脏图像的图像集合。

技术总结
本发明公开了一种基于深度学习的ADPKD患者进入ESRD的风险预测方法，首先对图像的深度特征向量聚类以获取簇集合，使得簇中的图像在高维特征空间中语义相似；然后通过均匀划分深度特征空间获取对应每个簇的基学习器，用于解决对应簇的子问题。据此，本发明给出了簇内的正例对和负例对及簇间的负例对的采样过程、基学习器的训练方案以及基学习器多样化和共识策略。本发明有效地处理了肾脏图像数据分布的复杂性，高效地利用了深度特征向量的表示空间，充分地挖掘了肾脏图像数据分布不同类别间的不相似的样本对，并缓解了网络模型收敛缓慢的问题。的问题。的问题。


技术研发人员：齐玲
受保护的技术使用者：绍兴市人民医院
技术研发日：2023.06.29
技术公布日：2023/8/31