基于图卷积网络的动态图像甲状腺癌危险分层预测方法

1.本发明涉及图像识别技术领域，尤其是基于图卷积网络的动态图像甲状腺癌危险分层预测方法。


背景技术：

2.甲状腺癌是头颈部和内分泌系统最常见的恶性肿瘤之一。近年来，针对甲状腺癌的诊治存在着持续的争议。一些学者认为存在着过度诊疗的现象，而另一些学者则认为甲状腺癌的侵袭性不能被低估。
3.病理类型（亚型）及分子生物学特征是评估甲状腺癌侵袭性和预后的重要指标。针对不同恶性程度的甲状腺癌，其治疗方式和预后差异较大。因此，如何在术前有效筛查甲状腺癌患者，并对其侵袭性和预后进行准确分层，是当前亟待解决的重要临床和科学问题。
4.临床上，术前对甲状腺结节进行危险分层的方法主要包括影像学、细胞学和基因检测等多种手段。超声检查是目前甲状腺结节筛查的首选影像学方法，并在临床决策中具有重要的价值。多个国家和组织先后制定了不同版本的tirads危险分层方法（如acr-tirads、c-tirads、ata和aace/ace/ame指南等），这些方法明确了甲状腺结节不同恶性风险程度的评估方法及其应对措施。然而，这些方法并未能够进一步评估甲状腺癌的恶性程度。当前，在甲状腺超声检查筛查出可疑癌性结节时，仅可根据病灶的大小、有无被膜侵犯或（和）颈部淋巴结的转移等超声征象大致评估其恶性及侵袭性风险程度，但尚未能有效预测其病理类型及亚型。因此，常规超声在评估甲状腺结节的恶性程度方面存在一定的局限性。
5.当前，无论是超声检查、细胞病理学诊断，还是基因检测，均未能对甲状腺癌的危险分层进行全面、精准评估，因其仅可反映甲状腺癌的部分特性。
6.近年来，人工智能与医学的深度结合在医疗决策的智能化和精准化方面发挥了重要作用。基于人工智能的影像组学技术可通过非侵入性手段捕获肿瘤的全部特征，相对于传统穿刺活检方法更具代表性。然而，在甲状腺疾病的超声诊断中，人工智能的应用主要集中于良恶性病变的鉴别诊断方面，尽管相关研究已经显示出较高的诊断效能，但大多采用基于“影像组学（静态图像）＋机器学习或深度学习”方法，较少应用基于“影像组学（动态图像）＋深度学习”方法。此外，大多数研究都是回顾性的，需要更多前瞻性的研究来验证这些方法的实用性和有效性。因此，本发明提出了一种新的基于图卷积网络的动态图像甲状腺癌危险分层预测方法。
7.本发明旨在使用多模态数据进行研究，融合超声、病理学（含基因检测）以及其他临床资料等多模态数据特征，并运用一些创新性的人工智能技术，以实现对甲状腺癌的智能、精准分层预测。通过本发明的技术方案，将能够提高甲状腺癌危险分层的准确性和精度，为临床治疗提供更加有力的支持和指导。


技术实现要素：

8.本发明提出基于图卷积网络的动态图像甲状腺癌危险分层预测方法，通过对临床
影像资料的自动识读及分析，能够提高甲状腺癌危险分层的准确性和精度，为临床治疗提供更加有力的支持和指导。
9.本发明采用以下技术方案。
10.基于图卷积网络的动态图像甲状腺癌危险分层预测方法，用于甲状腺结节筛查的超声检查影像结果分析，其特征在于：所述预测方法包括以下步骤；步骤一、采用图像滤波增强和超分辨率网络来对超声图像进行预处理，设计用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，建立对应的网络模型进行训练；步骤二、以基于人工智能技术的动态超声影像组学的特征提取方法，对动态的视频序列进行特征提取，并引入深度学习方法来融合动态的超声影像组学，使提取的影像组学特征更为丰富；步骤三、利用多分支神经网络模型，综合多种不同模态的数据，通过挖掘不同模态数据互补信息来计算多模态生物标记物，以此建立可指导临床决策的甲状腺癌危险分层预测模型。
11.所述步骤一中用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，采用解剖先验信息约束的图卷积神经网络分割框架，即利用超声图像中甲状腺结构的空间相关性来提取语义特征表示，通过引入甲状腺的先验知识来获取甲状腺与相邻组织之间结构的依赖关系从而提升网络的分割性能，提升甲状腺病灶分割的准确率；在对网络模型的分割阶段进行训练时，包括以下步骤；步骤a1、在没有图卷积模块的情况下训练主干网络；步骤a2、将主干网络的训练权重作为预训练权重，并融入图卷积模块一同训练网络；在图卷积神经网络的训练中，首先获取甲状腺的解剖先验信息，来学习甲状腺的构造及其特征；然后提取这些解剖先验信息并建模，再根据形状、位置等参数设计损失函数。再结合这些信息融入图卷积神经网络模型，设计解剖特征约束的图卷积神经网络分割模型。
12.通过在甲状腺图像分割中使用图卷积来提高对图像中甲状腺结节部位的分割性能，具体方法为：步骤b1、利用卷积神经网络最后一层的输出作为图卷积节点的输入，构建图节点，并利用节点的相似性构建图的边，将其一同输入到图卷积神经网络中；步骤b2、通过计算损失和回传梯度，迭代网络参数，完成了基于图卷积分割网络模型的训练，使图卷积的形式可以扩展分割网络的感受野，有效结合图像的全局和局部信息以避免局部位置信息的损失；步骤b3、将图卷积神经网络分别与多个其它卷积神经网络结构相结合，将结合其它卷积神经网络结构后设计的图卷积神经网络融入到网络中进行对比，根据对比结果进一步调整和改进图卷积神经网络的核心参数，以提高甲状腺结节分割的性能；所述多个其它卷积神经网络结构包括u-net、fcn、segnet。
13.所述步骤二中用动态的视频序列来做超声影像组学的特征提取，以获取病灶全貌超声征象，以及病灶与周边组织结构的毗邻关系；步骤二对动态的视频序列进行特征提取为对动态图像进行的特征提取，具体为：
在动态图像的特征提取时，基于swin transformer网络的编码-解码的结构，使用双路transformer结构来保证时间上的一致性从而提取动态图像特征；将像素级特征解码为每个帧的对象级表示，在骨干特征进入transformer解码器之前，应用一个线性嵌入层，将其从骨干维映射到解码器隐藏维；再将其空间和时间维度平展，以便将其送入transformer解码器；视频序列特征提取包括四个阶段，在每个阶段对视频序列的空间维度进行下采样以实现特征提取。
14.步骤三中，多种不同模态的数据包括动态图像、病例类型数据和基因型数据；将动态图像的输入数据、病例类型数据和基因型数据三种不同模态的数据输入到分类网络中；进行全局平均池化gap操作，在经过全连接fc层后给出甲状腺癌的分层预测结果，减轻医生的阅片时间和诊断难度。
15.步骤三中，利用多模态深度神经网络框架计算多模态生物诊断标记物，通过增加神经网络结构的分支，使其能够接受不同模态的数据输入；并设计损失函数来充分挖掘多模态数据之间的非线性互补信息，在损失函数中以四分类准确率驱动非线性函数的优化方向来更好地挖掘多模态数据互补信息，以提高诊断正确率。
16.所述预测方法利用深度卷积网络分别提取甲状腺癌动态图像、病理类型和分子特征相关的超声组学图像特征，整合三者的信息，进行有效的融合，以并行的方式输入到多分支神经网络模型中，整合特征信息进行端到端学习，做出更全面、更客观的综合判断。
17.本发明可以更细致地分析生物数据，还可以更好地理解生物过程和调节作用，促进了生物医学领域的进一步发展。
18.本发明通过对临床影像资料的自动识读及分析，能够提高甲状腺癌危险分层的准确性和精度，为临床治疗提供更加有力的支持和指导。
19.本发明结合了超声动态图像、病理与其他临床相关资料等多模态数据，以及一些创新性的智能技术进行研究，使不同类型的信息优势互补，以实现对甲状腺癌危险分层的智能、精准预测。
20.本发明将图卷积模块引入分割阶段的卷积神经网络架构中，利用超声图像中甲状腺结构的空间相关性来提取语义特征表示。通过引入甲状腺的先验知识来获取甲状腺与相邻组织之间结构的依赖关系从而提升网络的分割性能，提升甲状腺病灶分割的准确率。
21.本发明用动态的视频序列来做超声影像组学的特征提取，可获取病灶全貌超声征象，以及病灶与周边组织结构的毗邻关系。在对结节全面扫查的同时，基于更多样化的数据形态做出多任务的综合判断，更准确地预测甲状腺癌危险分层级别，作为临床决策的依据。
22.本发明利用深度卷积网络分别提取甲状腺癌动态图像、病理类型和分子特征相关的超声组学图像特征，整合三者的信息，进行有效的融合，以并行的方式输入到网络中，整合特征信息进行端到端学习，能做出更全面、更客观的综合判断。
23.甲状腺癌危险层级的判别在甲状腺疾病的诊断和治疗中起到至关重要的作用。本发明弥补了当前深度学习算法在甲状腺图像处理领域关于癌危险层级判别的空白，为人工智能技术在甲状腺癌辅助领域的应用打下基础。对于一些医生相对匮乏的地方医院，辅助医生诊断，加快医生的诊断速度，快速判别甲状腺癌的危险层级，大大地缩短了医生在判别甲状腺癌的危险层级时花费的时间和精力，有效地辅助医生对病情的诊断以及对预后的计划和分析。在甲状腺的术中、诊断以及术后康复等过程中具有广泛的应用价值。
附图说明
24.下面结合附图和具体实施方式对本发明进一步详细的说明：附图1是本发明的流程示意图；附图2是构建解剖先验信息约束的图卷积神经网络分割框架的示意图；附图3是动态图像特征提取的示意图；附图4是基于多模态数据融合的生物标志物分析示意图。
具体实施方式
25.如图所示，基于图卷积网络的动态图像甲状腺癌危险分层预测方法，用于甲状腺结节筛查的超声检查影像结果分析，其特征在于：所述预测方法包括以下步骤；步骤一、采用图像滤波增强和超分辨率网络来对超声图像进行预处理，设计用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，建立对应的网络模型进行训练；步骤二、以基于人工智能技术的动态超声影像组学的特征提取方法，对动态的视频序列进行特征提取，并引入深度学习方法来融合动态的超声影像组学，使提取的影像组学特征更为丰富；步骤三、利用多分支神经网络模型，综合多种不同模态的数据，通过挖掘不同模态数据互补信息来计算多模态生物标记物，以此建立可指导临床决策的甲状腺癌危险分层预测模型。
26.所述步骤一中用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，采用解剖先验信息约束的图卷积神经网络分割框架，即利用超声图像中甲状腺结构的空间相关性来提取语义特征表示，通过引入甲状腺的先验知识来获取甲状腺与相邻组织之间结构的依赖关系从而提升网络的分割性能，提升甲状腺病灶分割的准确率；在对网络模型的分割阶段进行训练时，包括以下步骤；步骤a1、在没有图卷积模块的情况下训练主干网络；步骤a2、将主干网络的训练权重作为预训练权重，并融入图卷积模块一同训练网络；在图卷积神经网络的训练中，首先获取甲状腺的解剖先验信息，来学习甲状腺的构造及其特征；然后提取这些解剖先验信息并建模，再根据形状、位置等参数设计损失函数。再结合这些信息融入图卷积神经网络模型，设计解剖特征约束的图卷积神经网络分割模型。
27.通过在甲状腺图像分割中使用图卷积来提高对图像中甲状腺结节部位的分割性能，具体方法为：步骤b1、利用卷积神经网络最后一层的输出作为图卷积节点的输入，构建图节点，并利用节点的相似性构建图的边，将其一同输入到图卷积神经网络中；步骤b2、通过计算损失和回传梯度，迭代网络参数，完成了基于图卷积分割网络模型的训练，使图卷积的形式可以扩展分割网络的感受野，有效结合图像的全局和局部信息以避免局部位置信息的损失；步骤b3、将图卷积神经网络分别与多个其它卷积神经网络结构相结合，将结合其它卷积神经网络结构后设计的图卷积神经网络融入到网络中进行对比，根据对比结果进一
步调整和改进图卷积神经网络的核心参数，以提高甲状腺结节分割的性能；所述多个其它卷积神经网络结构包括u-net、fcn、segnet。
28.所述步骤二中用动态的视频序列来做超声影像组学的特征提取，以获取病灶全貌超声征象，以及病灶与周边组织结构的毗邻关系；步骤二对动态的视频序列进行特征提取为对动态图像进行的特征提取，具体为：在动态图像的特征提取时，基于swin transformer网络的编码-解码的结构，使用双路transformer结构来保证时间上的一致性从而提取动态图像特征；将像素级特征解码为每个帧的对象级表示，在骨干特征进入transformer解码器之前，应用一个线性嵌入层，将其从骨干维映射到解码器隐藏维；再将其空间和时间维度平展，以便将其送入transformer解码器；视频序列特征提取包括四个阶段，在每个阶段对视频序列的空间维度进行下采样以实现特征提取。
29.步骤三中，多种不同模态的数据包括动态图像、病例类型数据和基因型数据；将动态图像的输入数据、病例类型数据和基因型数据三种不同模态的数据输入到分类网络中；进行全局平均池化gap操作，在经过全连接fc层后给出甲状腺癌的分层预测结果，减轻医生的阅片时间和诊断难度。
30.步骤三中，利用多模态深度神经网络框架计算多模态生物诊断标记物，通过增加神经网络结构的分支，使其能够接受不同模态的数据输入；并设计损失函数来充分挖掘多模态数据之间的非线性互补信息，在损失函数中以四分类准确率驱动非线性函数的优化方向来更好地挖掘多模态数据互补信息，以提高诊断正确率。
31.所述预测方法利用深度卷积网络分别提取甲状腺癌动态图像、病理类型和分子特征相关的超声组学图像特征，整合三者的信息，进行有效的融合，以并行的方式输入到多分支神经网络模型中，整合特征信息进行端到端学习，做出更全面、更客观的综合判断。
32.实施例：本例中，首先采用图像滤波增强和超分辨率网络对输入图像进行预处理操作。提升输入图像的质量和分辨率，辅助后续的卷积神经网络进行分割和分类处理。
33.在分割阶段，需要分成两步进行训练。第一步要在没有图卷积模块的情况下训练主干网络。第二步要将主干网络的训练权重作为预训练权重，并融入图卷积模块一同训练网络。由于图卷积模块的特性，如果将整个网络一起训练，网络模型不能较好的收敛。因此，分成两步来训练网络，可以确保图卷积模块获得更显著的特征图。
34.在图卷积网络中，我们首先要获取甲状腺的解剖先验信息，来学习甲状腺的构造及其特征。然后提取这些先验信息并建模，再根据形状、位置等参数设计损失函数。再结合这些信息融入图卷积神经网络模型，设计解剖特征约束的图卷积神经网络分割模型。
35.将分割得到的有高信息量的受注意区域的图片输入到分类网络中进行分层预测。在最后的预测网络中，使用动态的视频序列来做超声影像组学的特征提取。在分类网络中可以输入动态的输入数据、病例类型数据和基因型数据三种不同模态的数据，可以更加精确的辅助甲状腺癌的危险层级预测。
36.在预处理阶段，我们将动态图像的大小调整为224
×
224。在训练和验证阶段，使用adam优化器，初始学习率设置为0.1，权重衰减设置为0.001。为了避免在训练过程中陷入过拟合，我们在200次的epoch后终止训练过程。建议在nvidia rtx 2080ti 以上版本的gpu的
ubuntu系统上进行分类预测以加快预测速度。整体过程分为三个步骤，先对图像进行预处理操作，将图片调整为适合网络的图片大小。第二步，利用融入了图卷积模块的分割网络进行分割操作。最后，将动态的输入数据、病例类型数据和基因型数据三种不同模态的数据输入到分类网络中。最后进行全局平均池化（gap）操作，在经过全连接（fc）层后给出甲状腺癌的分层预测结果，自动化辅助医生，大大减轻医生的阅片时间和诊断难度。
37.以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

技术特征：
1.基于图卷积网络的动态图像甲状腺癌危险分层预测方法，用于甲状腺结节筛查的超声检查影像结果分析，其特征在于：所述预测方法包括以下步骤；步骤一、采用图像滤波增强和超分辨率网络来对超声图像进行预处理，设计用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，建立对应的网络模型进行训练；步骤二、以基于人工智能技术的动态超声影像组学的特征提取方法，对动态的视频序列进行特征提取，并引入深度学习方法来融合动态的超声影像组学，使提取的影像组学特征更为丰富；步骤三、利用多分支神经网络模型，综合多种不同模态的数据，通过挖掘不同模态数据互补信息来计算多模态生物标记物，以此建立可指导临床决策的甲状腺癌危险分层预测模型。2.根据权利要求1所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：所述步骤一中用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，采用解剖先验信息约束的图卷积神经网络分割框架，即利用超声图像中甲状腺结构的空间相关性来提取语义特征表示，通过引入甲状腺的先验知识来获取甲状腺与相邻组织之间结构的依赖关系从而提升网络的分割性能，提升甲状腺病灶分割的准确率；在对网络模型的分割阶段进行训练时，包括以下步骤；步骤a1、在没有图卷积模块的情况下训练主干网络；步骤a2、将主干网络的训练权重作为预训练权重，并融入图卷积模块一同训练网络；在图卷积神经网络的训练中，首先获取甲状腺的解剖先验信息，来学习甲状腺的构造及其特征；然后提取这些解剖先验信息并建模，再根据形状、位置等参数设计损失函数；再结合这些信息融入图卷积神经网络模型，设计解剖特征约束的图卷积神经网络分割模型。3.根据权利要求2所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：通过在甲状腺图像分割中使用图卷积来提高对图像中甲状腺结节部位的分割性能，具体方法为：步骤b1、利用卷积神经网络最后一层的输出作为图卷积节点的输入，构建图节点，并利用节点的相似性构建图的边，将其一同输入到图卷积神经网络中；步骤b2、通过计算损失和回传梯度，迭代网络参数，完成了基于图卷积分割网络模型的训练，使图卷积的形式可以扩展分割网络的感受野，有效结合图像的全局和局部信息以避免局部位置信息的损失；步骤b3、将图卷积神经网络分别与多个其它卷积神经网络结构相结合，将结合其它卷积神经网络结构后设计的图卷积神经网络融入到网络中进行对比，根据对比结果进一步调整和改进图卷积神经网络的核心参数，以提高甲状腺结节分割的性能；所述多个其它卷积神经网络结构包括u-net、fcn、segnet。4.根据权利要求1所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：所述步骤二中用动态的视频序列来做超声影像组学的特征提取，以获取病灶全貌超声征象，以及病灶与周边组织结构的毗邻关系；步骤二对动态的视频序列进行特征提取为对动态图像进行的特征提取，具体为：在动态图像的特征提取时，基于swin transformer网络的编码-解码的结构，使用双路
transformer结构来保证时间上的一致性从而提取动态图像特征；将像素级特征解码为每个帧的对象级表示，在骨干特征进入transformer解码器之前，应用一个线性嵌入层，将其从骨干维映射到解码器隐藏维；再将其空间和时间维度平展，以便将其送入transformer解码器；视频序列特征提取包括四个阶段，在每个阶段对视频序列的空间维度进行下采样以实现特征提取。5.根据权利要求1所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：步骤三中，多种不同模态的数据包括动态图像、病例类型数据和基因型数据；将动态图像的输入数据、病例类型数据和基因型数据三种不同模态的数据输入到分类网络中；进行全局平均池化gap操作，在经过全连接fc层后给出甲状腺癌的分层预测结果，减轻医生的阅片时间和诊断难度。6.根据权利要求5所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：步骤三中，利用多模态深度神经网络框架计算多模态生物诊断标记物，通过增加神经网络结构的分支，使其能够接受不同模态的数据输入；并设计损失函数来充分挖掘多模态数据之间的非线性互补信息，在损失函数中以四分类准确率驱动非线性函数的优化方向来更好地挖掘多模态数据互补信息，以提高诊断正确率。7.根据权利要求1所述的基于图卷积网络的动态图像甲状腺癌危险分层预测方法，其特征在于：所述预测方法利用深度卷积网络分别提取甲状腺癌动态图像、病理类型和分子特征相关的超声组学图像特征，整合三者的信息，进行有效的融合，以并行的方式输入到多分支神经网络模型中，整合特征信息进行端到端学习，做出更全面、更客观的综合判断。

技术总结
本发明提出基于图卷积网络的动态图像甲状腺癌危险分层预测方法，包括以下步骤；步骤一、采用图像滤波增强和超分辨率网络来对超声图像进行预处理，设计用于甲状腺超声图像分割的基于图卷积神经网络结构的算法，建立对应的网络模型进行训练；步骤二、以基于人工智能技术的动态超声影像组学的特征提取方法，对动态的视频序列进行特征提取，并引入深度学习方法来融合动态的超声影像组学，使提取的影像组学特征更为丰富；步骤三、利用多分支神经网络模型，综合多种不同模态的数据，通过挖掘不同模态数据互补信息来计算多模态生物标记物，以此建立可指导临床决策的甲状腺癌危险分层预测模型；本发明能够提高甲状腺癌危险分层的准确性和精度。性和精度。性和精度。


技术研发人员：童同 李志强 周小根 薛恩生 陈舜 郑梅娟
受保护的技术使用者：福建医科大学附属协和医院
技术研发日：2023.05.22
技术公布日：2023/8/16