多模态影像引导的脑血管造影质量增强方法和装置

1.本发明涉及计算机视觉技术领域，尤其涉及一种多模态影像引导的脑血管造影质量增强方法和装置。


背景技术：

2.磁共振血管造影，如时间飞跃法磁共振血管成像（time of flight mra，tof-mra）、磁敏感加权成像（susceptibility weighted imaging，swi）和定量磁化率成像（quantitative susceptibility mapping，qsm）等，具有无创、安全和经济的特点，被越来越多地应用在科研和临床领域。
3.在磁共振血管造影中，由于技术和设备等条件限制，相关技术中的脑血管造影数据使用低分辨率或低场强磁共振机器采集，采集的图像质量较差。


技术实现要素：

4.本发明提供一种多模态影像引导的脑血管造影质量增强方法和装置，用以解决现有技术中血管造影图像质量差的缺陷，提高血管造影的图像质量。
5.本发明提供一种多模态影像引导的脑血管造影质量增强方法，包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；
基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
6.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述确定教师质量增强损失，包括：基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用l1损失，计算所述教师质量增强损失的第一损失；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用ms-ssim损失，计算所述教师质量增强损失的第二损失；基于所述第一损失和所述第二损失，确定教师质量增强损失；所述确定学生质量增强损失，包括：基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用l1损失，计算所述学生质量增强损失的第三损失；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用ms-ssim损失，计算所述学生质量增强损失的第四损失；基于所述第三损失和所述第四损失，确定学生质量增强损失。
7.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像，包括：基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。
8.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。
9.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述确定学生模型总损失基于如下公式确定：；式中，表示学生模型总损失，表示学生质量增强损失，表示对比知识蒸馏损失，表示正则化知识蒸馏损失，和表示控制损失大小的超参数。
10.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述获取脑血管样本图像数据集，包括：获取初始脑血管样本图像数据集；基于fsl软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。
11.根据本发明提供的一种多模态影像引导的脑血管造影质量增强方法，所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：在反向传播过程中，更新所述教师模型的权重；所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。
12.本发明还提供一种多模态影像引导的脑血管造影质量增强装置，包括：影像获取单元，用于获取待增强的单模态脑血管影像；质量增强单元，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
13.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理
器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态影像引导的脑血管造影质量增强方法。
14.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态影像引导的脑血管造影质量增强方法。
15.本发明提供的多模态影像引导的脑血管造影质量增强方法和装置，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之一；图2是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之二；图3是本发明提供的教师模型训练方法的流程示意图；图4是本发明提供的学生模型训练方法的流程示意图；图5是本发明提供的多模态影像引导的脑血管造影质量增强装置的结构示意图；图6是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.首先对以下内容进行介绍：脑血管造影技术主要包括磁共振血管造影（magnetic resonance angiography，mra）、计算机断层血管造影（computed tomography angiography，cta）以及基于x射线的数字减影血管造影（digital subtraction angiography，dsa）等。dsa是血管造影的金标准，但是需要临床医生做有创手术才能完成，cta需要注射造影剂，可能会给患者带来不良影响。
20.相比之下，磁共振血管造影具有无创、安全、经济的特点，被越来越多地应用在科
研和临床领域。在磁共振血管造影中，7t超高场强磁共振血管造影相比3t磁共振血管造影，信噪比和对比度噪声比更高。但是由于技术和设备等条件限制，相关技术中的脑血管造影数据使用低分辨率或低场强磁共振机器采集，存在细小血管对比度不高以及空间连续性较差等问题，给血管精准分割、血管骨架提取以及血管指标分析等多种下游任务带来了不利影响。
21.针对上述缺陷，可以利用模式识别算法提高低分辨率和低信噪比图像的质量，使其接近高分辨率设备类似的造影效果。目前有的研究组已经开展血管造影的超分辨研究：一项研究利用生成对抗网络（generative adversarial networks，gan）提升了低分辨率tof-mra的图像质量和血管能见度；另一项研究将注意力机制和多尺度残差与gan结合起来，提高了cta的信噪比。相关技术中的血管影像质量增强方法局限于单一模态影像，然而多模态血管造影可以提供全面互补的丰富血管信息，对改善血管图像质量很有前景，但目前没有研究涉及。
22.值得注意的是，虽然在训练模型时使用多模态图像有望提高重建图像的质量，但如没有特别设计，在使用模型时也需要获取所有相应模态的低质量图像，给模型的使用带来了局限性。本发明采用知识蒸馏机制，将教师模型学到的多模态互补信息迁移到单模态学生模型，既使学生模型能够使用单模态低质量图像达到接近多模态模型的质量增强效果，又避免了使用模型时需要获取多种模态图像的困难。
23.图1是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之一，该方法中各步骤的执行主体可以是多模态影像引导的脑血管造影质量增强装置，该装置可通过软件和/或硬件实现，该装置可集成在电子设备中，电子设备可以是终端设备（如智能手机、个人电脑等），也可以是服务器（如本地服务器或云端服务器，也可以为服务器集群等），也可以是处理器，也可以是芯片等。如图1所示，该方法可以包括如下步骤：步骤100，获取待增强的单模态脑血管影像。
24.具体地，待增强的单模态脑血管影像是指后续用于质量增强的图像，具体可以是tof-mra图像，也可以是swi图像，还可以是qsm图像，本发明实施例对此不作具体限定。
25.需要说明的是，本文中的术语“影像”和“图像”可以相互替换。
26.步骤110，基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像。
27.具体地，为了实现对脑血管影像进行质量增强，可以预先训练得到脑血管影像质量增强模型。在此基础上，将待增强的单模态脑血管影像输入训练完成的脑血管影像质量增强模型，得到脑血管影像质量增强模型输出的质量增强图像。
28.其中，脑血管影像质量增强模型可以基于如下步骤训练得到：步骤210，获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块。
29.可选地，为了训练模型，可以获取一组受试者多种模态的高质量血管影像和低质量血管影像，并对其进行预处理，得到脑血管样本图像数据集。
30.可选地，脑血管样本图像数据集的模态可以包括tof-mra图像，swi图像，qsm图像，cta图像，以及dsa图像等，本发明实施例对此不作具体限定。
31.可选地，第一样本图像可以包括多模态低质量血管影像，具体可以包括3t tof-mra，3t swi，3t qsm, 以及低分辨率cta等，本发明实施例对此不作具体限定。
32.可选地，第二样本图像可以包括多模态高质量血管影像，具体可以包括7t tof-mra，7t swi，7t qsm，高分辨率cta，以及高分辨率dsa等，本发明实施例对此不作具体限定。
33.可选地，训练数据集中所有受试者的高质量血管影像模态和低质量血管影像模态的数量和种类需要保持一致。
34.可选地，高质量血管影像模态和低质量血管影像模态可以不用一一对应，但其中至少要有一个模态需要兼具高质量和低质量影像，即学生模型对应的单个模态，也即模型推理时质量增强的模态；其余模态则不要求兼具高质量和低质量影像。
35.步骤220，基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像。
36.具体地，获取脑血管样本图像数据集之后，可以构建初始脑血管影像质量增强模型。初始脑血管影像质量增强模型可以采用多模态训练-单模态推理框架，可以先将教师模型作为多模态训练模型，对教师模型进行多模态训练，然后对学生模型进行单模态训练，最后可以将训练后的学生模型作为单模态推理模型，多模态训练-单模态推理框架可以由两个神经网络组成，其架构可以相同也可以不同。
37.可选地，教师模型可以采用单一的神经网络，也可以采用多个神经网络的组合，具体涉及的神经网络可以包括gan、变分自编码器（variational autoencoder，vae）、深度网络模型u-net、和变换神经网络（transformer）等，本发明实施例对此不作具体限定。
38.可选地，可以将第一样本图像输入初始脑血管影像质量增强模型中的教师模型，得到教师特征图；然后基于教师特征图，得到教师模型输出的质量增强图像，可以称为教师质量增强图像。
39.步骤230，基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失。
40.具体地，得到教师模型输出的教师质量增强图像之后，可以基于教师质量增强图像和第二样本图像之间的差异，确定教师质量增强损失。基于教师质量增强损失更新教师模型的权重，可以利用多模态互补信息增强图像质量，以使输出的教师质量增强图像的图像质量接近于第二样本图像的图像质量。
41.步骤240，基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型。
42.具体地，确定教师质量增强损失之后，可以根据计算的教师质量增强损失，对教师模型进行参数迭代，使教师模型学到多模态互补信息。
43.步骤250，基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像。
44.具体地，获取教师质量增强模型之后，可以将教师模型学到的多模态互补信息迁移到学生模型中，以使学生模型可以基于单模态低质量图像得到对应模态的质量增强图像。
45.具体地，可以将第一样本图像中单模态低质量子块输入初始脑血管影像质量增强模型中的学生模型，得到学生特征图；然后基于学生特征图，得到学生模型输出的质量增强
图像，可以称为学生质量增强图像。
46.可选地，学生模型可以采用单一的神经网络，也可以采用多个神经网络的组合，具体涉及的神经网络可以包括gan、vae、u-net、和transformer等，本发明实施例对此不作具体限定。
47.可选地，学生模型可以采用与教师模型相同的架构，也可以采用与教师模型不同的架构，本发明实施例对此不作具体限定。
48.步骤260，基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失。
49.具体地，得到学生模型输出的学生质量增强图像之后，可以基于学生质量增强图像和第二样本图像中单模态高质量子块之间的差异，确定学生质量增强损失。学生质量增强损失可以用于使输出的学生质量增强图像的图像质量接近于第二样本图像中单模态高质量子块的图像质量。
50.步骤270，基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失。
51.具体地，确定学生质量增强损失之后，可以基于教师特征图和学生特征图之间的差异，确定对比知识蒸馏损失（contrastive knowledge distillation loss），以使教师模型和学生模型具有内容敏感性，区别图像的潜在表示；并基于教师质量增强图像、学生质量增强图像、教师特征图和学生特征图之间的差异，确定正则化知识蒸馏损失（regularization knowledge distillation loss），以使学生模型的输出接近教师模型的输出。结合对比知识蒸馏损失和正则化知识蒸馏损失，使教师模型中的多模态知识有效迁移至学生模型。
52.步骤280，基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失。
53.具体地，确定对比知识蒸馏损失和正则化知识蒸馏损失之后，可以结合学生质量增强损失，将三者按照一定比例相加，得到学生模型总损失。学生模型总损失具体可以用于更新学生模型的权重，使输出的学生质量增强图像的图像质量接近于第二样本图像中单模态高质量子块的图像质量。
54.步骤290，基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
55.具体地，确定学生模型总损失之后，可以基于学生模型总损失，对学生模型进行参数迭代，更新学生模型权重，得到脑血管影像质量增强模型。
56.图2是本发明提供的多模态影像引导的脑血管造影质量增强方法的流程示意图之二，如图2所示，该方法可以包括如下步骤：步骤200，引入脑血管样本图像数据集。
57.具体地，为了训练模型，首先可以引入一组受试者的多种模态的高质量脑血管影像和低质量脑血管影像，作为脑血管样本图像数据集，并对其进行预处理，得到脑血管样本图像数据集。
58.步骤201，基于多模态高质量脑血管影像和多模态低质量脑血管影像，训练教师模
型，将多模态低质量脑血管影像输入教师模型生成教师质量增强脑血管影像。
59.具体地，可以采用多模态训练-单模态推理框架，将教师模型作为多模态训练模型，可以将多模态低质量脑血管影像输入教师模型生成教师质量增强脑血管影像，通过计算教师质量增强损失，对教师模型进行参数迭代，使教师模型学到多模态互补信息。
60.步骤202，基于教师模型和单模态高-低质量脑血管影像对，通过知识蒸馏训练学生模型，将单模态低质量脑血管影像输入学生模型生成学生质量增强脑血管影像。
61.具体地，可以通过知识蒸馏，将教师模型学到的多模态互补信息迁移到学生模型中，以使学生模型可以基于单模态低质量图像得到对应模态的质量增强图像。
62.步骤203，使用训练后的学生模型进行推理，将单模态低质量脑血管影像输入训练后的学生模型，获取对应的单模态质量增强脑血管影像。
63.具体地，可以将训练后的学生模型作为脑血管影像质量增强模型，然后将相应模态的低质量图像切分成图像patch输入训练完成的学生模型，得到质量增强图像patch后按照原顺序拼接，即可得到完整的质量增强图像。
64.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
65.可选地，所述确定教师质量增强损失，包括：基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用l1损失，计算所述教师质量增强损失的第一损失；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用ms-ssim损失，计算所述教师质量增强损失的第二损失；基于所述第一损失和所述第二损失，确定教师质量增强损失；所述确定学生质量增强损失，包括：基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用l1损失，计算所述学生质量增强损失的第三损失；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用ms-ssim损失，计算所述学生质量增强损失的第四损失；基于所述第三损失和所述第四损失，确定学生质量增强损失。
66.可以基于如下公式确定教师质量增强损失或学生质量增强损失：（1.1）（1.2）（1.3）
式中，可以表示教师质量增强损失或学生质量增强损失，可以表示l1损失，可以表示ms-ssim损失，可以表示教师质量增强图像或学生质量增强图像，可以表示第二样本图像，可以表示尺度因子（原图像的尺度因子可以为1），、和分别可以表示在尺度下的亮度、对比度和结构的相似性。
67.具体地，可以将教师质量增强图像和第二样本图像中多模态高质量子块代入式（1.2）中，计算两者的l1损失，即教师质量增强损失的第一损失；然后可以将教师质量增强图像和第二样本图像中多模态高质量子块代入式（1.3）中，计算两者的ms-ssim损失，即教师质量增强损失的第二损失；最后可以根据式（1.1），将第一损失和第二损失相加，得到教师质量增强损失。
68.具体地，可以将学生质量增强图像和第二样本图像中单模态高质量子块代入式（1.2）中，计算两者的l1损失，即学生质量增强损失的第三损失；然后可以将学生质量增强图像和第二样本图像中单模态高质量子块代入式（1.3）中，计算两者的ms-ssim损失，即学生质量增强损失的第四损失；最后可以根据式（1.1），将第三损失和第四损失相加，得到学生质量增强损失。
69.l1损失可以比l2损失生成更清晰的图像，并具有更好的收敛性；而ms-ssim损失是一种在多尺度基础上考虑亮度、对比度和结构信息的指标的损失，它在恢复精细血管的细节方面优于l1损失和l2损失，且相比l1或l2损失，ms-ssim损失与l1损失可以更好地恢复血管组织的细节部分。
70.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用ms-ssim损失与l1损失计算教师质量增强损失和学生质量增强损失，可以生成更清晰的图像，并具有更好的收敛性，同时可以更好地恢复血管组织的细节部分。
71.可选地，所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像，包括：基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。
72.可以基于如下公式确定第一样本图像中多模态低质量子块的教师特征图和教师质量增强图像：（2.1）（2.2）
式中，可以表示教师特征图，可以表示教师网络，可以表示教师模型中的第一全连接层。
73.图3是本发明提供的教师模型训练方法的流程示意图，如图3所示，可以将第一样本图像中多模态低质量子块（低质量多模态图像）输入教师模型，基于教师模型中的教师网络，得到教师特征图（第一特征图），基于教师模型中的第一全连接层，获取教师质量增强图像（质量增强多模态图像）。
74.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用训练教师模型，使其学习到多种模态之间的互补信息，为后续将多模态互补信息迁移至学生模型做准备。
75.可选地，所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。
76.可以基于如下公式确定第一样本图像中单模态低质量子块的学生特征图和学生质量增强图像：（3.1）（3.2）式中，可以表示学生特征图，可以表示学生网络，可以表示学生模型中的第二全连接层。
77.图4是本发明提供的学生模型训练方法的流程示意图，如图4所示，可以将第一样本图像中单模态低质量子块（低质量单模态图像）输入学生模型，基于学生模型中的学生网络，得到学生特征图（第二特征图），基于学生模型中的第二全连接层，获取学生质量增强图像（质量增强单模态图像）。
78.可选地，计算学生质量增强损失之后，可以基于和计算对比知识蒸馏损失。
79.可以基于如下公式确定对比知识蒸馏损失：
（3.3）（3.4）式中，可以表示模态图像通过学生模型得到的低维嵌入，由特征图通过全局平均值池化（global average pooling，gap）得到；相应地，可以表示多模态图像通过教师模型得到的低维嵌入。对比知识蒸馏损失可以使相同图像分别通过教师网络和学生网络得到的低维嵌入互相接近，使不同图像的低维嵌入互相远离，可以使用控制互相远离的程度。
80.可选地，计算对比知识蒸馏损失之后，可以基于、、和计算正则化知识蒸馏损失。
81.可以基于如下公式确定正则化知识蒸馏损失：（3.5）（3.6）式中，可以表示正则化因子，用于调控在图像不同位置学生模型向教师模型学习的程度；和可以分别表示学生模型和教师模型在位置的误差，若学生模型在位置的误差小于教师模型在位置的误差，则学生模型的质量增强效果优于教师模型的质量增强效果；若分子为0，则学生模型在该位置不需要向教师模型学习；若学生模型的质量增强效果越来越差于教师模型的质量增强效果，则分子越大，越大，即学生模型越需要向教师学习。同时，若教师模型的质量增强效果越好，则分母越小，越大，即学生模型越需要向教师模型学习。可以表示交叉熵损失，用于使学生模型得到的特征分布接近教师模型得到的特征分布；可以表示softmax函数；可以表示温度超参数，温度越低，两个分布越相似，使学生模型的输出越接近于教师模型的输出。
82.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过采用训练学生模型，得到学生质量增强图像，为后续迁移教师模型中的多模态互补信息做准备。
83.可选地，所述确定学生模型总损失基于如下公式确定：；式中，表示学生模型总损失，表示学生质量增强损失，表示对比知识蒸馏损失，表示正则化知识蒸馏损失，和表示控制损失大小的超参数。
84.具体地，在计算学生质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失后，可以设置合适的和，控制损失大小，获取合适的学生模型总损失，调整学生模型的权重大小，得到脑血管影像质量增强模型。
85.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过设置合适的超参数，获取合适的学生模型总损失，提高训练后的脑血管影像质量增强模型的质量增强效果。
86.可选地，所述获取脑血管样本图像数据集，包括：获取初始脑血管样本图像数据集；基于fsl软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。
87.具体地，首先可以获取一组受试者多种模态的高质量血管影像和低质量血管影像，将其作为初始脑血管样本图像数据集。然后可以使用fsl软件执行同一受试者多模态血管影像对之间的配准，然后将多模态图像在通道维度上拼接，并随机切分成相同大小的图像块（patch）。
88.可选地，可以将全部模态的低质量图像patch和高质量图像patch分别作为教师网络的输入和监督信号，而单模态的低质量图像patch和高质量图像patch则分别作为学生网络的输入和监督信号。
89.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过对初始脑血管样本图像数据集进行预处理，获取训练模型的图像块，为后续训练教师模型和学生模型做准备。
90.可选地，所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：在反向传播过程中，更新所述教师模型的权重；所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。
91.可选地，得到教师质量增强损失后，可以进行梯度反向传播，计算损失函数的梯度，用于更新教师模型的全部权重，以使教师质量增强损失最小化。
92.可选地，得到学生质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失后，可以进行误差反向传播，通过将输出误差反传，将误差分摊给各层所有单元，从而获得各层单
元的误差信号，进而更新学生模型的权重，此时冻结教师模型的权重。
93.可选地，可以通过不断更新学生模型的权重，完成参数迭代，得到脑血管影像质量增强模型，用于脑血管影像质量增强。
94.可选地，在脑血管影像质量增强模型训练完成之后，可以将相应模态的低质量图像切分成图像patch输入所述脑血管影像质量增强模型，得到质量增强图像patch后按照原顺序拼接，即可得到完整的质量增强图像。
95.本发明提供的多模态影像引导的脑血管造影质量增强方法，通过不断更新教师模型和学生模型的权重，完成参数迭代，得到脑血管影像质量增强模型，用于脑血管影像质量增强。
96.下面对本发明提供的多模态影像引导的脑血管造影质量增强装置进行描述，下文描述的多模态影像引导的脑血管造影质量增强装置与上文描述的多模态影像引导的脑血管造影质量增强方法可相互对应参照。
97.图5是本发明提供的多模态影像引导的脑血管造影质量增强装置的结构示意图，如图5所示，该装置包括影像确定单元510和质量增强单元520，其中：影像获取单元510，用于获取待增强的单模态脑血管影像；质量增强单元520，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
98.具体地，多模态影像引导的脑血管造影质量增强装置通过影像获取单元510用于
确定待增强的单模态脑血管影像，然后通过质量增强单元520用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像。其中，脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
99.本发明提供的多模态影像引导的脑血管造影质量增强装置，通过采用多模态训练-单模态推理框架，增强血管影像质量，充分利用不同模态的血管互补信息指导血管影像的质量增强，教师模型可以学习到多种模态之间的互补信息，而在推断时只需获取单模态低质量图像，就能使学生模型利用从教师模型中学到的多模态信息得到质量增强图像，既能保证在训练时丰富的模态信息得以利用，又能避免在推断时获取多种模态图像的困难；并通过计算质量增强损失、对比知识蒸馏损失和正则化知识蒸馏损失，提高血管造影效果。
100.图6是本发明提供的电子设备的结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行多模态影像引导的脑血管造影质量增强方法，该方法包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强
模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
101.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
102.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的多模态影像引导的脑血管造影质量增强方法，该方法包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；
基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
103.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的多模态影像引导的脑血管造影质量增强方法，该方法包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。
104.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其
中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
105.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
106.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种多模态影像引导的脑血管造影质量增强方法，其特征在于，包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。2.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述确定教师质量增强损失，包括：基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用l1损失，计算所述教师质量增强损失的第一损失；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，利用ms-ssim损失，计算所述教师质量增强损失的第二损失；基于所述第一损失和所述第二损失，确定教师质量增强损失；所述确定学生质量增强损失，包括：基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用l1损失，计算所述学生质量增强损失的第三损失；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，利用ms-ssim损失，计算所述学生质量增强损失的第四损失；基于所述第三损失和所述第四损失，确定学生质量增强损失。3.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量
增强图像，包括：基于所述教师模型中的教师网络，确定第一样本图像中多模态低质量子块的教师特征图；基于所述教师模型中的第一全连接层，获取所述教师特征图的教师质量增强图像。4.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像，包括：基于所述学生模型中的学生网络，获取所述第一样本图像中单模态低质量子块的学生特征图；基于所述学生模型中的第二全连接层，确定所述学生特征图的学生质量增强图像。5.根据权利要求1所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述确定学生模型总损失基于如下公式确定：；式中，表示学生模型总损失，表示学生质量增强损失，表示对比知识蒸馏损失，表示正则化知识蒸馏损失，和表示控制损失大小的超参数。6.根据权利要求1-5任一项所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述获取脑血管样本图像数据集，包括：获取初始脑血管样本图像数据集；基于fsl软件，对同一受试者的初始脑血管样本图像数据集进行模态间配准；将所述初始脑血管样本图像数据集在通道维度上拼接，并切分为相同大小的图像块，得到所述脑血管样本图像数据集，所述脑血管样本图像数据集用于训练所述初始脑血管影像质量增强模型。7.根据权利要求1-5任一项所述的多模态影像引导的脑血管造影质量增强方法，其特征在于，所述对所述教师模型进行参数迭代，得到教师质量增强模型，包括：在反向传播过程中，更新所述教师模型的权重；所述对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型，包括：在反向传播过程中，更新所述学生模型的权重，不更新所述教师模型的权重，直至完成参数迭代，得到所述脑血管影像质量增强模型。8.一种多模态影像引导的脑血管造影质量增强装置，其特征在于，包括：影像获取单元，用于获取待增强的单模态脑血管影像；质量增强单元，用于基于脑血管影像质量增强模型，对所述单模态脑血管影像进行质量增强，得到质量增强图像；所述脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，所述脑血管样本图像数据集包括第一样本图像和第二样本图像，所述第一样本图像包括多模态低质量子块，所述第二样本图像包括所述多模态低质量子块对应的多模态高质量子块；
基于初始脑血管影像质量增强模型中的教师模型，获取第一样本图像中多模态低质量子块的教师特征图，确定所述教师特征图的教师质量增强图像；基于所述教师质量增强图像和所述第二样本图像中多模态高质量子块，确定教师质量增强损失；基于所述教师质量增强损失，对所述教师模型进行参数迭代，得到教师质量增强模型；基于初始脑血管影像质量增强模型中的学生模型，获取所述第一样本图像中单模态低质量子块的学生特征图，确定所述学生特征图的学生质量增强图像；基于所述学生质量增强图像和所述第二样本图像中单模态高质量子块，确定学生质量增强损失；基于所述教师特征图和所述学生特征图，确定对比知识蒸馏损失，并基于所述教师质量增强图像、所述学生质量增强图像、所述教师特征图和所述学生特征图，确定正则化知识蒸馏损失；基于所述学生质量增强损失、所述对比知识蒸馏损失和所述正则化知识蒸馏损失，确定学生模型总损失；基于所述学生模型总损失，对所述学生模型进行参数迭代，得到所述脑血管影像质量增强模型。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多模态影像引导的脑血管造影质量增强方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多模态影像引导的脑血管造影质量增强方法。

技术总结
本发明涉及计算机视觉领域，提供一种多模态影像引导的脑血管造影质量增强方法和装置，其中方法包括：获取待增强的单模态脑血管影像；基于脑血管影像质量增强模型，对单模态脑血管影像进行质量增强，得到质量增强图像；脑血管影像质量增强模型的训练步骤包括：获取脑血管样本图像数据集，脑血管样本图像包括第一样本图像和第二样本图像，第一样本图像包括多模态低质量子块，第二样本图像包括多模态低质量子块对应的多模态高质量子块；基于学生质量增强总损失，对学生模型进行参数迭代，得到脑血管影像质量增强模型。本发明提供的多模态影像引导的脑血管造影质量增强方法和装置，可以增强血管影像质量，提高血管造影效果。提高血管造影效果。提高血管造影效果。


技术研发人员：崔玥 黎诚译 余山
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2023.06.06
技术公布日：2023/7/7