基于Transformer和U-Net融合网络的腹部多器官分割方法

基于transformer和u-net融合网络的腹部多器官分割方法
技术领域
1.本发明是一种应用在医学图像分割领域方法，主要是基于transformer和u-net的混合网络，能够快速精准分割图像。


背景技术：

2.随着计算机技术的发展，近年来，基于深度学习的方法在视觉处理方面取得了重大发展，同时也激发了深度学习应用于医学图像的自动分割方面的研究，能够高效且精准的医学图像分割方法成为了目前临床医学方面的一个研究热点。
3.现有的图像分割方法主要有两大类：深度学习方法与传统学习方法。对于传统的学习方法，首先进行特征的提取，对图像在进行分类前，首先要确定图像中的特征的重要性，并且提取的这些特征的算法需要人工去设计，这一过程非常依赖人工且比较耗时。对于深度学习方法是由神经网络在训练过程中决定的特征提取和预测不需要预先猜测选择提取哪些特征，而且随着硬件设备的提升(主要是gpu运算性能)，可以更加快速的并行计算，基于深度学习的方法越来越受到研究人员的欢迎。
4.自2015年，u-net模型结构首次提出后，衍生出了很多变体网络以及改进方法。u-net已成为事实上的选择，它由具有跳过连接的对称编码器-解码器网络组成，以增强细节保留。
5.尽管基于cnn的方法具有非凡的表示能力，但由于卷积运算的固有局部性，它们在建模显式长程关系方面通常表现出局限性。transunet是第一个基于transformer的医学图像分割框架，它从它从序列到序列预测的角度建立了自我注意机制，采用了一种混合的cnn transformer架构，以利用来自cnn特征的详细高分辨率空间信息和transformer编码的全局上下文，在各项计算机视觉任务中取得了较好的结果。


技术实现要素：

6.本发明解决的技术问题是：针对医学图像领域图像人工分割耗时耗力且精准度较低问题，本发明基于cnn与transformer相融合的网络方法上，提出来一种交叉注意力与u-net混合的图像分割方法，主要应用于医学领域的图像分割，实现了高效精准的医学图像分割。
7.本发明的技术解决方案是：一种基于transformer和u-net融合网络的腹部多器官分割方法，步骤如下：(1)以传统u-net网络作为特征提取网络，并在编码阶段引入交叉注意力模块，增加不同尺度特征之间的交互融合；(2)由于transformer缺乏提取局部上下文的能力，因此使用增强型卷积模块(edsc),将其直接替换transformer中的全连接层，能够在一定程度上捕获局部上下文信息，加强特征的提取；(3)提出一种有效的注意力机制，根据输入特征图的大小，相应的通过不同大小卷
积核进行下采样，得到相对低分辨率的q,k,v向量，再进行注意力计算时，计算复杂度可由原来的o(n2)降低到o(n)，大量节省模型训练推理的时间花销。
8.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤1中，u-net作为backbone网络，在编码阶段引入交叉注意力模块，由于transformer天生就具有的全局感受野，能够很好的构建长远程依赖关系，加u-net的局部细节特征的提取，二者结合能够在编码阶段进行更好的特征提取，具体步骤为：步骤1-1：u-net共进行4次下采样进行特征提取，会从第二次下采样开始，首先进行一次下采样之前，同级的特征会映射出q1,k1,v1三个向量，自己跟自己计算一次自注意力，得到第一次输出结果；步骤1-2：之后将第一次得到的结果进行再次映射得到新的o2,v2，此时将来自低级特征图的k1与此时高级特征图的v2,q2第二次自注意力计算，得到最终输出结果，进行下一次下采样。
9.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤2中，在transformer中引入增强型卷积(edsc)模块，加强局部特征的提取，具体步骤为：步骤2-1：首先，将进行过交叉注意力计算的结果送入增强型卷积模块，先是经过一个普通的残卷卷积块；步骤2-2：其次，进入深度可分离卷积模块，比普通卷积更高效而且可以降低模型的参数量；步骤2-3：最后，经过一个与步骤1相同的卷积模块，在经过bn标准化及gelu激活函数后得到输出结果；
10.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤3中，使用一种有效的注意力机制，该模块应用在跳跃连接部分，能够有效抑制不相关的噪音，实现精细化的分割，同时能够将自注意力的计算复杂度由原来o(n2)降低到o(n),适合高分辨率的特征图，能缩短模型训练、推理时间，具体步骤为：步骤3-1：将来自高层的特征映射出k,v两个向量，分别对其进行卷积下采样操作，得到低分辨率的步骤3-2：低层的特征图进行映射得到查询q向量，对其进行下采样；步骤3-3：q与计算得到相似矩阵attn，再进行softmax；步骤3-4：attn与相乘，得到最终输出；
11.本发明的有益效果是：(1)本发明是一种基于transformer和u-net融合网络的腹部多器官分割方法。由于cnn构建模型的特点，最后输出的feature map往往是浓缩了大量的语义信息(既高级的特征)，但是由于逐级连续的下采样，使得这部分特征图分辨率较低、对局部细节的保留较少，因此对于医学图像中小目标的病变区域及边界分割效果不尽如人意。而将不同深度的特征层做交互融合：浅层感受野小，分辨率大，能够处理并保存小尺度的几何特征；高层感受野大，分辨率小，能够处理并保存大尺度的语义特征。这一过程叫做多尺度特征融合；能够将语义特征和几何特征进行融合，泛化性较好。针对这一问题，本发明设计了一个混合神
经网络，将transformer与u-net以一种新的方式结合在一起，增强了在编码阶段不同尺度特征之间的交互融合，提高了模型的特征提取。(2)本发明使用增强型卷积模块，在神经网络的编码阶段，将其替换交叉注意力模块的前馈神经网络中的全连接层，通过卷积在特征图上滑动运算的特点，可以很好的提取局部细节特征，弥补transformer无法建模局部上下文的局限性。(3)本发明使用卷积操作对transformer进行了改进，在跳跃连接部分，使用一种有效的注意力模块，将其引入到了跳跃连接的transformer模块上，根据输入的特征大小，将特征图通过卷积运算进行空间缩减，缓解了高分辨率特征图损失较大的问题，这样改进后不仅能将自我注意力计算的复杂度由o(n2)降低到o(n),还能更好地过滤非语义特征信息，帮助解码器进行精细恢复。
附图说明
12.图1为本发明实施方式中的基于transformer和u-net融合网络的腹部多器官分割方法的技术流程图。
13.图2为本发明实施方式中的网络结构图。
14.图3为本发明实施方式中的交叉注意力模块。
15.图4为本发明实施方式中的增强型卷积模块。
16.图5为本发明实施方式中的有效注意力机制模块。
具体实施方式
17.如图2所示，一种基于transformer和u-net融合网络的腹部多器官分割方法，包括以下步骤：(1)以传统u-net网络作为特征提取网络，并在编码阶段引入交叉注意力模块，增加不同尺度特征之间的交互融合；(2)由于transformer缺乏提取局部上下文的能力，因此使用增强型卷积模块(edsc),将其直接替换transformer中的全连接层，能够在一定程度上捕获局部上下文信息，加强特征的提取；(3)提出一种有效的注意力机制，根据输入特征图的大小，相应的通过不同大小卷积核进行下采样，得到相对低分辨率的q,k,v向量，再进行注意力计算时，计算复杂度可由原来的o(n2)降低到o(n)，大量节省模型训练推理的时间花销。
18.本发明使用u-net作为骨干网络，同时将transformer引入到神经网络中。传统的u-net结构，为了获取深层的高级特征，通常采用的是不断逐层卷积，这样会导致关注过多重复的特征信息，而且卷积核只能关注自身及边界的特征信息，缺乏不同特征之间的交互融合，因此我们在编码路径上引入了交叉注意力模块，一共使用4次，分别是每一层下采样之后，经过残差卷积模块后，送入到该模块计算交叉注意力。
19.为了更好提取局部细节与全局上下文的关系，我们将编码器中的transformer前馈神经网络的全连接层做了替换，能够缓解transformer提取局部细节特征的压力，提高编码阶段的特征提取。
20.我们使用增强型卷积模块作为替换模块，通过该模块的使用，我们达到了两个目
的，一是使用卷积模块对局部细节特征进行更好的提取，这对于分割医学图像中占比较小的器官及病变边界来说十分重要；二是使用深度可分离卷积模块，可大幅度减少模型的参数量，减少计算复杂度，相比普通卷积更为高效。
21.transformer应用了自注意力机制来建模全局的上下文信息，然而这种基于像素点(pixel-to-pixel)对的建模方式计算量无疑是巨大的，通常为输入特征尺寸的二次方。使用了一种有效的注意力机制，可以根据输入特征的大小，通过卷积运算，将特征图进行空间缩减，将运算的复杂度由o(n2)降低到o(n)。
22.是基于pytorch1.8.0和python3.6实现的，并使用的是单个nvidia geforce rtx 2080ti 11g显存进行训练。
23.与其它预训练网络不同，crossutransnet不采用任何预训练权重并从头开始训练，因此，在数据预处理部分，对所有的训练集都进了适度随机旋转、仿射变换、高斯变换等形式的数据增强。
24.训练期间，所有输入图像被裁剪成224x224,批次大小设置成14，初始学习率为0.05，使用sgd优化器，动量和权重衰减分别为0.9和1e-4，使用dice loss与交叉熵作为优化损失函数来训练网络，共训练600epoch。
25.实验使用的是miccai2015multi atlas腹部标记挑战的30例腹部ct扫描数据，共3779张腹部轴向增强图像。其中18例(2212张二维切片)用于模型训练，12例(1567张二维切片)用于模型预测。synapse数据集主要对8个腹部器官(主动脉、胆囊、脾脏、左肾、右肾、肝脏、胰腺、胃)进行分割，使用平均dsc系数和平均hd作为模型性能评价指标。
26.dsc和hd的计算公式如下所示。dsc是用于计算预测值与真实值之间的相似性，其中tp是被正确判断的阳性样本，fp是被错误的阳性样本，fn是被错误判断的阴性样本，tn是被正确判断的阴性样本。hd是描述真实值与预测值之间的表面距离，通常将距离从大到小排列后，取前5％的距离，因此也称hd95。排列后，取前5％的距离，因此也称hd95。
27.混合使用交叉熵损失函数crossentropyloss和dice loss两个损失函数，来解决，此函数的混合定义为：
28.模型dsc(avg)hd(avg)swinunet79.1321.55u-net76.8539.70tfcns83.7217.26transunet77.4831.69missformer81.9618.80our algorithm84.8013.96
29.本发明是一种基于transformer和u-net融合网络的腹部多器官分割方法，交叉注
意力模块能够在u-net编码阶段，同时捕获全局相关性及局部上下文信息，计算多尺度之间的交叉注意力，加强编码阶段的特征提取。通过将增强型卷积模块代替transformer的全连接层，可以有效克服transformer无法对局部细节特征提取的问题。最后，采用一种有效的注自意力机制，降低模型运算复杂度，减少模型训练推理的时间开销。在synapse腹部多器官ct数据集上评估了我们的网络模型，通过对比实验及消融实验结果可以看出，我们的方法在图像分割精度上得到了较大的提升，充分证明了该方法优异的分割性能。
30.以上所述仅为本发明的一个实施方式而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，包括以下步骤：步骤1：以传统u-net网络作为特征提取网络，并在编码阶段引入交叉注意力模块，增加不同尺度特征之间的交互融合；步骤2：由于transformer缺乏提取局部上下文的能力，因此使用增强型卷积模块(edsc),将其直接替换transformer中的全连接层，能够在一定程度上捕获局部上下文信息，加强特征的提取；步骤3：提出一种有效的注意力机制，根据输入特征图的大小，相应的通过不同大小卷积核进行下采样，得到相对低分辨率的q,k,v向量，再进行注意力计算时，计算复杂度可由原来的o(n2)降低到o(n)，大量节省模型训练推理的时间花销。2.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤1中，u-net作为backbone网络，在编码阶段引入交叉注意力模块，由于transformer天生就具有的全局感受野，能够很好的构建长远程依赖关系，加u-net的局部细节特征的提取，二者结合能够在编码阶段进行更好的特征提取，具体步骤为：步骤1-1：u-net共进行4次下采样进行特征提取，会从第二次下采样开始，首先进行一次下采样之前，同级的特征会映射出q1,k1,v1三个向量，自己跟自己计算一次自注意力，得到第一次输出结果；步骤1-2：之后将第一次得到的结果进行再次映射得到新的o2,v2，此时将来自低级特征图的k1与此时高级特征图的v2,q2第二次自注意力计算，得到最终输出结果，进行下一次下采样。3.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤2中，在transformer中引入增强型卷积(edsc)模块，加强局部特征的提取，具体步骤为：步骤2-1：首先，将进行过交叉注意力计算的结果送入增强型卷积模块，先是经过一个普通的残卷卷积块；步骤2-2：其次，进入深度可分离卷积模块，比普通卷积更高效而且可以降低模型的参数量；步骤2-3：最后，经过一个与步骤1相同的卷积模块，在经过bn标准化及gelu激活函数后得到输出结果。4.根据权利要求1所述的基于transformer和u-net融合网络的腹部多器官分割方法，其特征在于，所述步骤3中，使用一种有效的注意力机制，该模块应用在跳跃连接部分，能够有效抑制不相关的噪音，实现精细化的分割，同时能够将自注意力的计算复杂度由原来o(n2)降低到o(n),适合高分辨率的特征图，能缩短模型训练、推理时间，具体步骤为：步骤3-1：将来自高层的特征映射出k,v两个向量，分别对其进行卷积下采样操作，得到低分辨率的步骤3-2：低层的特征图进行映射得到查询q向量，对其进行下采样；步骤3-3：q与计算得到相似矩阵attn，再进行softmax；步骤3-4：attn与相乘，得到最终输出。

技术总结
本发明提出了图像分割算法CrossUTransnet，主要应用在医学图像分割领域，能够高效且精准的进行图像分割，大量节省了医生手动分割消耗的时间，同时也能避免由于医生的主观性造成的分割差异。首先，在U-Net编码阶段引入交叉注意力模块，进行多尺度特征之间的交互；其次，由于卷积的内在局限性，引入增强型卷积模块,将其替换Transformer中的全连接层，能够缓解Transformer无法提取局部特征的局限性；最后，改进一种有效的注意力机制，能够将自注意力计算的复杂度由O(n2)到O(n)。实验在Synapse腹部多器官数据集上进行，该算法取得了更好的分割效果。效果。


技术研发人员：王莉莉 霍明伟
受保护的技术使用者：哈尔滨理工大学
技术研发日：2023.05.14
技术公布日：2023/8/14