一种基于渐进式融合网络的脑卒中病灶分割方法

1.本发明涉及医学图像分割技术领域，尤其涉及一种基于渐进式融合网络的脑卒中病灶分割方法。


背景技术：

2.脑卒中又称“中风”、“脑血管意外”(cerebralvascular accident，cva)，是一种急性脑血管疾病，是我国成人死亡和残疾最常见的原因之一，每年大约有240万新发的脑卒中患者和110万人口死于脑卒中，严重危害了人民生命安全。缺血性脑卒中是一种常见的脑卒中类型，占脑卒中疾病的60％以上。缺血性脑卒中发生时，脑部会出现三种状态的脑组织：已经梗死的梗死区域，有梗死危险的缺血半暗带，以及在较长的时间内不会梗死但有缺血的良性灌注不足区域。如果得不到及时治疗，缺血半暗带区域可能在数小时内死亡演变为梗死区域，并不可恢复。血管再通治疗是缺血性脑卒中的主要治疗手段，但临床指南中基于4.5小时时间窗的静脉溶栓策略条件过于苛刻，导致95％以上的脑缺血病人被排除在外。为解决这一问题，基于弥散加权成像(diffusion weighted imaging，dwi)-灌注加权成像(perfusion weighted imaging，pwi)不匹配的组织窗血管再通个性化诊疗日益受到临床关注。组织窗的核心在于脑部损伤范围的精准分割，由于疾病的复杂性，脑卒中损伤在神经影像中的表现存在较大的个体间和个体内差异，若依靠具有神经解剖学知识的医生进行手动划分，其效果并不理想，一方面损伤范围大小的量化识别结果的准确性依赖于医生的自身经验，另一方面手动划分工作耗时较多，加大了医生的工作强度。因此，如何自动识别和分割缺血性脑卒中医学影像中的损伤区受到广泛关注。
3.近年来，深度学习算法已被广泛应用于医学图像中脑卒中病灶的自动分割。全卷积网络(fcn)和u-net是两个典型的深度学习框架。fcn是利用深度学习方法进行病灶分割的开创性成果。它用一个卷积层替换了cnn的最后一个全连接层，输出原始大小的图像和每个体素的标签。fcn的优点是它可以实现端到端分割，而其缺点是分割结果的细节不够好。u-net是fcn的一种变体，它由收缩路径(编码器)和扩展路径(解码器)组成。收缩路径由卷积层和下采样层组成，用于将图像编码为抽象的特征表示。扩张路径由卷积层和上采样层组成，用于从抽象特征表示中提供有效的目标信息。深度学习具有大量的参数、多层抽象和较强的表征学习能力，可以从复杂的背景区域中提取有效的目标信息。
4.但由于脑卒中病变大小不一，形态多变，且病变和周围组织差异较小，导致单阶段u-net网络的分割难度较大，容易丢失较小的病变，不能够得到令人满意的结果。目前常采用基于多阶段的由粗到细(multi-stage coarse-tofine,mscf)的分割策略来解决上述问题，mscf首先利用粗分割模型来获得目标的大致位置信息，提取感兴趣区域(region ofinterests,rois)，然后利用精分割模型对rois区域进行精细的分割。尽管多阶段方法能有效的缓解由病变大小不一产生的样本不平衡问题，提高了分割效果，但是现有的多阶段方法存在以下几个缺陷：1)多阶段模型不同阶段采用相同的输入，使得不同阶段的分割任务不具有针对性；2)多阶段模型大多采用级联的方式，简单的级联方式忽略了不同阶段之
间的关联性，且只有最后阶段的分割结果得到了利用，其它丰富的语义信息完全被舍弃，使得多阶段提取的特征和多阶段分割结果没有得到充分利用；3)在多阶段模型的约束中，损失函数只对最终的分割结果进行约束，这样就使得在迭代训练中，由本阶段学习到的深层特征不能够直接反馈到本阶段的迭代训练中。
5.为提高现有的分割方法的精度，改进多阶段模型的上述缺陷，本发明提供了一种基于渐进式融合网络的医学图像分割方法，且将它应用于缺血性脑卒中病灶分割。


技术实现要素：

6.本发明的目的在于提供一种基于渐进式融合网络的脑卒中病灶分割方法，以提高脑卒中病灶分割精度。
7.为达到上述技术目的，本发明采用以下一种技术方案：
8.一种基于渐进式融合网络的脑卒中病灶分割方法，具体包括以下步骤：
9.构建多阶段模型：采用三层u-net网络构建多阶段分割网络，该多阶段分割网络自下而上分别为第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络，在第一阶段分割子网络编码端与第二阶段分割子网络编码端之间、第二阶段分割子网络编码端与第三阶段分割子网络编码端之间均设置用于不同阶段编码过程信息交互的跨阶段共享特征学习模块，在第一阶段分割子网络解码端末端、第二阶段分割子网络解码端末端和第三阶段分割子网络解码端末端均设置渐进式自适应融合模块，该自适应融合模块用于自适应的动态聚合解码端的多尺度分割结果；
10.图像分级处理：将待分割的脑卒中mri图像通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像，该三级金字塔图像分辨率分别与所述第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络对应；
11.图像分割：将得到的各阶段输入图像分别输入到所述第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代，迭代过程中对输入图像进行特征提取，最终输出分割图。
12.进一步的，所述u-net网络的卷积层采用具有由深度可分离卷积组成的卷积块。
13.进一步的，所述跨阶段共享特征学习模块用于不同阶段编码过程信息交互的过程包括以下步骤：
14.将第一阶段、第二阶段、第三阶段的分割任务分别定义为分割任务x，y，z，在第i步共享特征时，定义一个遗忘门用来选择前一阶段分割子网络分割任务z中的信息，然后通过卷积操作融合由遗忘门得到的特征和后一阶段分割子网络编码器提取的特征，得到融合特征
15.定义一个记忆门用来确定从后一阶段分割子网络的分割任务y的第i-1步到第i步需要记忆的特征，设置俩个注意门和分别用来注意遗忘门和记忆门的输出信息，注意门是由sigmoid函数计算得出遗忘门和记忆门的输
出权重比；通过tanh函数计算注意值决定信息的正负；
16.聚合由遗忘门记忆门注意门和注意门控制的信息来构造第后一阶段分割子网络的分割任务y的输出特征并通过跳跃连接将输出特征输入到后一阶段分割子网络解码端。
17.进一步的，所述自适应融合模块用于自适应的动态聚合解码端的多尺度分割结果的过程为：
18.对前一阶段分割子网络的输出特征fz进行上采样操作，以得到和后一阶段分割子网络输出特征fy相同大小的特征；再使用1
×
1卷积操作将上采样得到的特征压缩为单通道特征，通过通道连接操作结合得到融合特征fs，fs＝con(up(fz))ccon(fy)；
19.将融合特征fs输入到一个层数为4卷积核尺寸为3
×
3的卷积块中，通过卷积实现对融合特征的特征提取，再经过全局平均池化gap和全局最大池化gmp提取融合尺度上预测的全局确定性得分，然后将来自融合尺度的得分连接到sigmoid函数中，得到融合注意力特征图ws，ws＝gap(on(s))+gmp(con(s))；
20.将融合注意力特征图ws与后一阶段分割子网络输出特征图fy相乘后得到前一阶段分割子网络和后一阶段分割子网络间渐进式自适应融合模块的输出，后一阶段分割子网络和前一阶段分割子网络间的渐进式自适应融合模块输出最终的分割结果。
21.进一步的，每一层所述u-net网络的底部嵌入用于获取位置敏感上下文信息的非局部注意模块。
22.进一步的，所述非局部注意模块的处理过程为：
23.通过卷积核大小为3
×
3的卷积层将输入特征图的通道数由c0减小为c，得到新的特征图f∈rh×w×c，其中c＝c0/8；
24.使用1
×
1卷积操作产生三个新的特征图m1,m2,m3，并且{m1,m2,m3}∈rh×w×c，将特征图m1,m2变形为rc×n，其中n＝h
×
w是特征图的像素个数，再进行矩阵m1与转置矩阵m2的相乘操作，使用和矩阵相乘的结果计算出空间注意力图a∈rn×n，且其中a
ji
是衡量第i个位置对第j个位置的影响；
25.将特征图m3变形为rn×c，再进行矩阵m3与矩阵a的乘法运算，经过转置操作将其结果变形为rc×h×w，获得非局部的特征注意力机制图，将变形后的结果rc×h×w与特征图x2按元素相加得到特征图z，且得到的特征图z是关系特征和原始特征的总和；
26.将特征图z输入到卷积核大小为3
×
3的卷积层中生成与x1形状相同的特征映射，并以x1作为残差块进行求和运算，以避免过拟合。
27.进一步的，所述通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像，具体是：
28.将待分割的脑卒中mri图像输入到自上而下的基于shuffle操作的金字塔网络输入模块中，通过shuffle操作得到不同分辨率的三级金字塔图像，该三级金字塔图像按大小
分别为原图、1/2原图、1/4原图，分别作为第一阶段分割子网络、第二阶段分割子网络和第三阶段分割子网络的输入图像。
29.进一步的，输入图像在第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代过程中，每个阶段均有相应的分割结果，采用深度监督对每个阶段的分割结果都加以损失函数的约束，每阶段的损失函数由二值交叉熵损失和dice损失的加和构成，每阶段的损失函数表达式为：
30.ls＝l
dice
+l
bce
[0031][0032][0033]
ls表示各阶段的损失函数，l
dice
表示dice损失、l
bce
表示二值交叉熵损失、pi表示模型的输出、ti表示分割的标签。
[0034]
进一步的，每阶段的损失之和为总损失l
total
，且有：
[0035]
l
total
＝l
s1
+l
s2
+l
s3
[0036]
该式中，l
total
表示输入图像经过第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络分割结果的总损失，l
s1
表示第一阶段分割子网络分割结果损失函数，l
s2
表示第二阶段分割子网络分割结果损失函数，l
s3
表示第三阶段分割子网络分割结果损失函数，λ、β、δ分别为根据三个阶段的分割任务对总体分割任务不同的贡献度得出的参数。
[0037]
优选的，对于参数λ、β、δ，有λ:β:δ＝1:1:2。
[0038]
采用上述方案后，本发明具有以下有益效果：
[0039]
1)本发明提供的基于多阶段的渐进式融合医学图像分割方法，通过基于shuffl操作的金字塔网络输入模块为多阶段分割模型提供三级金字塔图像(多尺度输入图)；构建的多阶段分割网络，通过设置编码端跨阶段共享特征学习模块和解码端末端的渐进式自适应融合模块，增强各阶段分割子网络之间的关联性，提高多阶段结构提取的特征和分割结果的利用率，最终构成多阶段渐进式融合分割网络；最终由三阶段深度监督实现对网络的约束，使得网络得到的分割图片质量更好，从而进一步提高医学图像分割的精度。
[0040]
2)为提高现有的分割方法的精度，改进多阶段模型的缺陷，本发明提供了一种基于渐进式融合网络的医学图像分割方法，且将它应用于缺血性脑卒中病灶分割取得更好的效果
[0041]
3)本发明使用深度可分离卷积和嵌入非局部注意模块的u-net网络构建多阶段分割网络，可以在使用更少的参数量和计算量的情况下提取更丰富的特征。
附图说明
[0042]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的变形形式。
[0043]
图1是本发明一种基于渐进式融合网络的脑卒中病灶分割方法的步骤流程图；
[0044]
图2为本发明多阶段分割网络结构框架示意图；
[0045]
图3为本发明多阶段渐进式融合分割网络示意图；
[0046]
图4为跨阶段共享特征学习模块结构示意图；
[0047]
图5为非局部注意模块结构示意图；
[0048]
图6为渐进式自适应融合模块结构示意图；
[0049]
图7为三阶段深度监督示意图；
[0050]
图8为脑卒中病灶mri示意图；
[0051]
图9为本发明分割方法对脑卒中atlas数据集的分割结果示意图。
具体实施方式
[0052]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0053]
如图1所示，本发明实施例提供了一种基于渐进式融合网络的脑卒中病灶分割方法，具体包括以下步骤：
[0054]
s1、构建多阶段模型：采用三层u-net网络构建多阶段分割网络(三阶段多级编码u-net网络)，所述u-net网络的卷积层采用具有由深度可分离卷积组成的卷积块，实现特征提取；如图2所示，该多阶段分割网络自下而上分别为第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络，在第一阶段分割子网络编码端与第二阶段分割子网络编码端之间、第二阶段分割子网络编码端与第三阶段分割子网络编码端之间均设置用于不同阶段编码过程信息交互的跨阶段共享特征学习模块，即在相邻阶段分割子网络编码端之间设置跨阶段共享特征学习模块，该跨阶段共享特征学习模块实现不同阶段编码过程中的信息交互；在第一阶段分割子网络解码端末端、第二阶段分割子网络解码端末端和第三阶段分割子网络解码端末端均设置渐进式自适应融合模块，即在各阶段分割子网络解码端末端设置渐进式自适应融合模块，该自适应融合模块用于自适应的动态聚合解码端的多尺度分割结果，构成如图3所示的多阶段渐进式融合分割网络。
[0055]
s2、图像分级处理：将待分割的如图8所示的脑卒中mri图像通过shuffle操作得到不同分辨率的三级金字塔图像(多尺度输入图)，作为每个阶段输入图像，该三级金字塔图像分辨率分别与所述第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络对应；本实施例中，所述通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像，具体是：将待分割的脑卒中mri图像输入到自上而下的基于shuffle操作的金字塔网络输入模块中，通过shuffle操作得到不同分辨率的三级金字塔图像，该三级金字塔图像按大小分别为原图、1/2原图、1/4原图，分别作为第一阶段分割子网络、第二阶段分割子网络和第三阶段分割子网络的输入图像。shuffle的本意是洗牌、混洗的意思，指把一组有规则的数据尽量打乱成无规则的数据，采用shuffle操作的主要原因是shuffle操作在保持原始图像信息完整性的同时，能够在不增加网络参数数量的基础上获取多尺度的输入图
像。
[0056]
s3、图像分割：将得到的各阶段输入图像分别输入到所述多阶段分割网络(三阶段多级编码u-net网络)的第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代，迭代过程中对输入图像进行特征提取，最终输出分割图。在迭代的过程中多阶段分割网络的特征提取能力得到提升，最终的分割图由第三阶段分割子网络输出。
[0057]
上述的跨阶段共享特征学习模块结构如图4所示，该模块所述的能够自主决定特征信息的保留与舍弃，从周围的组织中分割出病灶，抑制低水平的背景噪声(非病灶区)。粗分割过程中得到的特征具有丰富分细节性，选择它们的特征作为补充信息应用到下一阶段的精细分割中，使得有益的特征达到转移，而过滤掉无用或有害的信息；下面以第一阶段分割子网络编码端和第二阶段分割子网络编码端之间跨阶段共享特征学习模块举例说明跨阶段共享特征学习模块用于不同阶段编码过程信息交互的过程，具体包括以下步骤：
[0058]
s101、将第一阶段、第二阶段、第三阶段的分割任务分别定义为分割任务x，y，z，在i步共享特征时，定义一个遗忘门用来选择第一阶段分割子网络分割任务z中的信息，这有利于第二阶段分割子网络的分割任务y，然后通过卷积操作融合由遗忘门得到的特征和第二阶段分割子网络编码器提取的特征，得到融合特征
[0059]
s102、定义一个记忆门用来确定从第二阶段分割子网络的分割任务y的第i-1步到第i步需要记忆的特征，并且将注意力机制嵌入到提出的模块中，设置俩个注意门和分别用来注意遗忘门和记忆门的输出信息，防止与病灶相关的重要信息丢失，注意门是由sigmoid函数计算得出遗忘门和记忆门的输出权重比；通过tanh函数计算注意值决定信息的正负；sigmoid函数和tanh函数常被用作神经网络的激活函数，sigmoid函数将变量映射到(0,1)之间，而tanh函数将变量映射到(-1,1)之间。
[0060]
s103聚合由遗忘门记忆门注意门和注意门控制的信息来构造第第二阶段分割子网络的分割任务y的输出特征并通过跳跃连接将输出特征输入到第二阶段分割子网络解码端。
[0061]
上述渐进式自适应模块结构如图6所示，该模块确保模型的最终输出充分地利用解码路径中各阶段的分割结果。渐进式自适应融合模块通过确定不同尺度分割结果在空间中的重要性，自适应的动态聚合解码端的多尺度分割结果，在解码路径中学习更多的全局语义表示关系，以适应脑卒中病变的可变尺度，从而提高分割精度，细化分割图，下面以第一阶段分割子网络解码端末端和第二阶段分割子网络解码端末端的自适应融合模块举例说明用于自适应的动态聚合解码端的多尺度分割结果的过程为：
[0062]
s201，对第一阶段分割子网络的输出特征fz进行上采样操作，以得到和第二阶段分割子网络输出特征fy相同大小的特征；再使用1
×
1卷积操作将上采样得到的特征压缩为
单通道特征，通过通道连接操作结合得到融合特征fs，fs＝con(up(fz))ccon(fy)；
[0063]
s202，将融合特征fs输入到一个层数为4卷积核尺寸为3
×
3的卷积块中，通过卷积实现对融合特征的特征提取，再经过全局平均池化gap和全局最大池化gmp提取融合尺度上预测的全局确定性得分，然后将来自融合尺度的得分连接到sigmoid函数中，得到融合注意力特征图ws，ws＝gap(on(s))+gmp(con(s))；
[0064]
s203，将融合注意力特征图ws与第二阶段分割子网络输出特征图fy相乘后得到第一阶段分割子网络和第二阶段分割子网络间渐进式自适应融合模块的输出，第二阶段分割子网络和第一阶段分割子网络间的渐进式自适应融合模块输出最终的分割结果。
[0065]
上述非局部注意模块结构如图5所示，每一层所述u-net网络的底部均嵌入用于获取广泛的位置敏感上下文信息的非局部注意模块，即每一层的非局部注意模块嵌入u-net网络的编码端与解码端之间。非局部注意模块用于捕获图像中像素之间的长期依赖关系，获取广泛的位置敏感上下文信息，从而增强病灶的形状特征信息，从而实现单阶段更好的分割。所述非局部注意模块的处理过程为：
[0066]
s301、通过卷积核大小为3
×
3的卷积层将输入特征图的通道数由c0减小为c，得到新的特征图f∈rh×w×c，其中c＝c0/8，这种方法可以在不显著下降性能的同时降低特征提取的计算成本；
[0067]
s302、使用1
×
1卷积操作产生三个新的特征图m1,m2,m3，并且{m1,m2,m3}∈rh×w×c，将特征图m1,m2变形为rc×n，其中n＝h
×
w是特征图的像素个数，再进行矩阵m1与转置矩阵m2的相乘操作，使用和矩阵相乘的结果计算出空间注意力图a∈rn×n，且其中a
ji
是衡量第i个位置对第j个位置的影响；计算非局部注意力机制的过程与softmax类似，特征图m1,m2上俩个位置越相近的点，它们之间的关联程度与相关性越高。
[0068]
s303、将特征图m3变形为rn×c，再进行矩阵m3与矩阵a的乘法运算，经过转置操作将其结果变形为rc×h×w，获得非局部的特征注意力机制图，将变形后的结果rc×h×w与特征图x2按元素相加得到特征图z，且得到的特征图z是关系特征和原始特征的总和；
[0069]
s304、将特征图z输入到卷积核大小为3
×
3的卷积层中生成与x1形状相同的特征映射，并以x1作为残差块进行求和运算，以避免过拟合。
[0070]
如图7所示，在图像分割阶段，输入图像在第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代过程中，每个阶段均有相应的分割结果，本发明采用深度监督对每个阶段的分割结果都加以损失函数的约束，能够保留丰富的多尺度特征，增强对目标特征的注意力，每阶段的损失函数由二值交叉熵损失和dice损失的加和构成，dice损失能够有效缓解分割任务中的类不平衡问题，具体表达式为：
[0071]
ls＝l
dice
+l
bce
[0072]
[0073][0074]
ls表示各阶段的损失函数，l
dice
表示dice损失、l
bce
表示二值交叉熵损失，pi表示模型的输出、ti表示分割的标签。
[0075]
二值交叉熵损失是一个被广泛应用的监督学习技术，该技术可以用于解决分类问题。它是一个有效的错误损失函数，用于计算模型的性能误差；dice损失是医学图像比赛中使用频率最高的度量指标，它是一种集合相似度度量指标，通常用于计算两个样本的相似度，值阈为[0,1]。在医学图像中经常用于图像分割，分割的最好结果是1，最差时候结果为0。
[0076]
每阶段的损失之和为总损失l
total
，为了提高网络生成图像的质量，充分发挥多阶段网络的优势，本发明为每个阶段分割子网络的损失函数设计了不同比例的参数，来突出不同阶段的分割任务对总体分割任务不同的贡献度，且有：
[0077]
l
total
＝λl
s1
+βl
s2
+δl
s3
[0078]
该式中，l
total
表示输入图像经过第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络分割结果的总损失，l
s1
表示第一阶段分割子网络分割结果损失函数，l
s2
表示第二阶段分割子网络分割结果损失函数，l
s3
表示第三阶段分割子网络分割结果损失函数，λ、β、δ分别为根据三个阶段的分割任务对总体分割任务不同的贡献度得出的参数，且经过实验验证，当λ:β:δ＝1:1:2时，分割效果最好。
[0079]
如图9所示，采用本发明构建的渐进式融合网络进行的脑卒中病灶mri图像分割的结果和groud truth(真值)非常接近。
[0080]
如表1所示，u-net不同编解码层数所获得的dice值下，本发明的效果较好。
[0081][0082]
表1 u-net编解码层数对比结果对照表
[0083]
如表2、表3所示，不同损失函数参数所获得的dice值下，本发明的效果较好。
[0084][0085]
表2损失函数消融实验结果对照表
[0086][0087]
表3损失函数参数选择实验结果对照表
[0088]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一可选实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0089]
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之内。

技术特征：
1.一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于包括步骤：构建多阶段模型：采用三层u-net网络构建多阶段分割网络，该多阶段分割网络自下而上分别为第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络，在第一阶段分割子网络编码端与第二阶段分割子网络编码端之间、第二阶段分割子网络编码端与第三阶段分割子网络编码端之间均设置用于不同阶段编码过程信息交互的跨阶段共享特征学习模块，在第一阶段分割子网络解码端末端、第二阶段分割子网络解码端末端和第三阶段分割子网络解码端末端均设置渐进式自适应融合模块，该自适应融合模块用于自适应的动态聚合解码端的多尺度分割结果；图像分级处理：将待分割的脑卒中mri图像通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像，该三级金字塔图像分辨率分别与所述第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络对应；图像分割：将得到的各阶段输入图像分别输入到所述第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代，迭代过程中对输入图像进行特征提取，最终输出分割图。2.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：所述u-net网络的卷积层采用具有由深度可分离卷积组成的卷积块。3.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：所述跨阶段共享特征学习模块用于不同阶段编码过程信息交互的过程包括以下步骤：将第一阶段、第二阶段、第三阶段的分割任务分别定义为分割任务x，y，z，在第i步共享特征时，定义一个遗忘门用来选择前一阶段分割子网络分割任务z中的信息，然后通过卷积操作融合由遗忘门得到的特征和后一阶段分割子网络编码器提取的特征，得到融合特征定义一个记忆门用来确定从后一阶段分割子网络的分割任务y的第i-1步到第i步需要记忆的特征，设置俩个注意门和分别用来注意遗门和记忆门的输出信息，注意门是由sigmoid函数计算得出遗忘门和记忆门的输出权重比；通过tanh函数计算注意值决定信息的正负；聚合由遗忘门记忆门注意门和注意门控制的信息来构造第后一阶段分割子网络的分割任务y的输出特征并通过跳跃连接将输出特征输入到后一阶段分割子网络解码端。4.根据权利要求3所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：所述自适应融合模块用于自适应的动态聚合解码端的多尺度分割结果的过程为：对前一阶段分割子网络的输出特征f
z
进行上采样操作，以得到和后一阶段分割子网络输出特征f
y
相同大小的特征；再使用1
×
1卷积操作将上采样得到的特征压缩为单通道特
征，通过通道连接操作结合得到融合特征f
s
，f
s
＝con(up(f
z
))ccon(f
y
)；将融合特征f
s
输入到一个层数为4卷积核尺寸为3
×
3的卷积块中，通过卷积实现对融合特征的特征提取，再经过全局平均池化gap和全局最大池化gmp提取融合尺度上预测的全局确定性得分，然后将来自融合尺度的得分连接到sigmoid函数中，得到融合注意力特征图w
s
，w
s
＝gap(on(
s
))+gmp(con(
s
))；将融合注意力特征图w
s
与后一阶段分割子网络输出特征图f
y
相乘后得到前一阶段分割子网络和后一阶段分割子网络间渐进式自适应融合模块的输出，后一阶段分割子网络和前一阶段分割子网络间的渐进式自适应融合模块输出最终的分割结果。5.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：每一层所述u-net网络的底部嵌入用于获取位置敏感上下文信息的非局部注意模块。6.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于，所述非局部注意模块的处理过程为：通过卷积核大小为3
×
3的卷积层将输入特征图的通道数由c0减小为c，得到新的特征图f∈r
h
×
w
×
c
，其中c＝c0/8；使用1
×
1卷积操作产生三个新的特征图m1,m2,m3，并且{m1,m2,m3}∈r
h
×
w
×
c
，将特征图m1,m2变形为r
c
×
n
，其中n＝h
×
w是特征图的像素个数，再进行矩阵m1与转置矩阵m2的相乘操作，使用和矩阵相乘的结果计算出空间注意力图a∈r
n
×
n
，且其中a
ji
是衡量第i个位置对第j个位置的影响；将特征图m3变形为r
n
×
c
，再进行矩阵m3与矩阵a的乘法运算，经过转置操作将其结果变形为r
c
×
h
×
w
，获得非局部的特征注意力机制图，将变形后的结果r
c
×
h
×
w
与特征图x2按元素相加得到特征图z，且得到的特征图z是关系特征和原始特征的总和；将特征图z输入到卷积核大小为3
×
3的卷积层中生成与x1形状相同的特征映射，并以x1作为残差块进行求和运算，以避免过拟合。7.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：所述通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像，具体是：将待分割的脑卒中mri图像输入到自上而下的基于shuffle操作的金字塔网络输入模块中，通过shuffle操作得到不同分辨率的三级金字塔图像，该三级金字塔图像按大小分别为原图、1/2原图、1/4原图，分别作为第一阶段分割子网络、第二阶段分割子网络和第三阶段分割子网络的输入图像。8.根据权利要求1所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：输入图像在第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络依次进行迭代过程中，每个阶段均有相应的分割结果，采用深度监督对每个阶段的分割结果都加以损失函数的约束，每阶段的损失函数由二值交叉熵损失和dice损失的加和构成，每阶段的损失函数表达式为：l
s
＝l
dice
+l
bce
l
s
表示各阶段的损失函数，l
dice
表示dice损失、l
bce
表示二值交叉熵损失、p
i
表示模型的输出、t
i
表示分割的标签。9.根据权利要求8所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：每阶段的损失之和为总损失l
total
，且有：l
total
＝λl
s1
+βl
s2
+δl
s3
该式中，l
total
表示输入图像经过第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络分割结果的总损失，l
s1
表示第一阶段分割子网络分割结果损失函数，l
s2
表示第二阶段分割子网络分割结果损失函数，l
s3
表示第三阶段分割子网络分割结果损失函数，λ、β、δ分别为根据三个阶段的分割任务对总体分割任务不同的贡献度得出的参数。10.根据权利要求9所述的一种基于渐进式融合网络的脑卒中病灶分割方法，其特征在于：对于参数λ、β、δ，有λ:β:δ＝1:1:2。

技术总结
本发明公开一种基于渐进式融合网络的脑卒中病灶分割方法，包括步骤：采用三层U-Net网络构建多阶段分割网络，该多阶段分割网络分别为第一阶段分割子网络、第二阶段分割子网络、第三阶段分割子网络，将待分割的脑卒中MRI图像通过shuffle操作得到不同分辨率的三级金字塔图像，作为每个阶段输入图像；将各阶段输入图像分别输入到各阶段分割子网络依次进行迭代，迭代过程中对输入图像进行特征提取，最终输出分割图。本发明构建的多阶段分割网络通过设置编码端跨阶段共享特征学习模块和解码端末端的渐进式自适应融合模块，增强各阶段分割子网络之间的关联性，提高多阶段结构提取的特征和分割结果的利用率，从而提高医学图像分割的精度。的精度。的精度。


技术研发人员：杨婕 张岩波 上官宏 孙悦 高阳 闫江林 张雄 贺文彬 田雅娟 李钦青
受保护的技术使用者：太原科技大学
技术研发日：2023.04.18
技术公布日：2023/8/14