一种基于条件扩散模型的医学图像分割方法

1.本发明涉及人工智能计算机视觉图像领域，更具体地，是一种基于条件扩散模型的医学图像分割方法。


背景技术：

2.近些年来随着人工智能技术的逐步深入，图像分割技术有了突飞猛进的发展。医学图像分割，其目的是将医学图像中具有某些特殊含义的部分分割出来，并提取相关特征，为临床诊疗和病理学研究提供可靠的依据，辅助医生做出更为准确的诊断，是医学图像分析中最具挑战性的任务之一。
3.目前医学图像分割面临着很多问题，包括图像质量问题：医学图像因采集设备质量问题，易出现低质量图像(模糊，噪声，伪影等)，标注难以获取：医学图像数据的标注通常需要有相关经验的专家和医生，所以获取高质量的标注难度比较高。以及图像差异大的问题：医学图像种类繁多，mri，ct等，病例个体的差异也很大，造成较大的图像差异，对图像分析也会造成困扰。
4.虽然扩散模型已经被证明可以生成高质量的图像，同时提供理想的属性，如分布覆盖、平稳的训练目标和易于扩展，但对扩散模型架构的研究相对较少，扩散模型仍有继续改进的潜力。然而，原始扩散模型有三个主要缺点，采样速度慢，最大化似然差、数据泛化能力弱。扩散模型的生成结果具有多样性，直接应用于医学图像分割很困难。
5.因此对医学图像分割技术进行研究，开发高效率的医学图像分割算法，提高图像分割方法的技术水平，获取高质量的分割结果，有助于推动计算机视觉领域和医学领域的发展，有很重大的现实意义。


技术实现要素：

6.本技术的目的是提供一种基于条件扩散模型的医学图像分割方法，以克服技术背景中的问题。
7.为实现上述目的，本技术技术方案如下：
8.一种基于条件扩散模型的医学图像分割方法，采用构建的分割网络模型对医学图像进行分割，所述分割网络模型包括transformer编码器、条件网络解码器、扩散模型编码器、扩散模型中间层和扩散模型解码器，所述基于条件扩散模型的医学图像分割方法，包括：
9.获取医学图像，进行预处理后输入到transformer编码器，获得第一特征；
10.将第一特征输入到条件网络解码器，得到第二特征；
11.获取加噪掩码图像，将加噪掩码图像与第二特征进行特征拼接，输入到扩散模型编码器，得到第三特征；
12.将第三特征与第一特征输入到扩散模型中间层，得到第四特征；
13.将第四特征输入到扩散模型解码器，得到最终的分割结果。
14.进一步的，所述预处理，包括：
15.将医学图像进行格式转换，然后定位感兴趣区域，调整窗宽窗位提亮所述感兴趣区域，最后将医学图像裁剪为预定大小。
16.进一步的，所述条件网络解码器由三个块构成，前两个块均包含双线性插值上采样和双重卷积，最后一个块包括卷积块和双线性插值上采样。
17.进一步的，在训练所述分割网络模型时，所述获取加噪掩码图像，采用如下公式获取：
[0018][0019]
其中α
t
是一个超参数，x
t
表示t时刻的加噪掩码图像，z
t
则表示t时刻的噪声，x0表示训练图像所对应的真实掩码图像；
[0020]
在训练好分割网络模型后，采用训练好的分割网络模型对医学图像进行分割时，加噪掩码图像直接采用的是纯高斯噪声图像。
[0021]
进一步的，所述扩散模型编码器包括四个编码层，每个编码层都有两个残差块和一个线性注意力层，前三个编码层还包含下采样，最后一个编码层则还包含1
×
1卷积层；
[0022]
所述扩散模型解码器包括四个解码层，每个解码层都有两个残差块和一个线性注意力层，前三个解码层还包含上采样，最后一个解码层则还包含1
×
1卷积层。
[0023]
进一步的，所述扩散模型中间层，包含第一残差块、堆叠的三个双重交叉注意力模块、自注意力模块和第二残差块；
[0024]
所述第三特征先通过第一残差块，然后分别输入到三个双重交叉注意力模块；第一特征输入到第一个双重交叉注意力模块；前一个双重交叉注意力模块的输出，输入到后一个双重交叉注意力模块；
[0025]
第三个双重交叉注意力模块的输出再通过自注意力模块和第二残差块，最后得到第四特征；
[0026]
所述双重交叉注意力模块包括两个交叉注意力，
[0027]
在第一个双重交叉注意力模块的第一个交叉注意力中，所述第一特征映射为k和v向量，所述第一残差块的输出映射为q向量；在第一个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量；
[0028]
在第二个和第三个双重交叉注意力模块的第一个交叉注意力中，前一个双重交叉注意力模块的输出映射为k和v向量，所述第一残差块的输出映射为q向量；在第二个和第三个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量。
[0029]
进一步的，所述残差块包括两个块，每个块由3
×
3卷积、组归一化和silu激活函数组成，第一个块再silu之前还增加了时间步编码信息对输入特征进行尺度放缩和移位。
[0030]
本技术提出的一种基于条件扩散模型的医学图像分割方法，使用基于编码层和解码层增加残差块的unet的扩散模型，可以使得网络更好的收敛；在条件神经网络解码器结构采用双线性插值上采样和双重卷积，可以学习一种自适应映射来恢复医学图像这种具有更详细信息的特征。另外，模型可以充分结合图像和掩码信息进行学习，增加医学图像中的上下文信息，更好的定位医学图像中需要分割的区域，从而提高深度神经网络的性能，提高
分割模型的精确度，这也有效的缓解了关于医学图像数据集较小的问题。最后，为得到更准确的分割结果，本技术通过结合来自transformer编码器的特征和扩散模型编码器的特征进行特征交互，使得模型可以更准确地进行分割，这也有效解决了扩散模型生成结果多样性的问题。
附图说明
[0031]
图1为本技术基于条件扩散模型的医学图像分割方法流程图。
[0032]
图2为本技术分割网络模型的整体框架示意图。
[0033]
图3为本技术实施例条件网络解码器示意图。
[0034]
图4为本技术实施例扩散模型中间层示意图。
[0035]
图5为本技术实施例dca模块示意图。
[0036]
图6为本技术实施例残差块示意图。
具体实施方式
[0037]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
[0038]
本发明提供了一种基于条件扩散模型的医学图像分割方法，先构建分割网络模型如图2所示，包括transformer编码器、条件网络解码器、扩散模型编码器、扩散模型中间层和扩散模型解码器。通过训练图像及其对应的加噪后的掩码图像对模型进行训练。训练好分割网络模型后，将待分割医学图像输入到训练好的模型中，获得医学图像的分割结果。
[0039]
在一个实施例中，如图1所示，提出了一种基于条件扩散模型的医学图像分割方法，包括：
[0040]
步骤s1、获取医学图像，进行预处理后输入到transformer编码器，获得第一特征。
[0041]
本实施例中，无论是对分割网络模型进行训练，还是采用训练好的分割网络模型进行医学图像的分割，均需要对输入到模型的医学图像进行预处理。
[0042]
预处理过程，将医学图像进行格式转换(由ct图像格式转换为jpg格式)，然后定位感兴趣区域(roi)，调整窗宽窗位提亮所述感兴趣区域，最后将医学图像裁剪为192
×
256大小。
[0043]
医学图像领域的窗口技术，包括窗宽(window width)和窗位(window center)，用于选择感兴趣的ct值范围。因为各种组织结构或病变具有不同的ct值，因此欲显示某一组织结构细节时，应选择适合观察该组织或病变的窗宽和窗位，以获得最佳显示。窗宽和窗位分别对应图像的对比度与亮度，关于调整窗宽窗位提亮所需处理的区域，这里不再赘述。
[0044]
在经过预处理后，变为192
×
256的特征，还突出了病变区域(即感兴趣区域)，使得网络可以很好地定位病变。
[0045]
本实施例transformer编码器，包括8个transformer块(transformer block)，每个transformer块都采用16
×
16patch的vision transformer，能够充分对医学图像的全局信息进行建模。
[0046]
在医学图像被送入transformer编码器之前，先通过一个patch embedding层对其
进行16
×
16的patch划分，将医学图像分为n个16
×
16的特征块，这样对于网络的训练有好处，可以减小参数量。然后经过一个线性嵌入层将特征转换为transformer所需要的token，最后输入到8层的transformer编码器中，对特征的全局信息进行建模学习。
[0047]
步骤s2、将第一特征输入到条件网络解码器，得到第二特征。
[0048]
本实施例条件网络解码器如图3所示，由三个块构成，前两个块均包含一个双线性插值上采样和双重卷积模块，通过上采样来增大图像尺寸，通过双重卷积来获取更高的分辨率特征，可以对特征的信息进行更好地建模；最后一个块包含一个卷积块和一个双线性插值上采样，这个卷积块由3
×
3卷积、bn层、relu层和3
×
3卷积构成。
[0049]
前面两个块对特征的信息进行两倍上采样恢复高分辨率的特征，最后是一个卷积块和四倍的双线性插值上采样，通过这个卷积块对特征输出前进行处理，可以得到更详细的特征。
[0050]
步骤s3、获取加噪掩码图像，将加噪掩码图像与第二特征进行特征拼接，输入到扩散模型编码器，得到第三特征。
[0051]
本技术在对分割网络模型训练时，获取加噪掩码图像的公式如下：
[0052][0053]
其中α
t
是一个超参数，x
t
表示t时刻的加噪掩码图像，z
t
则表示t时刻的噪声，通过这个公式可以得到任意时刻加噪后的加噪掩码图像，x0表示训练图像所对应的真实掩码图像。
[0054]
将加噪掩码图像x
t
与第二特征进行通道维度上的concatenate操作，即特征在通道维度上进行拼接，然后和时间步t一起输入到扩散模型编码器中。时间步t经过多层感知机映射到与特征相同的尺寸大小，然后在每一层编码器中对输入特征进行放缩和移位操作。
[0055]
在训练好分割网络模型后，采用训练好的分割网络模型对医学图像进行分割时，加噪掩码图像直接采用的是纯高斯噪声图像。
[0056]
本实施例扩散模型编码器包括四个编码层，每个编码层都有两个残差块和一个线性注意力层，前三个编码层还包含下采样，最后一个编码层还包含1
×
1卷积层。
[0057]
如图6所示，每个残差块(resnetblock)都包括两个块(block)，每个block由3
×
3卷积、组归一化和silu激活函数组成，但是每个resnetblock第一个block在silu之前还增加了时间步编码信息对输入特征进行尺度放缩和移位。
[0058]
线性注意力层，对输入特征进行上下文信息建模，增强了特征的细节信息。
[0059]
本实施残差块的结构适用于扩散模型编码器、中间层以及解码器，所有残差块的结构都一样，以下不再赘述。
[0060]
步骤s4、将第三特征与第一特征输入到扩散模型中间层，得到第四特征。
[0061]
本实施例扩散模型中间层如图4所示，包含第一残差块、堆叠的三个双重交叉注意力模块(dca)、自注意力模块和第二残差块。dca如图5所示，由两个交叉注意力组成，每个dca模块对输入特征进行语义交互，使得噪声图像可以学习到训练图像中的关键信息。
[0062]
具体的，第三特征先通过第一残差块，然后分别输入到三个双重交叉注意力模块；第一特征输入到第一个双重交叉注意力模块；前一个双重交叉注意力模块的输出，输入到
后一个双重交叉注意力模块。第三个双重交叉注意力模块的输出再通过自注意力模块和第二残差块，最后得到第四特征。
[0063]
dca模块包括两个交叉注意力，如图5所示。
[0064]
在第一个双重交叉注意力模块的第一个交叉注意力中，所述第一特征映射为k和v向量，所述第一残差块的输出映射为q向量；在第一个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量；
[0065]
在第二个和第三个双重交叉注意力模块的第一个交叉注意力中，前一个双重交叉注意力模块的输出映射为k和v向量，所述第一残差块的输出映射为q向量；在第二个和第三个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量。
[0066]
在交叉注意力中，q特征和k特征先相乘，然后经过一个sigmoid激活函数进行激活，最后再对激活后的特征乘以v特征映射，最后加入一个时间步t进行移位和放缩。
[0067]
经过dca模块，噪声图像和训练图像进行很好的语义交互，对特征进行了一个很好地加强，然后再通过一个自注意力层和残差块对特征本身进行建模加强。
[0068]
步骤s5、将第四特征输入到扩散模型解码器，得到最终的分割结果。
[0069]
本实施例扩散模型解码器与扩散模型编码器类似，只是编码器是对特征进行升维和缩小特征，解码器则是对特征进行降维和恢复特征大小。
[0070]
本实施例扩散模型编码器扩散模型解码器包括四个解码层，每个解码s层都有两个残差块和一个线性注意力层，前三个解码层还包含上采样，最后一个解码层还包含1
×
1卷积层。每个解码层的输入特征都会先和对应编码层的输出特征进行特征拼接然后再输入到解码层中。
[0071]
第四特征输入到扩散模型解码器中，解码器和编码器结构类似，只是把下采样模块换成了上采样模块，最后输出分割掩码。
[0072]
在一个具体的实施例中，本技术分割网络模型的损失函数如下：
[0073][0074]
其中w是一个权重矩阵，损失由两部分构成，其中交叉熵损失函数计算如下：
[0075][0076]
其中yi代表标注图像中的值，fi(xi)代表预测图中的值，n代表样本数。然后表示为sum(w
×
l
bce
)/sum(w)。
[0077]
而另外一个iou损失函数计算公式如下：
[0078]
①
inter＝|p∩g|
×w[0079]
②
union＝|p∪g|
×w[0080]
③
[0081]
其中，p表示预测图像掩码，g表示真实图像掩码。
[0082]
训练时，将扩散模型解码器的输出经过一个sigmoid激活函数后和真实掩码图像放入损失函数中计算损失，直至所述分割模型的损失不再收敛，完成分割网络模型的训练。
[0083]
在训练好分割网络模型后，加载训练好的模型参数，将医学图像输入到训练好的
深度神经网络中进行图像分割，在图像分割的时候是从一个时间步t开始，x
t
为一个纯高斯噪声图像，transformer编码器的输入为医学图像，医学图像经过transformer编码器和条件网络解码器后的结果为y，x
t
和y进行拼接后作为扩散模型的输入，去预测前一时刻的图像x
t-1
，然后x
t-1
再和y进行拼接输入到扩散模型中，预测图像x
t-2
，一步一步慢慢还原，得到最后时刻0的结果为最终的分割结果。
[0084]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种基于条件扩散模型的医学图像分割方法，采用构建的分割网络模型对医学图像进行分割，其特征在于，所述分割网络模型包括transformer编码器、条件网络解码器、扩散模型编码器、扩散模型中间层和扩散模型解码器，所述基于条件扩散模型的医学图像分割方法，包括：获取医学图像，进行预处理后输入到transformer编码器，获得第一特征；将第一特征输入到条件网络解码器，得到第二特征；获取加噪掩码图像，将加噪掩码图像与第二特征进行特征拼接，输入到扩散模型编码器，得到第三特征；将第三特征与第一特征输入到扩散模型中间层，得到第四特征；将第四特征输入到扩散模型解码器，得到最终的分割结果。2.根据权利要求1所述的基于条件扩散模型的医学图像分割方法，其特征在于，所述预处理，包括：将医学图像进行格式转换，然后定位感兴趣区域，调整窗宽窗位提亮所述感兴趣区域，最后将医学图像裁剪为预定大小。3.根据权利要求1所述的基于条件扩散模型的医学图像分割方法，其特征在于，所述条件网络解码器由三个块构成，前两个块均包含双线性插值上采样和双重卷积，最后一个块包括卷积块和双线性插值上采样。4.根据权利要求1所述的基于条件扩散模型的医学图像分割方法，其特征在于，在训练所述分割网络模型时，所述获取加噪掩码图像，采用如下公式获取：其中α
t
是一个超参数，x
t
表示t时刻的加噪掩码图像，z
t
则表示t时刻的噪声，x0表示训练图像所对应的真实掩码图像；在训练好分割网络模型后，采用训练好的分割网络模型对医学图像进行分割时，加噪掩码图像直接采用的是纯高斯噪声图像。5.根据权利要求1所述的基于条件扩散模型的医学图像分割方法，其特征在于，所述扩散模型编码器包括四个编码层，每个编码层都有两个残差块和一个线性注意力层，前三个编码层还包含下采样，最后一个编码层则还包含1
×
1卷积层；所述扩散模型解码器包括四个解码层，每个解码层都有两个残差块和一个线性注意力层，前三个解码层还包含上采样，最后一个解码层则还包含1
×
1卷积层。6.根据权利要求1所述的基于条件扩散模型的医学图像分割方法，其特征在于，所述扩散模型中间层，包含第一残差块、堆叠的三个双重交叉注意力模块、自注意力模块和第二残差块；所述第三特征先通过第一残差块，然后分别输入到三个双重交叉注意力模块；第一特征输入到第一个双重交叉注意力模块；前一个双重交叉注意力模块的输出，输入到后一个双重交叉注意力模块；第三个双重交叉注意力模块的输出再通过自注意力模块和第二残差块，最后得到第四特征；所述双重交叉注意力模块包括两个交叉注意力，
在第一个双重交叉注意力模块的第一个交叉注意力中，所述第一特征映射为k和v向量，所述第一残差块的输出映射为q向量；在第一个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量；在第二个和第三个双重交叉注意力模块的第一个交叉注意力中，前一个双重交叉注意力模块的输出映射为k和v向量，所述第一残差块的输出映射为q向量；在第二个和第三个双重交叉注意力模块的第二个交叉注意力中，第一个交叉注意力的输出映射为q向量，所述第一残差块的输出映射为k和v向量。7.根据权利要求5或6所述的基于条件扩散模型的医学图像分割方法，其特征在于，所述残差块包括两个块，每个块由3
×
3卷积、组归一化和silu激活函数组成，第一个块再silu之前还增加了时间步编码信息对输入特征进行尺度放缩和移位。

技术总结
本发明公开了一种基于条件扩散模型的医学图像分割方法，采用构建的分割网络模型对医学图像进行分割，获取医学图像后，先进行预处理后输入到Transformer编码器，获得第一特征；然后将第一特征输入到条件网络解码器，得到第二特征；再获取加噪掩码图像，将加噪掩码图像与第二特征进行特征拼接，输入到扩散模型编码器，得到第三特征；再然后将第三特征与第一特征输入到扩散模型中间层，得到第四特征；最后将第四特征输入到扩散模型解码器，得到最终的分割结果。本发明充分结合图像和掩码信息进行学习，增加医学图像中的上下文信息，更好的定位医学图像中需要分割的区域，从而提高深度神经网络的性能，提高分割模型的精确度。提高分割模型的精确度。提高分割模型的精确度。


技术研发人员：汪晓妍 陈国能 黄晓洁 张玲 夏明 彭梅芳
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.29
技术公布日：2023/8/16