基于U-Net的极低场磁共振图像工频伪影抑制方法

基于u-net的极低场磁共振图像工频伪影抑制方法
技术领域
1.本发明涉及医学图像处理技术领域，特别是涉及一种基于u-net的极低场磁共振图像工频伪影抑制方法。


背景技术：

2.磁共振成像(magnetic resonance imaging，mri)以非侵入和非电离的方式可视化人体解剖结构并且具有较高的软组织分辨率，因此在临床诊断和生物医学领域占有重要地位。而极低场磁共振由于其成本低廉、系统兼容性好、可移动性强的特点也在化学、生理学和生物学领域有了广泛的应用。但极低场所使用的主磁场强度较高场使用的主磁场强度低四个数量级，导致极低场下磁共振信号弱，从而导致信噪比低。此外极低场磁共振(ultra-low-fieldmri，ulf mri)系统在图像采集过程中会受到电力线谐波干扰和工频噪声影响，表现在图像上便是条状或带状伪影，降低了图像质量，限制了后续配准、分割、分类等工作的可靠性。因此，去除ulf mri图像的噪声及工频干扰伪影是该领域的研究热点。
3.u-net是一种深度卷积自编码器。自编码器结构主要用于图像压缩和去噪。自动编码器的结构在逻辑上可以分为两部分：编码部分和解码部分(encoder和decoder)。编码部分通过逐层减少信息量来获得高维特征。该特征可用于信息重构和噪声分离。解码部分通过分层还原原始信息或还原无噪声信息来实现信息重构或去噪。与传统的卷积式自编码器结构相比，u-net最大的特点是采用了跳跃式连接结构，为编解码过程提供了信息连接，使得解码过程更加准确，提高了网络性能和识别能力。但实际ulf mri图像噪声成分复杂，传统的u-net网络无法很好的提取相应特征，对工频伪影的抑制效果不明显。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于u-net的极低场磁共振图像工频伪影抑制方法，能够有效抑制工频伪影并保留大部分图像细节。
5.本发明解决其技术问题所采用的技术方案是：提供一种基于u-net的极低场磁共振图像工频伪影抑制方法，包括以下步骤：
6.获取待处理的极低场磁共振图像；
7.将所述待处理的极低场磁共振图像输入至训练好的去噪预测模型中，得到消除工频伪影的极低场磁共振图像；其中，
8.所述去噪预测模型基于改进的u-net网络模型构建而成，所述改进的u-net网络模型包括编码部分和解码部分，所述编码部分包括依次连接的若干编码块，每个编码块包括依次连接的一个卷积层、一个批归一化层和一个激活层；所述解码部分包括依次连接的若干解码块，每个解码块包括依次连接的一个反卷积层、一个批归一化层和一个激活层；所述编码块和解码块之间通过跳跃连接来实现编解码过程。
9.所述编码部分包括依次连接的四个编码块，四个编码块的卷积核数依次为64、128、256和512，在编码过程中通过最大池化实现下采样；所述解码部分包括依次连接的四
个解码块，四个解码块的卷积核数依次为512、256、128和64，在解码过程中通过转置卷积完成上采样。
10.所述编码块中的激活层使用leakyrelu作为激活函数。
11.所述去噪预测模型在训练时包括以下步骤：
12.构建样本对数据集(xi,yi)，其中，yi为不含有工频伪影特性的仿真图像或真实脑图，xi为含工频伪影特性的仿真图像或真实脑图；
13.在所述样本对数据集(xi,yi)中随机选取样本对作为训练数据集和验证数据集；
14.将训练数据集输入至改进的u-net网络模型，采用联合损失函数计算预测结果与真实标签之间的损失，进行反向传播更新权重，直至训练完成；
15.采用验证数据集对训练完成的改进的u-net网络模型进行评估，当评估未通过时，重新对改进的u-net网络模型进行训练，当评估通过时，将该训练完成的改进的u-net网络模型作为训练好的去噪预测模型。
16.所述构建样本对数据集(xi,yi)时，具体包括：
17.在黑色图的随机位置上绘制随机数量、随机形状和随机强度的灰度图形，得到不含工频伪影特性的仿真图像；
18.从公共数据集中下载真实脑图；
19.从极低场磁共振系统使用自旋回波序列采集噪声图像；
20.将噪声图像与所述不含工频伪影特性的仿真图像进行叠加，得到含工频伪影特性的仿真图像，将含工频伪影特性的仿真图像和不含工频伪影特性的仿真图像作为样本对存储至样本对数据集中；
21.将噪声图像与所述真实脑图进行叠加，得到含工频伪影特性的真实脑图，将含工频伪影特性的真实脑图和不含工频伪影特性的真实脑图作为样本对存储至样本对数据集中。
22.所述联合损失函数包含像素损失、全变分损失和感知损失，其表达式为：l
total
＝λ1l
pixel
+λ2l
tv
+λ3l
perceptual
，其中，λ1、λ2和λ3分别为像素损失、全变分损失和感知损失的权重，l
pixel
表示像素损失，l
tv
表示全变分损失，l
perceptual
表示感知损失。
23.所述像素损失的表达式为：其中，f(xi)为改进的u-net网络模型的输出图像，n表示训练数据集中样本对的总数。
24.所述全变分损失的表达式为：其中，x
m,n
表示含工频伪影特性的仿真图像或真实脑图中第m行第n列的像素，β表示超参数。
25.所述感知损失的表达式为：其中，f
vgg16
()表示使用预训练好的vgg-16网络提取图像特征，f(xi)为改进的u-net网络模型的输出图像。
26.有益效果
27.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明基于改进的u-net网络，该u-net网络在编码部分的编码块由一个卷积层、一个批
归一化层和一个激活层依次连接构成，并通过最大池化来实现下采样，解码部分的解码块由一个反卷积层、一个批归一化层和一个激活层依次连接构成，其中，下采样操作一方面减小了网络的复杂程度，另一方面有助于提取图像中的主要纹理特征，批归一化层可以加快网络的训练和收敛速度、控制梯度爆炸防止梯度消失并能够防止过拟合，同时使用leakyrelu作为激活函数也能防止梯度问题，通过上述改进的u-net网络能够完全抑制工频伪影。另外，在训练该改进的u-net网络时，可以设计具有ulf mri图像的信号特点及噪声特性的数据集进行训练，无需采集大量真实数据，还使用mse、全变分损失和感知损失组成的联合损失函数对u-net网络进行调参，有效的约束了图像恢复，在抑制工频伪影的同时保存了图像的细节。
附图说明
28.图1是本发明实施方式的极低场磁共振工频伪影抑制方法的总体流程图；
29.图2是本发明实施方式中改进的u-net网络模型的结构示意图；
30.图3是本发明实施方式中创建的数据集示意图；
31.图4是针对不同的数据集采用不同去噪方法的结果对比图；
32.图5是针对待处理的极低场磁共振图像采用不同去噪方法的结果对比图。
具体实施方式
33.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
34.本发明的实施方式涉及一种基于u-net的极低场磁共振图像工频伪影抑制方法，包括以下步骤：获取待处理的极低场磁共振图像；将所述待处理的极低场磁共振图像输入至训练好的去噪预测模型中，得到消除工频伪影的极低场磁共振图像。其中，所述去噪预测模型基于改进的u-net网络模型构建而成。如图1所示，具体如下：
35.步骤1，构建样本对数据集(xi,yi)，其中，yi为不含有工频伪影特性的仿真图像或真实脑图，xi为含工频伪影特性的仿真图像或真实脑图，含工频伪影特性的仿真图像或真实脑图xi和不含有工频伪影特性的仿真图像或真实脑图yi一一对应，其中，i为样本对的序号。构建样本对数据集(xi,yi)时，具体包括：
36.步骤1.1，在大小为128
×
128的黑色图的随机位置上绘制随机数量(4-9个)、随机形状(三角形、矩形、圆形)和随机强度(0.25、0.5、0.75、1、1.25、1.5、1.75、2)的灰度图形，得到不含工频伪影特性的仿真图像。
37.步骤1.2，从brainweb公共数据集中下载mri脑图，对其进行旋转、移位和灰度变换的数据增强操作，并将图片尺寸设置为128
×
128。
38.步骤1.3，从极低场磁共振系统使用自旋回波序列采集噪声图像，同样为了扩充数据集进行旋转、移位和灰度变换的数据增强操作，并截取128
×
128的图像。
39.步骤1.4，将步骤1.3得到的噪声图像与步骤1.1得到的所述不含工频伪影特性的仿真图像进行叠加，得到含工频伪影特性的仿真图像(见图3)，将含工频伪影特性的仿真图
像和不含工频伪影特性的仿真图像作为样本对得到phantom图像训练样本对，并将得到的phantom图像训练样本对存储至样本对数据集中。
40.步骤1.5，将步骤1.3得到的噪声图像与步骤1.2得到的mri脑图进行叠加，得到含工频伪影特性的真实脑图(见图3)，将含工频伪影特性的真实脑图和不含工频伪影特性的真实脑图作为样本对，得到脑图样本对，将得到的脑图样本对存储至样本对数据集中。
41.由此可见，本实施方式在建立样本对数据集时，建立了构成两种样本对数据集，分别时phantom图像训练样本对数据集和脑图样本对数据集。本实施方式中，phantom图像训练样本对数据集共计15000张训练样本，10500张用作训练集，4500张用作验证集；脑图样本对数据集共计11520张，8064张用作训练集，3456张用作验证集。
42.步骤2，建立改进的u-net模型。本实施方式中的改进的u-net模型包括编码部分和解码部分，如图2所示，所述编码部分包括依次连接的四个编码块，每个编码块包括依次连接的一个卷积层、一个批归一化层和一个激活层，通过步长为2的最大池化来实现下采样。下采样操作一方面减小了网络的复杂程度，另一方面有助于提取图像中的主要纹理特征。每个卷积层后添加批归一化层以及使用leakyrelu作为激活函数的激活层。批归一化层层可以加快网络的训练和收敛速度、控制梯度爆炸防止梯度消失并能够防止过拟合，同时使用leakyrelu作为激活函数也能防止梯度问题。解码部分包括依次连接的四个解码块，每个解码块包括依次连接的一个反卷积层、一个批归一化层和一个激活层，通过转置卷积完成上采样。在解码时，首先进行一次与卷积操作逻辑相反的反卷积运算，然后基于对应步骤的压缩通道得到的特征图进行拼接，重新组成一个二倍于该特征图维数的新特征图，再采用卷积层进行上采样。编码块和解码块之间通过跳跃连接来实现编解码过程，具体连接方式为，第一个编码块与第四个解码块连接，第二个编码块与第三个解码块连接，第三个编码块与第二个解码块连接，第四个编码块与第一个解码块连接。
43.本实施方式中的改进的u-net模型的输入特征图尺寸为128
×
128，每个编码块的输出使用大小为4
×
4的卷积核和长度为2的步长，总共进行了四次下采样，所使用的卷积核个数分别为64、128、256和512。解码阶段的上采样通过转置卷积来完成，所使用的的卷积核个数分别为512、256、128和64。编解码之间也通过跳跃连接来连接编解码过程。最后通过1个1
×
1的卷积核，重建图像，作为输出。
44.步骤3，在样本对数据集(xi,yi)中随机选取样本对作为训练数据集和验证数据集，通过训练数据集训练改进的u-net网络模型。
45.步骤4，用联合损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重。得到含工频伪影特性的图像与不含工频伪影特性的图像的最佳映射关系，验证数据集在训练过程中评估改进的u-net网络模型，并微调改进的u-net网络模型的超参数，以提升改进的u-net网络模型的泛化能力，获得的含干扰的ulf mri图像与不含干扰的ulf mri图像的最佳的映射关系构成去噪预测模型。
46.本步骤中，针对改进的u-net网络模型建立了如下联合损失函数，该联合损失函数包含像素损失、全变分损失和感知损失。
47.像素损失的表达式为：其中，yi为期望得到的目标值，即不含有工频伪影特性的仿真图像或真实脑图，f(xi)为改进的u-net网络模型的输
出图像，n表示训练数据集中样本对的总数。该像素损失实际为均方误差损失(mse)，mse的值越小，表示预测模型描述的样本数据具有越好的精确度，当像素损失最小时，g即为最优的网络模型。
48.全变分损失的表达式为：其中，x
m,n
表示含工频伪影特性的仿真图像或真实脑图中第m行第n列的像素，β表示超参数，一般设置为2。该全变分损失为求每个像素和横向下一个像素差的平方，再加上纵向下一个像素的差的平方，然后整体开β/2次根。
49.感知损失的表达式为：其中，f
vgg16
()表示使用预训练好的vgg-16网络提取图像特征，由此可见，感知损失是由改进的u-net网络模型的输出图像和不含有工频伪影特性的仿真图像或真实脑图经过vgg16网络处理后计算得到的值。
50.对像素损失、全变分损失和感知损失进行加权，即可得到联合损失函数，表达式为：l
total
＝λ1l
pixel
+λ2l
tv
+λ3l
perceptual
，其中，λ1、λ2和λ3分别为像素损失、全变分损失和感知损失的权重，本实施方式中，λ1＝105、λ2＝10-10
和λ3＝10-9
。
51.本实施方式将训练集的无干扰图片叠加噪声后得到有干扰的图片，然后将其分批次送入改进的u-net网络模型中，在这个过程中由联合损失函数指导训练。当训练集中的图像全部送入改进的u-net网络模型后，一次epoch训练完成。在每次训练结束时，用验证集评估得到的模型并保存评估结果最好的模型；每次训练结束时，用验证集评估模型的分数，并与上一次评估的分数进行比较，保存得分最高的模型。本实例设置epoch＝100。图4展示了针对两种不同的数据集采用不同去噪方法的得到的结果。
52.步骤5，使用得到的去噪预测模型对极低场磁共振图像进行处理，获得去噪后的图像，作为伪影抑制的结果。
53.对于得到的去噪后的图像，可以使用图像质量评价指标来评估去噪及伪影抑制结果。本实施方式中所使用的图像质量评价指标为均方误差(mean square error,mse)、峰值信噪比(peak signal-to-noise ratio,psnr)以及结构相似性(structural similarity index,ssim)。mse值越小，psnr和ssim值越大，说明图像去噪效果更好。
54.利用测试集对训练好的网络模型进行测试，将最后得到的预测结果用上述三种图像质量评价指标作为评价标准来对去噪或去伪影效果进行评估。
55.将本实施方式的方法与bm3d，dncnn以及传统u-net进行了对比，去噪的结果如图5所示，图像质量评价指标如表1所示。
56.表1
[0057][0058]
表1所示的是不同去噪方法在两种图像上的去噪性能对比，从表1中可以看出，本发明方法在phantom图像上的，mse和psnr均高于其他三种方法，ssim仅略差与dncnn，而在脑图上，mse、psnr以及ssim值均高于其他三种方法。这表明本发明的方法无论是phantom图像还是脑图均能取得优异的去噪性能。通过图4和图5可以看出，本实施方式的得到效果优于其他方法，本实施方式完全抑制了工频伪影并保留了大部分图像细节，同时也有较为清晰的纹理。

技术特征：
1.一种基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，包括以下步骤：获取待处理的极低场磁共振图像；将所述待处理的极低场磁共振图像输入至训练好的去噪预测模型中，得到消除工频伪影的极低场磁共振图像；其中，所述去噪预测模型基于改进的u-net网络模型构建而成，所述改进的u-net网络模型包括编码部分和解码部分，所述编码部分包括依次连接的若干编码块，每个编码块包括依次连接的一个卷积层、一个批归一化层和一个激活层；所述解码部分包括依次连接的若干解码块，每个解码块包括依次连接的一个反卷积层、一个批归一化层和一个激活层；所述编码块和解码块之间通过跳跃连接来实现编解码过程。2.根据权利要求1所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述编码部分包括依次连接的四个编码块，四个编码块的卷积核数依次为64、128、256和512，在编码过程中通过最大池化实现下采样；所述解码部分包括依次连接的四个解码块，四个解码块的卷积核数依次为512、256、128和64，在解码过程中通过转置卷积完成上采样。3.根据权利要求1所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述编码块中的激活层使用leakyrelu作为激活函数。4.根据权利要求1所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述去噪预测模型在训练时包括以下步骤：构建样本对数据集(x
i
,y
i
)，其中，y
i
为不含有工频伪影特性的仿真图像或真实脑图，x
i
为含工频伪影特性的仿真图像或真实脑图；在所述样本对数据集(x
i
,y
i
)中随机选取样本对作为训练数据集和验证数据集；将训练数据集输入至改进的u-net网络模型，采用联合损失函数计算预测结果与真实标签之间的损失，进行反向传播更新权重，直至训练完成；采用验证数据集对训练完成的改进的u-net网络模型进行评估，当评估未通过时，重新对改进的u-net网络模型进行训练，当评估通过时，将该训练完成的改进的u-net网络模型作为训练好的去噪预测模型。5.根据权利要求4所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述构建样本对数据集(x
i
,y
i
)时，具体包括：在黑色图的随机位置上绘制随机数量、随机形状和随机强度的灰度图形，得到不含工频伪影特性的仿真图像；从公共数据集中下载真实脑图；从极低场磁共振系统使用自旋回波序列采集噪声图像；将噪声图像与所述不含工频伪影特性的仿真图像进行叠加，得到含工频伪影特性的仿真图像，将含工频伪影特性的仿真图像和不含工频伪影特性的仿真图像作为样本对存储至样本对数据集中；将噪声图像与所述真实脑图进行叠加，得到含工频伪影特性的真实脑图，将含工频伪影特性的真实脑图和不含工频伪影特性的真实脑图作为样本对存储至样本对数据集中。6.根据权利要求4所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在
于，所述联合损失函数包含像素损失、全变分损失和感知损失，其表达式为：l
total
＝λ1l
pixel
+λ2l
tv
+λ3l
perceptual
，其中，λ1、λ2和λ3分别为像素损失、全变分损失和感知损失的权重，l
pixel
表示像素损失，l
tv
表示全变分损失，l
perceptual
表示感知损失。7.根据权利要求6所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述像素损失的表达式为：其中，f(x
i
)为改进的u-net网络模型的输出图像，n表示训练数据集中样本对的总数。8.根据权利要求6所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述全变分损失的表达式为：其中，x
m,n
表示含工频伪影特性的仿真图像或真实脑图中第m行第n列的像素，β表示超参数。9.根据权利要求6所述的基于u-net的极低场磁共振图像工频伪影抑制方法，其特征在于，所述感知损失的表达式为：其中，f
vgg16
()表示使用预训练好的vgg-16网络提取图像特征，f(x
i
)为改进的u-net网络模型的输出图像。

技术总结
本发明涉及一种基于U-Net的极低场磁共振图像工频伪影抑制方法，包括：获取待处理的极低场磁共振图像；将所述待处理的极低场磁共振图像输入至训练好的去噪预测模型中，得到消除工频伪影的极低场磁共振图像；其中，所述去噪预测模型基于改进的U-Net网络模型构建而成，所述改进的U-Net网络模型包括编码部分和解码部分，所述编码部分包括依次连接的若干编码块，每个编码块包括依次连接的一个卷积层、一个批归一化层和一个激活层；所述解码部分包括依次连接的若干解码块，每个解码块包括依次连接的一个反卷积层、一个批归一化层和一个激活层；所述编码块和解码块之间通过跳跃连接来实现编解码过程。本发明能够有效抑制工频伪影并保留大部分图像细节。保留大部分图像细节。保留大部分图像细节。


技术研发人员：董慧 徐一力 任雪 陶泉
受保护的技术使用者：中国科学院上海微系统与信息技术研究所
技术研发日：2023.04.13
技术公布日：2023/8/24