一种基于CycleGAN的非配对PET图像质量增强方法

一种基于cyclegan的非配对pet图像质量增强方法
技术领域
1.本发明属于pet图像处理技术领域，具体涉及一种基于cyclegan的非配对pet图像质量增强方法。


背景技术：

2.正电子发射断层扫描(positron emission tomography，pet)是一种非侵入性功能成像方法，能够帮助识别和表征在解剖成像上看不到或模棱两可的恶性病变，揭示与患者诊断、分期和治疗结果相关的信息，在医学诊断尤其是癌症的早期诊断中发挥着重要作用。
3.随着硬件技术的提升，新型扫描仪(如联影公司的uexplorer扫描仪)获得的pet图像质量显著高于常规扫描仪，但目前尚未普及；且由于扫描时间和放射性示踪剂剂量等因素的限制，大部分医院获得的pet图像质量较差，对医学定量分析和诊断存在一定影响。深度学习方法在提高pet图像质量上取得了一定的成功，但它们大多需要配对的低-高质量数据进行监督训练，然而在实践中，医院通常只对一名病人进行一次扫描，同个病人配对的低-高质量pet图像通常难以获取，获得采集自新型扫描仪和常规扫描仪的同个病人配对的低-高质量pet图像集更是难上加难。因此通过软件技术方法实现pet图像质量增强，从而让普通医院能够获得与新型扫描仪数据质量相当的pet图像是本领域一个亟需解决的问题。
4.考虑到收集配对的低-高质量pet图像的困难，使用非配对学习方法处理pet图像的技术得到发展，主要包括无监督方法和基于cyclegan的方法，其中：
5.文献[ulyanov d,vedaldi a,lempitsky v.deep image prior[c]//proceedings of the ieee conference on computer vision and pattern recognition.2018:9446-9454]中提出的深度图像先验(deep image prior，dip)是进行无监督图像去噪的重要技术，它将随机噪声输入网络，以噪声图像本身作为标签，在网络发现噪声之前停止迭代，即可输出去噪图像；这种方法对单张图像进行去噪，不需要额外的训练数据集，也不需要任何高质量的pet图像作为训练标签，其主要缺点体现在需要人为设定迭代停止条件，且不同病人之间具有特异性，在处理大量pet图像上存在局限性。
[0006]
文献[lei y,dong x,wang t,et al.whole-body pet estimation from low count statistics using cycle-consistent generative adversarial networks[j].physics in medicine&biology,2019,64(21):215017]中提出的循环一致生成对抗网络(cycle-consistent generative adversarial networks，cyclegan)是一种先进的图像转换方法，它可以捕获一个数据集的特征，并学习到如何将这些特征转换到其他数据集，而并非是像素之间的转换，因此无需配对的数据作为标签，这使得它成为能够应用到多种领域的通用方法。目前使用cyclegan方法对pet图像进行质量增强还局限在使用配对的低-高质量图像进行训练，将cyclegan应用到非配对pet图像上还值得进一步的探索。


技术实现要素：

[0007]
鉴于上述，本发明提供了一种基于cyclegan的非配对pet图像质量增强方法，无需采集同个病人的低-高质量图像对，即可将普通医院扫描得到的低质量pet图像转换为与新型扫描仪数据质量相当的高质量pet图像。
[0008]
一种基于cyclegan的非配对pet图像质量增强方法，包括如下步骤：
[0009]
(1)利用新型pet扫描仪对不同病人进行扫描，以采集获得大量的高质量pet图像，并将这些pet图像固定作为高质量模板数据集；
[0010]
(2)利用常规pet扫描仪对不同病人进行扫描，以采集获得大量的低质量pet图像；
[0011]
(3)将上述获得的低质量pet图像和高质量pet图像组成非配对的训练集，并对训练集中的低质量pet图像进行预处理得到对应的先验图像；
[0012]
(4)建立cyclegan模型并对其损失函数进行改进设计；
[0013]
(5)将训练集中非配对的高质量pet图像和低质量pet图像以及低质量pet图像对应的先验图像输入至cyclegan模型中对其进行训练；
[0014]
(6)对于训练好的cyclegan模型，取该模型中用于将低质量pet图像转换为高质量pet图像的生成网络gh，进而将需要进行质量提升的低质量pet图像输入至生成网络gh中即可直接输出得到对应的高质量pet图像。
[0015]
进一步地，所述步骤(3)中采用bm3d(block-matching 3d)去噪算法对低质量pet图像进行预处理以获得对应的先验图像。
[0016]
进一步地，所述cyclegan模型包括两个生成网络gh和f
l
以及两个判别网络dh和d
l
，其中生成网络gh用于将低质量pet图像转换成高质量pet图像，生成网络f
l
用于将高质量pet图像转换成低质量pet图像，判别网络dh用于判断转换生成的高质量pet图像是否服从训练集中的高质量pet图像域分布，判别网络d
l
用于判断转换生成的低质量pet图像是否服从训练集中的低质量pet图像域分布。
[0017]
进一步地，所述生成网络gh和f
l
采用2d u-net网络结构，判别网络dh和d
l
采用patchgan结构。
[0018]
进一步地，所述步骤(4)对cyclegan模型的损失函数进行改进设计后，其损失函数由对抗性损失循环一致性损失相关系数损失以及图像先验损失四部分组成，具体表达式如下：
[0019][0020]
其中：λ
cycle
、λ
cor-coe
和λ
prior
为相应的权重参数。
[0021]
进一步地，所述对抗性损失的表达式如下：
[0022][0023][0024][0025]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，dh()表示判别网络dh的传递函数，d
l
()表示判别网络d
l
的传递函数，gh()表示生成网络gh的传递函数，f
l
()表
示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数。
[0026]
进一步地，所述循环一致性损失的表达式如下：
[0027][0028]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，gh()表示生成网络gh的传递函数，f
l
()表示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数，‖‖1表示l1范数。
[0029]
进一步地，所述相关系数损失的表达式如下：
[0030][0031]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，gh()表示生成网络gh的传递函数，f
l
()表示生成网络f
l
的传递函数，cov()表示协方差算符，σ()表示方差算符。
[0032]
进一步地，所述图像先验损失的表达式如下：
[0033][0034]
其中：l表示输入的低质量pet图像，gh()表示生成网络gh的传递函数，i
prior_img
为l对应的先验图像，‖‖1表示l1范数。
[0035]
本发明基于cyclegan的非配对pet图像质量增强方法无需采集同个病人的低-高质量图像对，即可将普通医院扫描得到的低质量pet图像，转换为与新型扫描仪数据质量相当的高质量pet图像，解决了同个病人配对的低-高质量pet图像对难以获取以致于无法使用监督深度学习方法提高质量的问题。同时，本发明在原始cyclegan模型的基础上加入相关系数损失和图像先验损失，直接约束生成图像和输入图像之间的结构一致性，解决了cyclegan生成图像经常存在几何扭曲的问题。
附图说明
[0036]
图1为本发明pet图像质量增强方法的流程示意图。
[0037]
图2为本发明采用的cyclegan模型结构示意图。
[0038]
图3(a)为原始的低质量pet图像。
[0039]
图3(b)为使用本发明方法增强对应得到的高质量pet图像。
[0040]
图3(c)为采用bm3d方法处理得到的pet图像。
[0041]
图3(d)为采用深度图像先验(deep image prior，dip)方法处理得到的pet图像。
具体实施方式
[0042]
为了更为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。
[0043]
如图1所示，本发明基于cyclegan的非配对pet图像质量增强方法包括如下步骤：
[0044]
(1)利用新型pet扫描仪对不同病人进行扫描，以采集获得大量的高质量pet图像，将其固定作为高质量模板数据集。
[0045]
(2)利用常规pet扫描仪对不同病人进行扫描，以采集获得大量的低质量pet图像。
[0046]
(3)将上述获得的所有pet图像组成训练集，并对训练集中的低质量pet图像进行预处理得到对应的先验图像。
[0047]
(4)建立cyclegan模型并对其损失函数进行改进设计，得到如图2所示改进的cyclegan模型，具体过程如下：
[0048]
4.1构建生成网络gh和f
l
，使用2d u-net网络结构；
[0049]
4.2构建判别网络dh和d
l
，使用patchgan结构；
[0050]
4.3定义损失函数，对cyclegan模型的损失函数进行改进设计后，其损失函数由对抗性损失循环一致性损失相关系数损失以及图像先验损失四部分组成，具体表达式如下：
[0051][0052]
其中：λ
cycle
、λ
cor-coe
和λ
prior
为相应的权重参数。
[0053]
对抗性损失的表达式如下：
[0054][0055][0056][0057]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，dh()表示判别网络dh的传递函数，d
l
()表示判别网络d
l
的传递函数，ch()表示生成网络gh的传递函数，f
l
()表示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数。
[0058]
循环一致性损失的表达式如下：
[0059][0060]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，gh()表示生成网络gh的传递函数，f
l
()表示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数，‖‖1表示l1范数。
[0061]
相关系数损失的表达式如下：
[0062][0063]
其中：h和l分别表示输入的高质量pet图像和低质量pet图像，gh()表示生成网络gh的传递函数，f
l
()表示生成网络f
l
的传递函数，cov()表示协方差算符，σ()表示方差算符。
[0064]
图像先验损失的表达式如下：
[0065][0066]
其中：l表示输入的低质量pet图像，gh()表示生成网络gh的传递函数，i
prior_img
为l对应的先验图像，‖‖1表示l1范数。
[0067]
(5)将训练集中非配对的高质量pet图像和低质量pet图像以及低质量pet图像对应的先验图像输入至cyclegan模型中对其进行训练。
[0068]
(6)对于训练好的cyclegan模型，取该模型中用于将低质量pet图像转换为高质量pet图像的生成网络gh，进而将需要进行质量提升的低质量pet图像输入至生成网络gh中即可直接输出得到对应的高质量pet图像。
[0069]
接下去我们在python 3.7，pytorch 1.12平台上使用nvidia 1080ti显卡对本发明进行具体实施，采用新型扫描仪total-body pet-ct uexplorer系统(united imaging healthcare,shanghai,china)扫描得到的pet图像作为高质量数据集，扫描时间为360s，图像尺寸为256
×
256；采用常规扫描仪biograph 64vision 600pet/ct系统(siemens medical solutions,erlangen,germany)扫描得到的pet图像作为低质量数据集，扫描时间为60s，图像尺寸为256
×
256。
[0070]
如图3(a)～图3(d)所示，与bm3d方法和dip方法相比，本发明方法可以实现pet图像的质量增强，且能更好地保留肿瘤摄取，生成的图像具有更高的对比度噪声比。
[0071]
上述对实施例的描述是为便于本技术领域的普通技术人员能理解和应用本发明，熟悉本领域技术的人员显然可以容易地对上述实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，对于本发明做出的改进和修改都应该在本发明的保护范围之内。

技术特征：
1.一种基于cyclegan的非配对pet图像质量增强方法，包括如下步骤：(1)利用新型pet扫描仪对不同病人进行扫描，以采集获得大量的高质量pet图像，并将这些pet图像固定作为高质量模板数据集；(2)利用常规pet扫描仪对不同病人进行扫描，以采集获得大量的低质量pet图像；(3)将上述获得的低质量pet图像和高质量pet图像组成非配对的训练集，并对训练集中的低质量pet图像进行预处理得到对应的先验图像；(4)建立cyclegan模型并对其损失函数进行改进设计；(5)将训练集中非配对的高质量pet图像和低质量pet图像以及低质量pet图像对应的先验图像输入至cyclegan模型中对其进行训练；(6)对于训练好的cyclegan模型，取该模型中用于将低质量pet图像转换为高质量pet图像的生成网络g
h
，进而将需要进行质量提升的低质量pet图像输入至生成网络g
h
中即可直接输出得到对应的高质量pet图像。2.根据权利要求1所述的非配对pet图像质量增强方法，其特征在于：所述步骤(3)中采用bm3d去噪算法对低质量pet图像进行预处理以获得对应的先验图像。3.根据权利要求1所述的非配对pet图像质量增强方法，其特征在于：所述cyclegan模型包括两个生成网络g
h
和f
l
以及两个判别网络d
h
和d
l
，其中生成网络g
h
用于将低质量pet图像转换成高质量pet图像，生成网络f
l
用于将高质量pet图像转换成低质量pet图像，判别网络d
h
用于判断转换生成的高质量pet图像是否服从训练集中的高质量pet图像域分布，判别网络d
l
用于判断转换生成的低质量pet图像是否服从训练集中的低质量pet图像域分布。4.根据权利要求3所述的非配对pet图像质量增强方法，其特征在于：所述生成网络g
h
和f
l
采用2d u-net网络结构，判别网络d
h
和d
l
采用patchgan结构。5.根据权利要求3所述的非配对pet图像质量增强方法，其特征在于：所述步骤(4)对cyclegan模型的损失函数进行改进设计后，其损失函数由对抗性损失循环一致性损失相关系数损失以及图像先验损失四部分组成，具体表达式如下：其中：λ
cycle
、λ
cor-coe
和λ
prior
为相应的权重参数。6.根据权利要求5所述的非配对pet图像质量增强方法，其特征在于：所述对抗性损失的表达式如下：的表达式如下：的表达式如下：其中：h和l分别表示输入的高质量pet图像和低质量pet图像，d
h
()表示判别网络d
h
的传递函数，d
l
()表示判别网络d
l
的传递函数，g
h
()表示生成网络g
h
的传递函数，f
l
()表示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期
望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数。7.根据权利要求5所述的非配对pet图像质量增强方法，其特征在于：所述循环一致性损失的表达式如下：其中：h和l分别表示输入的高质量pet图像和低质量pet图像，g
h
()表示生成网络g
h
的传递函数，f
l
()表示生成网络f
l
的传递函数，表示h服从训练集中高质量pet图像域p
data(h)
分布的期望函数，表示l服从训练集中低质量pet图像域p
data(l)
分布的期望函数，‖‖1表示l1范数。8.根据权利要求5所述的非配对pet图像质量增强方法，其特征在于：所述相关系数损失的表达式如下：其中：h和l分别表示输入的高质量pet图像和低质量pet图像，g
h
()表示生成网络g
h
的传递函数，f
l
()表示生成网络f
l
的传递函数，cov()表示协方差算符，σ()表示方差算符。9.根据权利要求5所述的非配对pet图像质量增强方法，其特征在于：所述图像先验损失的表达式如下：其中：l表示输入的低质量pet图像，g
h
()表示生成网络g
h
的传递函数，i
prior_img
为l对应的先验图像，‖‖1表示l1范数。

技术总结
本发明公开了一种基于CycleGAN的非配对PET图像质量增强方法，使用结合相关系数损失和图像先验损失的CycleGAN作为网络框架，对非配对的低质量PET图像进行图像增强，具体地：利用新型扫描仪采集得到的高质量PET图像构建高质量模板数据集，利用BM3D方法生成低质量图像先验，对结合相关系数损失和图像先验损失的CycleGAN网络进行训练，从而对常规扫描仪采集得到的低质量PET图像进行图像质量增强。本发明有效利用CycleGAN模型的非配对特性，无需构建同个病人的配对低-高质量图像集监督训练，即可将常规扫描仪得到的低质量PET图像，转换为与新型扫描仪数据质量相当的高质量PET图像。像。像。


技术研发人员：刘华锋 罗仪 崔佳楠
受保护的技术使用者：浙江大学
技术研发日：2023.06.19
技术公布日：2023/8/31