锥束CT图像散射伪影校正处理方法及装置

锥束ct图像散射伪影校正处理方法及装置
技术领域
1.本发明涉及图像处理技术领域，尤指一种锥束ct图像散射伪影校正处理方法及装置。


背景技术：

2.本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
3.锥束ct(cone-beam ct,cbct)图像中容易出现的散射伪影通常会导致图像软组织对比度降低，图像质量降低等问题，这会对辅助治疗、疾病的诊断造成影响。近些年来，许多研究人员提出了cbct图像散射伪影校正方法来提高cbct的影像质量。这些方法可以大致分为硬件校正、基于模型的散射校正、基于深度学习的散射伪影校正。
4.硬件校正方法要是通过增添滤除散射的硬件设备，即在x射线到达探测器之前，通过光束阻挡器、抗散射光、空气隙法等对散射伪影进行抑制。
5.基于模型的散射校正使用散射污染投影图像的后处理技术来校正散射信号，这些方法通常使用蒙特卡罗技术(monte carlo,mc)来模拟散射对cbct投影数据的贡献。然而，mc散射模拟提供了很高的准确性，但由于其需要模拟辐射源中所有光子的真实路径，该过程耗时、计算成本大，所以mc使用受到了限制。基于先验数据的散射校正方法使用可形变图像配准技术(deformable image registration,dir)将计划ct(planning ct,pct)转换为cbct以获得相应操作的先验信息，使用先验信息来提高cbct图像的质量。基于先验数据的散射伪影校正可以更好地得到校正后的图像，但这种方法需要额外的先验患者信息。另一方面，基于先验信息的校正方法需要成对的cbct和计划ct数据集，获取难度大。还依赖于来自同一患者的cbct和pct体素对的精确空间对齐。
6.深度学习方法已广泛地应用于cbct散射校正。生成对抗网络(generative adversarial network,gan)在图像伪影校正中应用广泛，显著的改善了cbct成像质量。2018年，kida等人使用平均绝对误差作为损失函数，训练二维u-net，用于由盆腔cbct影像生成高质量的合成ct影像。然而，在少数结果中依然会存在解剖结构不一致的现象。liang使用循环一致的生成性对抗网络(cycle-consistent generative adversarial networks,cyclegan)训练未经配准的cbct影像和计划ct影像数据集，用于生成高质量的cbct影像，在头颈部患者数据中测试的平均ct值误差为29hu。2021年，zhang等人利用cyclegan提高盆腔患者和头颈部患者cbct的影像质，并在不同的机器上采集cbct影像，完成了跨数据集的独立测试。然而，cyclegan全局训练带来的图像灰度不匹配的问题，影响了生成影像的准确性。2022年，dong等提出使用对比无监督学习生成高质量的cbct图像。然而，cut训练时容易出现模式坍塌现象，这限制了其应用。
7.综上来看，现有技术主要存在以下问题：1、基于硬件校正方法需要增加硬件设备，不仅操作麻烦，而且成本高。还过滤了部分图像信号，导致重建图像中重要信息的丢失，从而降低其准确性。2、基于模型的散射校正方法如mc存在耗时、计算成本大等缺点。3、基于先
验信息的校正方法依赖的数据获取难度大，不能作散射伪影校正的通用解决方案。4、相比于硬件方法校正和基于模型的散射校正，虽然基于影像合成模型的散射伪影校正显著提升了cbct的图像质量，但不可否认的是，只使用影像合成模型生成的cbct图像是虚假的，缺乏保真性，会出现cbct影像质量改善前后的解剖几何不一致的问题。而传统解析方法生成的cbct图像虽然图像质量差，但具有高保真性。
8.因此，亟需一种可以克服上述缺陷，能够处理效率高，图像质量好，准确性高且成本低的cbct图像处理方案。


技术实现要素：

9.为解决现有技术存在的问题，本发明提出了一种锥束ct图像散射伪影校正处理方法及装置。
10.在本发明实施例的第一方面，提出了一种锥束ct图像散射伪影校正处理方法，包括：
11.构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；
12.分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；
13.在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；
14.从所述cbct投影中减去所述散射伪影，生成校正后的投影；
15.对所述校正后的投影进行重建，得到校正后的cbct图像。
16.在本发明实施例的第二方面，提出了一种锥束ct图像散射伪影校正处理装置，包括：
17.合成网络构建模块，用于构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；
18.正向投影模块，用于分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；
19.图像处理模块，用于在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；
20.投影校正模块，用于从所述cbct投影中减去所述散射伪影，生成校正后的投影；
21.图像重建模块，用于对所述校正后的投影进行重建，得到校正后的cbct图像。
22.在本发明实施例的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现锥束ct图像散射伪影校正处理方法。
23.在本发明实施例的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现锥束ct图像散射伪影校正处理方法。
24.在本发明实施例的第五方面，提出了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现锥束ct图像散射伪影校正处理方法。
25.本发明提出的锥束ct图像散射伪影校正处理方法及装置基于双重对比度学习的无监督图像风格转换模型，将cbct图像转换为pct图像，并生成高质量的合成pct，进一步对原始cbct和spct进行正向投影。提出了使用后处理技术和fdk算法相结合的方法在投影域实现了散射伪影校正，大大改善了cbct图像质量，本发明在实施过程中不需要额外的先验信息，不需要改动硬件设备，不需要成对的训练数据，校正后的图像重建耗时短，计算效率高，适用于half-fan扫描；本发明的cbct散射伪影校正方案可以保持校正前后cbct图像的保真性，可以显著提升cbct的软组织对比度以及图像质量，为适应性放射治疗提供有力的技术支持。
附图说明
26.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
27.图1是本发明一实施例的锥束ct图像散射伪影校正处理方法流程示意图。
28.图2是本发明一具体实施例的锥束ct图像散射伪影校正方法框架示意图。
29.图3是本发明一具体实施例的合成网络的框架示意图。
30.图4是本发明一具体实施例cbct、ccbct和pct的轴向、矢状和冠状切片图像示意图。
31.图5是本发明一具体实施例的cbct、ccbct和pct所选roi的ct数分布示意图。
32.图6是本发明一具体实施例的cbct、ccbct和pct的某一位置的ct数分布示意图。
33.图7是本发明一实施例的锥束ct图像散射伪影校正处理装置架构示意图。
34.图8是本发明一实施例的计算机设备结构示意图。
具体实施方式
35.下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
36.本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。
37.根据本发明的实施方式，提出了一种锥束ct图像散射伪影校正处理方法及装置，涉及图像处理技术领域。
38.下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。
39.图1是本发明一实施例的锥束ct图像散射伪影校正处理方法流程示意图。如图1所示，该方法包括：
40.步骤101，构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；
41.其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；
42.步骤102，分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；
43.步骤103，在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；
44.步骤104，从所述cbct投影中减去所述散射伪影，生成校正后的投影；
45.步骤105，对所述校正后的投影进行重建，得到校正后的cbct图像。
46.在实际应用场景中，锥束ct图像散射伪影校正处理方法，工作原理为：构建合成网络，合成网络用于将cbct图像转化为spct图像该合成网络相较于现有技术进行了改进，能够改进图像转换的处理效率和转换效果；分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；从所述cbct投影中减去所述散射伪影，生成校正后的投影；对所述校正后的投影进行重建，得到校正后的cbct图像。本发明能够在保持cbct图像质量改善前后解剖结构一致性的前提下，结合影像合成模型在投影域使用后处理技术和传统解析方法来实现cbct的散射校正。
47.为了对上述锥束ct图像散射伪影校正处理方法进行更为清楚的解释，下面结合各个步骤来进行详细说明。
48.在一实施例中，针对步骤101，所述合成网络包括：生成器g、生成器f、判别器d
pct
、判别器d
cbct
、第一cbct图像域特征提取单元、第二cbct图像域特征提取单元、第一pct图像域特征提取单元及第二pct图像域特征提取单元。
49.具体的，生成器g用于从真实cbct图像生成为spct图像；
50.生成器f用于从真实pct图像生成cbct图像；
51.判别器d
pct
用于区分输入图像来自生成器g生成的spct图像还是真实pct图像；
52.判别器d
cbct
用于区分输入图像来自生成器f生成的cbct图像还是真实cbct图像。
53.第一cbct图像域特征提取单元及第二cbct图像域特征提取用于提取cbct图像中的图像域特征；
54.第一pct图像域特征提取单元及第二pct图像域特征提取单元用于提取spct图像的图像域特征。
55.在一实施例中，所述合成网络的损失函数至少包含对抗性损失、patchnce损失及一致性损失；根据该些损失可以确定总损失函数。
56.在所述合成网络中，生成器g的对抗性损失表示为：
57.l
gan
(g,d
pct
,cbct,pct)＝e
pct～pct
[logd
pct
(pct)]+e
cbct～cbct
[log(1-d
pct
(g(cbct)))]
[0058]
生成器f的对抗性损失表示为：
[0059]
l
gan
(f,d
cbct
,cbct,pct)＝e
cbct～cbct
[logd
cbct
(cbct)]+e
pct～pct
[log(1-d
cbct
(g(pct)))]
[0060]
其中，l
gan
为对抗性损失；
[0061]
g和f为生成器；
[0062]dcbct
和d
pct
为判别器；
[0063]
cbct为cbct图像数据集；
[0064]
pct为pct图像数据集；
[0065]
cbct代表cbct的图像个体；
[0066]
pct代表pct的图像个体；
[0067]ecbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；
[0068]
同理e
pct～pct
表示为数学期望，其中pct服从pct的概率分布。
[0069]
在所述合成网络中，由cbct图像转换为pct图像的patchnce损失表示为：
[0070][0071]
由pct图像转换为cbct图像的patchnce损失表示为：
[0072][0073]
其中，l
patchnce cbct
为由cbct图像转换为pct图像的patchnce损失；
[0074]
l
patchncepct
为由pct图像转换为cbct图像的patchnce损失；
[0075]
g、f为生成器；
[0076]hcbct
为cbct图像域特征提取单元所拟合的映射，包括第一cbct图像域特征提取单元、第二cbct图像域特征提取单元；
[0077]hpct
为pct图像域特征提取单元所拟合的映射，包括第一pct图像域特征提取单元及第二pct图像域特征提取单元；
[0078]
cbct为cbct图像数据集；
[0079]
pct为pct图像数据集；
[0080]
cbct代表cbct的图像个体；
[0081]
pct代表pct的图像个体；
[0082]ecbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；
[0083]epct～pct
表示为数学期望，其中pct服从pct的概率分布；
[0084]
n为特征图的层数；
[0085]
序列l∈{1,2,3,
…
,n}；
[0086]sl
为第l层的空间位置数量；
[0087]
序列s∈{1,2,3,
…
,s
l
}；
[0088]
为输出图像的特征；
[0089]
为积极特征；
[0090]
为消极特征。
[0091]
在所述合成网络中，一致性损失表示为：
[0092]
l
identity
(g,f)＝e
cbpct～cbct
[||f(cbct)-cbct||1]+e
pct～pct
[||g(pct)-pct||1]
[0093]
其中，l
identity
为一致性损失；
[0094]
g和f为生成器；
[0095]ecbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；
[0096]epct～pct
表示为数学期望，其中pct服从pct的概率分布；
[0097]
cbct代表cbct的图像个体；
[0098]
pct代表pct的图像个体。
[0099]
进一步的，该方法还包括：
[0100]
根据对抗性损失、patchnce损失及一致性损失，确定总损失函数，根据所述总损失函数对所述合成网络进行训练；
[0101]
所述总损失函数表示为：
[0102]
l(g,f,d
cbct
,d
pct
,h
cbct
,h
pct
)＝
[0103]
λ
gan
(l
gan
(g,d
pct
,cbct,pct)+l
gan
(f,d
cbct
,cbct,pct))
[0104]
+λ
nce
(l
patchnce cbct
(g,h
cbct
,h
pct
,cbct)+l
patchnce pct
(f,h
cbct
,h
pct
,pct))
[0105]
+λ
idt
l
identity
(g,f)
[0106]
其中，l为总损失函数；l
gan
为对抗性损失；l
patchnce cbct
、l
patchncepct
为patchnce损失；l
identity
为一致性损失；λ
gan
、λ
nce
、λ
idt
分别为对抗性损失、patchnce损失及一致性损失的控制系数。
[0107]
针对步骤102，分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影。
[0108]
针对步骤103，在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影。
[0109]
在一实施例中，利用低通滤波器，从所述残差投影中去除所述图像细节，其中，所述散射伪影是低频信号，图像细节是高频信号。
[0110]
针对步骤104，从所述cbct投影中减去所述散射伪影，生成校正后的投影。
[0111]
针对步骤105，对所述校正后的投影进行重建，得到校正后的cbct图像。
[0112]
在一实施例中，利用fdk算法对所述校正后的投影进行重建，得到校正后的cbct图像。
[0113]
下面结合一具体实施例对锥束ct图像散射伪影校正处理方法进行说明。
[0114]
参考图2，为本发明一具体实施例的锥束ct图像散射伪影校正方法框架示意图。具体的流程为：
[0115]
构建合成网络：
[0116]
本发明开发的合成网络用于将cbct转化为pct，生成一个合成的pct(spct)。为了保证校正后的图像的高保真性，本发明提出了一种将传统解析模型与影像合成模型相结合的方法，以解决由合成网络产生的不完整或不确的虚假信息。
[0117]
获取未修正的cbct(uncorrected cbct)，经过合成网络(synthesis network)得到spct(synthesis pct)。
[0118]
正向投影：
[0119]
在cbct和spct上利用正向投影算法(forward projection)，分别获得cbct投影p0(cbct projection)和spct投影pf(synthesis pct projection)。
[0120]
通过从p0中减去pf来生成残差投影r0(residual projection)，来提取投影中散射伪影和图像细节。
[0121]
低通滤波：
[0122]
散射伪影是低频的，而图像细节是高频信号。使用低通滤波器从r0中去除图像细节(高频)以估计散射伪影rf(scattering projection signal)。
[0123]
然后，从p0中减去rf，生成一个校正后的投影pc(corrected cbct projection)。
[0124]
fdk重建：
[0125]
利用fdk算法(fdk reconstruction)对校正后的投影pc进行重建，得到最终校正后的cbct(ccbct，corrected cbct)。
[0126]
合成网络是本发明的核心改进点，结合图3所示，为本发明一具体实施例的合成网络的框架示意图。对图3中的标记说明如下：cbct为cbct图像；pct为pct图像；g、f为生成器；d
cbct
、d
pct
为判别器；g
enc
、f
enc
为编码器；g
dec
、f
dec
为解码器对cbct图像及生成的cbct图像，分别设置单独的embeding cbct，对生成的pct图像及真实pct图像，分别设置单独的embeding pct。h
cbct
、h
pct
为图像域特征提取单元；gan loss为对抗性损失；nce
cbct loss、nce
pct loss为patchnce损失。
[0127]
参考图3，在合成网络中，生成器g的目标是从cbct图像生成合成pct(spct)图像，让其尽可能接近真实pct。
[0128]
判别器d
pct
目标是将spct图像与真实pct图像区分开。理想情况下，判别器d
pct
会输出全0或者全为1的数组，以此区分spct图像和真实pct图像。
[0129]
生成器f和判别器d
cbct
与此类似。在训练时，生成器和判别器需要不断交替优化，以使spct图像尽可能接近真实pct图像，让判别器具有更强的鉴别能力，从而不断提升生成图像的质量和可信度。
[0130]
网络的准确性直接取决于其相应损失函数的设计。dclgan网络的损失函数包含三个部分：对抗性损失、patchnce loss、一致性损失。与其他gan类似，dclgan使用对抗性损失来确保生成图像spct与目标域图像的分布模式尽可能一致，即在视觉上与目标域图像更相似。
[0131]
生成器g的对抗性损失(gan loss)表示为：
[0132]
l
gan
(g,d
pct
,cbct,pct)＝e
pct～pct
[logd
pct
(pct)]+e
cbct～cbct
[log(1-d
pct
(g(cbct)))]
[0133]
生成器f的对抗性损失(gan loss)与生成器g类似：
[0134]
l
gan
(f,d
cbct
,cbct,pct)＝e
cbct～cbct
[logd
cbct
(cbct)]+e
pct～pct
[log(1-d
cbct
(g(pct)))]
[0135]
与cut模型类似的，dclgan采用对比估计框架最大化输入和输出的相应patch之间的互信息。对比学习最核心的思想是关联“查询”及其“正”示例两个样本，与数据集中的其他样本(称为“负”)形成对比。dclagn通过将图像中的patch视为对象来构造正样本和负样本。在生成的spct图像中选择某一位置n处图像patch作为查询样本于此对应在cbct同一位置n的patch被视为正样本cbct中剩余patch被视为负样本使用交叉熵损失，具体损失的数学表达式如下：
[0136]
[0137]
其中，超参数τ用于缩放查询和其他样本之间的距离，默认值为0.07。
[0138]
表示查询样本v正样本v
+
之间的余弦相似度。通过最小化上述交叉熵损失，本发明可以最大化v和v
+
之间的互信息，最小化v和之间的互信息。
[0139]
与cut不同的是，dclagn使用2个不同的embeding(嵌入层)来克服cut中仅使用一个embeding可能出现的无法有效提取两个独立图像域的特征。对原始cbct图像及生成的cbct图像，分别设置单独的embeding cbct，对生成的pct图像及真实pct图像，分别设置单独的embeding pct。
[0140]
本发明使用由g
enc
和h
cbct
组合而成的embeding cbct来提取cbct图像域特征。类似地，基于f
enc
和h
pct
提取pct图像域特征。两个embeding不共享权重从而能够更好的学习到两个图像域的特异性。从g
enc
(cbct)中选取l层特征映射并将其通过一两层mlp投影头，即：
[0141][0142]
其中，l∈{1,2,3,...,l}，代表选取的第l个输出特征。本发明堆叠编码器生成的特征，每一个特征实际上是图像中一个patch，s∈{1,2,3,...,s
l
}，s
l
表示第l层的空间位置个数。每次选取一个query，找到相对应的特征作为积极特征和其他特征作为消极特征其中，c
l
代表每层的通道数目。与cut不同的是，本发明在pct图像域使用不同的embedding而不是即在两个不同图像域使用两个不同的embedding以有效的捕获图像域特征。所以，相似地，输出的spct被编码成：
[0143][0144]
由此，本发明计算输入图像和输出图像相关patch的匹配程度。基于多层patch的由cbct转换成pct图像的损失函数patchnce loss(nce
cbct loss)可表示为：
[0145][0146]
在相反过程：pct-》cbct，计算一个相似的loss(nce
pct loss)：
[0147][0148]
与生成器g的映射cbct-》pct，不同的是：
[0149][0150][0151]
为了保证cbct和生成的spct结构一致性，避免生成一些不必要的改动，本发明使用一个identity loss。与cut不同，为了加快训练速度，本发明未使用patchnce loss作为identity loss。
[0152]
l
identity
(g,f)＝e
cbpct～cbct
[||f(cbct)-cbct||1]+e
pct～pct
[||g(pct)-pct||1]
[0153]
最后，总的损失函数为：
[0154]
l(g,f,d
cbct
,d
pct
,h
cbct
,h
pct
)＝
[0155]
λ
gan
(l
gan
(g,d
pct
,cbct,pct)+l
gan
(f,d
cbct
,cbct,pct))
[0156]
+λ
nce
(l
patchnce cbct
(g,h
cbct
,h
pct
,cbct)+l
patchnce pct
(f,h
cbct
,h
pct
,pct))
[0157]
+λ
idt
l
identity
(g,f)
[0158]
进一步，利用合成网络可以对原始cbct进行转化得到spct。再利用解析算法与合成模型相结合实现散射伪影校正。具体流程为：分别对原始cbct和由dclgan生成的假的pct(spct)进行正向投影，分别得到p0和pf。将p0和pf相减得到含有图像细节信号和散射伪影信号的残差投影r0。由于图像细节部分是高频信号，散射伪影是低频信号，使用低通滤波去除图像细节部分得到rf。将原始cbct的投影p0减去rf，从而得到校正的cbct投影pc。最后再使用fdk重建算法对pc进行重建，得到最终校正后的cbct图像(ccbct)。
[0159]
本发明提出的cbct散射伪影解决方案，经过构建合成网络、正向投影、均值滤波、fdk重建等步骤，解决由于散射伪影带来的图像质量差、软组织对比度低的问题。核心改进点主要在基于双重对比度学习(dclgan)的无监督图像风格转换模型，将cbct图像转换为pct图像，并生成高质量的合成pct(spct)。
[0160]
本发明分别对原始cbct和spct进行正向投影。提出了使用后处理技术和fdk算法相结合的方法在投影域实现了散射伪影校正，大大改善了cbct图像质量。
[0161]
本发明使用相同的实验参数来训练cut和cyclegan模型，并完成cbct图像的散射伪影校正。实验结果表明，本发明的方法相较于cut泛用性更强，避免出现模式坍塌现象，相较于cyclegan的表现更好。
[0162]
与现有技术方法相比，本发明同时具备以下优势：1、不需要额外的先验信息；2、不需要改动硬件设备；3、不需要成对的训练数据；4、校正后的图像重建时间小于1分钟，计算效率高；5、适用于half-fan扫描；6、本发明提出的cbct散射伪影校正方案可以保持校正前后cbct图像的保真性，可以显著提升cbct的软组织对比度以及图像质量。
[0163]
在实际应用场景中，本发明基于双重对比学习对cbct图像散射伪影校正，能够为实现适应性放射治疗提供关键的技术支持。
[0164]
需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
[0165]
在一具体实施例中，利用本发明的方法对患者cbct数据进行了实验验证，实验结果如图4及图5所示。
[0166]
图4中显示了两名患者a、b的cbct、ccbct和pct的轴向、矢状和冠状切片图像。参考图4来看，与原始cbct相比，经过散射伪影校正后的cbct(corrected cbct,ccbct)不仅能够保持解剖结构一致性，而且图像质量大幅度提升，包括软组织对比度、空间均匀性、清晰性以及伪影抑制。
[0167]
图5显示了cbct、ccbct和pct图像所选roi(感兴趣区域，region of interest)的ct数分布，图中横坐标为roi，纵坐标是将像素值(pixel value)转换为hu(ct值)。通过图5可以明显地看出，ccbct的roi的平均hu(ct值)方差相比于cbct更接近于pct。虽然pct和cbct结构上有所不同，ccbct在cbct原有结构基础上学习pct的风格，从而实现了保真性，高对比度的图像的转换。
[0168]
在一具体实施例中，再结合图6所示，对cbct、ccbct和pct图像中，某一位置的ct数分布进行比较。
[0169]
图6中左侧从上到下为cbct、ccbct和pct的轴向视图，右图为cbct、ccbct和pct的两条标记线位置(column 260和row 312)的ct数分布，显示窗口为[-350,150]hu，横坐标是位置信息(position)，纵坐标是像素值(pixcl value)转换为hu，圈1为cbct，圈2为pct，圈3是ccbct；对比来看，经过处理后的ccbct显著提高了图像质量。
[0170]
在介绍了本发明示例性实施方式的方法之后，接下来，参考图7对本发明示例性实施方式的锥束ct图像散射伪影校正处理装置进行介绍。
[0171]
锥束ct图像散射伪影校正处理装置的实施可以参见上述方法的实施，重复之处不再赘述。以下所使用的术语“模块”或者“单元”，可以是实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0172]
基于同一发明构思，本发明还提出了一种锥束ct图像散射伪影校正处理装置，如图7所示，该装置包括：
[0173]
合成网络构建模块710，用于构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；
[0174]
正向投影模块720，用于分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；
[0175]
图像处理模块730，用于在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；
[0176]
投影校正模块740，用于从所述cbct投影中减去所述散射伪影，生成校正后的投影；
[0177]
图像重建模块750，用于对所述校正后的投影进行重建，得到校正后的cbct图像。
[0178]
应当注意，尽管在上文详细描述中提及了锥束ct图像散射伪影校正处理装置的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。
[0179]
基于前述发明构思，如图8所示，本发明还提出了一种计算机设备800，包括存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序830，所述处理器820执行所述计算机程序830时实现前述锥束ct图像散射伪影校正处理方法。
[0180]
基于前述发明构思，本发明提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述锥束ct图像散射伪影校正处理方法。
[0181]
基于前述发明构思，本发明提出了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现锥束ct图像散射伪影校正处理方法。
[0182]
本发明提出的锥束ct图像散射伪影校正处理方法及装置基于双重对比度学习的无监督图像风格转换模型，将cbct图像转换为pct图像，并生成高质量的合成pct，进一步对原始cbct和spct进行正向投影。提出了使用后处理技术和fdk算法相结合的方法在投影域
实现了散射伪影校正，大大改善了cbct图像质量，本发明在实施过程中不需要额外的先验信息，不需要改动硬件设备，不需要成对的训练数据，校正后的图像重建耗时短，计算效率高，适用于half-fan扫描；本发明的cbct散射伪影校正方案可以保持校正前后cbct图像的保真性，可以显著提升cbct的软组织对比度以及图像质量，为适应性放射治疗提供有力的技术支持。
[0183]
本技术技术方案中对数据的获取、存储、使用、处理等均符合法律法规的相关规定。
[0184]
本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0185]
本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0186]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0187]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0188]
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

技术特征：
1.一种锥束ct图像散射伪影校正处理方法，其特征在于，包括：构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；从所述cbct投影中减去所述散射伪影，生成校正后的投影；对所述校正后的投影进行重建，得到校正后的cbct图像。2.根据权利要求1所述的方法，其特征在于，所述合成网络包括：生成器g、生成器f、判别器d
pct
、判别器d
cbct
、第一cbct图像域特征提取单元、第二cbct图像域特征提取单元、第一pct图像域特征提取单元及第二pct图像域特征提取单元。3.根据权利要求2所述的方法，其特征在于，生成器g用于从真实cbct图像生成为spct图像；生成器f用于从真实pct图像生成cbct图像；判别器d
pct
用于区分输入图像来自生成器g生成的spct图像还是真实pct图像；判别器d
cbct
用于区分输入图像来自生成器f生成的cbct图像还是真实cbct图像。4.根据权利要求2所述的方法，其特征在于，第一cbct图像域特征提取单元及第二cbct图像域特征提取用于提取cbct图像中的图像域特征；第一pct图像域特征提取单元及第二pct图像域特征提取单元用于提取spct图像的图像域特征。5.根据权利要求1所述的方法，其特征在于，所述合成网络的损失函数至少包含对抗性损失、patchnce损失及一致性损失。6.根据权利要求5所述的方法，其特征在于，在所述合成网络中，生成器g的对抗性损失表示为：l
gan
(g,d
pct
,cbct,pct)＝e
pct～pct
[logd
pct
(pct)]+e
cbct～cbct
[log(1-d
pct
(g(cbct)))]生成器f的对抗性损失表示为：l
gan
(f,d
cbct
,cbct,pct)＝e
cbct～cbct
[logd
cbct
(cbct)]+e
pct～pct
[log(1-d
cbct
(g(pct)))]其中，l
gan
为对抗性损失；g和f为生成器；d
cbct
和d
pct
为判别器；cbct为cbct图像数据集；pct为pct图像数据集；cbct代表cbct的图像个体；pct代表pct的图像个体；e
cbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；e
pct～pct
表示为数学期望，其中pct服从pct的概率分布。7.根据权利要求5所述的方法，其特征在于，在所述合成网络中，由cbct图像转换为pct
图像的patchnce损失表示为：由pct图像转换为cbct图像的patchnce损失表示为：其中，l
patchnce cbct
为由cbct图像转换为pct图像的patchnce损失；l
patchncepct
为由pct图像转换为cbct图像的patchnce损失；g、f为生成器；h
cbct
为cbct图像域特征提取单元所拟合的映射，包括第一cbct图像域特征提取单元、第二cbct图像域特征提取单元；h
pct
为pct图像域特征提取单元所拟合的映射，包括第一pct图像域特征提取单元及第二pct图像域特征提取单元；cbct为cbct图像数据集；pct为pct图像数据集；cbct代表cbct的图像个体；pct代表pct的图像个体；e
cbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；e
pct～pct
表示为数学期望，其中pct服从pct的概率分布；n为特征图的层数；序列l∈{1,2,3,
…
,n}；s
l
为第l层的空间位置数量；序列s∈{1,2,3,
…
,s
l
}；为输出图像的特征；为积极特征；为消极特征。8.根据权利要求5所述的方法，其特征在于，在所述合成网络中，一致性损失表示为：l
identity
(g,f)＝e
cbpct～cbct
[f(cbct)-cbct1]+e
pct～pct
[g(pct)-pct1]其中，l
identity
为一致性损失；g和f为生成器；e
cbct～cbct
表示数学期望，其中cbct服从cbct的概率分布；e
pct～pct
表示为数学期望，其中pct服从pct的概率分布；cbct代表cbct的图像个体；pct代表pct的图像个体。9.根据权利要求5所述的方法，其特征在于，该方法还包括：根据对抗性损失、patchnce损失及一致性损失，确定总损失函数，根据所述总损失函数对所述合成网络进行训练；所述总损失函数表示为：
l(g,f,d
cbct
,d
pct
,h
cbct
,h
pct
)＝λ
gan
(l
gan
(g,d
pct
,cbct,pct)+l
gan
(f,d
cbct
,cbct,pct))+λ
nce
(l
patchnce cbct
(g,h
cbct
,h
pct
,cbct)+l
patchnce pct
(f,h
cbct
,h
pct
,pct))+λ
idt
l
identity
(g,f)其中，l为总损失函数；l
gan
为对抗性损失；l
patchnce cbct
、l
patchncepct
为patchnce损失；l
identity
为一致性损失；λ
gan
、λ
nce
、λ
idt
分别为对抗性损失、patchnce损失及一致性损失的控制系数。10.根据权利要求1所述的方法，其特征在于，在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影，包括：利用低通滤波器，从所述残差投影中去除所述图像细节，其中，所述散射伪影是低频信号，图像细节是高频信号。11.根据权利要求1所述的方法，其特征在于，对所述校正后的投影进行重建，得到校正后的cbct图像，包括：利用fdk算法对所述校正后的投影进行重建，得到校正后的cbct图像。12.一种锥束ct图像散射伪影校正处理装置，其特征在于，包括：合成网络构建模块，用于构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个cbct图像域特征提取单元及两个pct图像域特征提取单元，用于将cbct图像转化为spct图像；其中，cbct为锥束ct，spct为合成的pct，pct为计划ct；正向投影模块，用于分别对cbct图像及spct图像进行正向投影，得到cbct投影及spct投影，根据cbct投影及spct投影确定残差投影；图像处理模块，用于在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；投影校正模块，用于从所述cbct投影中减去所述散射伪影，生成校正后的投影；图像重建模块，用于对所述校正后的投影进行重建，得到校正后的cbct图像。13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11任一所述方法。14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一所述方法。15.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至11任一所述方法。

技术总结
本发明提出了一种锥束CT图像散射伪影校正处理方法及装置，涉及图像处理技术领域，该方法包括：构建合成网络，所述合成网络至少包含两个生成器、两个判别器、两个CBCT图像域特征提取单元及两个pCT图像域特征提取单元，用于将CBCT图像转化为spCT图像；分别对CBCT图像及spCT图像进行正向投影，得到CBCT投影及spCT投影，根据CBCT投影及spCT投影确定残差投影；在所述残差投影中提取散射伪影及图像细节，从所述残差投影中去除所述图像细节，保留所述散射伪影；从所述CBCT投影中减去所述散射伪影，生成校正后的投影；对所述校正后的投影进行重建，得到校正后的CBCT图像。得到校正后的CBCT图像。得到校正后的CBCT图像。


技术研发人员：王唐胜 梁晓坤 谢耀钦
受保护的技术使用者：中国科学院深圳先进技术研究院
技术研发日：2023.05.18
技术公布日：2023/8/6