一种面向源直线扫描CT的多模型深度学习Hilbert逆变换重建方法

一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法
技术领域
1.本发明属于ct图像重建领域，更具体地说，涉及一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法。


背景技术：

2.近年来，为了满足更高的分辨率需求，出现了多种不同的ct扫描方式。刘丰林和余海军等提出“一种直线扫描ct系统及图像重建方法”，该专利中将探测器固定，射线源沿平行于探测器行方向进行直线平移，被测物体放于旋转台中心，没有采用传统ct系统的滑环部件和大视野多层探测系统，具有结构简单、低成本、移动/便携等优点，并设计了基于tv最小化的迭代图像重建算法[1,2]。该专利中的重建方法部分虽然可以重建无伪影的图像，但重建时间长、计算成本高，很难满足实际工程需求。此外，这些直线扫描轨迹的扩大视野成像中，射线束很难完全覆盖被测物体，即获得投影视图是截断的。如果采用高效率的滤波反投影(filtered projection,fbp)重建算法，则重建的图像会引入严重的截断伪影[3-5]。这是由于fbp算法中的全局性的斜坡滤波算子需要对整个投影进行处理，如果投影被截断，斜坡滤波会干扰整个投影，随后的反投影会在整个图像中传播误差。在这种情况下，从中甚至不可能恢复真实图像的一部分。
[0003]
为了克服这一限制，现有研究采用虚拟投影几何的方法，并提出v-fbp(virtual filtering backprojection)重建算法，可以很好地解决基于fbp算法所导致的截断伪影问题，但由于其调换了投影几何以致对源轨迹进行斜坡滤波，这样将导致需要庞大的源采样点数(即投影视图数)才能实现高质量图像重建[5]。为此，针对该扫描轨迹可设计反投影滤波(backprojection filtering，bpf)解析重建算法，该算法主要包含微分反投影(differential back projection，dbp)和有限hilbert逆变换两个步骤。不同于fbp类算法中斜坡滤波，bpf算法能够解决截断投影的精确重建问题，是因为其中的微分和有限hilbert逆变换和都是局部(local)运算，即运算结果只与近邻的数据有关。若投影数据被截断，则它仍然可以为投影的其余部分计算微分。然而，为实现完整图像的重建，直线扫描往往还需要配合几段被测物体的旋转，以获得完备的投影进行重建。在这种多段直线扫描的情况下，采用上述bpf算法的dbp过程获得的hilbert图像将由于实际有限角扫描导致的，这就需要后续的有限hilbert逆变换能够分别沿不同的射线源平移轨迹方向进行才能完成信息的复原。实际上，对hilbert图像进行有限hilbert逆变换往往需要沿水平或垂直方向进行。对于其他方向，则需要先旋转hilbert图像至垂直或水平状态后再处理。其中，图像的旋转需要采用插值算法，而插值过程不仅不能提高图像质量，反而使得图像的高频信息损失，以致最终的重建图像质量下降。
[0004]
参考文献：
[0005]
[1]刘丰林,余海军,李雷,谭川东.一种新型大视场直线扫描ct系统及图像重建方法[p].重庆市：cn111839568a,2020-10-30.
[0006]
[2]h.yu,l.li,c.tan,f.liu,r.zhou,x-ray source translation based computed tomography(stct),optics express,29(2021)19743-19758.r.clackdoyle,f.noo,alarge class of inversion formulae for the 2d radon transform of functions of compact support,inverse problems,20(2004)1281.
[0007]
[3]戈文杰,余海军,陈杰等.基于求导-希尔伯特变换-反投影的源直线扫描计算机断层成像解析重建[j].光学学报,2022,42(11):292-303.
[0008]
[4]李雷,余海军,谭川东,段晓礁,刘丰林.射线源平移扫描ct解析重建算法研究[j].仪器仪表学报,2022,43(02):187-195.doi:10.19650/j.cnki.cjsi.j2108157.
[0009]
[5]yu h,ni s,chen j,et al.analytical reconstruction algorithm for multiple source-translation computed tomography(mstct)[j].applied mathematical modelling,2023,117:251-266.


技术实现要素：

[0010]
鉴于直线扫描轨迹的bpf重建算法需要图像插值而带来图像分辨率下降的问题，本发明提出了一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法。本发明结合了深度学习算法和直线扫描轨迹的dbp算子的优势，可以有效的减少重建过程中高频信息的损失，提高重建图像分辨率，同时结合pix2pix生成器网络u-net可以有效减少重建图像的噪声及伪影，由于采用了多模型深度方法直接从dbp图像中学习hilbert逆变换，本发明方法还可以避免难单模型pix2pix网络难以获取标准标签数据的缺陷。
[0011]
一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，包括以下步骤：
[0012]
s1：初始化参数直线扫描段数t、旋转角度间隔δθ，待重建图像零空间
[0013]
s2：利用直线扫描轨迹的微分反投影(differential back projection，dbp)算子获取t段直线扫描轨迹的dbp图像，其中第i段直线扫描轨迹的dbp图像为i＝1,2,
…
,t；
[0014]
s3：采用虚拟几何直线扫描的滤波反投影(virtual filtering back-projection，v-fbp)重建算法得到标签数据，其中每段直线扫描的投影数应尽可能庞大，如投影数设为2001，对于第i段直线扫描轨迹的v-fbp重建图像i＝1,2,
…
,t，并作为多模型pix2pix网络的对照标签图像数据；
[0015]
s4：将t段dbp图像与v-fbp重建的完整图像进行数据扩充，获取扩充数据集，并作为多模型pix2pix网络的输入；
[0016]
s5：构建pix2pix模型，进行模型训练；
[0017]
s6：加权叠加t段pix2pix输出图像fi，得到完整图像高质量ct重建图像fig
ct
；
[0018]
所述步骤s4中，对多段dbp图像与v-fbp重建图像进行数据扩充，构建pix2pix网络的训练集，训练集包括输入的分段的dbp图像数据集q
dbp
和分段的标签图像数据集q
v-fbp
，其中训练集的构建需对原始图像数据进行不同方式的扩充，表达式为：
[0019]
[0020][0021]
式中，xi表示对图像数据的第i种扩充方式(包含：旋转，镜像和缩放，即分别对应于i＝1,2,3)，扩充前后的图像尺寸大小保持一致。
[0022]
所述步骤s5中，采用的pix2pix网络模型的网络的输入与输出均更改为适应ct图像的单通道图像，对应的模型中需修改生成器、判别器的通道类型，由三通道变更为单通道。
[0023]
在步骤s6中，将t个pix2pix模型训练出的结果图进行加权叠加，得到完整的ct图像fig
ct
，其加权叠加方法为
[0024][0025]
式中fig
ct
为叠加得到的完整ct重建图像，αi为第i段直线扫描结果的叠加权值因子，为保证最终加权叠加后的图像效果最优，该权值因子可以根据图像像素值高低手动调整，但均需保证如下关系：
[0026]
优选地，步骤s2中，利用直线扫描轨迹的微分反投影(differential backprojection，dbp)算子获取t段直线扫描轨迹的t段dbp图像其第i段直线扫描轨迹的dbp算子的计算式为
[0027][0028]
式中，为投影沿探测器u方向进行微分操作得到的微分投影，计算式为
[0029][0030]
其中表示微分算子，由有限差分运算实现，投影内部的数据采用中心差分，投影边界的数据采用单侧差分；u
*
表示穿过待重建点的射线在探测器上的坐标，
[0031][0032]
优选地，步骤s4中，对dbp算子和v-fbp算法获取的图像进行数据扩充，由于随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力，所采用的数据扩充方法如下：
[0033]
(1)镜像：本发明中的镜像方式包括水平、垂直与对角镜像，若原图像高度为h，宽度为w，则变换后图像尺寸不变，如：原图像(x0，y0)经过水平镜像后坐标变为(w-x
0-1，y0)，即
[0034][0035]
同理，图像经过垂直镜像变换后的逆运算为
[0036][0037]
对角镜像的逆运算为：
[0038][0039]
(2)旋转：本发明中的图像旋转扩充方法为逆时针旋转，设(x
′
,y
′
)为旋转后图像中的某一点位置坐标，(x,y)为原始图像，则变换关系式为
[0040][0041]
(3)缩放：本发明中的缩放方法，将图像分别在x轴和y轴方向按比例缩放f
x
和fy倍，得到新图像，比例缩放前后的两点(x0,y0)和(x,y)之间的关系为
[0042][0043]
本发明的有益效果在于：
[0044]
本发明面向源直线扫描ct，结合了深度学习方法和直线扫描轨迹的dbp算子，能够较高精度地重建目标感兴趣区域(roi)区域，避免了以往对直线扫描轨迹dbp图像进行hilbert逆变换重建而需要进行的旋转插值步骤，提高了图像重建质量；
附图说明
[0045]
图1为本发明一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法的流程示意图。
[0046]
图2为本发明pix2pix网络训练及测试流程图
[0047]
图3为本发明中pix2pix多模型深度学习训练部分输入及输出结果示意图。
[0048]
图4为本发明中多模型pix2pix深度学习测试部分输入及输出结果示意图。
具体实施方式
[0049]
为具体地描述本发明，下面结合附图及具体实施方式对本发明的技术方案进行详细说明。同时为了清晰明确地说明，将给出实施例子和相应解释。
[0050]
针对现有的直线扫描探测器微分bpf算法重建图像过程中逆hilbert变换旋转与插值方法导致图像高频信息损失的问题，本发明提供了一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，其整体思路在于：利用深度学习的方式替代传统bpf算法中第二步的有限hilbert逆变换，仅利用了bpf算法中的第一步dbp算子，将多段直线扫描的dbp图像加权叠加，并利用虚拟投影几何的滤波反投影(virtual filtering back-projection，v-fbp)重建算法得到标签数据，让pix2pix网络学习到标签数据图像中的高频信息，从而重建出更高质量的图像。
[0051]
一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，其流程示意图及多段dbp图像、标签数据叠加与pix2pix网络处理流程示意图如附图1所示，附图2为图1所对应步骤的详细流程示例图。
[0052]
s1：初始化参数直线扫描段数t、旋转角度间隔δθ，待重建图像零空间
[0053]
s2：利用直线扫描轨迹的微分反投影(differential back projection，dbp)算子获取t段直线扫描轨迹的dbp图像，其中第i段直线扫描轨迹的dbp图像为i＝1,2,
…
,t；
[0054]
s3：采用虚拟几何直线扫描的滤波反投影(virtual filtering back-projection，v-fbp)重建算法得到标签数据，其中每段直线扫描的投影数应尽可能庞大，如投影数设为2001，对于第i段直线扫描轨迹的v-fbp重建图像i＝1,2,
…
,t，并作为多模型pix2pix网络的对照标签图像数据；
[0055]
s4：将t段dbp图像与v-fbp重建的完整图像进行数据扩充，获取扩充数据集，并作为多模型pix2pix网络的输入；
[0056]
s5：构建pix2pix模型，进行模型训练；
[0057]
s6：加权叠加t段pix2pix输出图像fi，得到完整图像高质量ct重建图像fig
ct
；
[0058]
所述步骤s4中，对多段dbp图像与v-fbp重建图像进行数据扩充，构建pix2pix网络的训练集，训练集包括输入的分段的dbp图像数据集q
dbp
和分段的标签图像数据集q
v-fbp
，其中训练集的构建需对原始图像数据进行不同方式的扩充，表达式为：
[0059][0060][0061]
式中，xi表示对图像数据的第i种扩充方式(包含：旋转，镜像和缩放，即分别对应于i＝1,2,3)，扩充前后的图像尺寸大小保持一致。
[0062]
所述步骤s5中，采用的pix2pix网络模型的网络的输入与输出均更改为适应ct图像的单通道图像，对应的模型中需修改生成器、判别器的通道类型，由三通道变更为单通道。
[0063]
所述步骤s6中，将t个pix2pix模型训练出的结果图进行加权叠加，得到完整的ct图像fig
ct
，其加权叠加方法为
[0064][0065]
式中fig
ct
为叠加得到的完整ct重建图像，αi为第i段直线扫描结果的叠加权值因子，为保证最终加权叠加后的图像效果最优，该权值因子可以根据图像像素值高低手动调整，但均需保证如下关系：
[0066]
优选地，步骤s2中，利用直线扫描轨迹的微分反投影(differential backprojection，dbp)算子获取t段直线扫描轨迹的t段dbp图像其第i段直线扫描轨迹的dbp算子的计算式为
[0067][0068]
式中，为投影沿探测器u方向进行微分操作得到微分投影，其计算式为
[0069][0070]
其中表示微分算子，由有限差分运算实现，投影内部的数据采用中心差分，投影边界的数据采用单侧差分；u
*
表示穿过待重建点的射线在探测器上的坐标，
[0071][0072]
步骤s4中，扩充模型的方法如下：
[0073]
优选地，步骤s4中，对dbp算子和v-fbp算法获取的图像进行数据扩充，由于随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛化能力，所采用的数据扩充方法如下：
[0074]
(1)镜像：本发明中的镜像方式包括水平、垂直与对角镜像，若原图像高度为h，宽度为w，则变换后图像尺寸不变，如：原图像(x0，y0)经过水平镜像后坐标变为(w-x
0-1，y0)，即
[0075][0076]
同理，图像经过垂直镜像变换后的逆运算为
[0077][0078]
对角镜像的逆运算为：
[0079][0080]
(2)旋转：本发明中的图像旋转扩充方法为逆时针旋转，设(x
′
,y
′
)为旋转后图像中的某一点位置坐标，(x,y)为原始图像，则变换关系式为
[0081][0082]
(3)缩放：本发明中的缩放方法，将图像分别在x轴和y轴方向按比例缩放f
x
和fy倍，得到新图像，比例缩放前后的两点(x0,y0)和(x,y)之间的关系为
[0083][0084]
为了更清晰地说明本发明的具体实施例，在步骤s5中，详细的pix2pix网络训练流程如附图2所示，pix2pix模型生成器使用基于“u-net”的架构。而鉴别器使用卷积的“patchgan”分类器，它只在图像patch的尺度上对结构进行惩罚。在本例中，生成器的输入为512*512的图像，设置其通道数为1，即灰度图，在该网络模型的生成器中采取的特征提取器为64维，图片输入网络后经过4次最大池化过程，最终转化为32*32大小的图像，其通道数为1024，在每一步最大池化后还设置了一组“卷积+batchnorm+relu激活函数”的标准卷积
与激活操作，其卷积核为3*3，让网络充分学习到图像中的特征。在上采样过程中同样选取3*3的卷积核，将图像恢复到原图像大小，最后的网络输出保持与输入一致。采用u-net的优点还在于其网络每一个其u型对称结构中对应大小的网络区域采用了跳跃连接的方法，可以将来自不同尺度特征图的低级细节与高级语义结合起来，能够让网络学习到更多细节信息。鉴别器的作用是判别由u-net生成的图像的真伪，它的网络结构被设计成全卷积的形式，图像经过各种卷积层后，使用卷积将输入映射为n*n矩阵，本例中512*512大小的图像输入，经过5次最大池化过程与卷积激活操作，其卷积核大小为4，最后经过一个激活函数映射到[0-1]区间，以区分图像的真假。
[0085]
进一步地，本实施实例的pix2pix网络训练过程如附图3所示，包括：
[0086]
步骤
①
：首先利用dbp算子获取5段直线扫描dbp图像，同时利用虚拟几何滤波反投影算法获取t段标签图像；
[0087]
步骤
②
：将5对图像分别输入5组pix2pix网络模型进行训练。
[0088]
进一步地，pix2pix网络测试及使用过程如附图4所示，包括：
[0089]
步骤
①
：利用源直线扫描dbp算子获取5段直线扫描dbp图像；
[0090]
步骤
②
：将图像输入已经训练好的模型中；
[0091]
步骤
③
：输出结果，并进行加权叠加，得到高质量重建ct图像结果。
[0092]
表1.仿真扫描参数及pix2pix网络参数表
[0093][0094]
本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的；本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利
要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

技术特征：
1.一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，包括以下步骤：s1：初始化参数直线扫描段数t、旋转角度间隔δθ，待重建图像零空间s2：利用直线扫描轨迹的微分反投影(differential back projection，dbp)算子获取t段直线扫描轨迹的dbp图像，其中第i段直线扫描轨迹的dbp图像为i＝1,2,
…
,t；s3：采用虚拟几何直线扫描的滤波反投影(virtual filtering back-projection，v-fbp)重建算法得到标签数据，其中每段直线扫描的投影数应尽可能庞大，如投影数设为2001，对于第i段直线扫描轨迹的v-fbp重建图像i＝1,2,
…
,t，并作为多模型pix2pix网络的对照标签图像数据；s4：将t段dbp图像与v-fbp重建的完整图像进行数据扩充，获取扩充数据集，并作为多模型pix2pix网络的输入；s5：构建pix2pix模型，进行模型训练；s6：加权叠加t段pix2pix输出图像f
i
，得到完整图像高质量ct重建图像fig
ct。
2.根据权利要求1所述的一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，其特征在于，在步骤s4中，对多段dbp图像与v-fbp重建图像进行数据扩充，构建pix2pix网络的训练集，训练集包括输入的分段的dbp图像数据集q
dbp
和分段的标签图像数据集q
v-fbp
，其中训练集的构建需对原始图像数据进行不同方式的扩充，表达式为：，其中训练集的构建需对原始图像数据进行不同方式的扩充，表达式为：式中，x
i
表示对图像数据的第i种扩充方式(包含：旋转，镜像和缩放，即分别对应于i＝1,2,3)，扩充前后的图像尺寸保持一致。3.根据权利要求1所述的一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，其特征在于，在步骤s5中，采用的pix2pix网络模型的网络的输入与输出均更改为适应ct图像的单通道图像，对应的模型中需修改生成器、判别器的通道类型，由三通道变更为单通道。4.根据权利要求1所述的一种面向源直线扫描ct的多模型深度学习hilbert逆变换重建方法，其特征在于，在步骤s6中，将t个pix2pix模型训练出的结果图进行加权叠加，得到完整的ct图像fig
ct
，其加权叠加方法为式中fig
ct
为叠加得到的完整ct重建图像，α
i
为第i段直线扫描结果的叠加权值因子，为保证最终加权叠加后的图像效果最优，该权值因子可以根据图像像素值高低手动调整，但均需保证如下关系：

技术总结
一种面向源直线扫描CT的多模型深度学习Hilbert逆变换重建方法，属于CT成像技术领域，包括以下步骤：初始化直线扫描段数T、旋转角度间隔Δθ，待重建图像零空间利用直线扫描探测器微分DBP算子依次重建T段DBP图像；将T段DBP图像加权叠加获得完全角度DBP图像；由虚拟几何直线扫描的滤波反投影算法获取T段DBP图像对应的标签图像；利用图像数据扩充方法扩充DBP图像与标签图像数据集；将扩充得到的图像作为pix2pix深度学习网络模型的原始输入图像进行模型训练，最终输出高质量CT重建图像。本发明利用多模型的深度学习方法代替了以往对DBP图像采用有限Hilbert逆变换重建的过程，避免了引入多次插值运算而导致空间分辨率损失的问题。损失的问题。损失的问题。


技术研发人员：崔俊宁 汪志胜 边星元 王顺利 赵亚敏
受保护的技术使用者：哈尔滨工业大学
技术研发日：2023.06.06
技术公布日：2023/8/28