一种三维图像获取系统及重建方法与流程

1.本发明属于数字全息技术领域，涉及一种基于深度学习的端到端相位重建方法。


背景技术：

2.数字全息术在图像重建和定量相位成像方法方面取得了显著进展，全息成像系统中的一个核心步骤是相位恢复。数字全息技术获得的全息图被记录在电荷耦合元件(charge-coupled device,ccd)上，计算机连接ccd从而得到采集的全息图，计算机再通过模拟光学的衍射来实现全息图的重建。然而，受实验条件的限制，传统重建方法常常会面临采集全息图光路搭建复杂、步骤实施繁琐、数据采集困难以及结果易受干扰等难题，这些难题使得传统数字全息技术不能满足目前高精度且实时的成像需求。近年来，随着计算机硬件以及算法的提升，深度学习在工业识别、农业检测和医疗图像等各领域的应用层出不穷，与此同时深度学习也促进了全息重建技术的发展。
3.基于深度学习的相位检索算法也被证明可以使用训练好的神经网络来重建全息图。huang等人搭建卷积神经网络用于全息图重建，尽管卷积网络可以快速重建相位图和强度图，但卷积网络提取特征较少，导致重建效果不佳。王帅等人使用带有局部残差结构的亚像素卷积实现全息重建，不足在于实验样品不够丰富，所用的样品多为分辨率板图像，仅对少量的细胞图像进行了测试，且不满足实时性要求。pirone等人利用多尺度卷积神经网络实现了端到端全息细胞图像重建过程。edmund等人提出了基于cnn网络(卷积神经网络)将距离估计转换为全息图预测和自聚焦转换为回归问题，其优点是可以在不知道任何物理参数的情况下预测距离。埃德蒙教授的团队提出了一种基于深度学习的数字全息端到端自聚焦重建网络，它不需要任何先验知识来重建无噪声图像，振幅和相位重建图像的ssim值分别达到0.92和0.97。


技术实现要素：

4.本发明申请为进一步满足重建实验聚焦及高精度的需求，提出了一种新的基于深度学习的全息图像重建方法，该算法基于改进的跨阶段u型网络u-net，融合跨阶段局部网络csp，加入多尺度特征融合模块aspp，不仅可以对全息图可以一步实现端到端重建，还可以对不同离焦距离的全息图达到自聚焦重建效果，使用已生成的网络模型还可对不同尺度的大视场的全息图进行重建，这样就可以采集到的任意尺寸全息图都可以实时重建。
5.本发明申请采用以下技术方案：
6.一种三维图像获取系统，其特征在于：包括he-ne激光器，扩束-滤波-准直装置，分束棱角，合束棱镜以及ccd传感器；其中，由he-ne激光器发出的波长为632.8nm的激光经扩束-滤波-准直装置后由分束棱镜分为两束，一束经样品后作为物光波，另一束作为参考光波，物光波和参考光波经合束棱镜合束，并在ccd传感器上形成全息图像，所述全息图像被ccd传感器记录并保存。
7.优选地，所述分束棱镜为偏振分束棱镜。
8.优选地，其利用上述的三维图像获取系统获取全息图像，并将该全息图像进行重建以得到样品的三维图像，将上述全息图像输入融合空洞空间卷积的跨阶段u型网络，即cue-net，经cue-net重建即可得到样品的三维图像；所述cue-net包括编码网络和解码网络，其中编码网络包括多个输入层(input)，解码网络包括多个输出层(output)；其中，跨阶段局部网络cspblock为cue-net的基本结构，设置在编码网络的输入层和解码网络的输出层中；在编码网络中，卷积核大小为3
×
3的卷积层(3x3conv)与跨阶段局部网络(cspblock)级联成下沉down操作，其用于提取局部特征且用于图片级分类，在图像特征传播时得到抽象语义特征；在解码网络中，双线性插值(blinear)与跨阶段局部网络cspblock级联成上升up操作，用于上采样，恢复通道大小；在解码网络的最后连接一个由两个内核大小为3
×
3的卷积层、残差模块、多尺度特征融合模块aspp组成的卷积组块用于降维处理，并恢复到初始图像大小；
9.其中，跨阶段局部网络cspblock中包含注意力机制eca，其具体结构为：左边是卷积核大小为1
×
1、步长为2的卷积层，右边是两层卷积核大小为1
×
1、步长为1的卷积层与注意力机制eca堆叠，之后将两边的结果进行拼接；
10.其中，多尺度特征融合模块aspp包括多个不同扩张率的空洞卷积，卷积后的各个结构拼接到一起，然后通过一个卷积核大小为1
×
1的卷积层。
11.优选地，解码网络的最后为输出卷积层，在输出卷积层的残差块后加入多尺度特征融合模块aspp。
12.本技术提出了一种三维图像重建方法，该方法可以快速重建不同离焦距离的全息图相位信息，同时生成的网络模型cue-net可以对多尺度大视场的全息图进行重建。并与传统角谱重建方法相比，该方法提高了重建图像的质量，同时也提高了重建速度。与现有的u型网络相比，cue-net输出重建结果的峰值信噪比psnr和结构相似性指数ssim分别由原来的18.5db和0.89提高至23.98db和0.97，能够很好地抑制散斑噪声影响。
附图说明
13.图1获取全息图的光路系统示意图；
14.图2通过全息图重建物体三维图像的基本流程图；
15.图3部分数据集展示图；
16.图4 cue-net网络结构的整体结构；
17.图5 cue-net网络结构的down结构；
18.图6 cue-net网络结构的up结构；
19.图7 cspblock的结构示意图；
20.图8 aspp的结构示意图；
21.图9测试结果，其中，(a)人血细胞全息图；(b)传统方法的真血细胞相位值；(c)cue-net输出结果；(d)鸡血细胞全息图；(e)传统方法的真血细胞相位值；(f)cue-net输出结果；
22.图10 ssim及psnr值的示意图；
23.图11四种方法误差图；
24.图12 u-net和cue-net的剖面分析对比图，其中，(a)全息图；(b)真值；(c)u-net输
出结果；(d)b和c像素的相位高轮廓图；(e)真值；(f)cue-net网络输出；(g)e和f像素的相位高轮廓图；
25.图13不同尺寸的全息图重建结果比较图；其中，(a)是512
×
512大小的人血红细胞，(b)是1024
×
1024大小的人血红细胞，(c)是1392
×
1032大小的鸡血细胞。
具体实施方式
26.1、全息图的获取。
27.本技术中，生物细胞全息图的数据集通过马赫曾德尔干涉仪结构采集，结构如图1所示，由he-ne激光器发出的波长为632.8nm的激光经扩束-滤波-准直系统后由分束棱镜pbs分为两束，一束经样品后作为物光波，另一束作为参考光波，两束光由棱镜bs合束发生干涉，位于像平面的ccd传感器记录，最终采集到的离轴数字全息图作为网络的输入。
28.2、通过全息图重建物体三维图像的传统方法的基本流程。
29.1)传统重建方法的基本流程如图2所示。数字全息物光复振幅提取过程如下，将实验获取的全息图进行傅里叶变换，然后选取+1级像进行滤波后将其移位至中心，再经逆傅里叶变换得到重建图像。由于在再现过程中采用了频域滤波方法，高频信息成分丢失，重建像的分辨率下降，其中为了得到高质量的三维相位信息，包括复杂的解包裹和相位补偿算法。在本技术中使用角谱重建方法、tie解包裹方法及pca主成分分析补偿方法得到的相位信息作为网络标签。角谱理论是一种严格遵循亥姆霍兹方程，不受条件约束。根据角谱理论，计算了图像平面上再现光场的光谱，通过傅里叶反变换得到了再现光波场的复振幅分布：
30.u(xi,yi)＝f-1
{f[r(x,y)h(x,y)]gb(f
x
,fy)}
[0031]
2)本技术的重建方法使用的数据集展示
[0032]
训练深度学习模型需要大量的数据作为支撑，将采集到的生物细胞全息图经裁剪、旋转等操作扩充数据集。尺寸大小为256
×
256。训练集分为0μm、1μm、3μm、5μm、7μm、9μm六组不同离焦距离数据，每组3000对，共18000张。测试集每组10张共60张。图3所示为部分数据集，其中图3(a)为不同离焦距离的全息图，图3(b)为对应的聚焦的重建相位图。
[0033]
3、本技术通过全息图重建物体三维图像的方法详细介绍
[0034]
1)构建网络结构
[0035]
本技术所提出融合空洞空间卷积的跨阶段u型网络(即cue-net)整体结构如图4所示。cue-net分别由左边的编码网络与右边的解码网络两部分组成，网络整体呈对称性。编码与解码网络具体操作如表1所示，其中input为输入通道数，跨阶段局部网络cspblock(增强cnn的学习能力，能够轻量化的同时保持准确性；降低计算瓶颈；降低内存成本)为网络的基本结构，注意力机制eca为是否使用通道注意力机制，eca避免降维，用1维卷积高效实现了局部跨通道交互，提取通道间的依赖关系；使网络关注到更为重要的信息提高网络处理的效率和准确性。output为输出通道数。在编码网络中，卷积核大小为3
×
3的卷积层与跨阶段局部网络(cspblock)级联成down操作，如图5，它的作用是提取局部特征,并做图片级分类，在图像特征传播时得到抽象语义特征。在解码网络中，双线性插值与cspblock级联成up操作，如图6。在cue-net中共经过4次down操作和4次up操作(表1中出现的是5次)，每一个down操作都与后面每一次up操作对应，这种跳跃连接可以将底层信息与高层信息充分融合
以提高学习精度，能更好地还原细节特征。最后接一个由两个3x3内核大小的卷积层、残差块、多尺度特征融合模块aspp组成的卷积组块用于降维处理，并恢复到初始图像大小。
[0036]
卷积神经网络在给我们带来高效学习能力的同时所带来提取信息冗余问题也不容忽视。cspnet(cross stage partial network，跨阶段部分网络)通过跨阶段特征融合和切断梯度流来扩充每一层中学习信息的变化性，同时减少网络学习冗余的梯度信息。本技术在cspnet密集块处引入注意力机制eca构成cspblock，如图7所示。特征图经过不同的梯度流进行不同的网络操作，左边是卷积核大小为1
×
1、步长为2的卷积层，右边是两层卷积核大小为1
×
1、步长为1的卷积层与eca堆叠，之后将两边的结果进行拼接，这种切换串联和过渡结构在一定程度上增强了网络的学习能力，并且在降低运算量时也能保持较高的准确率。
[0037]
多尺度特征融合模块aspp的目的就是在避免信息丢失的情况下，也能增大视觉感受视野，让卷积的每一个输出都拥有较大范围的信息。aspp整体如图8所示，对于同一幅特征图，使用不同扩张率的空洞卷积进行卷积，最后将卷积后的各个结果拼接到一起，进而扩大通道数，最后再通过一个1
×
1的卷积层。本技术在输出卷积层outconv的残差结构后加入aspp，这种添加方式能够以最少的计算量，获得最高的模型训练效率，并对实际的训练效果进行一定优化，模型参数在加深过程中，可以有效地处理结构的退化。
[0038]
layerinoutoperatorecainputconv88convfalsedown_1816cspblock,3x3falsedown_21632cspblock,3
×
3falsedown_33264cspblock
×
2,3
×
3truedown_464128cspblock
×
2,3
×
3truedown_5128256cspblock
×
2,3
×
3trueup_1256128cspblock
×
2,3
×
3trueup_212864cspblock
×
2,3
×
3trueup_36432cspblock
×
2,3
×
3trueup_43216cspblock,3
×
3falseup_5168cspblock,3
×
3falseoutconv88conv,resnet,asppfalse
[0039]
表1每层结构具体操作
[0040]
4、利用本技术提供的重建方法进行三维图像重建的实验结果
[0041]
1)实验设备
[0042]
本技术重建实验训练及测试计算机设备的配置为intel(r)core(tm)i7-11700k，内存16g，gpu为rtx 2060。学习率设置为0.001，使用可以自主调节学习率和收敛速度较快的adam优化器，损失函数使用smoothl1loss，batch size设为32，在每个小批量训练中，权重和偏差会在一次迭代优化后自动更新，训练过程在150次迭代后完成。
[0043]
2)重建图像效果的评价指标
[0044]
为了定量评价成像质量及重建速度，本文使用结构相似性指数ssim及峰值信噪比psnr，和重建所需时间等评价指标来测试此方法的优势。psnr用于衡量两张图像之间差异，
公式：
[0045][0046]
mse为两张图像的均方误差，maxvalue为图像像素可取到的最大值。psnr越大，两张图像差异越小。ssim是一种衡量两幅图像相似度的指标，结构相似度指数从图像组成的角度将结构信息定义为独立于亮度、对比度的，反映场景中物体结构的属性，并将失真建模为亮度、对比度和结构三个不同因素的组合。用均值作为亮度的估计，标准差作为对比度的估计，协方差作为结构相似程度的度量。
[0047][0048]
式中，μ
x
、μy分别是x、y的平均值，分别是x、y的方差，σ是y的协方差，c1、c2是维持稳定的常数，ssim数值越大则代表生成图像质量越好。
[0049]
但是psnr和ssim都只适合画面复杂度低或完全对齐的图像,所以也需要结合视觉效果及重建所需时间对比算法优势。
[0050]
3)实验结果与分析
[0051]
在测试集中随机选取全息图进行重建测试，并比较不同离焦距离下的聚焦重建结果。如图9所示。这些样本是在不同的离焦距离下的人血红细胞和鸡血细胞，图9(a)和(d)为全息图，(b)和(e)为传统重建方法的相位图，(c)和(f)为网络输出结果。与传统方法相比，定量分析的ssim值标记在图的底部。将c和f行的网络输出结果与b和e行的传统角谱重建方法重建的相位图进行比较，可以看出深度学习方法对重建结果具有平坦的背景，可以很好地抑制散斑噪声，图像边缘轮廓细节更加清晰。此外，ssim值随着距离的增加而减小。进一步比较两种方法的重建速度，本文方法只需0.05s就可以重建一张单一的全息图，而传统方法需要1.54s。cue-net方法节省了许多繁琐的步骤，提高了速度和重建质量。
[0052]
本文所用方法较基础u-net方法及对比其mse和smoothl1损失函数对照其ssim及psnr结果如图10所示，可以得出本文所提cue-net的重建结果的ssim及psnr值最高，随着距离增大，数值减小，改进网络ssim值可以维持在0.9及以上，其他网络下降到0.85左右，psnr维持22以上。针对于提到的四种方法(即u-net使用mse损失函数、u-net使用smoothl1损失函数、cue-net使用mse损失函数及cue-net使用smoothl1损失函数)选取测试集随机一张图测试其误差图如图11，可看出cue-net和smoothl1损失函数相结合的方法误差最小。
[0053]
图12(b)(c)(d)为u-net的实际值、网络输出结果图及剖线图，(e)(f)(g)为cue-net方法的实际值、网络结果图及剖线图。通过对水平虚线和实线的比较，可以得出改进方法的重建结果与实际值具有较高的相位高度重合度。
[0054]
对所用到csp、eca、aspp模块分别进行消融实验对比，ssim值及psnr结果及重建时间如表2所示，可以得出三个模块都使用的网络其ssim值和psnr值分别为0.973和23.98，是四种实验中最高的，其重建时间没太大区别，所以选用三种模块都用的网络。
[0055][0056]
表2消融实验对比
[0057]
利用256
×
256大小的数据集训练好的模型测试不同尺度的全息图，其重建结果如图13，(a)是512
×
512大小的人血红细胞，(b)是1024
×
1024大小的人血红细胞，(c)是1392
×
1032大小的鸡血细胞。cue-net网络输出结果比传统方法更能补偿其像差、背景更平坦，细胞轮廓更清晰，能够很好的抑制散斑噪声。
[0058]
本技术基于改进的u-net方法，提出了一种多尺度全息图端到端自聚焦重建的cue-net方法，对于输入任何大小的离焦全息图，都可以直接重建出聚焦的相位图，并通过测试人血红细胞和鸡血细胞，验证该网络的可行性。通过相位重建图、误差图像、剖线图视觉分析以及消融实验中ssim和psnr数据的定量分析，验证了所提cue-net方法的优势。本文提出的cue-net方法进行自聚焦重建，结果证实可得到更好的边缘细节图像，可实现实时重建不同尺寸的大视场全息图的三维相位图，同时cue-net网络在定量相位成像领域有广泛的应用，如细胞检测、相位重建、识别和分析等。
[0059]
需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

技术特征：
1.一种三维图像获取系统，其特征在于：包括he-ne激光器，扩束-滤波-准直装置，分束棱角，合束棱镜以及ccd传感器；其中，由he-ne激光器发出的波长为632.8nm的激光经扩束-滤波-准直装置后由分束棱镜分为两束，一束经样品后作为物光波，另一束作为参考光波，物光波和参考光波经合束棱镜合束，并在ccd传感器上形成全息图像，所述全息图像被ccd传感器记录并保存。2.根据权利要求1所述的三维图像获取系统，其特征在于：所述分束棱镜为偏振分束棱镜。3.一种三维图像重建方法，其利用权利要求1所述的三维图像获取系统获取全息图像，并将该全息图像进行重建以得到样品的三维图像，其特征在于：将上述全息图像输入融合空洞空间卷积的跨阶段u型网络，即cue-net，经cue-net重建即可得到样品的三维图像；所述cue-net包括编码网络和解码网络，其中编码网络包括多个输入层（input），解码网络包括多个输出层（output）；其中，跨阶段局部网络cspblock为cue-net的基本结构，设置在编码网络的输入层和解码网络的输出层中；在编码网络中，卷积核大小为3x3的卷积层（3x3conv）与跨阶段局部网络(cspblock)级联成下沉down操作，其用于提取局部特征且用于图片级分类，在图像特征传播时得到抽象语义特征；在解码网络中，双线性插值(blinear)与跨阶段局部网络cspblock级联成上升up操作，其用于上采样，恢复通道大小；在解码网络的最后连接一个由两个内核大小为3x3的卷积层、残差模块、多尺度特征融合模块aspp组成的卷积组块用于降维处理，并恢复到初始图像大小；其中，跨阶段局部网络cspblock中包含注意力机制eca，其具体结构为：左边是卷积核大小为1
×
1、步长为2的卷积层，右边是两层卷积核大小为1
×
1、步长为1的卷积层与注意力机制eca堆叠，之后将两边的结果进行拼接；其中，多尺度特征融合模块aspp包括多个不同扩张率的空洞卷积，卷积后的各个结构拼接到一起，然后通过一个卷积核大小为1
×
1的卷积层。4.根据权利要求3所述的三维图像重建方法，其特征在于：解码网络的最后为输出卷积层，在输出卷积层的残差块后加入多尺度特征融合模块aspp。

技术总结
本发明公开了基于深度学习的三维图像的重建方法，该方法可以快速重建不同离焦距离的全息图相位信息，同时生成的网络模型CUE-Net可以对多尺度大视场的全息图进行重建。与传统角谱重建方法相比，该方法提高了重建图像的质量，同时也提高了重建速度。同时也提高了重建速度。同时也提高了重建速度。


技术研发人员：江夏男 江丁男 冯晓霞 王华英 王学 门高夫
受保护的技术使用者：河北博夏光电信息科技有限公司
技术研发日：2023.03.28
技术公布日：2023/8/23