基于混叠采样的高分辨率光声图像复原的方法

1.本发明属于光声显微成像技术领域，涉及一种基于混叠采样的高分辨率的光声图像复原的方法。


背景技术：

2.光声成像技术是近年发展起来的一种极具临床应用价值的新型生物医学影像方法，它基于光声效应，能够特异性地探测生物组织的吸收信息。与其他生物医学成像技术相比，光声成像可以实现特异性分子或细胞成像，为疾病的诊断和评估提供精准的影像信息，具有无损、高分辨率、高对比度、低成本、和特定的光谱识别能力。光声显微镜(photoacoustic microscopy,pam)是在光声成像基础上发展起来的一种高分辨率的无创成像方法，并在生物医学影像诊断领域呈现出广泛的应用前景。
3.因为光声信号的带宽与吸收团的尺寸有关，尺寸在10微米至300微米的吸收团产生的光声信号的带宽在5～150mhz，要求超声换能器具有超宽的频率响应。然而，高频虽然可以提高分辨率，但也限制了探测深度。生物软组织对超声波的衰减一般为0.75db/mhz/cm，对于中心频率20mhz的光声信号，穿透1cm的生物组织，到达皮肤表面超声换能器的信号比原始信号衰减了15db。而生物组织产生的光声信号本身非常微弱，高频声衰减将进一步影响可探测信号的最大深度。
4.对光声信号采用欠采样，可以减少对超声换能器的要求并且可以在一定程度上增加光声显微成像的探测深度。但是欠采样后的图像质量差，并且图像可能会出现混叠图案。


技术实现要素：

5.本发明提出了一种基于混叠采样的高分辨率的光声图像复原的方法，以解决在光声显微成像中由于对光声信号欠采样造成的图像质量差和混叠现象。
6.实现本发明的技术解决方案为：一种基于混叠采样的高分辨光声图像复原的方法，包括以下步骤：
7.步骤1：通过光声显微成像，对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样；
8.步骤2：将两种不同方法采样的光声信号进行二维光声图像重建；
9.步骤3：利用重建的二维光声图像对对抗神经网络进行网络训练；
10.步骤4：将欠采样的光声图像输入到训练好的对抗神经网络中去，获得重建的高分辨率光声图像。
11.优选地，步骤2中采用最大值投影方法进行图像重建，具体公式为：
12.m(i,j)＝max(p
i,j
(t:t+δt))
13.其中，(i,j)为面扫激发模式下采集数据的坐标，m(i,j)是采集位置(i,j)处的最大值投影，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间。
14.优选地，所述对抗神经网络包括依次连接的第一生成器、第一判别器、第二生成
器、第二判别器，所述对抗神经网络对图像的处理过程为：
15.将欠采样的光声图像输入到第一生成器中，在第一生成器中，光声图像先经过一个卷积块，再经过多个残差块；将经过残差块后的图像输入到u型网络中进行两次下采样编码以及两次上采样编码，每次下采样后经过一个卷积块，每次的上采样解码的结果都与下采样过程中对应尺寸输出结果在通道维度拼接，拼接后的结果经过一个卷积块，作为下一次的上采样解码的输入；最后一次上采样经过一个卷积块后通过一个卷积层与原始的输入图像进行相加，输出图像；
16.将第一生成器生成的图像输入到第一判别器中，与第一判别器进行对抗；
17.将第一生成器生成的图像输入到第二生成器，所述第二生成器的网络结构与第一生成器的网络结构相同；
18.将第二生成器生成的图像与第二判别器进行对抗。
19.优选地，判别器的工作过程为：
20.输入的图像先经过一个卷积层和一个激活函数；
21.通过一个卷积块，并经过两次下采样，每次下采样后接一个卷积块，下采样和卷积块的构成相同；
22.将下采样后的数据后接全连接层，再接一个激活函数；
23.判别器将真实图像判别为1，生成图像判别为0，与生成器形成对抗。
24.优选地，对抗神经网络的损失函数为:
[0025][0026]
其中表示第一生成器的损失，表示第二生成器的损失，l表示总的生成器损失；
[0027]
单个生成器的损失的计算公式为：
[0028][0029]
其中，m表示样本的数量，d为判别器，g为生成器，g(z(i))表示为第i个生成的样本，λ为权重参数用于平衡生成器的逼真度和多样性，l
p
(x,g(z(i)))为感知损失。
[0030]
优选地，感知损失的具体计算公式为：
[0031][0032]
其中，qi(x)表示的是真实光声图像在vgg网络中i个卷积层的特征，qi(g(z))表示的是生成的图像在vgg网络中i个卷积层的特征，n表示特征层数。
[0033]
本发明与现有技术相比，其显著优点为：本发明可以对欠采样的光声信号重建后的光声图像进行一定的处理，使光声图像去混叠化。在成像的质量方向上，本方面可以很好的处理因为欠采样导致的混叠的图像信息。在成像的深度方向上，本方面可以使得光声显微成像的探测深度进一步加强。
[0034]
下面结合附图对本发明做进一步详细的描述。
附图说明
[0035]
图1为本发明基于混叠采样高分辨率光声图像复现方法的流程图。
[0036]
图2为本发明基于混叠采样高分辨率光声图像复原方法的整体的网络框架的示意图。
[0037]
图3为本发明基于混叠采样高分辨率光声图像复现方法的生成器的前半部分网络框架的示意图。
[0038]
图4为本发明基于混叠采样高分辨率光声图像复现方法的生成器的后半部分网络框架的示意图。
[0039]
图5为本发明基于混叠采样高分辨率光声图像复现方法的辨别器的网络框架的示意图。
具体实施方式
[0040]
如图1所示，一种基于混叠采样的高分辨光声图像复原的方法，包括以下步骤：
[0041]
步骤1：通过光声显微成像，对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样；
[0042]
脉冲激光照射到生物组织，利用超声换能器对组织中的光吸收区域产生的超声信号进行采样，其中，这种由光激发产生的超声信号为光声信号。
[0043]
通过调整超声换能器的中心频率，使得超声换能器可以对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样。
[0044]
步骤2：将两种不同方法采样的光声信号进行光声图像重建。
[0045]
进一步的实施例中，采用最大值投影方法进行图像重建，具体公式为：
[0046]
m(i,j)＝max(p
i,j
(t:t+δt))
[0047]
其中(i,j)为面扫激发模式下采集数据的坐标，m(i,j)是采集位置(i,j)处的最大值投影，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间，通过选定区间可以实现对不同深度层的最大值投影。
[0048]
步骤3：再以深度学习为基础，输入到本发明自己设计的对抗神经网络进行网络训练；
[0049]
进一步地，所述对抗神经网络包括依次连接的第一生成器、第一判别器、第二生成器、第二判别器，利用两个生成器和两个辨别器来生成图像，第一生成器生成初始的光声图像，第二生成器将第一生成器生成的光声图像进行进一步的改进加强。
[0050]
所述对抗神经网络对图像的处理过程为：
[0051]
步骤201：将欠采样的光声图像输入到第一生成器中，在第一生成器中，光声图像先经过一个卷积块，该卷积块为一个卷积层和激活函数组成，再经过多个残差块，该残差块由两个卷积块、两个批量归一化层和一个激活函数组成。
[0052]
步骤202：将经过残差块后的图像输入到u型网络中，u型网络进行两次下采样编码，每次下采样后经过一个卷积块，该卷积块由一个卷积层、一个批量归一化层和一个激活函数组成。
[0053]
步骤203：下采样后就是两次上采样解码的过程，每次的上采样解码的结果都与下采样过程中对应尺寸输出结果在通道维度拼接，拼接后的结果经过一个相同的卷积块，然
后再作为下一次的上采样解码的输入。最后一次上采样经过一个卷积块后通过一个卷积层再与原始的图像进行相加，而后输出图像。
[0054]
步骤204：将第一生成器生成的图像输入到第一判别器中，与第一判别器进行对抗。
[0055]
步骤205：将第一生成器生成的图像输入到第二生成器中，第二生成器生成的网络结构与第一生成器的网络结构相同，然后第一生成器生成的图像重复步骤201、步骤202、步骤203的过程，再将第二生成器生成的图像与第二判别器进行对抗。输出重建的结果。
[0056]
判别器的网络结构表示如下：
[0057]
步骤301：输入的图像先经过一个卷积层，和一个激活函数。再通过一个卷积块，该卷积块为由一个卷积层、批量归一化层、激活函数构成。再经过两次下采样，每次下采样后接一个卷积块，下采样和卷积块的构成相同，都是由一个卷积层、批量归一化层、激活函数构成。
[0058]
步骤302:将下采样后的数据后接全连接层。最后再接一个激活函数。判别器将真实图像判别为1，生成图像判别为0，与生成器形成对抗。
[0059]
本发明的对抗神经网络的训练过程大致分为两个阶段。将欠采样光声信号重建的光声图像和满足奈奎斯特采样的光声信号重建的光声图像输入到对抗神经网络中去。
[0060]
首先，在第一个阶段，就是训练第一生成器和第一判别器网络的参数。在这个阶段，先使用第一生成器的损失函数来训练生成器网络一次，同时输出与欠采样光声信号重建的光声图像对应的重建图像。然后再固定第一生成器网络的参数，将第一生成器生成的重建图像和满足奈奎斯特采样的光声信号重建的光声图像输出到第一判别器中，判别器输出一个数值在0到1之间，这个值表示第一生成器重建的图像和满足奈奎斯特采样的光声信号重建的光声图像的相似度。再使用二分类交叉熵损失函数来训练判别器网络的参数。
[0061]
在第二阶段，就是使用第一阶段相同的训练过程处理第二生成器和第二判别器网络的参数。最后第二生成器生成的图像就是最终整个对抗神经网络输出的图像。
[0062]
进一步地，在本发明中的单个生成器的损失函数表示为如下形式：
[0063][0064]
其中，m表示样本的数量，d为判别器，g为生成器，g(z(i))表示为第i个生成的样本，λ为权重参数用于平衡生成器的逼真度和多样性，l
p
(x,g(z(i)))为感知损失。
[0065]
总的生成器损失表示为如下形式：
[0066][0067]
其中表示第一生成器的损失，表示第二生成器的损失，l表示总的生成器损失。
[0068]
进一步地，感知损失是对高分辨率光声图像和混叠光声图像，使用vgg网络将这两种图像转化为特征表示，然后计算两者的均方误差，表达公式如下:
[0069][0070]
其中，qi(x)表示的是真实光声图像在vgg网络中i个卷积层的特征，qi(g(z))表示的是生成的图像在vgg网络中i个卷积层的特征，n表示特征层数。
[0071]
步骤4：将欠采样的光声图像输入到训练好的网络中去，获得重建的高分辨率光声图像；
[0072]
本发明可以对欠采样的光声信号重建的光声图像进行去混叠处理，并且可以使用于光声显微成像的各种应用场景。
[0073]
实施例
[0074]
一种基于混叠采样的高分辨光声图像复原的方法，包括以下步骤
[0075]
步骤1：通过光声显微成像，对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样；
[0076]
步骤2：将两种不同方法采样的光声信号进行光声图像重建。
[0077]
步骤3：再以深度学习为基础，输入到本发明自己设计的对抗神经网络进行网络训练；
[0078]
步骤4：再将欠采样的光声图像输入到训练好的网络中去，获得重建的高分辨率光声图像；
[0079]
采用二维扫描位移台，使用波长532nm的脉冲激光，经过一个50μm的小孔进行空间滤波，然后通过一个0.13-na的物镜聚焦于样品。
[0080]
使用共聚焦环形超声换能器检测聚焦激光脉冲激发的光声波，并由放大器和采集卡进行放大和数字化。并且改变超声换能器的中心频率实现对光声信号的欠采样和满足奈奎斯特采样定理的采样。
[0081]
具体地，激光激发后，光路途经反射镜、小孔滤波系统、扩束器、遮光板、四角笼等光学器件最终聚焦到成像样品上.系统采用反射式光声显微成像，样品由一定浓度琼脂固定在玻璃皿中央.
[0082]
具体地，步骤2中所诉的重建方法采用最大值投影方法，具体为：
[0083]
m(i,j)＝max(p
i,j
(t:t+δt))
[0084]
其中(i,j)为面扫激发模式下采集数据的坐标，m(i,j)是采集位置(i,j)处的最大值投影，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间，通过选定区间可以实现对不同深度层的最大值投影。
[0085]
结合附图2，步骤3中所述的对抗神经网络的主要内容在于，用两个生成器和两个辨别器来生成图像，第一生成器生成初始的光声图像，第二生成器将第一个生成的光声图像进行进一步的改进加强。
[0086]
结合附图3和附图4，生成器的网络结构表示如下：
[0087]
将混叠采样的光声图像输入到生成器中，在生成器中，光声图像先经过一个卷积块，该卷积块为一个卷积层和激活函数组成，再经过多个残差块，该残差块由两个卷积块、两个批量归一化层和一个激活函数组成。
[0088]
将经过残差块后的图像输入到u型网络中，u型网络进行两次下采样编码，每次下
采样后经过一个卷积块，该卷积块由一个卷积层、一个批量归一化层和一个激活函数组成。
[0089]
下采样后就是两次上采样解码的过程，每次的上采样解码的结果都与下采样过程中对应尺寸输出结果在通道维度拼接，拼接后的结果经过一个相同的卷积块，然后再作为下一次的采样解码的输入。最后一次上采样经过一个卷积块后通过一个卷积层再与原始的图像进行相加，而后输出图像。
[0090]
将第一生成器生成的图像输入到判别器中，与第一判别器进行对抗。
[0091]
步骤205：将对抗后的结果输入到第二生成器中，第二个生成的网络结构与第一生成器的网络结构相似，然后输入的结果重复步骤201、步骤202、步骤203的过程，再将第二生成器生成的图像与第二判别器进行对抗。输出重建的结果。
[0092]
具体地，对抗神经网络模型中生成器各部分的具体结构如下：
[0093]
第一个卷积块中的卷积层的步幅设置为1，填充设置为4，卷积核大小为9，保证特征图尺寸不变；
[0094]
残差块由一个卷积层接一个bn层再接一个leaky relu层在接上一个卷积层和一个bn层,卷积层都是步幅设置为1，填充设置为4，卷积核大小为9，保证特征图尺寸不变。
[0095]
下采样是有一个卷积层，bn层和leaky relu激活层构成，其中卷积层的步幅设置为2，卷积核大小为3，填充设置为1。由此特征图的尺寸减半。
[0096]
上采样层是由一个转置卷积层后接bn层和一个leaky relu激活层构成，其中，转置卷积层的步幅设置为2，卷积核大小为3，填充设置为1，由此实现了特征图尺寸的放大。
[0097]
下采样和上采样中的卷积块卷积层设置为1，填充设置为1，卷积核大小为3，保证特征图尺寸不变；
[0098]
结合附图5，判别器的网络结构表示如下：
[0099]
步骤301：输入的图像先经过一个卷积层，和一个激活函数。再通过一个卷积块，该卷积块为由一个卷积层、批量归一化层、激活函数构成。再经过两次下采样，每次下采样后接一个卷积块，下采样和卷积块的构成相同，都是由一个卷积层、批量归一化层、激活函数构成。
[0100]
步骤302:将下采样后的数据后接全连接层。最后再接一个激活函数。判别器将真实图像判别为1，生成图像判别为0，与生成器形成对抗。
[0101]
具体地，对抗神经网络模型中判别器各部分的具体结构如下：
[0102]
输入的图像先经过一个卷积核大小为3，步幅为1的卷积层，将输入的的三个通道转化为64个通道，再通过一个leaky relu的激活函数。
[0103]
再通过一个卷积块，该卷积块为由一个卷积层、bn层、leaky relu层构成。再经过两次下采样，每次下采样后接一个卷积块，下采样和卷积块的构成相同，都是由一个卷积层、bn层、leaky relu层构成，不同的是下采样中的卷积层的步幅为2。
[0104]
将下采样后的数据用(1024)dense层、leaky relu层再接一个(1)dense层。最后再接一个sigmoid函数。判别器将真实图像判别为1，生成图像判别为0，与生成器形成对抗。
[0105]
具体地，在本发明中的单个生成器的损失函数表示为如下形式：
[0106]
[0107]
其中，m表示样本的数量，d为判别器，g为生成器，g(z(i))表示为第i个生成的样本，λ为权重参数用于平衡生成器的逼真度和多样性，l
p
(x,g(z(i)))为感知损失。
[0108]
总的生成器损失表示为如下形式：
[0109][0110]
其中表示第一生成器的损失，表示第二生成器的损失，l表示总的生成器损失。
[0111]
具体地，感知损失是对高分辨率光声图像和混叠光声图像，使用vgg网络将这两种图像转化为特征表示，然后计算两者的均方误差，表达公式如下:
[0112][0113]
其中，qi(x)表示的是真实光声图像在vgg网络中i个卷积层的特征，qi(g(z))表示的是生成的图像在vgg网络中i个卷积层的特征，n表示特征层数。
[0114]
正如背景技术部分所述，鉴于现有的光声显微成像的对超声换能器的中心频率的频率要求高，高频虽然可以提高分辨率，但也限制了探测深度等缺点。本发明提供了基于混叠采样的高分辨率光声图像的方法，以解决对光声信号采用欠采样，但是欠采样后的图像质量差，并且图像可能会出现混叠图案的问题。发明提供了基于混叠采样的高分辨率光声图像的方法能够打破奈奎斯特采样定理，实现对光声信号进行欠采样，而重建后的光声图像能有足够的质量，并且能增加光声显微成像的探测深度。

技术特征：
1.一种基于混叠采样的高分辨光声图像复原的方法，其特征在于，包括以下步骤：步骤1：通过光声显微成像，对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样；步骤2：将两种不同方法采样的光声信号进行二维光声图像重建；步骤3：利用重建的二维光声图像对对抗神经网络进行网络训练；步骤4：将欠采样的光声图像输入到训练好的对抗神经网络中去，获得重建的高分辨率光声图像。2.根据权利要求1所述的基于混叠采样的高分辨光声图像复原的方法，其特征在于，步骤2中采用最大值投影方法进行图像重建，具体公式为：m(i,j)＝max(p
i,j
(t:t+δt))其中，(i,j)为面扫激发模式下采集数据的坐标，m(i,j)是采集位置(i,j)处的最大值投影，p
i,j
是采集位置(i,j)处的光声时域信号，δt是选定投影的区间。3.根据权利要求1所述的基于混叠采样的高分辨光声图像复原的方法，其特征在于，所述对抗神经网络包括依次连接的第一生成器、第一判别器、第二生成器、第二判别器，所述对抗神经网络对图像的处理过程为：将欠采样的光声图像输入到第一生成器中，在第一生成器中，光声图像先经过一个卷积块，再经过多个残差块；将经过残差块后的图像输入到u型网络中进行两次下采样编码以及两次上采样编码，每次下采样后经过一个卷积块，每次的上采样解码的结果都与下采样过程中对应尺寸输出结果在通道维度拼接，拼接后的结果经过一个卷积块，作为下一次的上采样解码的输入；最后一次上采样经过一个卷积块后通过一个卷积层与原始的输入图像进行相加，输出图像；将第一生成器生成的图像输入到第一判别器中，与第一判别器进行对抗；将第一生成器生成的图像输入到第二生成器，所述第二生成器的网络结构与第一生成器的网络结构相同；将第二生成器生成的图像与第二判别器进行对抗。4.根据权利要求3所述的基于混叠采样的高分辨光声图像复原的方法，其特征在于，判别器的工作过程为：输入的图像先经过一个卷积层和一个激活函数；通过一个卷积块，并经过两次下采样，每次下采样后接一个卷积块，下采样和卷积块的构成相同；将下采样后的数据后接全连接层，再接一个激活函数；判别器将真实图像判别为1，生成图像判别为0，与生成器形成对抗。5.根据权利要求1所述的基于混叠采样的高分辨光声图像复原的方法，其特征在于，对抗神经网络的损失函数为:其中表示第一生成器的损失，表示第二生成器的损失，l表示总的生成器损失；单个生成器的损失的计算公式为：
其中，m表示样本的数量，d为判别器，g为生成器，g(z
(i)
)表示为第i个生成的样本，λ为权重参数用于平衡生成器的逼真度和多样性，l
p
(x,g(z
(i)
))为感知损失。6.根据权利要求5所述的基于混叠采样的高分辨光声图像复原的方法，其特征在于，感知损失的具体计算公式为：其中，q
i
(x)表示的是真实光声图像在vgg网络中i个卷积层的特征，q
i
(g(z))表示的是生成的图像在vgg网络中i个卷积层的特征，n表示特征层数。

技术总结
本发明公开了一种基于混叠采样的高分辨率光声图像复原的方法，属于光声显微成像技术领域，通过光声显微成像，对光声信号分别进行欠采样和满足奈奎斯特采样定理的采样。将两种不同方法采样的光声信号进行光声图像重建。再以深度学习为基础，输入到本发明自己设计的对抗神经网络进行网络训练。再将欠采样的光声图像输入到训练好的网络中去，获得重建的高分辨率光声图像。与现有的光声显微成像方法及系统相比，本发明能够有效地解决因为超声换能器中心采样频率不满足奈奎斯特采样定理而造成的混叠图像，并且本发明能在一定程度上提升光声显微成像的探测深度。显微成像的探测深度。显微成像的探测深度。


技术研发人员：马海钢 任世利 封婷 左超 陈钱
受保护的技术使用者：南京理工大学
技术研发日：2023.06.05
技术公布日：2023/8/21