基于残差自注意力连接的深度电学层析成像方法及系统

1.本发明属于电学层析成像领域，尤其是一种基于残差自注意力连接的深度电学层析成像方法及系统。


背景技术：

2.电学层析图像重建(electrical tomography，简称et)是一种新兴的电学模态参数可视化断层成像方法，描述所测量截面的介质分布情况。与目前较为成熟的计算机断层成像(computed tomography，简称ct)、磁共振成像(magnetic resonance imaging，简称mri)等相比，et成像技术具有无辐射、低功耗、非侵入以及高时间分辨率等优势，广泛应用于工业无损探伤、医学功能性连续监测、多相流过程参数分析等领域。et技术利用贴附在待测区域表面的电极传感阵列施加激励电信号，产生电学敏感场，信号经过调制反馈在电极上，将测量到的边界电压输入图像重建算法，可重建观测区域内的电学参数分布情况。由于et的电学敏感场域会根据分布介质的变化而变化，即“软场”特性，因此et问题具有严重的非线性。
3.近年来，由于高性能处理器以及大量数据样本的出现，深度学习(deep learning)技术受到了广泛关注，特别是在计算机视觉领域，深度神经网络成为了主要的图像处理工具。大量研究者将深度学习方法应用于逆问题分析，图像重建，图像分割等领域。基于深度学习的逆问题成像方法可以降低对正问题建模精度的依赖性，并且神经网络自身强大的非线性拟合能力可以有效地应用在非线性成像逆问题中；
4.但是对于深度神经网络来说，过多的隐含层存在前向信息消失和反向梯度弥散的问题，导致et成像边界伪影和空间分辨率低。


技术实现要素：

5.本发明的目的在于克服现有技术的不足，提供一种基于残差自注意力连接的深度电学层析成像方法及系统，能够提高非线性成像反问题的重建可视化效果，改善et图像的质量。
6.本发明解决技术问题所采用的技术方案是：
7.本发明的第一方面是提供了一种基于残差自注意力连接的深度电学层析成像方法，包括：
8.建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；
9.建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。
10.进一步地，所述预重建迭代模块的数学模型为：
[0011][0012]
在每一次迭代的过程中通过优化权重参数矩阵w和电压误差迭代向量u
k-1
，即可通过第(k-1)次的结果计算得到
[0013]
w＝(j
t
j+l
t
l)-1
·jt
和
[0014]
其中，j为灵敏度矩阵，是正则化对角矩阵，其对角线上的正则化参数通过训练样本进行学习，u
mea
为边界测量电压，为第(k-1)次和第k次的迭代计算结果。
[0015]
进一步地，所述深度卷积神经网络模块为u形深度卷积神经网络，由特征提取部分和图像重建部分组成。
[0016]
进一步地，在特征提取部分，待重建图像的像素个数从256
×
256被全局压缩至16
×
16，同时特征图的通道数目从3扩增至128，压缩路径由5个残差卷积运算单元组成，其中每一个运算单元是由三个卷积、批归一化、非线性参数整合层构成，同时采用一个残差特征连接，压缩路径中采用最大池化层连接两个相邻的运算单元，进行下采样运算，实现全局空间特征聚合。
[0017]
进一步地，在图像重建部分，将抽象特征逐层复原得到与初始成像大小相同的特征信息，由4个残差卷积运算单元组成了扩展路径，扩展路径中两个相邻的运算单元由反卷积层连接进行上采样运算，实现特征图的逐步扩增。
[0018]
进一步地，所述深度卷积神经网络模块还包括残差自注意力跳跃连接模块，由4部分组成，分别是残差跳跃连接通路，查询向量，键向量和值向量，第k个残差自注意力跳跃连接的计算过程为：
[0019]
特征提取模块的计算结果表示x
k-output
，分别使用查询向量权重键向量权重和值向量权重与输入特征向量相乘，依次得到查询向量qk、键向量kk和值向量vk；
[0020][0021]
下一步计算查询向量qk和键向量kk之间的注意力向量《qk,kk》，使用softmax函数进行注意力规范化处理；
[0022]
最后，利用计算得到的注意力进行注意力得分计算，上述过程可以表示为：
[0023][0024]
其中dk为注意力向量的维度，注意力向量x
k-attention
与resconv blockk(k＝1,2,3,4,5)输出特征向量x
k-output
进行相加，得到残差注意力向量x
k-resatt
＝x
k-attention
+x
k-output
，
[0025]
残差注意力向量x
k-resatt
(k＝1,2,3,4)与对应的图像重建模块x
k-output
(k＝9,8,7,6)进行特征拼接，尺寸相同的特征图进行矩阵kronecker乘积运算，数学表达式为
[0026][0027]
进一步地，所述深度卷积神经网络模块还包括损失函数其数学表达式为：
[0028][0029]
其中，预重建模块的损失函数是使用均方误差计算电压结果u
cal
和测量电压u
mea
之间的误差；后处理模块的损失函数是使用交叉熵损失函数计算深度成像模型的输出结果x
out
和训练样本的标签x
lab
之间的误差；
[0030]
在损失函数中加入了2-范数的约束项w为模型的权重参数，γ为权重系数，和的计算方法为：
[0031][0032][0033]
本发明的第二方面是提供了实现上述方法的系统，包括：
[0034]
预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；
[0035]
及深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。
[0036]
本发明的第三方面是提供了一种电子设备，包括存储器和处理器；其中：
[0037]
存储器：用于存储处理器可执行的指令；
[0038]
处理器：所述处理器被配置执行：建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。
[0039]
本发明的第四方面是提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行所述的基于残差自注意力连接的深度电学层析成像方法。
[0040]
本发明的优点和积极效果是：
[0041]
1.本发明提出了一种基于模块内残差连接(residual connection)模块间残差自注意力机制(residual self-attention)的深度u形卷积神经网络层析重建方法。其中，模块内的残差连接融合了输入像素和卷积后的特征，增加了前馈信号和反向梯度信号的数量，解决了由于梯度消失造成的局部不收敛的问题；另外，本发明设计了残差自注意力模块，充分利用特征图中全局信息特征和局部信息特征，提高了电学参数重建的准确性和介质边界的清晰度。
[0042]
2.本发明所提出的深度学习eit图像重建模型，相比于数值成像算法以及一些已有的深度学习方法，具有更好的噪声鲁棒性和模型泛化性，在具有复杂介质分布的仿真模型和物理模型上均取得良好的成像结果。
附图说明
[0043]
图1为二维16电极eit传感阵列与测量原理图；
[0044]
图2为方法整体框架图；
[0045]
图3为预重建模块结构示意图；
[0046]
图4为残差自注意力跳跃连接图；
[0047]
图5为残差自注意力跳跃连接图；
[0048]
图6为仿真数据样本建立图；
[0049]
图7为不同信噪比水平下仿真模型成像结果图；
[0050]
图8为不同信噪比水平下成像方法量化指标(re和cc)结果图；
[0051]
图9为复杂形状仿真实验结果图；
[0052]
图10为电阻抗数据采集系统图；
[0053]
图11为不同介质分布的边界测量电压图；
[0054]
图12为不同图像重建算法的重建结果图；
[0055]
图13为不同图像重建算法的平均量化指标结果图。
具体实施方式
[0056]
下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。
[0057]
以二维eit模型为例，如图1所示，电极阵列贴附在待测区域表面，选择一对相邻电极作为初始激励电极(如图1中1—2所示)；测量其余相邻电极对上的电压信号(如图1中3—4、4—5、
……
所示)，依次不断更换激励电极对并测量其余电极上的电压信号，直至所有电极激励完成。对于16电极eit系统，共可获得208个电压响应信号，可用于重构一帧图像。
[0058]
eit敏感场域可近似认为是“似稳场”，电位函数与场域内电导率σ(z)之间用laplace方程描述，即
[0059][0060]
其中，z是场域内的坐标位置，σ(z)、分别表示场域内电导率值和对应点的电势函数值。对于包含l个电极的eit传感模型，通常情况下使用全电极模型(complete electrode model，简称cem)作为偏微分方程的边界条件：
[0061][0062]
其中，是观测区域ω的边界，n是边界的外法向矢量，e
l
是贴附在边界上的电极，ρ表示电极与测量区域边界之间的接触阻抗，u
l
是在电极e
l
上的响应电压，i
l
是在电极e
l
上的注入电流。eit正问题即边界响应信号计算问题，是利用已知的观测区域内部参数来获得边界电压信号。通常使用数值求解的方法求解正问题，主要包括有限元方法(finite element method，简称fem)和边界元方法(boundary element methods，简称bem)。
[0063]
eit逆问题即图像重建，是通过边界电压u来计算观测区域内的电导率分布情况x。根据泰勒公式，电导率分布与边界电压之间的关系可以近似为线性关系
[0064]
u(x+δx)-u(x)＝j(x)
·
δx+n
ꢀꢀꢀ
(3)
attention skip connection u-shaped cnn，简称为resattu-net)。resattu-net模型结构如图4中的(a)所示，其中resconvblock 5的部分特征图(该通道有128个特征图，只对36个特征图进行展示)和输出模块resconvblock 9的特征图如图4中的(b)所示。
[0081]
(1)后处理模型结构：resattu-net模型是一个u形深度卷积神经网络，由特征提取部分和图像重建部分组成。特征提取部分将输入的初始重建图像(表示通道数为c，尺寸为h
×
w的特征图)抽象为维度是的特征向量，即可以认为是将病态性问题转化为一个适定性问题。在特征提取部分(即resattu-net的特征压缩路径)，待重建图像的像素个数从256
×
256被全局压缩至16
×
16，同时特征图的通道数目从3扩增至128。压缩路径由5个残差卷积运算单元(resconvblockk，k＝1,2,3,4,5)组成，其中每一个运算单元是由三个卷积(卷积核大小为3
×
3)、批归一化(batch normalization，简称bn)、非线性参数整合(relu)层构成，同时采用一个残差特征连接(residual connection)来增加前馈信息传递通道，其运算方式可以表示为
[0082]
x
k-output
＝x
k-input
+3
×
conv3×3(x
k-input
),k＝1,2,3,4,5(8)
[0083]
x
k-input
、x
k-output
分别表示第k个resconv运算单元中的输入特征和输出特征图，conv3×3表示上述卷积(3
×
3)—bn—relu运算层。同时，压缩路径中采用最大池化(池化核2
×
2)层连接两个相邻的运算单元，进行下采样运算，实现全局空间特征聚合。图像重建部分将抽象特征逐层复原得到与初始成像大小相同的特征信息由4个残差卷积运算单元(resconv block k，k＝6,7,8,9)组成了resattu-net中的扩展路径，运算过程可以表示为
[0084]
x
k-output
＝x
k-input
+3
×
conv3×3(x
k-input
),k＝6,7,8,9(9)
[0085]
同时，扩展路径中两个相邻的运算单元由反卷积层(卷积核3
×
3)层连接进行上采样运算，实现特征图的逐步扩增。下采样与上采样层运算可表示为
[0086][0087]
图像重建后的特征图尺寸与输入特征的大小一致为resconv block 9的输出经过通道压缩的1
×
1卷积获得最终的输出结果
[0088]
resconv模块相比于卷积层的直接级联或堆叠结构，一方面可进行特征融合和特征重用，另一方面可强化关键区域的有效信息，起到隐形监督的作用。在卷积连接层中通过残差连接的特征传递方式，可降低深度cnn模型的训练难度，增加前馈信息流(forwardinformation flow)和反向梯度流(reverse gradient flow)的传递数目，避免深度学习模型中梯度消失的问题。
[0089]
(2)残差自注意力跳跃连接：resattu-net的跳跃连接使用了基于自注意力机制和残差连接(residual self-attention connection)进行特征传递。自注意力机制可以利用非完整的特征图信息，对特征图中关键区域信息进行提取，相比于稠密特征连接，有效地降低模型参数和计算复杂度，增强特征图的内部相关性处理。残差自注意力跳跃连接模块主要由4部分组成，分别是残差跳跃连接通路(residual skip connection)，查询向量(query vector)，键向量(key vector)和值向量(value vector)，其结构如图5所示。
[0090]
第k个残差自注意力跳跃连接的计算过程为：特征提取模块的计算结果表示
x
k-output
，分别使用查询向量权重键向量权重和值向量权重与输入特征向量相乘，依次得到查询向量(query vector)qk、键向量(key vector)kk和值向量(value vector)vk；
[0091][0092]
下一步计算查询向量qk和键向量kk之间的注意力向量《qk,kk》，使用softmax函数进行注意力规范化处理。最后，利用计算得到的注意力进行注意力得分(score)计算，上述过程可以表示为
[0093][0094]
其中dk为注意力向量的维度。注意力向量x
k-attention
与resconv blockk(k＝1,2,3,4,5)输出特征向量x
k-output
进行相加，得到残差注意力向量x
k-resatt
＝x
k-attention
+x
k-output
。
[0095]
残差注意力向量x
k-resatt
(k＝1,2,3,4)与对应的图像重建模块x
k-output
(k＝9,8,7,6)进行特征拼接，即尺寸相同的特征图进行矩阵kronecker乘积运算，数学表达式为
[0096][0097]
这种基于残差自注意力的跳跃连接方式可直接获得长程依赖，避免有效信息丢失，缓解了深度cnn模型中信息消失导致的反向梯度弥散问题，同时相比于稠密连接方式，降低了参数量，加快了模型的推理速度。
[0098]
resattu-net的训练过程首先需要定义损失函数(loss function)。根据resattu-net的模型框架，本发明定义了一个由预重建损失函数和后处理模块组成的损失函数其数学表达式为：
[0099][0100]
其中，预重建模块的损失函数是使用均方误差(mean square error，简称mse)计算电压结果u
cal
和测量电压u
mea
之间的误差；后处理模块的损失函数是使用交叉熵损失函数计算深度成像模型的输出结果x
out
和训练样本的标签x
lab
之间的误差；为尽量降低模型训练过程中出现的过拟合问题，在损失函数中加入了2-范数的约束项(w为模型的权重参数)，γ为权重系数。和的计算方法为
[0101][0102][0103]
由于在损失函数中，和是主要部分，r(w)为辅助因子，所以权重参数设置为γ＝0.001；resattu-net训练过程采用小批量训练方式，每一次输入的样本个数为50，模型的训练轮次为800；学习率以指数衰减的方式下降：初始值设置为0.1，下降速率为0.9；模型中权重参数以及可学习的正则化对角矩阵初始化均值为0，偏差为0.01的高斯随机分布。
[0104]
resattu-net模型的训练及测试基于tensorflow 1.14.0深度学习框架开发，同时
使用一块nvidia rtx 2080ti-gpu对模型训练过程进行加速。模型训练过程如下：边界电压信号u
mea
输入resattu-net模型，通过信息流的前馈传播方式首先获得初始成像特征结果利用计算对应的计算电压u
cal
。同时损失函数用来约束预重建模块的成像误差，当达到收敛后，获得预重建模块的模型参数w
pre
；将预重建结果作为后处理模型的输入特征，通过信息流的前向传播方式获得模型的预测结果x
out
，利用损失函数计算预测结果x
out
和标签特征x
lab
之间的误差，并利用adam反向梯度下降优化算法更新模型参数，直至达到最小后训练结束，获得后处理模块的模型参数w
pos
。
[0105]
resattu-net深度eit成像模型的参数训练需要大量的仿真样本。在本发明中，设置观测场为半径为0.19m的圆形区域，在圆域的边界上均匀分布16个电极，eit数据采集方式采用所述的相邻电流激励—相邻电压测量的模式。在本发明中，设置半径为0.19m的圆形区域，在边界上均匀分布16个电极，背景电导率(液相)设置为0.01s/m，目标电导率(气相)设置为10-12
s/m，数据采集方式采用所述的相邻电流激励—相邻电压测量的模式。
[0106]
仿真样本是基于comsol multiphysics和matlab联合仿真平台构建的。其中，eit正问题使用comsol multiphysics多物理场仿真软件，将观测域离散为致密的三角形网格后采用有限元方法求解。当16个电极全部完成一次循环激励测量，一共可以采集得到208个电压值。考虑到圆形观测场边界上传感器分布具有明显的对称性，将包含208个电压值的电压序列转换为电压测量矩阵u
16
×
16
，如图6中的(a)所示。为避免出现“inverse crime”问题，将圆形观测截面剖分为256
×
256的矩形像素单元作为eit重建逆问题的标签矩阵，每一个像素单元对应一个单独的电导率值，背景介质对应的像素网格标签值为1，目标介质对应的像素网格标签值为0，如图6中的(b)所示。
[0107]
以气液两相流应用场景为例，本发明制备了42,830个数据样本，其中圆形气泡仿真样本共42,430个，分别包含气泡个数为1个至4个(其中模拟的气泡介质的半径几何尺寸范围是0.02m—0.08m，圆心位置进行随机分布且气泡介质之间不互相重合)；边界形状仿真样本400个，分别包含规则形状(三角形、菱形、椭圆形和矩形)200个和复杂形状200个。所有数据按照80％的训练数据和20％的测试数据划分。每一组训练样本包含一对向量，即边界电位矩阵u
16
×
16
和对应的标签向量x
256
×
256
。其中，网络的输入u为不包含气泡的均匀场测量电位u
ref
与包含气泡的非均匀场测量电位u
bub
之间的差分序列，有效地减少了测量系统引起的噪声干扰；x是存在于中的独立变量，用于监督与约束resattu-net网络的训练过程。
[0108]
实验结果与分析
[0109]
相对误差(relative error，简称为re)和相关系数(correlation coefficient，简称为cc)作为量化分析指标，用来分析重建图像与真实介质分布之间的差异。其中，re描述重建图像x
out
与真实介质分布x
lab
之间的差异，cc描述重建图像x
out
与真实介质分布x
lab
之间的相关性。数学表达式为：
[0110]
[0111][0112]
其中，表示重建图像像素的均值，表示真实介质分布像素的均值，x
out,p
表示重建图像中第p个像素，x
lab,p
表示真实介质分布像素中第p个像素，其中p＝256
×
256为重建图像中的总像素个数。
[0113]
为验证resattu-net网络的噪声鲁棒性，在8480个测试数据集中加入高斯白噪声，使信噪比分别为60～20db。测试数据样本中含有一个气泡的模型有2000个，二个气泡的模型有2500个，三气泡的模型有1680个，四气泡的模型有2300个，气泡的大小和位置是随机分布的。四组不同snr的仿真模型测试结果如图7所示。图7中第一列是所设置的仿真模型，第二列到第七列是在不同噪声下的成像结果。在不同信噪比情况下和resattu-net方法的re和cc评价指标对比结果如图8所示。
[0114]
从图7中可以看出，snr在60db-20db范围内，本发明所提出resattu-net方法能准确地呈现介质的大小和位置，边界清晰。随着噪声的增加，成像结果并没有出现伪影，边界清晰可辨，验证了resattu-net方法具有良好的抗噪声性和鲁棒性，不易受到介质大小及分布位置等影响。从图8中可以看出，resattu-net的re、cc也不易受到噪声的干扰，在snr水平不断下降的过程中，定量指标变化较为稳定，re值稳定在0.0005以下，cc值保持在0.9700以上。对比方法中，在snr从60db降低到20db的过程中，lenet5模型的re指标从0.2815增加至0.3719，cc指标从0.9001降低至0.7913；v-resnet模型的re从0.1025增加至0.1034，cc指标从0.9665降低至0.9201，re指标的增加程度明显高于本发明的方法，cc指标的降低明显低于本发明的方法。因为，提出的resattu-net方法由于设计了可训练的预重建模块，相比于直接“数据驱动的”lenet5方法引入了空间先验信息；另外resconv模块和残差自注意力的跳跃连接，可以使模型同时完成全局特征和局部特征的提取和重建，相比于v-resnet模型更好地表达了电导率的参数分布特征和边界的轮廓特征，所以重建结果表明resattu-net图像重建方法具有更好的噪声鲁棒性。
[0115]
表1复杂形状仿真实验量化指标结果
[0116][0117]
针对测量场域内分布的复杂形状介质，本发明使用总变差正则化(total variation，简称tv)、tikhnonv正则化方法(tikhnonv regularization，简称tr)和共轭梯
度方法(conjugate gradient，简称cg)三种线性灵敏度成像方法以及lenet5、v-resnet和本发明提出的resattu-net三种深度学习直接重建方法，对两组不同复杂程度的介质分布进行电导率图像重建(其中所有比较方法的参数设定对应最优重建结果)。重建结果如图9所示。量化指标re、cc计算结果如表1所示。
[0118]
从图9的成像结果中可以看出，基于灵敏度理论的成像方法仅仅能重现测量区域内的电导率参数分布情况，但是无法判断出介质的形状，特别是针对包含复杂(或尖锐)边界特征的夹杂物来说，这类算法的成像结果无法表征细节特征。由于lenet5重建方法受到空间分辨率的限制(像素为32
×
32)，其常见结果包含了一些“网格”特征并且结果中包含一些噪音的干扰。v-resnet方法相比于灵敏度算法和lenet5方法成像质量有提升，但是重建的介质边界出现了一定的误差并且在表达一些“角”的形状时，出现了明显的模糊。本发明所提出的resattu-net成像结果与真实分布没有明显的误差，准确地重建了电导率的参数和表达了夹杂介质的边界形状特征。表1列举的指标分析与重建结果一致，定量的说明了resattu-net中的预重建模块策略和卷积块内融合残差连接以及加入自注意力机制的全局特征和局部特征的融合可以更好地表达夹杂物的形状特征，更好地保留了夹杂物的复杂边界形状。
[0119]
本发明所使用的边界电压信号采集设备是由本实验室自行研发的高精度、快速eit数据采集系统(electrical impedance tomography—data acquisition system，简称eit-das)和圆形水槽模型(tank)组成，其装置示意图如图10所示。
[0120]
das由水槽传感阵列、基于fpga的硬件采集电路和图像重建软件平台组成。ad转换器的为分辨率14bit，adc采集电压动态范围为-5v～5v。激励频率为100khz，注入电流的幅值大小为4.5ma。经过测试，das系统的信噪比大约为63db。实验中使用有机玻璃棒模拟管道中的气泡，分别在电导率为0.01s/m的盐水槽中放入1～4根玻璃棒进行实验。四组测试模型的测量电压如图11所示。实验中使用加入nacl的自来水溶液作为背景介质，不同尺寸和不同个数的圆形绝缘有机玻璃棒作为待测区域内的目标，模拟测量区域内相同介质的不同分布情况。实验中，使用das采集得到的边界电压作为正问题的求解结果。使用传统的数值求解方法(tv、tr和cg)、基于数据驱动的直接非线性图像重建方法(基于lenet-5模型优化的浅层卷积神经网络cnn)和深度cnn模型(v-resnet和本发明提出的resattu-net)进行对比。实验结果如图12所示(图中模型中的数字表示玻璃棒的直径)。
[0121]
图12表明，tv、tr和cg的算法基本可以描述出介质的大体分布，但是成像中含有较多伪影，且对于较小介质不敏感，无法准确描述其大小和分布。基于深度学习的lenet5和v-resnet，虽然在一定程度上能够描述出介质的大小和分布，但是成像中存在很多噪声点，易影响实际的测量分析。其中lenet5方法对于多介质分布的模型的成像具有一定的局限性，当模型分布较为复杂时，其成像中含有较多伪影；v-resnet网络成像边界中没有明显过渡区，但是成像结果中存在一些特征误差。本发明所提的resattu-net成像结果中可以分析得该方法可以较为精准的呈现介质分布及其大小，没有伪影，边界清晰，不易受到模型复杂度和噪声的影响，具有很强的鲁棒性。
[0122]
为了定量分析不同算法之间的差异性，采用re和cc评价图12中不同算法下的图像重建结果，如图13所示。与深度神经网络方法相比，传统的灵敏度数值计算算法tv、tr和cg的re更大，cc更小；基于深度学习的三种图像重建算法lenet5、v-resnet与本发明所提的
resattu-net方法相比，lenet5和v-resnet对一些场域中分布着较为复杂或者几何尺寸较小的内含物情形较为敏感，在这种复杂场景下重建图像的re提高，cc降低。在上述所有的成像方法中，本发明提出的resattu-net方法的re最低，cc最优，进一步验证了resattu-net方法的有效性和可靠性。
[0123]
在resattu-net中，使用了残差连接、自注意力机制以及优化的残差连接旁路优化深度eit图像重建模型。为了分别检验上述优化策略，本发明进行了一组消融实验分别验证各个优化模块对resattu-net模型的性能改善，相关的实验结果如表2所示：
[0124]
表2消融研究在测试集上的量化指标
[0125][0126]
通过表2分析可以得出，残差连接卷积块和自注意力机制均可以改善u-net深度成像模型的表现性能，将残差卷积的输出作为跳跃连接的输入，可有效地学习全局粗糙特征和局部细节特征。消融研究结果表明，resattu-net模型重建的eit图像质量更佳。
[0127]
在重建图像的速度方面，resattu-net也有一定的优势。虽然，resattu-net模型的训练时间比v-net[v-net deep imaging method for electrical resistance tomography[j].ieee sensors journal,2020,20(12):6460-6469]、v-densenet[electrical resistance tomography image reconstruction with densely connected convolutional neural network[j].ieee transactions on instrumentation andmeasurement,2020,70:1-11.]、v-resnet[基于v-resnet的电阻抗层析成像方法[j].仪器仪表学报,2021,42(9):279-287.]和vdd-net[v-shaped dense denoising convolutional neural network for electrical impedance tomography[j].ieee transactions on instrumentation and measurement,2022,71:1-14.]的训练时间长，但是训练好的模型相比于稠密连接或者外加残差去噪模块的参数少，其成像时间更短。本发明所有测试实验均在硬件设备intel core i7-9700k cpu，nvidia rtx 2080ti图形加速显卡上进行，为确保对比实验公平，所有测试实验均重建一幅空间分辨率为256
×
256图像，计
算v-net、v-densenet、v-resnet、vdd-net与resattu-net模型的成像时间分别为25ms，65ms，132ms，400ms和125ms。在包含预重建与后处理两个阶段的v-resnet、vdd-net与resattu-net方法中，本发明提出的resattu-net方法重建速度是符合快速变化场景的应用需求的。
[0128]
为提升eit图像重建的精度，更好地抑制重建图像的伪影并提高图像的空间分辨率，本发明提出了一个以u-net深度卷积神经网络模型为骨干模型，通过引入残差连接的卷积特征提取和重建模块以及加入自注意力和残差特征传递通道的跳跃连接的方式，来优化深度cnn模型在重建非线性eit逆问题的结果。该方法利用大量的训练样本来学习正则化模式，使其更好的约束非线性逆问题的解空间，同时加入残差连接的卷积模块和优化的自注意力跳跃连接，可以有效地对预重建图像进行边界锐化与电导率参数准确表征。相关的实验可视化结果和量化指标分析均表明，本发明所提出的resattu-net深度eit成像方法，相比于灵敏度矩阵求解方法(tv、tr和cg)，明显降低了伪影对内含物边界的影响，与基于“数据驱动”的lenet5模型或“模型驱动”的v-resnet方法相比，resattu-net方法在重建具有复杂边角介质的形状方面具有更好的表现。测试数据样本的量化指标表明：相比于lenet5方法，resattu-net的re指标下降了58.13％，cc指标提高了12.44％；相比于v-resnet方法，resattu-net的re指标下降了35.96％，cc指标提高了6.00％。因此，本发明所提出的新型的eit深度学习重建方法可以显著提高重建图像的质量，提高形状重建的能力，为工业无损检测或生物医学监测过程提供了一种新的成像方法，并具有实际应用的前景。
[0129]
本发明进一步提供了实现上述方法的系统，包括：
[0130]
预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；
[0131]
及深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。
[0132]
本发明进一步提供了一种电子设备，包括存储器和处理器；其中：
[0133]
存储器：用于存储处理器可执行的指令；
[0134]
处理器：所述处理器被配置执行：建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。
[0135]
本发明进一步提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行所述的基于残差自注意力连接的深度电学层析成像方法。
[0136]
以上所述的仅是本发明的优选实施方式，应当指出，对于本领域的普通技术人员来说，在不脱离发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

技术特征：
1.一种基于残差自注意力连接的深度电学层析成像方法，其特征在于，包括：建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。2.根据权利要求1所述的方法，其特征在于，所述预重建迭代模块的数学模型为：在每一次迭代的过程中通过优化权重参数矩阵w和电压误差迭代向量u
k-1
，即可通过第(k-1)次的结果计算得到w＝(j
t
j+l
t
l)-1
·
j
t
和其中，j为灵敏度矩阵，是正则化对角矩阵，其对角线上的正则化参数通过训练样本进行学习，u
mea
为边界测量电压，为第(k-1)次和第k次的迭代计算结果。3.根据权利要求2所述的方法，其特征在于，所述深度卷积神经网络模块为u形深度卷积神经网络，由特征提取部分和图像重建部分组成。4.根据权利要求3所述的方法，其特征在于，在特征提取部分，待重建图像的像素个数从256
×
256被全局压缩至16
×
16，同时特征图的通道数目从3扩增至128，压缩路径由5个残差卷积运算单元组成，其中每一个运算单元是由三个卷积、批归一化、非线性参数整合层构成，同时采用一个残差特征连接，压缩路径中采用最大池化层连接两个相邻的运算单元，进行下采样运算，实现全局空间特征聚合。5.根据权利要求4所述的方法，其特征在于，在图像重建部分，将抽象特征逐层复原得到与初始成像大小相同的特征信息，由4个残差卷积运算单元组成了扩展路径，扩展路径中两个相邻的运算单元由反卷积层连接进行上采样运算，实现特征图的逐步扩增。6.根据权利要求5所述的方法，其特征在于，所述深度卷积神经网络模块还包括残差自注意力跳跃连接模块，由4部分组成，分别是残差跳跃连接通路，查询向量，键向量和值向量，第k个残差自注意力跳跃连接的计算过程为：特征提取模块的计算结果表示x
k-output
，分别使用查询向量权重键向量权重和值向量权重与输入特征向量相乘，依次得到查询向量q
k
、键向量k
k
和值向量v
k
；下一步计算查询向量q
k
和键向量k
k
之间的注意力向量<q
k
,k
k
>，使用softmax函数进行注意力规范化处理；最后，利用计算得到的注意力进行注意力得分计算，上述过程可以表示为：其中d
k
为注意力向量的维度，注意力向量x
k-attention
与resconv block k(k＝1,2,3,4,5)输出特征向量x
k-output
进行相加，得到残差注意力向量x
k-resatt
＝x
k-attention
+x
k-output
，
残差注意力向量x
k-resatt
(k＝1,2,3,4)与对应的图像重建模块x
k-output
(k＝9,8,7,6)进行特征拼接，尺寸相同的特征图进行矩阵kronecker乘积运算，数学表达式为7.根据权利要求6所述的方法，其特征在于，所述深度卷积神经网络模块还包括损失函数其数学表达式为：其中，预重建模块的损失函数是使用均方误差计算电压结果u
cal
和测量电压u
mea
之间的误差；后处理模块的损失函数是使用交叉熵损失函数计算深度成像模型的输出结果x
out
和训练样本的标签x
lab
之间的误差；在损失函数中加入了2-范数的约束项w为模型的权重参数，γ为权重系数，和的计算方法为：的计算方法为：8.一种实现权利要求1～7任一权利要求所述方法的系统，包括：预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；及深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。9.一种电子设备，其特征在于，包括存储器和处理器；其中：存储器：用于存储处理器可执行的指令；处理器：所述处理器被配置执行：建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序用于使所述计算机执行权利要求1-7的任一项所述的基于残差自注意力连接的深度电学层析成像方法。

技术总结
本发明属于电学层析成像领域，涉及一种基于残差自注意力连接的深度电学层析成像方法及系统，建立预重建迭代模块，采用牛顿—拉夫逊方法进行预重建，通过构建测量电压与计算电压之间的残差函数，并加入正则化矩阵来约束梯度搜索空间，正则化矩阵采用反卷积神经网络训练得到；建立深度卷积神经网络模块，在深度卷积神经网络模块的每一个特征提取模块中加入残差连接，并将自注意力模块引入相同维度的卷积块之间进行全局特征和局部特征的重建。重建结果表明空间分辨率高，内含物边界清晰，重建相对误差为0.10，相关系数为0.93，说明本方法可以有效改善ET图像的质量，为无损测量与检测可视化提出了一种可靠方法。可视化提出了一种可靠方法。可视化提出了一种可靠方法。


技术研发人员：陈晓艳 王子辰 王倩
受保护的技术使用者：天津科技大学
技术研发日：2023.06.26
技术公布日：2023/9/14