一种高密度采样振动图像处理方法及存储介质

1.本发明涉及图像处理技术领域，具体涉及一种高密度采样振动图像处理方法及存储介质。


背景技术：

2.分布式光纤传感技术可以利用现有通信光纤实现20至50公里范围的长距离监测，为交通流量监测、交通态势估计、交通行为分析等提供有效数据支撑。然而分布式光纤传感系统所采集的地面振动信号受到车辆类型、大小、行驶状态以及路面、环境噪声的影响，所采集的信号存在缺失和含噪问题，导致实际的信噪比总是很低，影响后续车辆行为分析和交通状态监测的效率和准确性。
3.传统的基于小波变换、傅里叶变换等信号处理技术不能适应于高速公路强噪声干扰、实时性要求高的应用环境。目前，基于深度学习的新算法的发展，使得信号去噪与补全、特征提取的性能得到大幅提升。通常基于深度学习的图像重构方法是通过生成对抗网络(generate adversial network，gan)完成。但是基于原始gan的图像补全方法具有较大的局限性，对于图像的局部结构、局部纹理细节及长距离纹理的重构存在模糊和伪影现象。因此对分布式光纤传感系统信号进行快速重构和去噪，实现图像全局和局部特征的恢复以及图像未知区域与已有区域的平滑过渡是很有必要的。


技术实现要素：

4.为解决上述技术问题，本发明提供一种高密度采样振动图像处理方法及存储介质。
5.为解决上述技术问题，本发明采用如下技术方案：
6.一种高密度采样振动图像处理方法，包括以下步骤：
7.s1、获取待补全且含噪的图像并形成图像集，并将所述图像集分为训练集和测试集；
8.s2、对训练集中的待补全且含噪的图像进行图像预处理；
9.s3、构建图像重构对抗生成网络并对图像重构对抗生成网络进行初始化；
10.s4、定义损失函数，通过训练集中的样本对图像重构对抗生成网络进行训练；
11.s5、将测试集中的样本输入到训练好的图像重构对抗生成网络中，输出重构图像。
12.进一步地，步骤s1中，获取待补全且含噪图像并形成图像集，并将所述图像集分为训练集和测试集时，具体包括：
13.待补全且含噪的图像记为i
obs
，i
obs
∈rn×m，n和m分别为图像i
obs
的横向像素数量和纵向像素数量，r为实数域；
14.获取待补全且含噪图像的方式包括：
15.(1)获取原本包含缺失且含噪的区域的图像作为待补全且含噪图像；
16.(2)将完整且不含噪的原始图像进行随机缺失处理，并为图像的每个像素点加上
独立同分布的随机噪声得到待补全且含噪图像；
17.获取待补全且含噪图像并形成图像集，并将所述图像集分为训练集和测试集；其中，训练集中的图像占图像集中所有图像的98％，测试集中的图像占图像集中所有图像的2％。
18.进一步地，步骤s2中，对训练集中的待补全且含噪的图像进行图像预处理时，具体包括：
19.将训练集中的待补全且含噪的图像放缩对齐至设定尺寸，然后将图像进行min-max归一化处理，将图像中的所有像素值由[0，255]整数型映射到[0，1]浮点型。
[0020]
进一步地，步骤s3中，构建图像重构对抗生成网络并对图像重构对抗生成网络进行初始化时，具体包括：
[0021]
s31、构建图像重构对抗生成网络：
[0022]
图像重构对抗生成网络包括两个生成器，以及一个判别器d；生成器包括一个粗重构生成器和一个细重构生成器；
[0023]
粗重构生成器采用跳跃连接的编码解码器结构，包含八个下采样模块、八个上采样模块、三个注意力模块及一个特征拼接模块；
[0024]
细重构生成器包括两个下采样模块、四个残差块、两个上采样模块，然后以滑动窗口方式处理粗重构生成器的重构结果；
[0025]
粗重构生成器的下采样部分整体如下：图像i
obs
经过n2输出特征图f
l
，f
l
经过n1输出特征图me0，me0经过n1输出特征图mel，mel经过n1输出特征图me2，me2经过n1输出特征图me3，me3经过n1输出特征图me4，me4经过n1输出特征图me5，me5经过n1输出特征图me6，me6经过n1输出特征图me7；
[0026]
粗重构生成器的上采样部分整体如下：me7经过n3后与me6按通道合并后输出特征图md6，md6经过n3后与me5按通道合并后输出特征图md5，md5经过n3后与me4按通道合并后输出特征图md4，md4经过n3后与me3按通道合并后输出特征图md3，md3依次经过n2、m输出特征图mf1，mf1经过n3后与me2按通道合并后输出特征图md2，md2依次经过n2、m输出特征图mf2，mf2经过n3后与me1按通道合并后输出特征图md1，md1依次经过n2、m输出特征图mf3，mf3经过n3后与me0按通道合并后输出特征图md0，md0经过n2输出特征图fh，fh和f
l
经过特征拼接模块f，再经过n4输出图像
[0027]
n1为所述下采样模块，由步长为2的最大池化层组成，特征图经过n1后，特征图大小缩小为原来的一半；n2由卷积层、批归一化组成，特征图经过n2后，特征图大小不变；n3为所述上采样模块，由转置卷积组成，特征图经过n3后，特征图大小增大为原来的2倍；n4由卷积层、softmax激活函数组成，特征图经过n4获得最后的特征图；m是自注意力模块；
[0028]
细重构生成器的整体如下：图像经过n5输出特征图mg1，mg1经过n5输出特征图mg2，mg2经过n6输出特征图mg3，mg3经过n6输出特征图mg4，mg4依次经过4个r模块输出特征图mh，mh经过n7输出mg5，mg5经过n7输出特征图mg6，mg6经过n8输出重构图像
[0029]
n5由卷积层、批归一化、relu激活函数组成；n6为所述下采样模块，由步长为2的最大池化层组成，特征图经过n6后，特征图大小缩小为原来的一半；n7为所述上采样模块，由转置卷积组成，特征图经过n7后，特征图大小增大为原来的2倍；n8由卷积层、softmax激活
函数组成，特征图经过n8获得最后的特征图；r是残差块resblock；
[0030]
特征拼接模块将特征图f
l
和特征图fh进行拼接时，具体包括：
[0031]
将大小为c
×h×
w的特征图f
l
和大小为c
×h×
w特征图fh按通道合并得到特征图fb，fb通道数为2c，然后让fb依次经过m1输出特征图f
down
，然后再经过m2输出特征图f
up
，之后f
up
经过m3获得权重矩阵wb；wb由w
l
和wh两部分组成，w
l
为特征图f
l
对应的权重，wh为特征图fh对应的权重；然后将fb与权重矩阵wb按元素相乘再经过m1输出特征图fs；
[0032]
m1为核1
×
1、步长2、填充0的卷积层，经过m1压缩通道数为原来的1/2倍，m2为核1
×
1、步长2、填充0的卷积层，经过m2恢复通道数为2c，m3为sigmoid函数；其中c为特征图f
l
，fh的通道数，h为特征图f
l
，fh的高度，w为特征图f
l
，fh的宽度；
[0033]
判别器使用标准编码器的结构，判别器由四个卷积层组成，每一层卷积层都采用leakyrelu激活函数；
[0034]
s32、采用随机初始化方法，对图像重构对抗生成网络进行初始化。
[0035]
进一步地，步骤s4中定义损失函数时，具体包括：
[0036]
图像重构对抗生成网络的生成器和判别器使用最小平方损失；
[0037]
粗重构生成器使用逐像素重建损失和生成损失对生成的图像进行监督学习，使用加权l1损失进行逐像素重建；
[0038]
定义粗重构生成器的逐像素重建损失为lr：
[0039][0040]
其中，ig为完整且不含噪的图像；λ是一个平衡系数；
⊙
表示哈达玛积；||
·
||1表示1-范数；
[0041]
定义粗重构生成器的生成损失为
[0042][0043]
e表示期望值，表示图像符合分布；
[0044]
粗重构生成器的生成器总损失为l
c1
：
[0045][0046]
其中，δ是一个平衡系数；
[0047]
细重构生成器使用重建损失和对抗性损失对生成的图像进行监督学习，重建损失le使用l1损失；对抗性损由感知损失、风格损失和平滑损失三部分组成，三个损失分别取不同的权重；
[0048]
定义细重构生成器感知损失为l
p
：
[0049][0050]
其中，φ(
·
)表示预先训练的vgg网络的某层的输出图像，n
φ
表示输出图像φ(
·
)的像素点总数；
[0051]
定义细重构生成器风格损失为ls：
[0052]
[0053]
其中，ng表示gram矩阵的元素总数，gram表示gram矩阵；
[0054]
定义细重构生成器平滑损失为l
t
：
[0055][0056]
其中，(i，j)表示图像中像素点的位置；
[0057]
最终，得到细重构生成器的生成器总损失为l
c2
：
[0058]
l
c2
＝le+γ1·
l
t
+γ2·
l
p
+γ3·
ls；
[0059]
其中，γ1、γ2、γ3为三个损失函数l
t
、l
p
、ls的不同权重值；
[0060]
最终，得到图像重构网络的生成器损失函数lg：
[0061]
lg＝l
c1
+l
c2
；
[0062]
定义图像重构网络的判别器损失函数为ld，使用交叉熵损失表示，即：
[0063][0064]
其中，是经过细重构生成器输出的最终的重构图像，表示图像i
obs
符合分布；表示图像符合分布。
[0065]
进一步地，步骤s4中，对重构对抗生成网络进行训练时，具体包括：
[0066]
将待补全且含噪图像读入内存形成的多维数组或张量，输入图像重构对抗生成网络，由生成器的损失函数和判别器的损失函数驱动整个图像重构对抗生成网络进行反向传播训练，直至生成器和判别器达到理论上的纳什平衡，此时生成器生成的图像使判别器无法分别最终重构图像是否来自训练集；训练中使用adam优化器对图像重构对抗生成网络进行优化。
[0067]
一种计算机可读存储介质，存储有计算机程序，当所述计算机程序被一个或多个处理器执行时，使得所述一个或多个处理器执行所述方法的步骤。
[0068]
与现有技术相比，本发明的有益技术效果是：
[0069]
粗重构生成器和细重构生成器的组合可以更好地恢复图像的局部结构、局部纹理细节以及长距离纹理。基于注意力的粗重构生成器能够捕获大型结构或长距离细节图案信息，可以更好地恢复缺失区域，细重构生成器使用周围的局部信息适当地修复局部结构和纹理，该恢复过程不会受到远处信息的影响；图像重构对抗生成网络的粗重构生成器引入特征拼接模块，避免手动标记所有缺失的图像区域，该模块能够自动生成掩码，完成图像已有部分特征与经过粗生成器的重构部分的特征拼接，提供了重构部分和已有部分之间的平滑融合；本发明能够保留分布式光纤传感系统信号的高频信息，抑制随机噪声，提高信噪比；能够有效提升后续车辆行为分析和交通状态监测的效率与准确率。
附图说明
[0070]
图1为本发明的方法流程示意图；
[0071]
图2为本发明图像重构对抗生成网络的生成器结构示意图；
[0072]
图3为本发明特征拼接模块的结构图。
具体实施方式
[0073]
下面结合附图对本发明的一种优选实施方式作详细的说明。
[0074]
如图1所示，本实施例中的一种高密度采样振动图像处理方法，用于对分布式光纤传感系统所采集的地面振动图像进行重构和去噪，实现图像全局和局部特征的恢复以及图像未知区域与已有区域的平滑过渡，具体包括以下步骤：
[0075]
s1、获取待补全且含噪图像并形成图像集，并将图像集分为训练集和测试集，训练集中的图像称为训练样本或训练图像，测试集中的图像称为测试样本或测试图像；其中训练样本数量占总样本的98％，测试样本数量占总样本的2％；
[0076]
s2、对训练集中的待补全且含噪图像进行图像预处理；
[0077]
s3、构建图像重构对抗生成网络并初始化；
[0078]
s4、定义损失函数，训练图像重构对抗生成网络；
[0079]
s5、将测试图像输入到训练好的图像重构对抗生成网络中，输出重构图像。
[0080]
以下具体说明：
[0081]
s1、获取待补全且含噪图像并形成图像集，并将图像集分为训练集和测试集，其中训练集占98％，测试集占2％，具体如下：
[0082]
待补全且含噪图像用i
obs
表示，i
obs
∈rn×m，n和m分别为图像横向像素数量和纵向像素数量，r为实数域；获取待补全且含噪图像的方式有：1、获取原本包含缺失且含噪的区域的图像作为待补全且含噪图像；2、将原始图像区域进行随机裁剪，并为图像的每个像素点加上独立同分布的随机噪声得到待补全且含噪图像。将待补全且含噪图像形成图像集，并将图像集分为训练集和测试集，其中训练集占98％，测试集占2％。
[0083]
s2、对训练集中的待补全且含噪图像进行图像预处理，具体如下：
[0084]
将训练集中的待补全且含噪图像放缩对齐至大小为64*64*3(长*宽*颜色通道数)，使其大小适合在网络中进行处理，理论上图片尺寸大小不受限制，选择较小的图像尺寸可以让模型训练时间缩短。然后将图像进行min-max归一化处理，将所有像素值由[0，255]整数型映射到[0，1]浮点型，有利于网络参数的收敛。
[0085]
s3、构建图像重构对抗生成网络并对网络进行初始化，具体包括：
[0086]
s31、构建图像重构对抗生成网络，具体如下：
[0087]
图像重构对抗生成网络包括一个粗重构生成器和一个细重构生成器，以及一个判别器。
[0088]
图像重构对抗生成网络的粗重构生成器采用跳过连接的编码解码器结构，包含八个下采样模块、八个上采样模块、三个注意力模块及一个特征拼接模块；在上采样阶段添加自注意力模块，即聚焦全局又关注重点；细重构生成器包括两个下采样模块、四个残差块、两个上采样模块，由于只有两个下采样模块，感受野较小，能够处理粗重构生成网络重构结果的局部结果和纹理，捕获更多细粒度特征信息。
[0089]
生成器整体结构如图2所示：
[0090]
粗重构生成器的下采样部分整体如下：图像i
obs
经过n2输出特征图f
l
，f
l
经过n1输出特征图me0，me0经过n1输出特征图me1，me1经过n1输出特征图me2，me2经过n1输出特征图me3，me3经过n1输出特征图me4，me4经过n1输出特征图me5，me5经过n1输出特征图me6，me6经过n1输出特征图me7。
[0091]
粗重构生成器的上采样部分整体如下：me7经过n3后与me6按通道合并后输出特征图md6，md6经过n3后与me5按通道合并后输出特征图md5，md5经过n3后与me4按通道合并后输出特征图md4，md4经过n3后与me3按通道合并后输出特征图md3，md3依次经过n2、m输出特征图mf1，mf1经过n3后与me2按通道合并后输出特征图md2，md2依次经过n2、m输出特征图mf2，mf2经过n3后与mel按通道合并后输出特征图md1，mdl依次经过n2、m输出特征图mf3，mf3经过n3后与me0按通道合并后输出特征图md0，md0经过n2输出特征图fh，fh和f
l
经过特征拼接模块f，再经过n4输出图像
[0092]
n1为所述下采样模块，由步长为2的最大池化层组成，特征图经过n1后，特征图大小缩小为原来的一半；n2由卷积层、批归一化组成，特征图经过n2后，特征图大小不变；n3为所述上采样模块，由转置卷积组成，特征图经过n3后，特征图大小增大为原来的2倍；n4由卷积层、softmax激活函数组成，特征图经过n4获得最后的特征图；m是自注意力模块；
[0093]
细重构生成器的整体如下：图像经过n5输出特征图mg1，mg1经过n5输出特征图mg2，mg2经过n6输出特征图mg3，mg3经过n6输出特征图mg4，mg4依次经过4个r模块输出特征图mh，mh经过n7输出mg5，mg5经过n7输出特征图mg6，mg6经过n8输出重构图像
[0094]
n5由卷积层、批归一化、relu激活函数组成；n6为所述下采样模块，由步长为2的最大池化层组成，特征图经过n6后，特征图大小缩小为原来的一半；n7为所述上采样模块，由转置卷积组成，特征图经过n7后，特征图大小增大为原来的2倍；n8由卷积层、softmax激活函数组成，特征图经过n8获得最后的特征图；r表示残差块resblock。
[0095]
特征拼接模块能够自动完成粗重构生成器的低级特征(表示图像重构对抗生成网络第一层编码层)与高级特征(表示图像重构对抗生成网络最后一层解码层)拼接过程，高级特征和低级特征对应不同的权重，使重建的图像更精细平滑；具体的，将生成器第一层解码层的特征图f
l
和生成器最后一层解码层的特征图fh组合起来。
[0096]
特征拼接模块如图3所示：
[0097]
首先将大小为c
×h×
w的特征图f
l
和大小为c
×h×
w特征图fh按通道合并输出特征图fb，fb通道数为2c，然后让fb依次经过m1输出特征图f
down
，然后再经过m2输出特征图f
up
，之后f
up
经过m3获得权重矩阵wb，通过反向传播更新权重值使wb收敛；wb由w
l
和wh两部分组成，w
l
和wh为不相同的值，w
l
对应特征图f
l
的权重，wh对应特征图fh的权重；然后将fb与权重矩阵wb按元素相乘再经过m1输出特征图fs；上述m1为核1
×
1、步长2、填充0的卷积层，经过m1压缩通道数为原来的1/2倍，m2为核1
×
1、步长2、填充0的卷积层，经过m2恢复通道数为2c，m3为sigmoid函数。
[0098]
图像可以表示为：
[0099][0100]
其中，
⊙
表示哈达玛积，为粗重构生成器生成的图像，wb为权重矩阵；
[0101]
判别器使用标准编码器的结构，判别器由四个卷积层组成，每一层都采用leakyrelu激活函数；
[0102]
s32、对图像重构对抗生成网络进行初始化，采用随机初始化。
[0103]
s4、定义损失函数，训练图像重构对抗生成网络，具体如下：
[0104]
s41、定义损失函数：
[0105]
图像重构对抗生成网络的生成器和判别器使用最小平方损失，定义生成器和判别器对应的损失函数，具体如下：
[0106]
粗重构生成器使用逐像素重建损失和生成损失对生成的图像进行监督学习，使用加权l1损失进行逐像素重建。
[0107]
定义粗重构生成器的逐像素重建损失为lr，即：
[0108][0109]
其中，ig为完整且干净的图像；λ是一个平衡损失项，设置为6；
⊙
表示哈达玛积；||
·
||1表示1-范数。
[0110]
定义粗重构生成器的生成损失为即：
[0111][0112]
e表示期望值，表示图像符合分布；
[0113]
最终，得到粗重构生成器的生成器总损失为l
c1
，即：
[0114][0115]
其中，δ是一个平衡系数，设置为0.1。
[0116]
细重构生成器重点关注重构图像从视觉上看是否更像原始地震图像，使用重建损失和对抗性损失对生成的图像进行监督学习，重建损失le使用l1损失。对抗性损由感知损失、风格损失和平滑损失三部分组成，三个损失分别取不同的权重。
[0117]
定义细重构生成器感知损失为l
p
，即：
[0118][0119]
其中，φ表示预先训练的vgg网络的某层输出，n
φ
表示该层输出图像的像素点总数。
[0120]
定义细重构生成器风格损失为ls，即：
[0121][0122]
其中，ng表示gram矩阵的元素总数，gram即格莱姆矩阵；
[0123]
定义细重构生成器平滑损失为l
t
，即：
[0124][0125]
其中，(i，j)表示图像中像素点的位置。
[0126]
细重构生成器的生成器总损失为l
c2
，即：
[0127]
l
c2
＝le+γ1·
l
t
+γ2·
l
p
+γ3·
ls；
[0128]
其中，γ1、γ2、γ3为三个损失函数l
t
、l
p
、ls的不同权重值，分别设置为0.1、0.05、120。
[0129]
最终，得到图像重构网络的生成器损失函数为lg，即：
[0130]
lg＝l
c1
+l
c2
；
[0131]
定义图像重构网络的判别器损失函数为ld，使用交叉熵损失表示，即：
[0132][0133]
其中，是经过细重构生成器输出的最终的重构图像，表示图像i
obs
符合分布；表示图像符合分布。
[0134]
s42、训练图像重构对抗生成网络，具体如下：
[0135]
将待补全且含噪图像读入内存形成多维数组或张量输入图像重构对抗生成网络，由生成器和判别器目标函数驱动整个图像重构对抗生成网络进行反向传播训练，当二者达到理论上的纳什平衡时，生成器生成的图像会使判别器无法分别最终重构图像是否来自训练集样本，判别器输出的值接近为1/2，则网络模型训练结束；训练中使用adam优化器对模型进行优化，adam优化器中的一阶矩估计的指数衰减率设为0.91，二阶矩估计的指数衰减率设为0.98，epsilon参数用以防止在实现中除以零，因此设为一个非常小的数，如10-8
；学习率初始化为10-4
，当损失趋向平稳时，将学习率降到10-5
。
[0136]
s5、将测试图像输入到训练好的图像重构对抗生成网络中，输出重构图像。
[0137]
本发明实施例能够保留分布式光纤传感信号的高频信息，抑制随机噪声，提高信噪比，可以有效提升后续车辆检测和交通状态监测准确率。
[0138]
又一方面，本发明还公开一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0139]
再一方面，本发明还公开一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如上述任一方法的步骤。
[0140]
在本技术提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一方法的步骤。
[0141]
可理解的是，本发明实施例提供的系统与本发明实施例提供的方法相对应，相关内容的解释、举例和有益效果可以参考上述方法中的相应部分。
[0142]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)、dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0143]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权
利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内，不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
[0144]
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立技术方案，说明书的这种叙述方式仅仅是为了清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

技术特征：
1.一种高密度采样振动图像处理方法，包括以下步骤：s1、获取待补全且含噪的图像并形成图像集，并将所述图像集分为训练集和测试集；s2、对训练集中的待补全且含噪的图像进行图像预处理；s3、构建图像重构对抗生成网络并对图像重构对抗生成网络进行初始化；s4、定义损失函数，通过训练集中的样本对图像重构对抗生成网络进行训练；s5、将测试集中的样本输入到训练好的图像重构对抗生成网络中，输出重构图像。2.根据权利要求1所述的一种高密度采样振动图像处理方法，其特征在于：步骤s1中，获取待补全且含噪图像并形成图像集，并将所述图像集分为训练集和测试集时，具体包括：待补全且含噪的图像记为i
obs
，i
obs
∈r
n
×
m
，n和m分别为图像i
obs
的横向像素数量和纵向像素数量，r为实数域；获取待补全且含噪图像的方式包括：(1)获取原本包含缺失且含噪的区域的图像作为待补全且含噪图像；(2)将完整且不含噪的原始图像进行随机缺失处理，并为图像的每个像素点加上独立同分布的随机噪声得到待补全且含噪图像；获取待补全且含噪图像并形成图像集，并将所述图像集分为训练集和测试集；其中，训练集中的图像占图像集中所有图像的98％，测试集中的图像占图像集中所有图像的2％。3.根据权利要求1所述的一种高密度采样振动图像处理方法，其特征在于：步骤s2中，对训练集中的待补全且含噪的图像进行图像预处理时，具体包括：将训练集中的待补全且含噪的图像放缩对齐至设定尺寸，然后将图像进行min-max归一化处理，将图像中的所有像素值由[0,255]整数型映射到[0,1]浮点型。4.根据权利要求1所述的一种高密度采样振动图像处理方法，其特征在于：步骤s3中，构建图像重构对抗生成网络并对图像重构对抗生成网络进行初始化时，具体包括：s31、构建图像重构对抗生成网络：图像重构对抗生成网络包括两个生成器，以及一个判别器d；生成器包括一个粗重构生成器和一个细重构生成器；粗重构生成器采用跳跃连接的编码解码器结构，包含八个下采样模块、八个上采样模块、三个注意力模块及一个特征拼接模块；细重构生成器包括两个下采样模块、四个残差块、两个上采样模块，然后以滑动窗口方式处理粗重构生成器的重构结果；粗重构生成器的下采样部分整体如下：图像i
obs
经过n2输出特征图f
l
，f
f
经过n1输出特征图me0，me0经过n1输出特征图me1，me1经过n1输出特征图me2，me2经过n1输出特征图me3，me3经过n1输出特征图me4，me4经过n1输出特征图me5，me5经过n1输出特征图me6，me6经过n1输出特征图me7；粗重构生成器的上采样部分整体如下：me7经过n3后与me6按通道合并后输出特征图md6，md6经过n3后与me5按通道合并后输出特征图md5，md5经过n3后与me4按通道合并后输出特征图md4，md4经过n3后与me3按通道合并后输出特征图md3，md3依次经过n2、m输出特征图mf1，mf1经过n3后与me2按通道合并后输出特征图md2，md2依次经过n2、m输出特征图mf2，mf2经过n3后与me1按通道合并后输出特征图md1，md1依次经过n2、m输出特征图mf3，mf3经过n3后与me0按通道合并后输出特征图md0，md0经过n2输出特征图f
f
，f
h
和f
l
经过特征拼接
模块f，再经过n4输出图像n1为所述下采样模块，由步长为2的最大池化层组成，特征图经过n1后，特征图大小缩小为原来的一半；n2由卷积层、批归一化组成，特征图经过n2后，特征图大小不变；n3为所述上采样模块，由转置卷积组成，特征图经过n3后，特征图大小增大为原来的2倍；n4由卷积层、softmax激活函数组成，特征图经过n4获得最后的特征图；m是自注意力模块；细重构生成器的整体如下：图像经过n5输出特征图mg1，mg1经过n5输出特征图mg2，mg2经过n6输出特征图mg3，mg3经过n6输出特征图mg4，mg4依次经过4个r模块输出特征图mh，mh经过n7输出mg5，mg5经过n7输出特征图mg6，mg6经过n8输出重构图像n5由卷积层、批归一化、relu激活函数组成；n6为所述下采样模块，由步长为2的最大池化层组成，特征图经过n6后，特征图大小缩小为原来的一半；n7为所述上采样模块，由转置卷积组成，特征图经过n7后，特征图大小增大为原来的2倍；n8由卷积层、softmax激活函数组成，特征图经过n8获得最后的特征图；r为残差块resblock；特征拼接模块将特征图f
l
和特征图f
h
进行拼接时，具体包括：将大小为c
×
h
×
w的特征图f
l
和大小为c
×
h
×
w特征图f
h
按通道合并得到特征图f
b
，f
b
通道数为2c，然后让f
b
依次经过m1输出特征图f
down
，然后再经过m2输出特征图f
up
，之后f
up
经过m3获得权重矩阵w
b
；w
b
由w
l
和w
h
两部分组成，w
l
为特征图f
l
对应的权重，w
h
为特征图f
h
对应的权重；然后将f
b
与权重矩阵w
b
按元素相乘再经过m1输出特征图f
s
；m1为核1
×
1、步长2、填充0的卷积层，经过m1压缩通道数为原来的1/2倍，m2为核1
×
1、步长2、填充0的卷积层，经过m2恢复通道数为2c，m3为sigmoid函数；其中c为特征图f
l
,f
h
的通道数，h为特征图f
l
,f
h
的高度，w为特征图f
l
,f
h
的宽度；判别器使用标准编码器的结构，判别器由四个卷积层组成，每一层卷积层都采用leakyrelu激活函数；s32、采用随机初始化方法，对图像重构对抗生成网络进行初始化。5.根据权利要求4所述的一种高密度采样振动图像处理方法，其特征在于：步骤s4中定义损失函数时，具体包括：图像重构对抗生成网络的生成器和判别器使用最小平方损失；粗重构生成器使用逐像素重建损失和生成损失对生成的图像进行监督学习，使用加权l1损失进行逐像素重建；定义粗重构生成器的逐像素重建损失为l
r
：其中，i
g
为完整且不含噪的图像；λ是一个平衡系数；
⊙
表示哈达玛积；||
·
||1表示1-范数；定义粗重构生成器的生成损失为定义粗重构生成器的生成损失为e表示期望值，表示图像符合分布；粗重构生成器的生成器总损失为l
c1
：
其中，δ是一个平衡系数；细重构生成器使用重建损失和对抗性损失对生成的图像进行监督学习，重建损失l
e
使用l1损失；对抗性损由感知损失、风格损失和平滑损失三部分组成，三个损失分别取不同的权重；定义细重构生成器感知损失为l
p
：其中，φ(
·
)表示预先训练的vgg网络的某层的输出图像，n
φ
表示输出图像φ(
·
)的像素点总数；定义细重构生成器风格损失为l
s
：其中，n
g
表示gram矩阵的元素总数，gram表示gram矩阵；定义细重构生成器平滑损失为l
t
：其中，(,j)表示图像中像素点的位置；最终，得到细重构生成器的生成器总损失为l
c2
：l
c2
＝
e
+1·
t
+2·
p
+3·
s
；其中，γ1、γ2、γ3为三个损失函数l
t
、l
p
、l
s
的不同权重值；最终，得到图像重构网络的生成器损失函数l
g
：l
g
＝
c1
+
c2
；定义图像重构网络的判别器损失函数为l
d
，使用交叉熵损失表示，即：其中，是经过细重构生成器输出的最终的重构图像，表示图像i
obs
符合分布；表示图像符合分布。6.根据权利要求1所述的一种高密度采样振动图像处理方法，其特征在于，步骤s4中，对重构对抗生成网络进行训练时，具体包括：将待补全且含噪图像读入内存形成的多维数组或张量，输入图像重构对抗生成网络，由生成器的损失函数和判别器的损失函数驱动整个图像重构对抗生成网络进行反向传播训练，直至生成器和判别器达到理论上的纳什平衡，此时生成器生成的图像使判别器无法分别最终重构图像是否来自训练集；训练中使用adam优化器对图像重构对抗生成网络进行优化。7.一种计算机可读存储介质，存储有计算机程序，其特征在于：当所述计算机程序被一个或多个处理器执行时，使得所述一个或多个处理器执行如权利要求1至6中任一项所述方法的步骤。

技术总结
本发明涉及图像处理技术领域，公开了一种高密度采样振动图像处理方法及存储介质，方法包括以下步骤：获取待补全且含噪的图像并形成图像集，并将所述图像集分为训练集和测试集；对训练集中的待补全且含噪的图像进行图像预处理；构建图像重构对抗生成网络并对图像重构对抗生成网络进行初始化；定义损失函数，通过训练集中的样本对图像重构对抗生成网络进行训练；将测试集中的样本输入到训练好的图像重构对抗生成网络中，输出重构图像。本发明能够保留分布式光纤传感系统信号的高频信息，抑制随机噪声，提高信噪比；能够有效提升后续车辆行为分析和交通状态监测的效率与准确率。行为分析和交通状态监测的效率与准确率。行为分析和交通状态监测的效率与准确率。


技术研发人员：康宇 李传玲 吕文君
受保护的技术使用者：中国科学技术大学
技术研发日：2023.06.02
技术公布日：2023/9/7