基于误差估计的自适应压缩感知成像方法

1.本发明属于图像处理领域，尤其涉及图像的自适应压缩感知成像领域。


背景技术：

2.压缩感知(compressive sensing)理论是21世纪提出的新采样理论，其能够在原始信号满足稀疏性的条件下，以远低于奈奎斯特采样率对原始信号进行采样，并精确地恢复原始信号，有效地降低了采集端的数据量，将计算负荷转移到了后端。其数学模型为：y＝φx，其中x∈rn，为n维原始信号，φ∈rm×n为m
×
n维测量矩阵，y∈rm为m维测量结果，其中m＜＜n。
3.通常独立同分布的高斯随机测量矩阵可以成为普适的压缩感知测量矩阵，但是如果原始信号x的维度比较高，会导致测量矩阵过大，带来存储压力。因此，在实践中通常会对输入图像进行分块处理，来减少存储压力，但是会带来明显的块状效应。由于卷积可以展开表示为传统乘法的形式，因此近些年随着深度学习的发展，有科研人员尝试用线性全卷积神经网络来代替传统的测量矩阵，使用全卷积网络作为测量矩阵的好处是可以针对任意尺度的输入进行处理，且不会在重建结果中造成块状效应。
4.自适应压缩感知成像是提高采样效率的一个途径，其难点在于如何在没有原图的情况下设计自适应采样策略。现有的自适应压缩感知成像方法将采样和重建的过程分为多次，每一次的采样都根据现有的重建结果做自适应调整，例如计算当前低分辨率重建结果的小波变换，下一次仅对小波变化系数更大的区域做采样。然而，在低分辨率重建结果的小波变换系数无法准确反映真实的高分辨率图像相应区域的纹理分布，容易造成自适应采样策略的失效。因此，如何根据已经采集的信息来高效地分配采样数据是一个非常重要的问题，且能够有效地提升采样效率和重建质量。


技术实现要素：

5.针对以上现有的自适应压缩感知成像方法存在的问题，本发明的目的在于提出一种基于误差估计的自适应压缩感知成像方法。
6.为达到上述目的，本发明采用的技术方案如下：
7.基于误差估计的自适应压缩感知成像方法，包括以下步骤：
8.第一级：
9.步骤1，对原始图像i进行分块处理，并使用第一级的测量矩阵φ1对每一个图像块进行压缩测量，得到第一级的测量结果y1；
10.步骤2，使用一个1
×
1的卷积层对第一级的测量结果y1进行维度变换，并通过数据重排操作输出第一级的初始重建结果
11.步骤3，使用全卷积神经网络n1对第一级的初始重建结果进行进一步优化重建，得到第一级的最终重建结果
12.第二级：
13.步骤4，将上一级的最终重建结果、第一级的测量矩阵φ1和第一级的测量结果y1输入到自适应模块asm，得到自适应掩码a1；
14.步骤5，将自适应掩码a1与原始图像i进行点乘，得到调制后的输入图像i1；
15.步骤6，对输入图像i1进行分块处理，并依据步骤4中得到的自适应掩码a1，使用本级的测量矩阵φ2对部分图像块进行压缩测量，得到本级的测量结果y2；
16.步骤7，使用一个1
×
1的卷积层对本级的测量结果y2进行维度变换，并进行数据重排操作，将得到的结果与步骤2的初始重建结果相加，得到本级的初始重建结果
17.步骤8，使用全卷积神经网络n2对本级的初始重建结果进行进一步优化重建，得到本级的最终重建结果
18.第三级～第k级：
19.步骤9，重复步骤4～8，直到得到目标压缩率下的最终重建结果
20.进一步地，使用的测量矩阵φ1、φ2、
…
、φk的维度为mk×
n，其中n为每个图像块的数据量，mk为每个图像块的采样数，mk＜n，每个测量矩阵实现的采样率为
21.进一步地，所述维度变换是将输入为的测量结果，经过1
×
1的卷积层后输出维度为的数据；所述数据重排操作分为维度转换和数据拼接两个步骤，维度转换操作是将维度为的数据中每一个1
×1×
n的向量转换为p
×
p
×cin
的图像块，数据拼接操作是将个图像块按照顺序拼接成h
×w×cin
的图像，即初始重建结果其中h、w和c
in
分别为原始图像i的高、宽和通道数，p为分块时的图像块大小。
22.进一步地，所述自适应模块asm包括以下计算步骤：
23.(1)计算测量误差
24.(2)计算每一个图像块测量误差的l2范数
[0025][0026]
(3)计算第二级采样时不进行采样的图像块个数其中α为采样比例因子，
[0027]
(4)对范数v进行从小到大的排序，v
sorted
＝sort
↑
(v)，
[0028]
(5)计算二值化的阈值t＝v
sorted
(na)，
[0029]
(6)根据阈值t对范数v进行二值化，大于t的值量化为1，小于等于t的值量化为0，得到二值的掩码ba，
[0030]
(7)对二值的掩码ba进行扩充，每一个数值扩充至与相应的图像块大小相同，得到自适应掩码a
i-1
，其中2≤i≤k表示级数。
[0031]
进一步地，步骤6中依据自适应模块asm输出的掩码，仅对部分图像块进行压缩测量，未采样的图像块的压缩测量值用0填充。
[0032]
本发明通过引入基于误差估计的自适应采样模块asm，可以实现随目标场景变化而变化的自适应压缩感知成像。本发明方法的有益效果在于：(1)由于整个模型为全卷积神
经网络，因此可以针对任意尺度的输入进行压缩重建，不会造成块状效应；(2)通过多级的结构设计，可以实现用一个网络完成不同采样率下的压缩感知成像；(3)采用基于误差估计的自适应采样模块asm，能够实现自适应的压缩采样，进而提高采样效率和重建质量。
附图说明
[0033]
图1为本发明的方法流程图；
[0034]
图2为本发明实施例中自适应采样模块的具体结构示意图；
[0035]
图3为本发明实施例中重建网络的具体结构示意图。
具体实施方式
[0036]
下面将结合附图及具体实施例对本发明进行详细描述。
[0037]
参照图1，本实施例的一种基于误差估计的自适应压缩感知成像方法，是一种分级的采样、重建的结构，在第二级和后面每级采样时能够根据当前重建结果的误差估计，自适应地调整采样策略。采用灰度图像作为输入，采样时将原始图像分为空间大小为8
×
8的图像块，具体包括如下步骤：
[0038]
第一级：
[0039]
步骤1，压缩测量：第一级的压缩测量使用线性全卷积神经网络ψ1，其输入为h
×w×
1的灰度图像i，其中h和w为图像的高和宽，输出为的压缩测量结果y1，其仅包含一个卷积层，其中卷积核大小为8
×
8，步长为8，没有偏置单元，相应的采样率为ψ1可以等效为将图像分为多个不重叠的8
×
8的图像块，对每一个图像块分别进行采样，每个图像块的采样数为m1，并且测量矩阵在训练过程中是可以端到端学习的。
[0040]
步骤2，初始重建：第一级的初始重建过程输入为的压缩测量结果y1，输出为h
×w×
1的初始重建结果其首先经过一个1
×
1的卷积层对测量结果y1进行维度变换，得到的输出，再经过一个维度转换的操作将每一个1
×1×
64的向量转换成1
×1×8×
8的图像块，再将个图像块按顺序拼接到一起，即可得到h
×w×
1的初始重建结果
[0041]
步骤3，优化重建：第一级的优化重建过程输入为h
×w×
1的初始重建结果输出为h
×w×
1的重建结果优化重建过程采用全卷积神经网络，如图3所示，n1的具体结构为：
[0042]
第一层为卷积层，输入1个通道，输出128个通道，第二层为卷积层，输入128个通道，输出32个通道，第三层～第五层为3个结构相同的密集残差块，输入为32个通道，输出为32个通道，第六层为卷积层，输入为32个通道，输出为128个通道，第七层为卷积层，输入为32个通道，输出为1个通道，另外在输入层到输出层还有一个跳层连接，每一个卷积层的卷积核大小均为3
×
3，且每个卷积层后接一个leakyrelu非线性激活函数。
[0043]
第二级：
[0044]
步骤4，生成自适应掩码：使用自适应模块asm生成自适应掩码a1，具体可分为以下步骤：(1)计算测量误差(2)计算每一个图像块测量误差的l2范数(3)计算第二级采样时不进行采样的图像块个数其中α为采样比例因子，(4)对v进行从小到大的排序，v
sorted
＝sort
↑
(v)，(5)计算二值化的阈值t＝v
sorted
(na)，(6)根据阈值对v进行二值化，大于t的值量化为1，小于等于t的值量化为0，得到二值的ba，(7)对ba进行扩充，每一个数值扩充至与相应的图像块大小相同，得到自适应掩码a1；
[0045]
步骤5，调制：将步骤4得到的自适应掩码a1和输入图像i进行点乘，得到调制后的输入图像i1。
[0046]
步骤6，再次压缩测量：第二级的压缩测量使用线性全卷积神经网络ψ2，其输入为h
×w×
1的图像i1，输出为的压缩测量结果y2，其仅包含一个卷积层，其中卷积核大小为8
×
8，步长为8，没有偏置单元，相应的采样率为ψ2可以等效为将图像分为多个不重叠的8
×
8的图像块，对部分图像块分别进行采样，每个图像块的采样数为m2，未采样的图像块使用0进行填充。测量矩阵在训练过程中是可以端到端学习的。
[0047]
步骤7，初始重建：第二级的初始重建过程输入为的压缩测量结果y2，输出为h
×w×
1的初始重建结果其首先经过一个1
×
1的卷积层对测量结果y2进行维度变换，得到的输出，再经过一个维度转换的操作将每一个1
×1×
64的向量转换成1
×1×8×
8的图像块，再将这个图像块按顺序拼接到一起，可得到h
×w×
1的残差图，将残差图与相加，即可得到h
×w×
1的初始重建结果
[0048]
步骤8，优化重建：优化重建过程输入为h
×w×
1的初始重建结果输出为h
×w×
1的重建结果优化重建过程采用全卷积神经网络n2，如图3所示，n2的具体结构为：
[0049]
第一层为卷积层，输入1个通道，输出128个通道，第二层为卷积层，输入128个通道，输出32个通道，第三层为密集残差块，输入为32个通道，输出为32个通道，第四层为cat特征融合层，融合第一级中第三层输出的特征图，输出为64个通道，第五层为卷积层，输入为64个通道，输出为32个通道，第六层为密集残差块，输入为32个通道，输出为32个通道，第七层为cat特征融合层，融合第一级中第四层输出的特征图，输出为64个通道，第八层卷积层，输入为64个通道，输出为32个通道，第九层为密集残差块，输入为32个通道，输出为32个通道，第十层为cat特征融合层，融合第一级中第五层输出的特征图，输出为64个通道，第十一层为卷积层，输入为64个通道，输出为32个通道，第十二层为卷积层，输入为32个通道，输出为128个通道，第十一层为卷积层，输入为128个通道，输出为1个通道。另外在输入层到输出层还有一个跳层连接，每一个卷积层的卷积核大小均为3
×
3，且每个卷积层后接一个leakyrelu非线性激活函数。
[0050]
步骤9，如图1所示，重复步骤4～8到第k级，每一级使用上一级的重建结果和第一级的测量矩阵φ1和测量结果y1，直到得到目标压缩率下的重建结果第i级的采样率为
则前i级的总采样率为：
[0051]
本实施例在训练第i级时采用的损失函数为第i级最终重建结果与原图之间的l1损失加上第i级初始重建结果和原图之间的l1损失。在训练过程中，需要训练好每一次迭代中压缩采样模块和重建模块后固定前面所有迭代的参数，继续训练下一次迭代的参数，直到完成整个网络的训练。本实施例在训练时采用的图像块大小为128
×
128，优化器为adam optimizer，学习率设置为2
×
10-4
。

技术特征：
1.基于误差估计的自适应压缩感知成像方法，其特征在于，该方法包括以下步骤：第一级：步骤1，对原始图像i进行分块处理，并使用第一级的测量矩阵φ1对每一个图像块进行压缩测量，得到第一级的测量结果y1；步骤2，使用一个1
×
1的卷积层对第一级的测量结果y1进行维度变换，并通过数据重排操作输出第一级的初始重建结果步骤3，使用全卷积神经网络n1对第一级的初始重建结果进行进一步优化重建，得到第一级的最终重建结果第二级：步骤4，将上一级的最终重建结果、第一级的测量矩阵φ1和第一级的测量结果y1输入到自适应模块asm，得到自适应掩码a1；步骤5，将自适应掩码a1与原始图像i进行点乘，得到调制后的输入图像i1；步骤6，对输入图像i1进行分块处理，并依据步骤4中得到的自适应掩码a1，使用本级的测量矩阵φ2对部分图像块进行压缩测量，得到本级的测量结果y2；步骤7，使用一个1
×
1的卷积层对本级的测量结果y2进行维度变换，并进行数据重排操作，将得到的结果与步骤2的初始重建结果相加，得到本级的初始重建结果步骤8，使用全卷积神经网络n2对本级的初始重建结果进行进一步优化重建，得到本级的最终重建结果第三级～第k级：步骤9，重复步骤4～8，直到得到目标压缩率下的最终重建结果2.根据权利要求1所述的基于误差估计的自适应压缩感知成像方法，其特征在于，使用的测量矩阵φ1、φ2、
…
、φ
k
的维度为m
k
×
n，其中n为每个图像块的数据量，m
k
为每个图像块的采样数，m
k
＜n，每个测量矩阵实现的采样率为3.根据权利要求1所述的基于误差估计的自适应压缩感知成像方法，其特征在于，所述维度变换是将输入为的测量结果，经过1
×
1的卷积层后输出维度为的数据；所述数据重排操作分为维度转换和数据拼接两个步骤，维度转换操作是将维度为的数据中每一个1
×1×
n的向量转换为p
×
p
×
c
in
的图像块，数据拼接操作是将个图像块按照顺序拼接成h
×
w
×
c
in
的图像，即初始重建结果其中h、w和c
in
分别为原始图像i的高、宽和通道数，p为分块时的图像块大小。4.根据权利要求1所述的基于误差估计的自适应压缩感知成像方法，其特征在于，所述自适应模块asm包括以下计算步骤：(1)计算测量误差(2)计算每一个图像块测量误差的l2范数
(3)计算第二级采样时不进行采样的图像块个数其中α为采样比例因子，(4)对范数v进行从小到大的排序，v
sorted
＝sort
↑
(v)，(5)计算二值化的阈值t＝v
sorted
(n
a
)，(6)根据阈值t对范数v进行二值化，大于t的值量化为1，小于等于t的值量化为0，得到二值的掩码b
a
，(7)对二值的掩码b
a
进行扩充，每一个数值扩充至与相应的图像块大小相同，得到自适应掩码a
i-1
，其中2≤i≤k表示级数。5.根据权利要求1所述的基于误差估计的自适应压缩感知成像方法，其特征在于，步骤6中依据自适应模块asm输出的掩码，仅对部分图像块进行压缩测量，未采样的图像块的压缩测量值用0填充。

技术总结
本发明涉及一种基于误差估计的自适应压缩感知成像方法。该方法具体步骤为：第一级：(1)将图像I分块，用测量矩阵φ1对图像块进行压缩测量，得到y1；(2)对y1进行初始重建，得到(3)对进行优化重建，得到第二级：(4)将上一级的重建结果、φ1和y1输入到自适应模块ASM，输出自适应掩码A1；(5)根据A1，用φ2对部分图像块进行压缩测量，得到y2；(6)对y2进行初始重建，并与上一级的初始重建结果相加，得到本级的初始重建结果；(7)对本级的初始重建结果做优化重建，得到本级的优化重建结果；(8)重复步骤(4)～(7)，直到达到目标采样率。直到达到目标采样率。直到达到目标采样率。


技术研发人员：胡雪梅 邱晨曦 岳涛
受保护的技术使用者：南京大学
技术研发日：2022.01.17
技术公布日：2023/7/31