一种基于深度展开网络的手写文本图像超分辨率重建方法

1.本发明涉及图像处理领域，具体涉及一种基于深度展开网络的手写文本图像超分辨率重建方法。


背景技术：

2.图像是视觉信息的载体，也是人类通过视觉获取外界信息的主要来源之一。随着各行各业的发展，图像的需求数量也随之增加，人们对于图像质量的要求也越来越高。但是由于受环境、设备等因素的影响，采集到的图像往往会出现模糊、失真等低质量情况。例如在文档图像识别任务中，由于字迹模糊或字迹背透导致图像质量降低，导致在管理和存储这类手写文档图像的时候，计算机难以识别图像中的重要信息。单幅图像超分辨率(sisr)可以将给定的低分辨率图像通过特定的算法恢复相应的高分辨率图像。
3.近年来，针对单幅图像超分辨率(sisr)的深度学习领域发展迅速，基于卷积神经网络的超分辨率模型(srcnn)代表了这一领域的代表性工作之一。从那时起，开展了很多后续工作，包括生成性对抗网络超分辨率模型(srgan)，可训练非线性反应扩散网络超分辨率模型(tnrd)，深度递归卷积网络超分辨率模型(drcn)，增强型残差网络超分辨率模型(edsr)，拉普拉斯金字塔网络超分辨率模型(lapsrn)。
4.尽管进展很快，但是其中一个长期悬而未决的问题是缺乏可解释性，现有的大多数网络都是基于黑盒原理设计的，即无论输入输出映射结果如何，对其内部原理知之甚少。当网络变得更加深入、更加复杂时，理解深度学习的内部机制就变得困难。例如edsr的参数总数已经超过40m，这使得它在实际运用的可行性较差。
5.深度展开网络将给定连续模型的迭代优化看作是一个动态过程，进而通过若干可学习的模块来离散这一系统。能够有效的结合领域知识以及数据经验，透明的设计能够具备更好的可解释性，同时能避免潜在的冗余，在计算上带来更加高效的解决方案。


技术实现要素：

6.本发明解决技术问题：为了克服现有技术的不足，提供一种基于深度展开网络的手写文本图像超分辨率重建方法。基于边缘驱动迭代模型构建网络能够更好的感知图像高频信息，处理图像的多重退化。能显著的提升进行超分辨率重建后的手写文本图像的感知质量和视觉效果。
7.本发明的技术方案：一种基于深度展开网络的手写文本图像超分辨率重建方法，包括以下步骤：
8.步骤1:构建基于边缘驱动的深度展开网络，并进行训练。
9.步骤2：输入待处理的低分辨率图像和目标放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；
10.步骤3：使用步骤2中输入的低分辨率图像通过双三次插值法进行处理，将低分辨率图像上采样目标放大倍数获得初始图像低频信息；
11.步骤4：使用步骤2输入的低分辨率图像进行双三次插值法上采样，通过边缘提取模块获取初始图像高频信息；
12.步骤5：整合图像低频信息以及图像高频信息获得超分辨图像；
13.步骤6：将图像低频信息通过深度去噪模块获取图像去噪信息；
14.步骤7：将图像去噪信息、超分辨率图像、图像低频信息通过低频重构模块重建图像低频信息；
15.步骤8：将超分辨率图像通过边缘提取模块获取图像高频信息；
16.步骤9：重复步骤5至步骤8，迭代计算图像低频信息、图像高频信息；
17.步骤10：整合步骤9中的图像低频信息、图像高频信息获得超分辨率图像
18.步骤11：输出重建得到的超分辨率图像；
19.本发明与现有技术相比的优点在于：
20.(1)本方法通过深度展开网络寻求基于模型的等价实现，能够有效的结合领域知识以及数据经验，提升高超分辨率图像的重建质量，同时透明的设计能够具备更好的可解释性，同时能避免潜在的冗余，在计算上带来更加高效的、轻量级的解决方案。
21.(2)本方法基于手写文本图像特征迭代计算，在多个阶段重复加强重建图像的高频信息并进行低频信息重建以及深度去噪，不仅能够得到更加清晰的边缘和更加逼真的重构图像，同时显著提升文本信息的感知质量和视觉效果。
附图说明
22.图1为本发明的流程图。
23.图2为深度展开网络模型示意图，其中的t次重复阶段恰好执行上述模型的t次迭代，每一个阶段的构成都是通过三个基本模块构成：深度去噪模块，边缘提取模块，低频重建模块。深度去噪模块负责变量v
t
的更新，边缘提取模块负责提取图像高频信息低频重建模块负责提取图像低频信息
具体实施方式
24.下面将结合附图及实施例对本发明进行详细说明。
25.如图1所示，本发明方法的具体实现如下：
26.步骤1:构建基于边缘驱动的深度展开网络，并进行训练。
27.步骤2：输入待处理的低分辨率图像和目标放大倍数，待处理的输入图像成为低分辨率图像，使用超分辨率重建方法放大的图像成为高分辨率图像；
28.步骤3：使用步骤2中输入的低分辨率图像通过双三次插值法进行处理，将低分辨率图像上采样目标放大倍数获得初始图像低频信息；
29.步骤4：使用步骤2输入的低分辨率图像进行双三次插值法上采样，通过边缘提取模块获取初始图像高频信息；
30.步骤5：整合图像低频信息以及图像高频信息获得超分辨图像；
31.步骤6：将图像低频信息通过深度去噪模块获取图像去噪信息；
32.步骤7：将图像去噪信息、超分辨率图像、图像低频信息通过低频重构模块重建图像低频信息；
33.步骤8：将超分辨率图像通过边缘提取模块获取图像高频信息；
34.步骤9：重复步骤5至步骤8，迭代计算图像低频信息、图像高频信息；
35.步骤10：整合步骤9中的图像低频信息、图像高频信息获得超分辨率图像
36.步骤11：输出重建得到的超分辨率图像；
37.一、下面对步骤1进行详细说明：
38.(1)基于边缘驱动的深度展开网络
39.基于模型的图像恢复的目的是根据其退化的观测值y估计未知图像x。退化过程可以用以下模型表示：
40.y＝ax+n
41.其中a表示退化算子(例如模糊核、下采样操作)，n表示噪声。相应的基于模型的单幅图像超分辨率重构可以表示为以下优化问题：
[0042][0043]
其中λ是拉格朗日乘数，ω(x)是正则化函数。一般来说，高分辨率图像i
hr
由两个部分构成：
[0044]ihr
＝i
lf
+i
hf
[0045]
其中i
lf
、i
hf
分别代表着图像得低频(low-frequency)信息与高频(low-frequency)信息，高频信息通常包含图像的边缘、纹理信息，体现了物体表面的具有缓慢变化或者周期性变化的表面结构组织排列属性。这些细节通常是不规则的，并且与低频信息相比，高频信息更加容易被破坏，导致明显的图像退化。对于手写文本图像来说，信息细节通常存储在高频信息中，因此恢复高频信息是提升图像质量的重要一步。
[0046]
大部分单幅图像超分辨率算法在对图像进行超分辨率重构时，由于原始低分辨率图像高频信息的缺失导致图像细节缺失。可以表示如下：
[0047][0048]
其中x
l
表示需要缺失了高频细节的重构图像，其中a表示退化算子(例如模糊核、下采样操作)，λ是拉格朗日乘数，ω(x)是正则化函数。通过半二次拆分我们可以将上述问题转化等价的无约束的优化问题：
[0049][0050]
其中v是辅助拆分变量，η为相应的拆分系数，通过迭代化处理后，上述公式可以表示为如下的两个子问题。
[0051][0052][0053]
基于边缘提取算法f
edge
，可以获取图像的纹理以及边缘等高频信息：
[0054][0055]
其中，α为补偿系数。通过对重构图像的高频信息进行补偿，我们将可以获得高分辨重构图像x，并将其带入到公式中。
[0056][0057][0058]
对上述公式进行单步梯度下降后，可以得到边缘高频信息补偿的迭代模型，通过交替求解下述四个子问题来解决手写文本图像超分辨率问题：
[0059][0060][0061][0062][0063]
在传统的基于模型的方法中，交替求解上述四个方程需要多次迭代才能收敛，从而导致过高的计算成本，于是我们将上述模型如图2所示展开为重复网络模块的串联。图2中的t次重复阶段恰好执行上述模型的t次迭代，每一个阶段的构成都是通过三个基本模块构成：深度去噪模块，边缘提取模块，低频重建模块。深度去噪模块负责变量v
t
的更新，边缘提取模块负责提取图像高频信息低频重建模块负责提取图像低频信息
[0064]
(2)基于边缘驱动的深度展开网络的训练
[0065]
使用端到端的方式来训练深度展开网络，具体步骤如下：
[0066]
步骤1：首先需要构建手写文字图片数据集，数据集需要包含多组图片，每一组图片包含原始分辨率照片作为高分辨率图像，不同倍数下采样的照片作为低分辨率图像。
[0067]
步骤2：将低分辨率图像yi以及对应的放大倍数输入到深度展开网络中，并获得重构得到的超分辨率图像xi。
[0068]
步骤3：将步骤2中获得高分辨率图像xi与低分辨率图像yi，计算l1损失函数。n为图片数量，公式如下：
[0069][0070]
步骤4：采用梯度下降算法更新超分辨率网络的模型参数。
[0071]
二、下面对步骤6中的深度去噪模块进行详细说明
[0072]
该模块采用u-net的变体作为深度去噪模块的主干，该模块包含四个编码网络(两层卷积层以及一层残差层构成)和四个解码网络(两层卷积层以及一层残差层构成)组成。除去最后一个编码网络外，每一个编码网络都有一个下采样层，该下采样层通过x2的比例因子对特征映射进行子采样，以增加神经元的接收场。除去最后一个解码网络外，每一个编码网络后都有一个上采样层，通过x2的比例因子对增大特征图的空间大小。该结构在编码的过程中逐渐降低了特征图的空间分布率，从而减少了计算量。
[0073]
三、下面对步骤4，步骤8中的边缘提取模块进行详细说明：
[0074]
该模块采用canny算法作为边缘提取算法来提取图像的边缘信息。canny算法的主要过程如下：
[0075]
步骤1：滤波降噪处理，采用高斯滤波去除噪声；
[0076]
步骤2：采用sobel算子差分计算幅值和方向，标识每个点上的最大值以及生成的边缘的方向，同时对非极大值抑制，获得二值图像；
[0077]
步骤3：双阈值筛选，根据高阈值得到一个边缘图像，在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合，获取到图像的边缘信息；
[0078]
四、下面对步骤7中的低频重建模块进行详细说明：
[0079]
该模块通过浅四层卷积网络来模拟退化的正向与反向过程。
[0080][0081]
具体来说，退化过程a是通过下采样网络来模拟的，通过4层卷积层构成，以相应的比例降低空间分辨率，类似的，上采样网络模拟过程a
t
由三个卷积层和一个反卷积层构成，以相应的比例提高空间分辨率，从而构建出图像低频信息x
l
。

技术特征：
1.一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，包括以下步骤：步骤1:构建基于边缘驱动的深度展开网络，并进行训练；步骤2：输入待处理的低分辨率图像和目标放大倍数，待处理的输入图像称为低分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；步骤3：使用步骤2中输入的低分辨率图像通过双三次插值法进行处理，将低分辨率图像上采样到目标放大倍数获得初始图像低频信息；步骤4：使用步骤2输入的低分辨率图像进行双三次插值法上采样，通过边缘提取模块获取初始图像高频信息；步骤5：整合图像低频信息以及图像高频信息获得超分辨图像；步骤6：将图像低频信息通过深度去噪模块获取图像去噪信息；步骤7：将图像去噪信息、超分辨率图像、图像低频信息通过低频重构模块重建图像低频信息；步骤8：将超分辨率图像通过边缘提取模块获取图像高频信息；步骤9：重复步骤5至步骤8，迭代计算图像低频信息、图像高频信息；步骤10：整合步骤9中的图像低频信息、图像高频信息获得超分辨率图像步骤11：输出重建得到的超分辨率图像。2.根据权利要求1所述的一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，步骤1中，基于边缘驱动的深度展开网络模型为：其特征在于，步骤1中，基于边缘驱动的深度展开网络模型为：其特征在于，步骤1中，基于边缘驱动的深度展开网络模型为：其特征在于，步骤1中，基于边缘驱动的深度展开网络模型为：其中，t为阶次；v是辅助拆分变量，η为相应的拆分系数，x
l
表示缺失了高频细节的重构图像，x
h
为高频信息，其中a表示退化算子，λ是拉格朗日乘数，ω(x)是正则化函数，边缘提取算法f
edge
，α为补偿系数，δ为松弛参数。3.根据权利要求1所述的一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，步骤1中，使用端到端的方式来训练深度展开网络，具体步骤如下：步骤1.1：首先需要构建手写文本图像数据集，数据集需要包含多组图片，每一组图片包含原始分辨率照片作为高分辨率图像，不同倍数下采样的照片作为低分辨率图像；步骤1.2：将低分辨率图像y
i
以及对应的放大倍数输入到深度展开网络中，并获得重构得到的超分辨率图像x
i
；步骤1.3：将步骤1.2中获得高分辨率图像x
i
与低分辨率图像y
i
，计算l1损失函数。公式如下：
步骤1.4：采用梯度下降算法更新超分辨率网络的模型参数。4.根据权利要求1所述的一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，步骤6中的深度去噪模块具体内容为：该模块采用u-net的变体作为深度去噪模块的主干，包含四个编码网络和四个解码网络组成，除去最后一个编码网络外，每一个编码网络都有一个下采样层，该下采样层通过x2的比例因子对特征映射进行子采样，以增加神经元的接收场，除去最后一个解码网络外，每一个编码网络后都有一个上采样层，通过x2的比例因子对增大特征图的空间大小。5.根据权利要求1所述的一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，步骤4，步骤8中的边缘提取模块具体为：步骤a：滤波降噪处理，采用高斯滤波去除噪声；步骤b：采用sobel算子差分计算幅值和方向，标识每个点上的最大值以及生成的边缘的方向，同时对非极大值抑制，获得二值图像；步骤c：双阈值筛选，根据高阈值得到一个边缘图像，在高阈值图像中把边缘链接成轮廓，当到达轮廓的端点时，在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合，获取到图像的边缘信息。6.根据权利要求1所述的一种基于深度展开网络的手写文本图像超分辨率重建方法，其特征在于，步骤7中的低频重建模块具体为：该模块通过浅四层卷积网络来模拟退化的正向与反向过程。退化过程a是通过下采样网络来模拟的，通过4层卷积层构成，以相应的比例降低空间分辨率，类似的，上采样网络模拟过程a
t
由三个卷积层和一个反卷积层构成，以相应的比例提高空间分辨率，从而构建出图像低频信息x
l
。

技术总结
本发明公开了一种基于深度展开网络的手写文本图像超分辨率重建方法，构建基于边缘驱动的深度展开网络，并进行训练；输入待处理的低分辨率图像和目标放大倍数，待处理的输入图像称为分辨率图像，使用超分辨率重建方法放大的图像称为高分辨率图像；整合图像低频信息以及图像高频信息获得超分辨图像；将图像低频信息通过深度去噪模块获取图像去噪信息；将图像去噪信息、超分辨率图像、图像低频信息通过低频重构模块重建图像低频信息；最后输出重建得到的超分辨率图像。本方法不仅能够得到更加清晰的边缘和更加逼真的重构图像，同时显著提升文本信息的感知质量和视觉效果。文本信息的感知质量和视觉效果。文本信息的感知质量和视觉效果。


技术研发人员：宋和平 司一雄
受保护的技术使用者：江苏大学
技术研发日：2023.04.06
技术公布日：2023/8/21