一种改进颜色衰减先验并结合AOD-Net的图像去雾方法和系统

一种改进颜色衰减先验并结合aod-net的图像去雾方法和系统
技术领域
1.本发明涉及图像去雾领域，具体涉及一种改进后的结合颜色衰减先验并结合aod-net的图像去雾方法和系统。


背景技术：

2.图像是人们获取信息最直观快速的方法，而要想保证信息的有效性，图像必须内容完整、细节清晰，但随着工业与经济的发展，大力开办工厂、机动车数量快速增加等都使得空气受到严重污染，光线在进行传播时，会与空气中的大量悬浮粒子发生折射反射等物理作用，使得拍摄得到的图像中部分信息被遮挡，甚至造成图像失真、细节丢失等现象，从而对图像包含的有效信息产生影响，为后续的特征点匹配、图像融合、超分辨率重建等高层次任务带来困难。而在实际生活中由于获取图像的清晰度不足，会在智能交通系统、行为识别及车辆跟踪等方面造成不良影响，如在交通安全中，由于道路能见度的下降以及车辆获取图片不清晰而产生的交通事故比比皆是。因此为了从图像中得到更多真实可靠的信息，众多研究者展开对图像增强方面的研究，对清晰度下降的图像进行去雾、去雨、去模糊等处理，提高图像的质量以获得更多的有效内容，进而保障需要获取户外图像的系统正常工作。
3.单幅图像去雾目前已经有较多的研究成果，从基础的依据大气散射模型进行物理建模去雾，到利用计算机技术的强大学习能力进行图像质量恢复，图像去雾的技术愈加成熟。但在具体的应用方面仍存在以下缺点：(1)传统方法去雾效果较差，难以达到使用标准。(2)具有较好效果的深度学习网络模型较大，参数较多，计算量大，在投入实际应用时难点多周期长。


技术实现要素：

4.本发明提出了一种基于改进颜色衰减先验并结合aod-net的图像去雾方法和系统，其目的在于针对当前单幅图像去雾技术存在的缺点，设计一种结合改进后颜色衰减先验并结合aod-net的图像去雾方法，使得该方法在有较好去雾效果的基础上能够进行硬件移植。所述方法首先对传统去雾颜色衰减先验方法进行改进，将此作为图像的去雾处理过程，之后加入感知损失作为神经网络的损失监督函数，以提升单幅图像的质量和真实性，最后将改进后的去雾方法在硬件设备rk3399上进行android系统下的硬件实现。
5.本发明的目的通过以下技术方案实现：
6.一种改进颜色衰减先验并结合aod-net的图像去雾方法，包括以下步骤：
7.s1，利用改进的颜色衰减先验对图像进行预处理，去除图像伪影，获得质量更好的去雾处理效果图像；
8.所述改进的颜色衰减先验方法是通过改变大气光值a的取值，以及对景深图进行约束获得；
9.s2，将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性
提升操作，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；
10.s3，将步骤s1处理后的测试图像输入到训练好的aod-net去雾网络，实现图像去雾。
11.进一步的，perceptual loss的计算公式如下；
[0012][0013]
x是真实图片，y是生成图片，fi(x)和fi(y)分别表示在神经网络即vgg16或者vgg19中的第i层的特征表示，n是特征层数。
[0014]
进一步的，步骤s1中改进的颜色衰减先验方法如下：
[0015]
(1)改进大气光值a
[0016]
在原方法中，通过对获得的景深图进行像素值最小滤波排序，选取前p％的像素最大值将其对应至有雾图像相应位置，该位置三通道的最大值作为算法的大气光值a，由于在计算景深图的过程中会出现误差，继续使用具有误差的景深图进行计算会造成误差积累，因此直接对有雾图像三通道分别进行最小滤波排序，之后选取三通道中的最大像素值作为大气光值a的估计值；
[0017]
(2)改进的景深图
[0018]
通过对求得的景深图进行一个上下文正则化的约束，消除由于像素边缘跳跃引发的伪影问题，从而增强图像的去雾处理效果。
[0019]
进一步的，改进的景深图的具体实现方式如下；
[0020]
景深图d(x)用于反映每个像素点的深度信息，不同像素值代表不同的深度值，因此在对透射率图的估计上，不通过原方法简单的限制图像透射率图t(x)的范围为0.1-0.9，而是根据景深图可以反映像素点深度的特点对景深图采取上下文正则化的方式，通过使用公式(2)进行约束：
[0021]
w(x,y)|d(x)-d(y)|(2)
[0022]
其中，x，y是景深图中相邻的两个像素点，w(x,y)作为权重函数，计算公式如(3)所示：
[0023][0024]
其中d(x)，d(y)是相邻的景深图像素值，
ɑ
为规定参数，将约束集成到整个图像域则会对图像景深图形成上下文正则化约束：
[0025][0026]
其中ω为图像域，w
x
为像素点x的加权矩阵，即像素点x与周围邻域像素点间的权重值组成的权重矩阵；
[0027]
由于像素值为离散分布，因此进一步将式(4)进行离散化为(5)：
[0028][0029]
其中i是图像像素点的索引集，对应式(3)的ω，i，j表示图像像素点的坐标，wi为
像素点i的加权矩阵，w
ij
是w(x,y)的离散版本，di和dj分别为d(x)与d(y)的离散版本；对图像像素值做差值计算即相当于作微分计算，直接引入prewitt滤波算子对景深图像素位置的影响做加权处理即做卷积运算，在降低边缘模糊度的同时实现边缘提取，并通过快速卷积函数对算法进行加速，此时计算公式为(6)：
[0030][0031]
其中。代表逐元素的乘法运算符，代表卷积运算符，dj是一阶微分算子，wj是一个加权矩阵；为了使得求得的景深图更加准确，将问题转化为求公式(7)的最优解，即求公式(7)的最小值：
[0032][0033]
其中d为颜色衰减先验所求的景深图，为patch-wise级传输图所计算得到的patch-wise级景深图，第一部分数据项，用来度量d(x)对边界约束映射导出的补丁级景深图的保真度，第二部分为对d(x)的上下文约束进行建模，λ是平衡这两个项的正则化参数；
[0034]
为了求解(7)的最小值，使用半二次分裂的方法引入辅助变量uj并将公式(7)转换为新的代价函数如(8)所示：
[0035][0036]
其中β是一个权重，通过半二次分裂方法，求得uj为(9)所示：
[0037][0038]
其中sign()为符号函数，将uj固定通过最小化以下函数来找到最优d：
[0039][0040]
式(3)-(14)为d的二次函数，因此满足(11)：
[0041][0042]
其中表示通过围绕中心像素对dj进行镜像而获得的过滤器，对上述方程应用二维fft并假设圆形边界条件，此时所得优化后的景深图为：
[0043][0044]
其中，f表示fft运算，表示取平均值。
[0045]
进一步的，patch-wise级传输图其中ic,ac是i和a的彩色通道值，和分别是清晰图j(x)的上下限，直接采用图像像素点可能的最大最小值[0,0,0]和[255,255,255]。
[0046]
本发明还提供一种改进颜色衰减先验并结合aod-net的图像去雾系统，包括如下模块：
[0047]
图像去雾处理模块，利用改进的颜色衰减先验对图像进行预处理，去除图像伪影，获得质量更好的去雾处理效果图像；
[0048]
所述改进的颜色衰减先验方法是通过改变大气光值a的取值，以及对景深图进行约束获得；
[0049]
图像优化模块，将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性提升操作，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；
[0050]
测试模块，将图像去雾处理模块处理后的测试图像输入到训练好的aod-net去雾网络，实现图像去雾。
[0051]
进一步的，perceptual loss的计算公式如下；
[0052][0053]
x是真实图片，y是生成图片，fi(x)和fi(y)分别表示在神经网络即vgg16或者vgg19中的第i层的特征表示，n是特征层数。
[0054]
进一步的，图像去雾处理模块中改进的颜色衰减先验方法如下：
[0055]
(1)改进大气光值a
[0056]
在原方法中，通过对获得的景深图进行像素值最小滤波排序，选取前p％的像素最大值将其对应至有雾图像相应位置，该位置三通道的最大值作为算法的大气光值a，由于在计算景深图的过程中会出现误差，继续使用具有误差的景深图进行计算会造成误差积累，因此直接对有雾图像三通道分别进行最小滤波排序，之后选取三通道中的最大像素值作为大气光值a的估计值；
[0057]
(2)改进的景深图
[0058]
通过对求得的景深图进行一个上下文正则化的约束，消除由于像素边缘跳跃引发的伪影问题，从而增强图像的去雾处理效果。
[0059]
进一步的，改进的景深图的具体实现方式如下；
[0060]
景深图d(x)用于反映每个像素点的深度信息，不同像素值代表不同的深度值，因此在对透射率图的估计上，不通过原方法简单的限制图像透射率图t(x)的范围为0.1-0.9，而是根据景深图可以反映像素点深度的特点对景深图采取上下文正则化的方式，通过使用公式(2)进行约束：
[0061]
w(x,y)|d(x)-d(y)|(2)
[0062]
其中，x，y是景深图中相邻的两个像素点，w(x,y)作为权重函数，计算公式如(3)所示：
[0063][0064]
其中d(x)，d(y)是相邻的景深图像素值，
ɑ
为规定参数，将约束集成到整个图像域则会对图像景深图形成上下文正则化约束：
[0065][0066]
其中ω为图像域，w
x
为像素点x的加权矩阵，即像素点x与周围邻域像素点间的权重值组成的权重矩阵；
[0067]
由于像素值为离散分布，因此进一步将式(4)进行离散化为(5)：
[0068][0069]
其中i是图像像素点的索引集，对应式(3)的ω，i，j表示图像像素点的坐标，wi为像素点i的加权矩阵，w
ij
是w(x,y)的离散版本，di和dj分别为d(x)与d(y)的离散版本；对图像像素值做差值计算即相当于作微分计算，直接引入prewitt滤波算子对景深图像素位置的影响做加权处理即做卷积运算，在降低边缘模糊度的同时实现边缘提取，并通过快速卷积函数对算法进行加速，此时计算公式为(6)：
[0070][0071]
其中。代表逐元素的乘法运算符，代表卷积运算符，dj是一阶微分算子，wj是一个加权矩阵；为了使得求得的景深图更加准确，将问题转化为求公式(7)的最优解，即求公式(7)的最小值：
[0072][0073]
其中d为颜色衰减先验所求的景深图，为patch-wise级传输图所计算得到的patch-wise级景深图，第一部分数据项，用来度量d(x)对边界约束映射导出的补丁级景深图的保真度，第二部分为对d(x)的上下文约束进行建模，λ是平衡这两个项的正则化参数；
[0074]
为了求解(7)的最小值，使用半二次分裂的方法引入辅助变量uj并将公式(7)转换为新的代价函数如(8)所示：
[0075][0076]
其中β是一个权重，通过半二次分裂方法，求得uj为(9)所示：
[0077][0078]
其中sign()为符号函数，将uj固定通过最小化以下函数来找到最优d：
[0079]
[0080]
式(3)-(14)为d的二次函数，因此满足(11)：
[0081][0082]
其中表示通过围绕中心像素对dj进行镜像而获得的过滤器，对上述方程应用二维fft并假设圆形边界条件，此时所得优化后的景深图为：
[0083][0084]
其中，f表示fft运算，表示取平均值。
[0085]
进一步的，patch-wise级传输图其中ic,ac是i和a的彩色通道值，和分别是清晰图j(x)的上下限，直接采用图像像素点可能的最大最小值[0,0,0]和[255,255,255]。
[0086]
本发明具有以下有益效果：
[0087]
(1)本发明包含的单幅图像去雾，将传统方法与深度学习结合起来，不同于当前大量的深度学习方法依据大气散射模型进行图像去雾处理，而是将改进后的传统方法作为图像去雾处理部分，将经过预处理后的图片作为网络的输入，可以提升去雾效果与图片真实性。
[0088]
(2)本发明通过将改进后的传统方法作为图像去雾处理方法，使用神经网络aod-net作为提升图像质量的优化方法，通过首先使用改进的传统图像去雾方法对有雾图像做去雾处理，使得图片具有一定的去雾效果，再将经过处理后的图片作为神经网络aod-net的输入，利用神经网络的学习能力，对图像进行质量效果的调整。
[0089]
(3)本发明设计的基于改进颜色衰减先验并结合aod-net的图像去雾方法，可以证明在使用效果提升后的传统方法对图像进行预处理后，再利用神经网络层对图像进行处理可以使得图像的去雾效果更好，在具体的应用中可以根据后续的dsp性能，选取效果更好的神经网络作为图像优化网络，进而在保证更好去雾效果的同时使得算法的工程化周期短，实用性高。
附图说明
[0090]
图1为本发明的基于改进颜色衰减先验并结合aod-net的图像去雾方法的流程图。
[0091]
图2为本发明实施例中prewitt算子示意图。
具体实施方式
[0092]
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
[0093]
图1为本发明的基于改进颜色衰减先验并结合aod-net的图像去雾方法的流程图，
该实施例的方法包括以下步骤：
[0094]
s1：针对颜色衰减先验存在的图像伪影问题，首先对传统方法进行改进，获得质量更好的去雾处理效果图片；
[0095]
s2：将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性提升操作；
[0096]
s3：结合传统方法与深度学习的优缺点，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；
[0097]
s4：将改进后的图像去雾模型进行硬件移植，将算法在dsp上进行实现。
[0098]
本实施例的s1对图像进行去雾处理的方法为改进后的传统的颜色衰减先验方法。颜色衰减先验方法作为传统的图像去雾方法，由zhu等人通过观察多幅图像中近景、远景、中景之间雾的浓度与亮度、饱和度之间的关系，得出雾的浓度与亮度与饱和度差值存在正相关的结论，提出线性拟合关系式d(x)＝θ0+θ1v(x)+θ2s(x)+ε(x)，d(x)为图像景深图，v(x)与s(x)分别为图像亮度与饱和度，ε(x)表示期望值为0。通过利用神经网络对5000张图像进行不同程度的加雾处理后，将有雾图像与清晰图像进行对比拟合后，得到景深图的求取关系式为d(x)＝0.121779+0.959710*v(x)-0.780245*s(x)+ε(x)，依据景深图与透射率图之间的关系t(x)＝e-βd(x)
求得透射率图，其中t(x)为图像透射率图，β为大气散射系数，d(x)则为前文所求的图像景深图，θ0，θ1和θ2为未知系数，e为自然常数；而对于大气光值a的求取，通过对景深图进行最小值滤波后，选取图像前百分之0.1的像素，对应求取有雾图像中相应的位置，对该位置像素再次进行排序，选取最大值作为大气光值a，最后根据大气散射模型i(x)＝j(x)t(x)+a(1-t(x))进行逆运算推导得到清晰图像其中i(x)表示生成的有雾图像，j(x)表示原有的清晰图像，a表示大气光值，t(x)表示介质透射。
[0099]
具体的，改进的颜色衰减先验方法如下：
[0100]
(1)改进的大气光值a
[0101]
在原方法中，通过对获得的景深图进行像素值最小滤波排序，选取前0.1％的像素最大值将其对应至有雾图像相应位置，该位置三通道的最大值作为算法的大气光值a，由于在计算景深图的过程中会出现误差，继续使用具有误差的景深图进行计算会造成误差积累，因此直接对有雾图像三通道分别进行最小滤波排序，之后选取三通道中的最大像素值作为大气光值a的估计值；
[0102]
(2)改进的景深图
[0103]
景深图d(x)可以反映每个像素点的深度信息，不同像素值代表不同的深度值。因此在对透射率图的估计上，不通过原方法简单的限制t(x)的范围为(0.1-0.9)，而是根据景深图可以反映像素点深度的特点对景深图采取上下文正则化的方式，通过使用公式(2)进行约束：
[0104]
w(x,y)|d(x)-d(y)|
ꢀꢀꢀ
(2)
[0105]
其中，x，y是景深图中相邻的两个像素点，w(x,y)作为权重函数，当d(x)与d(y)相差过大时，通过权重函数使得d(x)-d(y)趋于0，即当景深图相邻两点x，y像素相差较大时，相应的权重函数w(x,y)一定会较小，因此w(x,y)如(3)所示：
[0106]
w(x,y)＝e-||d(x)-d(y)||2/2α2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0107]
其中d(x)，d(y)是相邻的景深图像素值，
ɑ
为规定参数，本文取0.5。将约束集成到整个图像域则会对图像景深图d(x)形成上下文正则化约束：
[0108][0109]
其中ω为图像域，w
x
为像素点x的加权矩阵，即像素点x与周围邻域像素点间的权重值组成的权重矩阵，本文选取邻域范围为3x3。由于像素值为离散分布，因此进一步将式(4)进行离散化为(5)：
[0110][0111]
其中i是图像像素点的索引集，对应式(3)的ω，i，j为图像像素点，wi为像素点i的加权矩阵，w
ij
是w(x,y)的离散版本，di和dj分别为d(x)与d(y)的离散版本。由于对图像像素值做差值计算即相当于作微分计算，因此直接引入prewitt滤波算子对景深图像素位置的影响做加权处理即做卷积运算，在降低边缘模糊度的同时实现边缘提取，为使用上下文约束提供了灵活性，并通过快速卷积函数对算法进行加速，使用的一阶微分prewitt算子如图2所示。此外由于l1范数把每个参数的绝对值加起来，而l2范数把每个参数的平方加起来，当图像中出现过亮过暗等异常像素点时l1范数的效果受到的影响更小，因此本文使用l1范数的积分进行正则化。此时计算公式为(6)：
[0112][0113]
其中ω是索引集，。代表逐元素的乘法运算符，代表卷积运算符。dj是一阶微分算子，wj(j∈ω)是一个加权矩阵。
[0114]
为了使得求得的d(x)更加准确，可将问题转化为求公式(7)的最优解，即求公式(7)的最小值：
[0115][0116]
其中d为颜色衰减先验所求的景深图，为patch-wise级传输图所计算得到的patch-wise级景深图。patch-wise级传输图其中ic,ac是i和a的彩色通道值，和分别是清晰图j(x)的上下限，本文直接采用图像像素点可能的最大最小值[0,0,0]和[255,255,255]。公式(7)第一部分为数据项，用来度量d(x)对边界约束映射导出的补丁级景深图的保真度。第二部分为对d(x)的上下文约束进行建模，λ是平衡这两个项的正则化参数，本文值为1。
[0117]
为了求解(7)的最小值，使用半二次分裂的方法引入辅助变量uj并将公式(7)转换为新的代价函数如(8)所示：
[0118]
[0119]
其中β是一个权重，在实验中选取为0.05，通过半二次分裂方法，求得uj为(9)所示：
[0120][0121]
其中sign()为符号函数，将uj固定通过最小化以下函数来找到最优d：
[0122][0123]
式(10)为d的二次函数，因此满足(11)：
[0124][0125]
其中表示通过围绕中心像素对dj进行镜像而获得的过滤器，对上述方程应用二维fft并假设圆形边界条件，此时所得优化后的景深图为：
[0126][0127]
其中，f表示fft运算，表示取平均值，f-1
为f的倒数。
[0128]
具体的，所述s3采用aod-net作为主要的图像优化网络，其网络结构为本领域技术人员公知的，由于该神经网络通过输入图像与ground-true图像(原清晰图像)进行参数学习，可以使得生成图像在细节感受上与真实图像更加接近，使用去雾后的j(x)作为网络输入，可以在获得较好去雾效果的基础上图片真实性更好。
[0129]
具体的，所述s3将l1与perceptual loss相结合的共同作为网络的损失监督函数，perceptual loss将卷积神经网络提取出的feature，作为目标函数的一部分，通过比较待生成的图片经过cnn的feature值与目标图片经过cnn的feature值，使得待生成的图片与目标图片在语义上更加相似(相对于pixel级别的损失函数)，该损失更加符合人眼的视觉感受。
[0130]
结合传统方法与深度学习的优缺点，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数。perceptual loss感知损失将真实图片卷积得到的feature(一般是用vgg16或者vgg19来提取)与生成图片卷积得到的feature作比较(一般用mse损失函数)，使得高层信息(内容和全局结构)接近，也就是感知的意思，该损失函数更符合人眼的视觉特点，得到的图像在人主观感受上效果更加优异。计算公式如下所示：
[0131][0132]
x是真实图片，y是生成图片，fi(x)和fi(y)分别表示它们在神经网络即vgg16或者vgg19中的第i层的特征表示，n是特征层数。
[0133]
具体的，所述s4中dsp选用itop-rk3399开发平台，基于arm架构设计，由两个
cortex-a72主频高达1.8ghz的高性能核心和四个cortex-a53主频为1.4ghz的低功耗核心组成，同时还配备了arm mali-t860mp4图形处理器。
[0134]
本发明还提供一种改进颜色衰减先验并结合aod-net的图像去雾系统，包括如下模块：
[0135]
图像去雾处理模块，利用改进的颜色衰减先验对图像进行预处理，去除图像伪影，获得质量更好的去雾处理效果图像；
[0136]
所述改进的颜色衰减先验方法是通过改变大气光值a的取值，以及对景深图进行约束获得；
[0137]
图像优化模块，将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性提升操作，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；
[0138]
测试模块，将图像去雾处理模块处理后的测试图像输入到训练好的aod-net去雾网络，实现图像去雾。
[0139]
各模块的具体实现方式和各步骤相应，本发明不予撰述。
[0140]
以上所述，仅为本发明中的具体实施方式，并不用以限制本发明，任何在本发明的技术范围内做出修改，而达到本发明的技术效果的，均涵盖在本发明的保护范围之内。

技术特征：
1.一种改进颜色衰减先验并结合aod-net的图像去雾方法，其特征在于，包括以下步骤：s1，利用改进的颜色衰减先验方法对图像进行预处理，去除图像伪影，获得质量更好的去雾处理效果图像；所述改进的颜色衰减先验方法是通过改变大气光值a的取值，以及对景深图进行约束获得；s2，将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性提升操作，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；s3，将步骤s1处理后的测试图像输入到训练好的aod-net去雾网络，实现图像去雾。2.如权利要求1所述的一种改进颜色衰减先验并结合aod-net的图像去雾方法，其特征在于：perceptual loss的计算公式如下；x是真实图片，y是生成图片，f
i
(x)和f
i
(y)分别表示在神经网络即vgg16或者vgg19中的第i层的特征表示，n是特征层数。3.如权利要求1所述的一种改进颜色衰减先验并结合aod-net的图像去雾方法，其特征在于：步骤s1中改进的颜色衰减先验方法如下：(1)改进大气光值a在原方法中，通过对获得的景深图进行像素值最小滤波排序，选取前p％的像素最大值将其对应至有雾图像相应位置，该位置三通道的最大值作为算法的大气光值a，由于在计算景深图的过程中会出现误差，继续使用具有误差的景深图进行计算会造成误差积累，因此直接对有雾图像三通道分别进行最小滤波排序，之后选取三通道中的最大像素值作为大气光值a的估计值；(2)改进的景深图通过对求得的景深图进行一个上下文正则化的约束，消除由于像素边缘跳跃引发的伪影问题，从而增强图像的去雾处理效果。4.如权利要求3所述的一种改进颜色衰减先验并结合aod-net的图像去雾方法，其特征在于：改进的景深图的具体实现方式如下；景深图d(x)用于反映每个像素点的深度信息，不同像素值代表不同的深度值，因此在对透射率图的估计上，不通过原方法简单的限制图像透射率图t(x)的范围为0.1-0.9，而是根据景深图可以反映像素点深度的特点对景深图采取上下文正则化的方式，通过使用公式(2)进行约束：w(x,y)|d(x)-d(y)|(2)其中，x，y是景深图中相邻的两个像素点，w(x,y)作为权重函数，计算公式如(3)所示：其中d(x)，d(y)是相邻的景深图像素值，
ɑ
为规定参数，将约束集成到整个图像域则会对图像景深图形成上下文正则化约束：
其中ω为图像域，w
x
为像素点x的加权矩阵，即像素点x与周围邻域像素点间的权重值组成的权重矩阵；由于像素值为离散分布，因此进一步将式(4)进行离散化为(5)：其中i是图像像素点的索引集，对应式(3)的ω，i，j表示图像像素点的坐标，w
i
为像素点i的加权矩阵，w
ij
是w(x,y)的离散版本，d
i
和d
j
分别为d(x)与d(y)的离散版本；对图像像素值做差值计算即相当于作微分计算，直接引入prewitt滤波算子对景深图像素位置的影响做加权处理即做卷积运算，在降低边缘模糊度的同时实现边缘提取，并通过快速卷积函数对算法进行加速，此时计算公式为(6)：其中。代表逐元素的乘法运算符，代表卷积运算符，d
j
是一阶微分算子，w
j
是一个加权矩阵；为了使得求得的景深图更加准确，将问题转化为求公式(7)的最优解，即求公式(7)的最小值：其中d为颜色衰减先验所求的景深图，为patch-wise级传输图所计算得到的patch-wise级景深图，第一部分数据项，用来度量d(x)对边界约束映射导出的补丁级景深图的保真度，第二部分为对d(x)的上下文约束进行建模，λ是平衡这两个项的正则化参数；为了求解(7)的最小值，使用半二次分裂的方法引入辅助变量u
j
并将公式(7)转换为新的代价函数如(8)所示：其中β是一个权重，通过半二次分裂方法，求得u
j
为(9)所示：其中sign()为符号函数，将u
j
固定通过最小化以下函数来找到最优d：式(3)-(14)为d的二次函数，因此满足(11)：其中表示通过围绕中心像素对d
j
进行镜像而获得的过滤器，对上述方程应用二维fft并假设圆形边界条件，此时所得优化后的景深图为：
其中，f表示fft运算，表示取平均值。5.如权利要求4所述的一种改进颜色衰减先验并结合aod-net的图像去雾方法，其特征在于：patch-wise级传输图其中i
c
,a
c
是i和a的彩色通道值，和分别是清晰图j(x)的上下限，直接采用图像像素点可能的最大最小值[0,0,0]和[255,255,255]。6.一种改进颜色衰减先验并结合aod-net的图像去雾系统，其特征在于，包括如下模块：图像去雾处理模块，利用改进的颜色衰减先验对图像进行预处理，去除图像伪影，获得质量更好的去雾处理效果图像；所述改进的颜色衰减先验方法是通过改变大气光值a的取值，以及对景深图进行约束获得；图像优化模块，将经过处理的图像作为aod-net去雾网络的输入进行图像质量优化和真实性提升操作，对aod-net网络所使用的损失监督函数进行改进，使用l1和perceptual loss相结合的损失监督函数；测试模块，将图像去雾处理模块处理后的测试图像输入到训练好的aod-net去雾网络，实现图像去雾。7.如权利要求6所述的一种改进颜色衰减先验并结合aod-net的图像去雾系统，其特征在于：perceptual loss的计算公式如下；x是真实图片，y是生成图片，f
i
(x)和f
i
(y)分别表示在神经网络即vgg16或者vgg19中的第i层的特征表示，n是特征层数。8.如权利要求6所述的一种改进颜色衰减先验并结合aod-net的图像去雾系统，其特征在于：图像去雾处理模块中改进的颜色衰减先验方法如下：(1)改进大气光值a在原方法中，通过对获得的景深图进行像素值最小滤波排序，选取前p％的像素最大值将其对应至有雾图像相应位置，该位置三通道的最大值作为算法的大气光值a，由于在计算景深图的过程中会出现误差，继续使用具有误差的景深图进行计算会造成误差积累，因此直接对有雾图像三通道分别进行最小滤波排序，之后选取三通道中的最大像素值作为大气光值a的估计值；(2)改进的景深图通过对求得的景深图进行一个上下文正则化的约束，消除由于像素边缘跳跃引发的伪影问题，从而增强图像的去雾处理效果。
9.如权利要求8所述的一种改进颜色衰减先验并结合aod-net的图像去雾系统，其特征在于：改进的景深图的具体实现方式如下；景深图d(x)用于反映每个像素点的深度信息，不同像素值代表不同的深度值，因此在对透射率图的估计上，不通过原方法简单的限制图像透射率图t(x)的范围为0.1-0.9，而是根据景深图可以反映像素点深度的特点对景深图采取上下文正则化的方式，通过使用公式(2)进行约束：w(x,y)|d(x)-d(y)|(2)其中，x，y是景深图中相邻的两个像素点，w(x,y)作为权重函数，计算公式如(3)所示：其中d(x)，d(y)是相邻的景深图像素值，
ɑ
为规定参数，将约束集成到整个图像域则会对图像景深图形成上下文正则化约束：其中ω为图像域，w
x
为像素点x的加权矩阵，即像素点x与周围邻域像素点间的权重值组成的权重矩阵；由于像素值为离散分布，因此进一步将式(4)进行离散化为(5)：其中i是图像像素点的索引集，对应式(3)的ω，i，j表示图像像素点的坐标，w
i
为像素点i的加权矩阵，w
ij
是w(x,y)的离散版本，d
i
和d
j
分别为d(x)与d(y)的离散版本；对图像像素值做差值计算即相当于作微分计算，直接引入prewitt滤波算子对景深图像素位置的影响做加权处理即做卷积运算，在降低边缘模糊度的同时实现边缘提取，并通过快速卷积函数对算法进行加速，此时计算公式为(6)：其中。代表逐元素的乘法运算符，代表卷积运算符，d
j
是一阶微分算子，w
j
是一个加权矩阵；为了使得求得的景深图更加准确，将问题转化为求公式(7)的最优解，即求公式(7)的最小值：其中d为颜色衰减先验所求的景深图，为patch-wise级传输图所计算得到的patch-wise级景深图，第一部分数据项，用来度量d(x)对边界约束映射导出的补丁级景深图的保真度，第二部分为对d(x)的上下文约束进行建模，λ是平衡这两个项的正则化参数；为了求解(7)的最小值，使用半二次分裂的方法引入辅助变量u
j
并将公式(7)转换为新的代价函数如(8)所示：
其中β是一个权重，通过半二次分裂方法，求得u
j
为(9)所示：其中sign()为符号函数，将u
j
固定通过最小化以下函数来找到最优d：式(3)-(14)为d的二次函数，因此满足(11)：其中表示通过围绕中心像素对d
j
进行镜像而获得的过滤器，对上述方程应用二维fft并假设圆形边界条件，此时所得优化后的景深图为：其中，f表示fft运算，表示取平均值。10.如权利要求9所述的一种改进颜色衰减先验并结合aod-net的图像去雾系统，其特征在于：patch-wise级传输图其中i
c
,a
c
是i和a的彩色通道值，和分别是清晰图j(x)的上下限，直接采用图像像素点可能的最大最小值[0,0,0]和[255,255,255]。

技术总结
本发明涉及图像增强领域，具体涉及一种改进颜色衰减先验并结合AOD-Net的图像去雾方法和系统，所述方法首先通过改进传统的颜色衰减去雾方法，对大气光值A和景深图d(x)的求取方法进行改进，利用改进后的方法对图像进行预处理，将处理后的图像作为AOD-Net网络的输入，利用神经网络去图像的质量提升作用，使用L1和perceptual loss相结合的损失监督函数作为网络的监督函数，使得去雾后的图像更符合人眼的视觉效果，最后将改进后的整个算法进行DSP移植，使得该算法具有实际的工程意义。本发明基于传统方法与深度神经网络，将传统方法进行预处理后的图像作为网络的输入，推升去雾效果，使得图像的去雾具有更实际的使用效果。使得图像的去雾具有更实际的使用效果。使得图像的去雾具有更实际的使用效果。


技术研发人员：易尧华 石金潮 梁堙凯 陈博伟 林立宇 刘全香
受保护的技术使用者：武汉大学
技术研发日：2023.04.19
技术公布日：2023/8/9