一种基于半监督知识蒸馏的单幅图像去雾方法

1.本发明属于图像去雾处理技术领域，具体涉及一种基于半监督知识蒸馏的单幅图像去雾方法。


背景技术：

2.随着数字化时代的到来，图像已成为人类生产活动中的重要信息载体。为满足雾霾天气条件下智能视频监控系统图像质量以及目标检测、语义分割等高层计算机视觉任务的需要，开展图像去雾方法研究逐渐成为计算机视觉领域的重要方向。
3.目前，图像去雾方法大致可分为基于图像增强的去雾方法、基于先验信息的去雾方法和基于深度学习的去雾方法三类。基于图像增强的去雾方法不考虑雾天图像的退化机理，将雾霾作为噪声，利用常规的图像处理来调节图像的灰度等级，从而增加图像的对比度并生成去雾图像。基于先验信息的去雾方法以图像本身为研究对象，通过对无雾图像的颜色、饱和度等信息进行观察和分析，人为制定先验信息来对大气散射模型进行约束，进而求得大气散射模型的未知参数并恢复无雾图像。近年来，随着深度学习的迅速发展和显卡在矩阵计算方面的优异表现，深度学习被广泛应用于计算机视觉任务当中。在图像去雾领域，研究者们深入研究相关工作并提出大量方法，通过深度神经网络的强大特征提取能力来生成去雾图像。相比于上述两类方法，基于深度学习的去雾方法采用知识驱动的方式直接或间接地生成去雾图像，能够有效缓解利用人为先验信息去雾而造成的的伪影、颜色失真等问题。此类方法需要大量匹配的真实有雾图像及其相应的无雾图像作为训练数据集来对网络进行训练。然而在现实世界中，真实有雾训练数据集的收集极其困难且需消耗大量的人力物力，因而基于深度学习的去雾方法大多在合成有雾数据集上进行有监督训练。此外，由于真实有雾图像和合成有雾图像上的雾霾分布存在一定差异，因此此类方法的鲁棒性较差，在真实有雾图像上的去雾效果不够理想。
4.因此，现如今缺少一种设计合理的基于半监督知识蒸馏的单幅图像去雾方法，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。


技术实现要素：

5.本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于半监督知识蒸馏的单幅图像去雾方法，其方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
6.为解决上述技术问题，本发明采用的技术方案是：一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：
7.步骤一、训练集图像的获取：
8.步骤101、从雾天图像数据库reside中的室内训练集中选择训练集；其中，训练集
包括合成有雾图像is和与所述合成有雾图像对应的无雾训练图像js；
9.步骤102、从雾天图像数据库urhi中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像ir，且真实有雾图像ir、合成有雾图像is、无雾训练图像js的数量均相同且均为n；
10.步骤二、图像去雾半监督网络模型的建立：
11.采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积conv+relu激活函数层，4个基于pa和ca的特征提取块，第一卷积+tanh激活函数层；
12.步骤三、合成有雾图像和真实有雾图像的特征提取：
13.步骤301、采用计算机将合成有雾图像is经过图像去雾半监督网络模型进行特征提取，具体过程如下：
14.步骤3011、采用计算机将合成有雾图像is输入图像去雾半监督网络模型中，并经过第一卷积conv+relu激活函数层进行特征提取，得到特征图f
in
；
15.步骤3012、采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第一特征图；
16.步骤3013、采用计算机将第一特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到有监督的去雾图像
17.步骤302、采用计算机将真实有雾图像ir经过图像去雾半监督网络模型进行特征提取，具体过程如下：
18.步骤3021、采用计算机将真实有雾图像ir输入图像去雾半监督网络模型中，并经过第一卷积conv+relu激活函数层进行特征提取，得到无监督特征图f
in
′
；
19.步骤3022、采用计算机将无监督特征图f
in
′
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图；
20.步骤3023、采用计算机将第二特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到无监督的真实去雾图像
21.步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像ir处理，得到第一去雾图像j
dcp
；采用计算机利用refinednet网络模型对真实有雾图像ir处理，得到第二去雾图像j
dist
；
22.步骤四、监督损失函数和无监督损失函数的建立：
23.步骤401、采用计算机根据ls＝l
1-0.5l
ssim
，得到监督损失函数ls；其中，代表有监督的去雾图像和其相对应的无雾图像js之间的曼哈顿距离，代表有监督的去雾图像和其相对应的无雾图像js之间的ssim损失；
24.步骤402、采用计算机根据lu＝l
dcp
+l
dist
，得到无监督损失函数lu；其中，代表无监督的真实去雾图像和第一去雾图像j
dcp
之间的曼哈顿距离，
代表无监督的真实去雾图像和第二去雾图像j
dist
之间的曼哈顿距离；
25.步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：
26.步骤501、计算机采用adam优化算法，利用监督损失函数ls和无监督损失函数lu分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
27.步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；
28.步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：
29.采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。
30.上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤二中所述第一卷积conv+relu激活函数层包括conv1卷积层和relu激活函数层，所述第一卷积+tanh激活函数层包括conv2卷积层和tanh激活函数层，conv1卷积层和conv2卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；
31.4个基于pa和ca的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、conv3卷积层以及pa和ca模块，所述pa和ca模块包括自适应池化层、conv4卷积层、conv5卷积层和conv6卷积层；
32.第一卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3
×
3，滑动步长为1，padding为1；
33.第二卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5
×
5，滑动步长为1，padding为2；
34.第三卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7
×
7，滑动步长为1，padding为3；
35.conv3卷积层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0；
36.conv4卷积层中卷积核的数量为32，conv4卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0；
37.conv5卷积层中卷积核的数量为1，conv5卷积层中卷积核的大小为3
×
3，滑动步长为1，padding为1；
38.conv6卷积层中卷积核的数量为32，conv6卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0。
39.上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤3012中采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取得到第一特征图，具体过程如下：
40.步骤a、采用计算机将特征图f
in
经过第一个基于pa和ca的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图f1；
41.步骤b、采用计算机调用拼接cat函数模块将特征图f
in
和第一中间特征图f1拼接，得到第二中间特征图f2；
42.步骤c、采用计算机将第二中间特征图f2经过第一个基于pa和ca的特征提取块中
第二卷积池化层进行特征提取，得到第三中间特征图f3；
43.步骤d、采用计算机调用拼接cat函数模块将第二中间特征图f2和第三中间特征图f3拼接，得到第四中间特征图f4；
44.步骤e、采用计算机将第四中间特征图f4经过第一个基于pa和ca的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图f5；
45.步骤f、采用计算机调用拼接cat函数模块将第四中间特征图f4和第五中间特征图f5拼接，得到第六中间特征图f6；
46.步骤g、采用计算机将第六中间特征图f6经过第一个基于pa和ca的特征提取块中conv3卷积层进行特征提取，得到第七中间特征图f7；
47.步骤h、采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图；
48.步骤i、按照步骤a至步骤h所述的方法，采用计算机将第一输出特征图经过第二个基于pa和ca的特征提取块进行特征提取，得到第二输出特征图；
49.步骤j、按照步骤a至步骤h所述的方法，采用计算机将第二输出特征图经过第三个基于pa和ca的特征提取块进行特征提取，得到第三输出特征图；
50.步骤k、按照步骤a至步骤h所述的方法，采用计算机将第三输出特征图经过第四个基于pa和ca的特征提取块进行特征提取，得到第一特征图；
51.步骤3022中采用计算机将无监督特征图f
′
in
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图，具体如下：
52.按照步骤a至步骤k所述的方法，对无监督特征图f
′
in
进行特征提取，得到第二特征图。
53.上述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤h中采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图，具体过程如下：
54.步骤h01、采用计算机将第七中间特征图f7输入pa和ca模块中自适应池化层和conv4卷积层经过特征提取，得到第八中间特征图f8；其中，自适应池化层output_size为1；
55.步骤h02、采用计算机根据得到第九中间特征图f9；其中，表示特征图矩阵之间的哈达玛积运算；
56.步骤h03、采用计算机将第九中间特征图f9输入conv5卷积层经过特征提取，得到第十中间特征图f
10
；
57.步骤h04、采用计算机根据得到第十一中间特征图f
11
；其中，表示特征图矩阵之间的哈达玛积运算；
58.步骤h05、采用计算机将第十一中间特征图f
11
输入conv6卷积层经过特征提取，得到第一输出特征图f
out
。
59.本发明与现有技术相比具有以下优点：
60.1、本发明方法步骤简单，设计合理，首先是训练集图像的获取；其次是图像去雾半监督网络模型的建立，接着是合成有雾图像和真实有雾图像的特征提取，之后是监督损失函数和无监督损失函数的建立，然后是合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练，最后利用训练好的图像去雾半监督网络模型对单幅图像去雾，提高图像去
雾效果，且鲁棒性好。
61.2、本发明图像去雾半监督网络模型中包括第一卷积conv+relu激活函数层，4个基于pa和ca的特征提取块，第一卷积+tanh激活函数层，不仅能融合所有特征，而且能自适应地学习不同层次特征信息，又具有较强的泛化能力。
62.3、本发明减少了对训练数据集的依赖，并且在训练过程中利用了真实有雾图像包含的信息来增强方法对真实有雾图像的去雾能力。
63.4、本发明在真实有雾数据集中，通过知识蒸馏的方式将refinednet模型中所蕴含的知识进行迁移，同时引入暗通道先验去雾算法对真实有雾图像信息的利用，从而改善其去雾效果。
64.5、本发明结合了监督学习和无监督学习的优势，在防止网络过拟合的同时能够有效地增强训练后网络的鲁棒性及泛化能力。
65.综上所述，本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
66.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
67.图1为本发明的方法流程框图。
68.图2-1为本发明有监督训练的结构示意图。
69.图2-2为本发明无监督训练的结构示意图。
70.图3为本发明一个基于pa和ca的特征提取块的结构示意图。
具体实施方式
71.如图1至图3所示，本发明的一种基于半监督知识蒸馏的单幅图像去雾方法，包括以下步骤：
72.步骤一、训练集图像的获取：
73.步骤101、从雾天图像数据库reside中的室内训练集中选择训练集；其中，训练集包括合成有雾图像is和与所述合成有雾图像对应的无雾训练图像js；
74.步骤102、从雾天图像数据库urhi中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像ir，且真实有雾图像ir、合成有雾图像is、无雾训练图像js的数量均相同且均为n；
75.步骤二、图像去雾半监督网络模型的建立：
76.采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积conv+relu激活函数层，4个基于pa和ca的特征提取块，第一卷积+tanh激活函数层；
77.步骤三、合成有雾图像和真实有雾图像的特征提取：
78.步骤301、采用计算机将合成有雾图像is经过图像去雾半监督网络模型进行特征提取，具体过程如下：
79.步骤3011、采用计算机将合成有雾图像is输入图像去雾半监督网络模型中，并经
过第一卷积conv+relu激活函数层进行特征提取，得到特征图f
in
；
80.步骤3012、采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第一特征图；
81.步骤3013、采用计算机将第一特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到有监督的去雾图像
82.步骤302、采用计算机将真实有雾图像ir经过图像去雾半监督网络模型进行特征提取，具体过程如下：
83.步骤3021、采用计算机将真实有雾图像ir输入图像去雾半监督网络模型中，并经过第一卷积conv+relu激活函数层进行特征提取，得到无监督特征图f
in
′
；
84.步骤3022、采用计算机将无监督特征图f
in
′
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图；
85.步骤3023、采用计算机将第二特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到无监督的真实去雾图像
86.步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像ir处理，得到第一去雾图像j
dcp
；采用计算机利用refinednet网络模型对真实有雾图像ir处理，得到第二去雾图像j
dist
；
87.步骤四、监督损失函数和无监督损失函数的建立：
88.步骤401、采用计算机根据ls＝l
1-0.5l
ssim
，得到监督损失函数ls；其中，代表有监督的去雾图像和其相对应的无雾图像js之间的曼哈顿距离，代表有监督的去雾图像和其相对应的无雾图像js之间的ssim损失；
89.步骤402、采用计算机根据lu＝l
dcp
+l
dist
，得到无监督损失函数lu；其中，代表无监督的真实去雾图像和第一去雾图像j
dcp
之间的曼哈顿距离，代表无监督的真实去雾图像和第二去雾图像j
dist
之间的曼哈顿距离；
90.步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：
91.步骤501、计算机采用adam优化算法，利用监督损失函数ls和无监督损失函数lu分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；
92.步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；
93.步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：
94.采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。
95.本实施例中，步骤二中所述第一卷积conv+relu激活函数层包括conv1卷积层和relu激活函数层，所述第一卷积+tanh激活函数层包括conv2卷积层和tanh激活函数层，
conv1卷积层和conv2卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；
96.4个基于pa和ca的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、conv3卷积层以及pa和ca模块，所述pa和ca模块包括自适应池化层、conv4卷积层、conv5卷积层和conv6卷积层；
97.第一卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3
×
3，滑动步长为1，padding为1；
98.第二卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5
×
5，滑动步长为1，padding为2；
99.第三卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7
×
7，滑动步长为1，padding为3；
100.conv3卷积层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0；
101.conv4卷积层中卷积核的数量为32，conv4卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0；
102.conv5卷积层中卷积核的数量为1，conv5卷积层中卷积核的大小为3
×
3，滑动步长为1，padding为1；
103.conv6卷积层中卷积核的数量为32，conv6卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0。
104.本实施例中，步骤3012中采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取得到第一特征图，具体过程如下：
105.步骤a、采用计算机将特征图f
in
经过第一个基于pa和ca的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图f1；
106.步骤b、采用计算机调用拼接cat函数模块将特征图f
in
和第一中间特征图f1拼接，得到第二中间特征图f2；
107.步骤c、采用计算机将第二中间特征图f2经过第一个基于pa和ca的特征提取块中第二卷积池化层进行特征提取，得到第三中间特征图f3；
108.步骤d、采用计算机调用拼接cat函数模块将第二中间特征图f2和第三中间特征图f3拼接，得到第四中间特征图f4；
109.步骤e、采用计算机将第四中间特征图f4经过第一个基于pa和ca的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图f5；
110.步骤f、采用计算机调用拼接cat函数模块将第四中间特征图f4和第五中间特征图f5拼接，得到第六中间特征图f6；
111.步骤g、采用计算机将第六中间特征图f6经过第一个基于pa和ca的特征提取块中conv3卷积层进行特征提取，得到第七中间特征图f7；
112.步骤h、采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图；
113.步骤i、按照步骤a至步骤h所述的方法，采用计算机将第一输出特征图经过第二个基于pa和ca的特征提取块进行特征提取，得到第二输出特征图；
114.步骤j、按照步骤a至步骤h所述的方法，采用计算机将第二输出特征图经过第三个基于pa和ca的特征提取块进行特征提取，得到第三输出特征图；
115.步骤k、按照步骤a至步骤h所述的方法，采用计算机将第三输出特征图经过第四个基于pa和ca的特征提取块进行特征提取，得到第一特征图；
116.步骤3022中采用计算机将无监督特征图f
in
′
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图，具体如下：
117.按照步骤a至步骤k所述的方法，对无监督特征图f
in
′
进行特征提取，得到第二特征图。
118.本实施例中，步骤h中采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图，具体过程如下：
119.步骤h01、采用计算机将第七中间特征图f7输入pa和ca模块中自适应池化层和conv4卷积层经过特征提取，得到第八中间特征图f8；其中，自适应池化层output_size为1；
120.步骤h02、采用计算机根据得到第九中间特征图f9；其中，表示特征图矩阵之间的哈达玛积运算；
121.步骤h03、采用计算机将第九中间特征图f9输入conv5卷积层经过特征提取，得到第十中间特征图f
10
；
122.步骤h04、采用计算机根据得到第十一中间特征图f
11
；其中，表示特征图矩阵之间的哈达玛积运算；
123.步骤h05、采用计算机将第十一中间特征图f
11
输入conv6卷积层经过特征提取，得到第一输出特征图f
out
。
124.本实施例中，所述合成有雾图像is、无雾训练图像js、真实有雾图像ir的数量均相同且均为n，且n为2093。
125.本实施例中，需要说明的是，pa模块即空间注意力机制模块，ca模块即通道注意力机制模块。
126.本实施例中，需要说明的是，adam优化算法即adaptive momentum优化算法。
127.本实施例中，需要说明的是，实际使用时，是指图像矩阵之间的哈达玛积，例如设定矩阵a中的第i行第j列元素为aij，矩阵b中第i行第j列元素为bij，则则c中第i行第j列元素为cij＝aij
×
bij，且a、b和c是同阶矩阵。
128.本实施例中，需要说明的是，步骤502中迭代训练预设次数为30。
129.本实施例中，特征图的大小用通道数
×
长
×
宽表示。
130.本实施例中，真实有雾图像ir、合成有雾图像is、无雾训练图像js的均为三通道的rgb彩色图像，即3
×
256
×
256。
131.本实施例中，特征图f
in
的大小为256
×
256，特征图f
in
的通道数为32；无监督特征图f
in
′
的大小为256
×
256，无监督特征图f
in
′
的通道数为32。
132.本实施例中，第一中间特征图f1的大小为32
×
256
×
256；第二中间特征图f2的大小为64
×
256
×
256；第三中间特征图f3的大小为32
×
256
×
256；第四中间特征图f4的大小为96
×
256
×
256；第五中间特征图f5的大小为32
×
256
×
256；第六中间特征图f6的大小为128
×
256
×
256；第七中间特征图f7的大小为32
×
256
×
256；第八中间特征图f8的大小为32
×1×
1，第九中间特征图f9的大小为32
×
256
×
256；第十中间特征图f
10
的大小为1
×
256
×
256；第
十一中间特征图f
11
的大小为32
×
256
×
256；第一输出特征图f
out
的大小为32
×
256
×
256。
133.综上所述，本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。
134.以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

技术特征：
1.一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于，该方法包括以下步骤：步骤一、训练集图像的获取：步骤101、从雾天图像数据库reside中的室内训练集中选择训练集；其中，训练集包括合成有雾图像i
s
和与所述合成有雾图像对应的无雾训练图像j
s
；步骤102、从雾天图像数据库urhi中选择真实有雾数据训练集；其中，所述真实有雾数据训练集包括真实有雾图像i
r
，且真实有雾图像i
r
、合成有雾图像i
s
、无雾训练图像j
s
的数量均相同且均为n；步骤二、图像去雾半监督网络模型的建立：采用计算机建立图像去雾半监督网络模型；其中，所述图像去雾半监督网络模型包括第一卷积conv+relu激活函数层，4个基于pa和ca的特征提取块，第一卷积+tanh激活函数层；步骤三、合成有雾图像和真实有雾图像的特征提取：步骤301、采用计算机将合成有雾图像i
s
经过图像去雾半监督网络模型进行特征提取，具体过程如下：步骤3011、采用计算机将合成有雾图像i
s
输入图像去雾半监督网络模型中，并经过第一卷积conv+relu激活函数层进行特征提取，得到特征图f
in
；步骤3012、采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第一特征图；步骤3013、采用计算机将第一特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到有监督的去雾图像步骤302、采用计算机将真实有雾图像i
r
经过图像去雾半监督网络模型进行特征提取，具体过程如下：步骤3021、采用计算机将真实有雾图像i
r
输入图像去雾半监督网络模型中，并经过第一卷积conv+relu激活函数层进行特征提取，得到无监督特征图f
in
′
；步骤3022、采用计算机将无监督特征图f
in
′
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图；步骤3023、采用计算机将第二特征图经过进行第一卷积+tanh激活函数层进行特征提取，得到无监督的真实去雾图像步骤303、采用计算机利用暗通道先验去雾算法对真实有雾图像i
r
处理，得到第一去雾图像j
dcp
；采用计算机利用refinednet网络模型对真实有雾图像i
r
处理，得到第二去雾图像j
dist
；步骤四、监督损失函数和无监督损失函数的建立：步骤401、采用计算机根据l
s
＝l
1-0.5l
ssim
，得到监督损失函数l
s
；其中，代表有监督的去雾图像和其相对应的无雾图像j
s
之间的曼哈顿距离，代表有监督的去雾图像和其相对应的无雾图像j
s
之间的ssim损失；
步骤402、采用计算机根据l
u
＝l
dcp
+l
dist
，得到无监督损失函数l
u
；其中，代表无监督的真实去雾图像和第一去雾图像j
dcp
之间的曼哈顿距离，代表无监督的真实去雾图像和第二去雾图像j
dist
之间的曼哈顿距离；步骤五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练：步骤501、计算机采用adam优化算法，利用监督损失函数l
s
和无监督损失函数l
u
分别对图像去雾半监督网络模型进行迭代优化，直至训练集全部训练，完成一次迭代训练；步骤502、重复步骤501迭代训练直至满足迭代训练预设次数，得到训练好的图像去雾半监督网络模型；步骤六、利用训练好的图像去雾半监督网络模型对单幅图像去雾：采用计算机将任一张有雾图像输入训练好的图像去雾半监督网络模型中进行去雾处理，得到无雾图像。2.按照权利要求1所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤二中所述第一卷积conv+relu激活函数层包括conv1卷积层和relu激活函数层，所述第一卷积+tanh激活函数层包括conv2卷积层和tanh激活函数层，conv1卷积层和conv2卷积层中卷积核的数量为32，卷积核的大小为3
×
3，滑动步长为1，padding为1；4个基于pa和ca的特征提取块的结构且均包括第一卷积池化层、第二卷积池化层、第三卷积池化层、conv3卷积层以及pa和ca模块，所述pa和ca模块包括自适应池化层、conv4卷积层、conv5卷积层和conv6卷积层；第一卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第一卷积池化层中池化核的大小为3
×
3，滑动步长为1，padding为1；第二卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第二卷积池化层中池化核的大小为5
×
5，滑动步长为1，padding为2；第三卷积池化层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0，第三卷积池化层中池化核的大小为7
×
7，滑动步长为1，padding为3；conv3卷积层中卷积核的数量为32，卷积核的大小为1
×
1，滑动步长为1，padding为0；conv4卷积层中卷积核的数量为32，conv4卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0；conv5卷积层中卷积核的数量为1，conv5卷积层中卷积核的大小为3
×
3，滑动步长为1，padding为1；conv6卷积层中卷积核的数量为32，conv6卷积层中卷积核的大小为1
×
1，滑动步长为1，padding为0。3.按照权利要求2所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤3012中采用计算机将特征图f
in
依次经过4个基于pa和ca的特征提取块进行特征提取得到第一特征图，具体过程如下：步骤a、采用计算机将特征图f
in
经过第一个基于pa和ca的特征提取块中第一卷积池化层进行特征提取，得到第一中间特征图f1；步骤b、采用计算机调用拼接cat函数模块将特征图f
in
和第一中间特征图f1拼接，得到
第二中间特征图f2；步骤c、采用计算机将第二中间特征图f2经过第一个基于pa和ca的特征提取块中第二卷积池化层进行特征提取，得到第三中间特征图f3；步骤d、采用计算机调用拼接cat函数模块将第二中间特征图f2和第三中间特征图f3拼接，得到第四中间特征图f4；步骤e、采用计算机将第四中间特征图f4经过第一个基于pa和ca的特征提取块中第三卷积池化层进行特征提取，得到第五中间特征图f5；步骤f、采用计算机调用拼接cat函数模块将第四中间特征图f4和第五中间特征图f5拼接，得到第六中间特征图f6；步骤g、采用计算机将第六中间特征图f6经过第一个基于pa和ca的特征提取块中conv3卷积层进行特征提取，得到第七中间特征图f7；步骤h、采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图；步骤i、按照步骤a至步骤h所述的方法，采用计算机将第一输出特征图经过第二个基于pa和ca的特征提取块进行特征提取，得到第二输出特征图；步骤j、按照步骤a至步骤h所述的方法，采用计算机将第二输出特征图经过第三个基于pa和ca的特征提取块进行特征提取，得到第三输出特征图；步骤k、按照步骤a至步骤h所述的方法，采用计算机将第三输出特征图经过第四个基于pa和ca的特征提取块进行特征提取，得到第一特征图；步骤3022中采用计算机将无监督特征图f
′
in
依次经过4个基于pa和ca的特征提取块进行特征提取，得到第二特征图，具体如下：按照步骤a至步骤k所述的方法，对无监督特征图f
′
in
进行特征提取，得到第二特征图。4.按照权利要求3所述的一种基于半监督知识蒸馏的单幅图像去雾方法，其特征在于：步骤h中采用计算机将第七中间特征图f7经过第一个基于pa和ca的特征提取块中pa和ca模块进行特征提取，得到第一输出特征图，具体过程如下：步骤h01、采用计算机将第七中间特征图f7输入pa和ca模块中自适应池化层和conv4卷积层经过特征提取，得到第八中间特征图f8；其中，自适应池化层output_size为1；步骤h02、采用计算机根据得到第九中间特征图f9；其中，表示特征图矩阵之间的哈达玛积运算；步骤h03、采用计算机将第九中间特征图f9输入conv5卷积层经过特征提取，得到第十中间特征图f
10
；步骤h04、采用计算机根据得到第十一中间特征图f
11
；其中，表示特征图矩阵之间的哈达玛积运算；步骤h05、采用计算机将第十一中间特征图f
11
输入conv6卷积层经过特征提取，得到第一输出特征图f
out
。

技术总结
本发明公开了一种基于半监督知识蒸馏的单幅图像去雾方法，包括步骤：一、训练集图像的获取；二、图像去雾半监督网络模型的建立；三、合成有雾图像和真实有雾图像的特征提取；四、监督损失函数和无监督损失函数的建立；五、合成有雾图像和真实有雾图像对图像去雾半监督网络模型的训练；六、利用训练好的图像去雾半监督网络模型对单幅图像去雾。本发明方法步骤简单，设计合理，通过无监督训练和有监督训练，提高图像去雾效果，且半监督学习通过结合监督学习的拟合优势和无监督学习防止过拟合的优势，能够有效提高模型输出特征的分布并提高鲁棒性。棒性。棒性。


技术研发人员：兰云伟 崔智高 李爱华 苏延召 蔡艳平 李庆辉 钟啸
受保护的技术使用者：中国人民解放军火箭军工程大学
技术研发日：2023.04.10
技术公布日：2023/8/5