一种基于光照强度分类的低照度图像增强方法

1.本发明属于图像增强应用技术领域，涉及低照度图像，尤其涉及一种基于光照强度分类的低照度图像增强方法。


背景技术：

2.在图像处理领域，低照度图像增强作为一个重要基础任务，为后续图像分类、目标检测、图像分割、目标跟踪等高级图像任务奠定基础，已被广泛应用于军事、安防、交通等领域。
3.目前，低照度图像增强方式从模型结构可大致划分为基于底层图像的方法和基于机器学习的方法。低照度图像的特点就是图像亮度和对比度低，细节的辨识程度差，从这个角度分析，提升图像亮度最简单直接的方法就是使用函数调整图像亮度和对比度，例如幂函数、对数函数等。其中直方图均衡化作为最常见方法，通过拉伸图像的直方图的空间分布，提升部分像素的亮度值，增大图像对比度，研究人员通过加入各类限制如亮度限制、对比度限制、图像金字塔对直方图均衡化进行改进，现已广泛地使用到众多图像处理领域。
4.基于机器学习的方法大多通过编解码器架构进行实现，如lightennet将低光照图像作为输入和正常光照作为标签建立一一配对映射，随后用于获得基于retinex模型来增强图像。再如enlightengan通过gan构建一个低光照图像和正常光照图像之间的未配对映射，解决现有低光照增强方法过度依赖于成对数据的问题。
5.上述的方法虽然能解决低照度图像的亮度问题，但依然存在一些问题亟待解决。例如，基于底层图像的方法存在颜色失真、细节丢失等影响增强结果观感的现象，同时曝光不均匀也依然存在问题。基于机器学习的方法，通过有监督的方式，构建低照度图像与正常图像间的映射关系，这种方式数据跨度较大，只给出低照度图像和正常图像，缺乏渐进过程，容易产生过拟合问题。


技术实现要素：

6.本发明针对传统低照度图像增强所存在的技术问题，提出一种方法简单、操作方便且能够有效解决颜色失真、曝光不均匀、过拟合问题的一种基于光照强度分类的低照度图像增强方法。
7.为了达到上述目的，本发明采用的技术方案为：本发明提供一种基于光照强度分类的低照度图像增强方法，包括以下步骤：
8.a、首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像；
9.b、然后将获取的图像分为归集，并根据低照度程度对所获取的图像进行分类；
10.c、将图像集按照比例分配为训练集和测试集；
11.d、以扩散模型框架为基础，对其前向过程和反向过程进行改进，并融合不同层级间的特征构建低照度图像映射增强模型；
12.e、将训练集输入进低照度图像映射增强模型进行训练，待训练完成后输入测试集
进行验证，验证合格后即得到训练好的低照度图像映射增强模型；
13.最后，根据b步骤的分类结果，构建不同深度的图像增强模型。
14.作为优选，所述d步骤中，对扩散模型框架的前向过程的改进方案为：将低级别图像的标签标记为比该低级别图像高一级的标签。。
15.作为优选，所述d步骤中，对扩散模型框架的反向过程的改进方案为：层级间采用公开的deeplabv3+模型作为层级框架，融入repblock和深度可分离反卷积构建低照度图像间像素级的映射关系。
16.与现有技术相比，本发明的优点和积极效果在于：
17.本发明采用多段不同程度低照度场景下的图像作为数据集，可以获取不同程度下的低照度图像，以扩散模型框架为基础构建低照度图像映射增强模型，依据图像的低照度级别采用不同的模型结构，进而使增强效果更佳，解决传统方法存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。同时，该两阶段增强模型更具有普适性，更好的适应不同程度下的低照度图像修复增强。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为实施例提供的前向过程的改进图；
20.图2为实施例提供的反向过程的操作图；
21.图3为低照度图像增强模型训练过程图；
22.图4为n＝3时的低照度图像增强模型图。
具体实施方式
23.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
24.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
25.实施例，本实施例提供一种基于光照强度分类的低照度图像增强方法
26.首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像，在本实施例中，图像获取方式有两种，第一种，固定相机位置，拍摄不同光照下的固定场景，拍摄5种级别的光照强度，其主要是通过灯光的光照强度来获取。第二种方式是固定摄像头，拍摄不同时间段的固定场景，划分为5种级别。本实施例中，划分级别为人为的级别，当然，也可以划分为6种，4种，在本实施例中，采用人为划分为5种级别，进行举例解释。
27.然后将获取的图像归集，在本实施例中，图像集为u，包含正常光照的图像n，低照度的图像l共1至5种级别，x条图像数据。
28.即：u＝(n，l1，l2，l3，l4，l5)x
29.然后，将图像集u以8:2的比例方式划分为训练集和测试集。
30.将图像分类后，就需要构建不同类别的图像增强模型，考虑到低照度的地进行，同时，考虑到传统的图像增强无论什么级别的低照度统一用一个模型进行训练，这也是其存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题所在，为此，在本实施例中，提供一种分级的图像映射增强模型。在本实施例中，分级的图像映射增强模型根据级别设置多层图像映射增强模型来实现。
31.图像映射增强模型采用公开的扩散模型(ddpm)框架为基础，对其前向过程和反向过程进行改进。
32.其中，前向过程中，如图1从右到左虚线部分，采用获得的所有图像训练集构建，方框中不同灰度填充表示不同级别的低照度图像，l5的标签为l4，l4的标签为l3，l3的标签为l2，l2的标签为l1，l1的标签为n。
33.反向过程种如图1从左到右实线部分，层级间采用公开的deeplabv3+模型作为层级框架，融入repblock、深度可分离反卷积(deeply separable deconvolution，dsd)、通道空间注意模块(convolutional blockattention module，cbam)，命名为rdsd-deeplabv3+构建低照度图像间像素级的映射关系，如图2所示。
34.对rdsd-deeplabv3+模型进行详细介绍：
35.首先，采用repblock构建编码器(encode)，每个repblock对输入特征图进行2倍下采样，通过编码器将输入低照度图像的尺寸减小16倍，后送入aspp多分支模块聚集不用尺度的感受野，将多个分支通过拼接操作组合在一起，再通过一个1
×
1卷积将通道数调整为256，获得包含多尺度的高层语义特征图。
36.然后，构建编码器(decode)，采用2个深度可分离反卷积层对获取的高层语义特征图进行4倍上采样，并与第二个repblock层获取的浅层特征图对齐，后通过cancot进行特征连接，采用cbam获取通道和空间注意力，将高层语义特征图和浅层特征图有效融合。
37.最后，将融合后包含高层语义和浅层特征的特征图通过2个深度可分离反卷积层进行4倍上采样，获得最终低照度增强后的图像。
38.低照度图像增强模型训练过程如图3，训练阶段采用同一个rdsd-deeplabv3+模型，参数共享。将所有图像训练集送入低照度图像增强模型。学习率变化策略采用warmup，损失函数采用kl损失函数，如下公式，训练100个轮次，最终获得ln与l
n-1
之间的映射关系，得到训练好的低照度图像增强模型。
[0039][0040]
将所有图像测试集送入低照度图像增强模型，通过评估指标psnr和ssim，评判l
n-1
·
和l
n-1
区别，验证低照度图像增强模型的有效性，若有效，就依据分类等级n构建不同深度的图像增强模型，图4以n＝3为例，若以本实施例最低类别n＝5，则有5层低照度图像增强
模型，这样，通过对低照度图像进行分类，选择适合其类别的图像增强模型，这样，将整个图像的处理更加的细微化，有效避免了现有同一处理所导致的颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。
[0041]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

技术特征：
1.一种基于光照强度分类的低照度图像增强方法，其特征在于，a、首先获取同一场景在正常光照下的图像以及多副不同程度低照度下的图像；b、然后将获取的图像分为归集，并根据低照度程度对所获取的图像进行分类；c、将图像集按照比例分配为训练集和测试集；d、以扩散模型框架为基础，对其前向过程和反向过程进行改进，并融合不同层级间的特征构建低照度图像映射增强模型；e、将训练集输入进低照度图像映射增强模型进行训练，待训练完成后输入测试集进行验证，验证合格后即得到训练好的低照度图像映射增强模型；f、最后，根据b步骤的分类结果，构建不同深度的图像增强模型。2.根据权利要求1所述的基于光照强度分类的低照度图像增强方法，其特征在于，所述d步骤中，对扩散模型框架的前向过程的改进方案为：将低级别图像的标签标记为比该低级别图像高一级的标签。3.根据权利要求2所述的基于光照强度分类的低照度图像增强方法，其特征在于，所述d步骤中，对扩散模型框架的反向过程的改进方案为：层级间采用公开的deeplabv3+模型作为层级框架，融入repblock和深度可分离反卷积构建低照度图像间像素级的映射关系。

技术总结
本发明属于图像增强应用技术领域，涉及低照度图像，尤其涉及一种基于光照强度分类的低照度图像增强方法。本发明采用多段不同程度低照度场景下的图像作为数据集，可以获取不同程度下的低照度图像，以扩散模型框架为基础构建低照度图像映射增强模型，依据图像的低照度级别采用不同的模型结构，进而使增强效果更佳，解决传统方法存在颜色失真、细节丢失等影响增强结果观感的现象，曝光不均匀的问题和模型过拟合问题。同时，该两阶段增强模型更具有普适性，更好的适应不同程度下的低照度图像修复增强。强。强。


技术研发人员：赵志俊 谢明遵 董文轩 陈亮 肖丰霞
受保护的技术使用者：中兴协力（山东）数字科技集团有限公司 山东水利职业学院
技术研发日：2023.05.29
技术公布日：2023/8/14