一种基于自注意力机制的曝光融合阴影去除方法与流程

1.本发明属于智能交通领域，特别是涉及一种基于自注意力机制的曝光融合阴影去除方法。


背景技术：

2.阴影是一种广泛存在于自然图像中的现象，通常出现在光源被遮挡的地方，在日常生活中阴影是一个司空见惯的现象，人类从小到大身边都充满了阴影。人类研究习惯了阴影的存在，并且人类的视觉器官眼睛也能够很好的识别阴影和非阴影区域；但对于人来说，轻而易举的事情对于计算机来说却是一个非常难以处理的问题；在计算机进行计算机视觉任务中，图像中存在阴影是一个影响非常大的因素，阴影区域会丢失非常多的信息，例如亮度、纹理等；这对研究者进行计算机视觉研究是一个很大的干扰；
3.自然图像中出现的阴影会严重影响计算机处理视觉任务时候的精确度，图像中的阴影部分会让计算机对图像的信息进行处理和识别的时候出现差错；所以需要去除图像中存在的阴影，而需要完成这个任务，首先需要对阴影是如何形成以及阴影的构成有一个清楚的认识和理解。从人类的认知来讲，整个场景大概可以划分为两个区域，非阴影区域和阴影区域；其中自然环境中的阴影区域又可以被划分为三个部分：自影部分、本影部分以及半影部分；自影这个部分的形成是由于当光线遇到遮挡物后，由于遮挡物是不透明的，因为遮挡物自身遮挡光线的原因，在遮挡物在不面向光源的那一面上形成阴影；本影这一部分是由于光源发出的光线被遮挡物完全遮挡的时候在地面上产生的阴影；在本影这个区域中，阴影的强度是处处不会发生变化的，而半影这一部分是由于光源发出的光线仅被遮挡物遮挡了一部分的时候在地面上产生的影子，由于光线仅被遮挡了一部分，所以和本影不同；半影区域中的阴影强度是会发生变化的，按照一般的经验来说，随着半影的区域的位置越接近非阴影区域，半影区域的阴影强度会变得越来越弱；
4.在去除图像阴影的研究中，主要是针对本影和半影区域进行去除图像阴影的研究工作。以往对于图象阴影去除的研究，对于本影部分和靠近本影部分的半影区域的去除有着很好的去除效果。但是，对于靠近非阴影区域部分的半影区域去除阴影的效果就不尽如人意了。但是随着计算机硬件的迅猛发展，深度学习的方法得到了长足的进步，在去除图像阴影方面取得了很好的效果。


技术实现要素：

5.本发明提供了一种基于自注意力机制的曝光融合阴影去除方法，解决了背景技术中的问题。
6.为解决上述技术问题，本发明是通过以下技术方案实现的：
7.本发明的一种基于自注意力机制的曝光融合阴影去除方法，包括与如下步骤：
8.s1、曝光融合去除阴影，利用自动融合曝光的网络，将阴影图像和过度曝图像序列进行融合，获得无阴影的图；
9.s2、过度曝光序列的生成，利用阴影图像的通道加权来生成多个曝光的图像；
10.s3、阴影感知的融合网络，利用一个融合网络来融合生成的过曝光图像并生成无阴影图像由神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影去除；
11.s4、采用一个边界感知的图像分割模型refinenet来消除去除阴影后仍然残留的阴影痕迹；
12.s5、通过在残差网络resnet中的瓶颈层中添加注意力机制来让模型更加关注图像中的关键特征，提高所用模型的识别精度。
13.进一步地，所述s1步骤具体包括：
14.s11、利用转移函数将阴影图像is映射到其相对应的无阴影图像；
15.s12、利用图像的多重曝光来补偿图像中的阴影区域，使阴影区域也用于同非阴影区域相同的颜色和照度；
16.s13、利用公式估计出阴影图像的过曝光版本，将这些图像融合在一起，直接推理出所需的无阴影图像，由此可能将阴影区域恢复与非阴影区域一样，让阴影区域和费阴影区域和非阴影区域有一样的颜色和照度；
17.s14、利用自动融合曝光的网络，将阴影图像与过曝的阴影图像序列进行融合，获得无阴影的图像；
18.s15、利用阴影感知的融合网络，通过在输入图像的每个像素上生成融合权重来“智能的”融合图像的支架，以自适应地恢复阴影区域的颜色和照度。
19.进一步地，所述s2步骤具体包括：
20.s21、利用阴影图像的通道加权来生成多个曝光图像，s21、利用阴影图像的通道加权来生成多个曝光图像，通过估计曝光参数{αi}和{βi}来让生成过程中的过曝图像中的阴影区域与is中的无阴影区域具有相同的颜色，来实现消除图像阴影；
21.s22、训练一个深度神经网络dnn来适应性地估计曝光参数，将阴影图像is和阴影遮罩im作为输入；其中表示用于曝光参数的深度神经网络dnn；通过对αi和βi的简单插指来生成所有的曝光图像，假过度曝光序列的图像具有相似的颜色，只是有微小的区别；
22.s23、通过对阴影图像is的阴影遮罩区域以及阴影图像is的无阴影对应的区域执行最小二乘法来计算αi和βi，通过最小化的估计曝光参数和对应的真实地面的平均方差误差来优化估计曝光参数。
23.进一步地，所述s3步骤具体包括：
24.s31、给每个不同的像素分配不同的曝光度的权重来融合给出的公式如下：
[0025][0026]
其中，表示像素级卷积，即每一个像素由一个不被其它像素共享的内核来过滤；
[0027]
s32、训练一个卷积神经网络cnn来估计融合权重，该卷积神经网络cnn将以输入的带有阴影遮罩im的阴影图像作为指导；
[0028]
s33、训练的神经网络架构fusionnet能够理解阴影图像，神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影的去除。
[0029]
进一步地，所述s5步骤具体包括：
[0030]
s51、使用自注意力机制self-attention的基本原理进行解析：
[0031]
softmax(xx
t
)x(2)
[0032]
xx
t
表示一个方阵，该方阵里面保留了每一个向量和自己以及其它的向量进行内积运算之后保存的结果；
[0033]
s52、softmax的公式为：
[0034][0035]
softmax操作的意义其实就是进行归一化，自注意力机制self-attention机制的公式：
[0036][0037]
其中，q，k，v这三个矩阵的来源均为公式(3)中的矩阵x的乘积得来的，其本质都是对矩阵x的线性变换，来提升训练的模型的拟合能力。
[0038]
本发明相对于现有技术包括有以下有益效果：
[0039]
本发明研究提供了一种行之有效且具有创造性的去除阴影的方法，能够提升计算机视觉方面任务的检测精度并且能够为以后的相关研究提供参考价值，具有广泛的应用前景。
[0040]
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
[0041]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]
图1为自然环境中阴影的产生及构成的原理图；
[0043]
图2为道路违规检测图像阴影对系统的影响示意图；
[0044]
图3为使用阴影感知的神经网络架构fusionnet和边界感知的图像分割模型refinenet去除阴影的拟议框架图；
[0045]
图4为阴影感知融合网的插图；
[0046]
图5为边界感知的图像分割模型refinenet的原理图；
[0047]
图6为人类的注意力机制的原理图；
[0048]
图7为自注意力机制self-attention的结构图；
[0049]
图8为得到的q、k、v三个矩阵的运算过程图；
[0050]
图9为注意力机制添加示意图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0052]
如图1所示，展示了自然环境下阴影形成的原理及种类的划分，在光源照射下，遮挡物基于遮挡产生自影、本影、半影等，没有阴影的范围为非阴影区域；具体可见背景技术中的相关描述；
[0053]
如图2所示，展示了道路违规检测图像阴影对系统的影响示意图，由于计算机视觉识别在阴影判断和识别上不像人眼一样高机，所采集的图像阴影会对计算机系统产生识别和判断的影响；
[0054]
本发明的一种基于自注意力机制的曝光融合阴影去除方法，包括与如下步骤：
[0055]
s1、曝光融合去除阴影，利用自动融合曝光的网络，将阴影图像和过度曝图像序列进行融合，获得无阴影的图，如图3所示；
[0056]
s1步骤具体包括：
[0057]
s11、利用转移函数将阴影图像is映射到其相对应的无阴影图像；
[0058]
s12、利用图像的多重曝光来补偿图像中的阴影区域，使阴影区域也用于同非阴影区域相同的颜色和照度；
[0059]
s13、利用公式估计出阴影图像的过曝光版本，将这些图像融合在一起，直接推理出所需的无阴影图像，由此可能将阴影区域恢复与非阴影区域一样，让阴影区域和费阴影区域和非阴影区域有一样的颜色和照度；
[0060]
s14、利用自动融合曝光的网络，将阴影图像与过曝的阴影图像序列进行融合，获得无阴影的图像；
[0061]
s15、利用阴影感知的融合网络，通过在输入图像的每个像素上生成融合权重来“智能的”融合图像的支架，以自适应地恢复阴影区域的颜色和照度；
[0062]
s2、过度曝光序列的生成，利用阴影图像的通道加权来生成多个曝光的图像；
[0063]
s2步骤具体包括：
[0064]
s21、利用阴影图像的通道加权来生成多个曝光图像，s21、利用阴影图像的通道加权来生成多个曝光图像，通过估计曝光参数{αi}和{βi}来让生成过程中的过曝图像中的阴影区域与is中的无阴影区域具有相同的颜色，来实现消除图像阴影；
[0065]
s22、训练一个深度神经网络dnn来适应性地估计曝光参数，将阴影图像is和阴影遮罩im作为输入；其中表示用于曝光参数的深度神经网络dnn；通过对αi和βi的简单插指来生成所有的曝光图像，假过度曝光序列的图像具有相似的颜色，只是有微小的区别；例如,只是有微小的区别；例如,其中表示用于暴露参数估计的深度神经网络dnn。其次，通过对和进行简单的插值来生成所有的曝光图像，假设过度曝光序列的图像具有相似的颜色，只不过有微小的区别；
[0066]
s23、通过对阴影图像is的阴影遮罩区域以及阴影图像is的无阴影对应的区域执行最小二乘法来计算αi和βi，即通过对阴影图像的阴影遮罩区域以及阴影图像的无阴影对应区域执行了最小二乘法来计算通过最小化的估计曝光参数和对应的真实地面的平均方差误差来优化估计曝光参数；
[0067]
s3、阴影感知的融合网络，利用一个融合网络来融合生成的过曝光图像并生成无阴影图像由神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影去除，如图4所示；
[0068]
s3步骤具体包括：
[0069]
s31、给每个不同的像素分配不同的曝光度的权重来融合给出的公式如下：
[0070][0071]
其中，表示像素级卷积，即每一个像素由一个不被其它像素共享的内核来过滤；
[0072]
s32、训练一个卷积神经网络cnn来估计融合权重，该卷积神经网络cnn将以输入的带有阴影遮罩im的阴影图像作为指导；
[0073]
s33、训练的神经网络架构fusionnet能够理解阴影图像，神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影的去除；
[0074]
s4、采用一个边界感知的图像分割模型refinenet来消除去除阴影后仍然残留的阴影痕迹；如图5所示；
[0075]
s5、通过在残差网络resnet中的瓶颈层中添加注意力机制来让模型更加关注图像中的关键特征，提高所用模型的识别精度；如图9所示；
[0076]
s5步骤具体包括：
[0077]
s51、使用自注意力机制self-attention的基本原理进行解析：
[0078]
softmax(xx
t
)x(2)
[0079]
xx
t
表示一个方阵，该方阵里面保留了每一个向量和自己以及其它的向量进行内积运算之后保存的结果；其中，图6为人类的注意力机制的原理图；图7为自注意力机制self-attention的结构图；
[0080]
s52、softmax的公式为：
[0081][0082]
softmax操作的意义其实就是进行归一化，自注意力机制self-attention机制的公式：
[0083][0084]
如图8所示，其中，q，k，v这三个矩阵的来源均为公式(3)中的矩阵x的乘积得来的，其本质都是对矩阵x的线性变换，来提升训练的模型的拟合能力。
[0085]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，
可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

技术特征：
1.一种基于自注意力机制的曝光融合阴影去除方法，其特征在于，包括与如下步骤：s1、曝光融合去除阴影，利用自动融合曝光的网络，将阴影图像和过度曝图像序列进行融合，获得无阴影的图；s2、过度曝光序列的生成，利用阴影图像的通道加权来生成多个曝光的图像；s3、阴影感知的融合网络，利用一个融合网络来融合生成的过曝光图像并生成无阴影图像由神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影去除；s4、采用一个边界感知的图像分割模型refinenet来消除去除阴影后仍然残留的阴影痕迹；s5、通过在残差网络resnet中的瓶颈层中添加注意力机制来让模型更加关注图像中的关键特征，提高所用模型的识别精度。2.根据权利要求1所述的一种基于自注意力机制的曝光融合阴影去除方法，其特征在于，所述s1步骤具体包括：s11、利用转移函数将阴影图像i
s
映射到其相对应的无阴影图像；s12、利用图像的多重曝光来补偿图像中的阴影区域，使阴影区域也用于同非阴影区域相同的颜色和照度；s13、利用公式估计出阴影图像的过曝光版本，将这些图像融合在一起，直接推理出所需的无阴影图像，由此可能将阴影区域恢复与非阴影区域一样，让阴影区域和费阴影区域和非阴影区域有一样的颜色和照度；s14、利用自动融合曝光的网络，将阴影图像与过曝的阴影图像序列进行融合，获得无阴影的图像；s15、利用阴影感知的融合网络，通过在输入图像的每个像素上生成融合权重来“智能的”融合图像的支架，以自适应地恢复阴影区域的颜色和照度。3.根据权利要求1所述的一种基于自注意力机制的曝光融合阴影去除方法，其特征在于，所述s2步骤具体包括：s21、利用阴影图像的通道加权来生成多个曝光图像，s21、利用阴影图像的通道加权来生成多个曝光图像，通过估计曝光参数{αi+和{βi+来让生成过程中的过曝图像中的阴影区域与i
s
中的无阴影区域具有相同的颜色，来实现消除图像阴影；s22、训练一个深度神经网络dnn来适应性地估计曝光参数，将阴影图像i
s
和阴影遮罩i
m
作为输入；其中表示用于曝光参数的深度神经网络dnn；通过对αi和βi的简单插指来生成所有的曝光图像，假过度曝光序列的图像具有相似的颜色，只是有微小的区别；s23、通过对阴影图像i
s
的阴影遮罩区域以及阴影图像i
s
的无阴影对应的区域执行最小二乘法来计算αi和βi，通过最小化的估计曝光参数和对应的真实地面的平均方差误差来优化估计曝光参数。4.根据权利要求1所述的一种基于自注意力机制的曝光融合阴影去除方法，其特征在
于，所述s3步骤具体包括：s31、给每个不同的像素分配不同的曝光度的权重来融合给出的公式如下：其中，表示像素级卷积，即每一个像素由一个不被其它像素共享的内核来过滤；s32、训练一个卷积神经网络cnn来估计融合权重，该卷积神经网络cnn将以输入的带有阴影遮罩i
m
的阴影图像作为指导；s33、训练的神经网络架构fusionnet能够理解阴影图像，神经网络架构fusionnet通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影的去除。5.根据权利要求1所述的一种基于自注意力机制的曝光融合阴影去除方法，其特征在于，所述s5步骤具体包括：s51、使用自注意力机制self-attention的基本原理进行解析：softmax(xx
t
)x
ꢀꢀꢀꢀ
(2)xx
t
表示一个方阵，该方阵里面保留了每一个向量和自己以及其它的向量进行内积运算之后保存的结果；s52、softmax的公式为：softmax操作的意义其实就是进行归一化，自注意力机制self-attention机制的公式：其中，q，k，v这三个矩阵的来源均为公式(3)中的矩阵x的乘积得来的，其本质都是对矩阵x的线性变换，来提升训练的模型的拟合能力。

技术总结
本发明公开了一种基于自注意力机制的曝光融合阴影去除方法，包括：曝光融合去除阴影，利用自动融合曝光的网络，将阴影图像和过度曝图像序列进行融合，获得无阴影的图；过度曝光序列的生成，利用阴影图像的通道加权来生成多个曝光的图像；阴影感知的融合网络，融合生成的过曝光图像，并生成无阴影图像，由神经网络架构通过智能的选择每个特定位置的过渡曝光像素来实现图像的阴影去除；采用一个边界感知的图像分割模型来消除去除阴影后仍然残留的阴影痕迹；通过添加注意力机制来让模型更加关注图像中的关键特征，提高所用模型的识别精度。本发明能够提升计算机视觉方面任务的检测精度并且能够为以后的相关研究提供参考价值，具有广泛的应用前景。具有广泛的应用前景。具有广泛的应用前景。


技术研发人员：刘令君 李玉生 曾武
受保护的技术使用者：江西方兴科技股份有限公司
技术研发日：2023.07.11
技术公布日：2023/10/15