基于LDR图像的HDR场强计算方法、装置和存储介质与流程

基于ldr图像的hdr场强计算方法、装置和存储介质
技术领域
1.本发明涉及图像处理技术领域，具体为基于ldr图像的hdr场强计算方法、装置和存储介质。


背景技术：

2.混合现实技术（mr）是一种将现实世界场景和使用计算机技术渲染的虚拟图形效果相融合的技术，可以给人们提供一种虚拟对象真实存在于现实环境中的身临其境的视觉感受，其关键技术在于对虚拟物体进行真实感渲染以实现虚实融合的成像效果。其中，光照估计对于真实感渲染起着至关重要的作用，有助于计算出虚拟对象模型表面逼真的明暗分布和阴影效果。
3.目前，测量和计算环境照明的常规方法是借助辅助拍摄设备获取全方位高动态范围(hdr)环境光照辐射图，例如高分辨率hdr相机、镜面球和鱼眼镜头等。但是hdr设备通常比普通的低动态范围(ldr)设备昂贵且拍摄速度较慢，因此该方法不仅无法快速实时获取环境光照信息，而且成本高昂难以广泛应用。
4.另外一种方法则是基于ldr图像推测计算出hdr照明信息。该方法可借助普通ldr拍照设备，具有低成本且高效速度快的特点。然而ldr图像中观察到的每个像素强度都与相机成像过程和图像后处理有关，但这些过程的参数无法直接从ldr图像中直接获得，因此无法反推这些过程来预测真实世界的完整光照信息是当前的一个难点问题。
5.目前，传统的解决方法大多基于统计图像先验特征，例如边缘区域的颜色分布和图像噪声分布，但是获取此类信息既计算复杂又耗时。


技术实现要素：

6.为克服上述背景技术中ldr图像中观察到的每个像素强度都与相机成像过程和图像后处理有关，但这些过程的参数无法直接从ldr图像中直接获得，因此无法反推这些过程来预测真实世界的完整光照信息，目前，传统的解决方法大多基于统计图像先验特征，例如边缘区域的颜色分布和图像噪声分布，但是获取此类信息既计算复杂又耗时的缺点，本发明的目的在于提供一种基于ldr图像的hdr场强计算方法。
7.为了实现上述目的，本发明采用如下技术方案：本发明的第一方面，提供基于ldr图像的hdr场强计算方法,包括：获取包含场景全方位信息的ldr全景图像；将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域，将所述子光源区域合并为光源区域；将所述光源区域划分为若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域；将所述子真光源区域合并为真光源区域，对所述真光源进行分类，根据分类结果确定真光源类型；
基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算。
8.与现有技术相比，本发明的有益效果在于：通过从ldr全景图像中准确的区分出真光源区域，并对区分出的真光源进行分类，确定真光源的类型，以此来快速确定ldr全景图像中的环境光照信息，通过上述环境光照信息，基于ldr全景图像计算出hdr场景光强，整个方法流程能够满足实时光照估计的需求（大于30帧）。
9.在一些可能的实施方式中，将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域的具体方法如下：将所述ldr全景图像映射到等值黑视素勒克斯图像中，对映射后的ldr全景图像中的每一个第一光源检测区域进行判断：若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值大于eml值阈值，则判断该第一光源检测区域为子光源区域；若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值小于等于eml值阈值，则判断该第一光源检测区域为非光源区域。
10.在一些可能的实施方式中，将所述子光源区域合并为光源区域的具体方法如下：通过广度优先搜索计算不同子光源区域之间的距离，将符合距离阈值范围内的区域合并为光源区域。
11.在一些可能的实施方式中，将所述光源区域划分为若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域的具体方法如下：通过光照衰减模拟所述ldr全景图像中不同特性区域的曝光衰减过程，在所述ldr全景图像上计算不同曝光条件下的像素值i＇，像素值i＇的计算公式如下：其中，i表示光源区域像素的原始强度，i＇表示光源区域像素的归一化强度，σ表示用于模拟逆相机响应函数，λ∈(-1,0]表示ldr全景图像在曝光衰减过程中的衰减偏移值；通过不同曝光条件下的像素值i＇计算光源区域中每个第二光源检测区域的光照主方向来区分出属于光源像素的子真光源区域。
12.在一些可能的实施方式中，通过不同曝光条件下的像素值i＇计算光源区域中每个第二光源检测区域的光照主方向来区分出属于光源像素的子真光源区域的具体方法如下：将所述ldr全景图像上光源区域中的所有第二光源检测区域平均池化至2*2分辨率；将第m个第二光源检测区域衰减n次，得到全局衰减矩阵cm：；将全局衰减矩阵中的数据分布调整为矩阵；将矩阵dm中的数据投影至二维平面中，实现数据的降维：sm=p
·dm
，其中，sm表示构建二维平面的二维矩阵，sm垂直于向量l=[1,1,1,1]
t
,表示正交投影矩阵；计算第m个第二光源检测区域的光照分布方差rm，所述rm=m(t(sm))，其中，m表示标
准差计算函数，t表示奇异值计算函数，奇异值计算函数用于提取二维矩阵sm的主方向向量；若rm接近0，则说明该第二光源检测区域属于子真光源区域；若rm远离0，则说明该第二光源检测区域属于非光源区域。
[0013]
在一些可能的实施方式中，将所述子真光源区域合并为真光源区域的具体方法如下：通过广度优先搜索计算不同子真光源区域之间的距离，将符合距离阈值范围内的区域合并为真光源区域。
[0014]
在一些可能的实施方式中，通过cnn语义分割模型对所述真光源进行分类，所述cnn语义分割模型的训练方法具体如下：获取cnn语义分割模型的训练数据集，所述训练数据集采用包含150类物体的ade20k数据集，所述ade20k数据集的标签类别包括间接反射光、漫反射光、定向光和不发光物体；对训练图像进行预处理，具体如下：将所述ade20k数据集中的训练图像-ldr全景图像转换为天空盒图像；对所述天空盒图像进行几何变换的数据增强操作；输入rgb图像至所述cnn语义分割模型，输出包含真光源标签类别信息的语义分割图像。
[0015]
在一些可能的实施方式中，对所述语义分割图像的结果通过加权损失函数l加权处理，所述加权损失函数l的公式如下：l=ω1·
l
dice
（ζ）+ω2·
l
fl
其中，l
dice
表示dice loss损失函数，ω1为dice loss损失函数的加权系数，表示dice loss损失函数的重要性，作为优选ω1=0.1；l
fl
表示focal loss损失函数，ω2为focal loss损失函数的加权系数，表示focal loss损失函数的重要性作为优选ω2=0.9；ζ={0.3、0.3、0.3、0.1}分别对应间接反射光、漫反射光、定向光和不发光物体的权重。
[0016]
在一些可能的实施方式中，基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算具体包括如下：ldr全景图像的颜色校正：通过逆相机响应函数将非线性像素值分布的ldr全景图像i转换为线性像素值分布的ldr全景图像iq；场景光强计算：基于所述真光源区域和真光源类型，对所述ldr全景图像iq进行动态范围的场景光强计算。
[0017]
在一些可能的实施方式中，通过逆相机响应函数将非线性像素值分布的ldr全景图像i转换为线性像素值分布的ldr全景图像iq具体包括如下：从所述ldr全景图像i中选择s个图像块；通过最小二乘法，在第y个图像块（y∈[1,s]）中选择中间行或列计算出v个备选逆相机响应函数；根据投票决策法在第y个图像块中选出最优逆相机响应函数；在所有s个图像块中选出ldr全景图像i的最终逆相机响应函数；根据所述最终逆相机响应函数计算ldr全景图像i中每个像素值经过颜色校正的对应像素值，即iq=g（i）。
[0018]
在一些可能的实施方式中，基于所述真光源区域和真光源类型，对所述ldr全景图
像iq进行hdr场景光强计算的具体方法如下：通过本征图像分解算法提取ldr全景图像iq的场景中光照部分uq，量化光源对场景环境的照明贡献度，第i个真光源对周围环境的贡献可表示为：其中，e
env
表示ldr全景图像iq中的平均漫反射光，ei表示第i个光源在ldr全景图像iq中的灰度值，e
env
的计算公式可表示为：其中，w和h分别表示ldr全景图像iq的宽度和高度，p为ldr全景图像iq中的任一坐标位置，z表示ldr全景图像iq中除了真光源区域的像素数，q表示ldr全景图像iq中的非光源区域，uq表示利用本征图像分解算法从iq中提取的照射图；获取ldr全景图像iq中的每一个坐标位置的场景光强，具体如下：坐标p的ldr灰度值x
p
对应的高动态光照，即在坐标p处的hdr场景光强表示为：对应的高动态光照，即在坐标p处的hdr场景光强表示为：；其中，μ表示降低间接反射光强度的压缩因子，表示x
p
的归一化灰度值，q表示预设的hdr最大光强值,f表示模拟sigmoid曲线的光强扩展曲线，用于保留图像的对比度和色调,γ表示hdr映射梯度控制因子，用于控制相邻ldr灰度值x
p
映射到hdr光强的变化幅值，x表示定向光和漫反射光，y表示间接反射光，为第i个真光源对周围环境的贡献。
[0019]
本发明的第二方面，提供基于ldr图像的hdr场强计算装置，包括：图像获取模块：获取包含场景全方位信息的ldr全景图像；光源区域提取模块：将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域，将所述子光源区域合并为光源区域；真光源区域提取模块：将所述光源区域划分为若干个第二光源检测区域，从所述第二光源检测区域中区分出属于光源像素的子真光源区域，将所述子真光源区域合并为真光源区域；真光源类型确定模块：对所述真光源进行分类，根据分类结果确定真光源类型；hdr场景光强计算模块：基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算。
[0020]
本发明的第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于ldr图像的hdr场强计
算方法的步骤。
附图说明
[0021]
图1为本发明实施例基于ldr图像的hdr场强计算方法的整体步骤流程图；图2为本发明实施例cnn语义分割模型的架构流程示意图；图3为本发明实施例基于ldr全景图像的hdr场景光强计算的结构示意图。
具体实施方式
[0022]
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0023]
参见附图1所示，本实施例中的基于ldr图像的hdr场强计算方法,具体包括如下步骤：s1:通过鱼眼相机获取包含场景全方位信息的ldr全景图像。
[0024]
s2:将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值要求的子光源区域，将所述子光源区域合并为光源区域，具体包括如下步骤：将所述ldr全景图像映射到等值黑视素勒克斯图像中，对映射后的ldr全景图像中的每一个第一光源检测区域进行判断，区分出子光源区域。
[0025]
具体判断方法如下：若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值大于所eml值阈值，则判断该第一光源检测区域为子光源区域；若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值小于等于eml值阈值，则判断该第一光源检测区域为非光源区域。
[0026]
通过上述阈值分割法可以尽可能完整的从ldr全景图像中计算出现实环境场景中每一个第一光源检测区域的照明信息，以此来区分子光源区域和非光源区域。
[0027]
通过广度优先搜索计算不同子光源区域之间的距离，将符合距离阈值范围内的区域合并为光源区域。
[0028]
为了减少上述阈值分割法产生的误差，通过执行广度优先搜索来确定子光源之间的连接性，借此将符合距离阈值范围内的区域合并为同一光源，即光源区域。
[0029]
s3:将所述光源区域划分为若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域。
[0030]
这是因为在通过阈值分割法对子光源区域的提取过程中，相应的eml值仍然受ldr全景图像的rgb像素值的限制，因此会导致产生错误的子光源区域检测结果，导致光源区域中出现误检的区域，所以需要从光源区域中区分出属于光源像素的子真光源区域。具体方法包括：s31:通过光照衰减模拟所述ldr全景图像中不同特性区域的曝光衰减过程，在所述ldr全景图像上计算不同曝光条件下的像素值i＇，像素值i＇的计算公式如下：
其中，i表示光源区域像素的原始强度，i＇表示光源区域像素的归一化强度，σ表示用于模拟逆相机响应函数，λ∈(-1,0]表示ldr全景图像在曝光衰减过程中的衰减偏移值；光照衰减模拟用于模拟图像中不同特性区域的光照强度（或曝光）衰减的过程。该过程可呈现出具有区域特异性的动态光强衰变特征，可用于精准区分ldr全景图像中的真光源与非光源区域。在光照衰减过程中，真光源区域比非光源区域表现得更具有各向同性的变化，这使得像素值高的区域相比较于像素值低的区域对光照衰减不敏感。
[0031]
在上述光照强度（或曝光）衰减过程中，真光源区域的质心不会发生偏移，而非光源区域的质心会逐渐向亮度较高的方向收敛，基于此，通过如下方法区分出真光源区域：s32:通过不同曝光条件下的像素值i＇计算光源区域中每个第二光源检测区域的光照主方向来区分出属于光源像素的真光源区域。具体包括如下：s321:将所述ldr全景图像上的所有第二光源检测区域平均池化至2*2分辨率；s322:将第m个第二光源检测区域衰减n次，得到全局衰减矩阵cm：，其中，n表示第n次衰减的索引；s323:将全局衰减矩阵中的数据分布调整为矩阵，其中，k表示4个像素的像素索引，为普通矩阵的通用表示，2*2*n为矩阵的维度；s324:将矩阵dm中的数据投影至二维平面中，实现数据的降维：sm=p
·dm
，其中，sm表示构建二维平面的二维矩阵，sm垂直于向量l=[1,1,1,1]
t
，t表示矩阵的转置运算,表示正交投影矩阵；s325:计算第m个第二光源检测区域的光照分布方差rm，所述rm=m(t(sm))，其中，m表示标准差计算函数，t表示奇异值计算函数，奇异值计算函数t用于提取二维矩阵sm的主方向向量；若rm接近0，则说明该第二光源检测区域属于子真光源区域；若rm远离0，则说明该第二光源检测区域属于非光源区域。
[0032]
s4:将所述子真光源区域合并为真光源区域，采用cnn语义分割模型对区分出的真光源进行分类，根据分类结果确定真光源类型。
[0033]
将所述子真光源区域合并为真光源区域的具体方法如下：通过广度优先搜索计算不同子真光源区域之间的距离，将符合距离阈值范围内的区域合并为真光源区域。
[0034]
不同类型的光源通常具有不同的照明特性，因此光源的准确分类有助于准确计算真实的光照强度。为此设计基于cnn（卷积神经网络）的语义分割模型，其中，所述cnn语义分割模型的训练数据集采用包含150类物体的ade20k数据集，所述ade20k数据集的标签类别包括间接反射光、漫反射光、定向光和不发光物体。
[0035]
对训练图像进行预处理，具体如下：将所述ade20k数据集中的训练图像-ldr全景图像转换为天空盒图像,天空盒图像用于进行场景增强；对所述天空盒图像进行几何变换（包括缩放、旋转等）的数据增强操作，用来提高cnn语义分割模型的鲁棒性。
[0036]
参见附图2所示，cnn语义分割模型的架构如下：为了提高计算效率，首先选择ghostnet作为主干网络提取数据集中训练图像的特征并生成特征图序列，然后使用平均池化将特征图序列输入两个不同尺度的池化层，低分辨率层a（尺寸为c*2*2，其中c表示特征图序列的通道数）用于生成注意力矩阵，高分辨率层b（尺寸为c*8*8，其中c表示特征图序列
的通道数）用于提供全局空间信息。低分辨率层a需要作两步操作，一是尺寸重置为c*8*8，二是尺寸重置加转置操作，尺寸变换为8*8*c。这两步得到的矩阵利用余弦相似性计算低分辨率层a中不同特征图的权重并生成注意力矩阵（尺寸为c*c），之后将注意力矩阵分享给高分辨率层b和ghostnet生成的特征提取层，经过注意力加权后的高分辨率层b需要再次经过卷积和上采样的操作，并最终与ghostnet生成的局部特征图像序列堆叠连接，成为解码器的输入特征图像序列。
[0037]
cnn语义分割模型中ghostnet网络输入的训练图像是ade20k数据集中经过图像预处理后的rgb图像（ldr全景图像），解码器的输出是包含真光源分类信息的语义分割图像。
[0038]
在真实场景的ldr全景图像中，真光源区域面积通常是小于非光源区域面积的。为了防止数据集中的类间不平衡导致包含真光源分类信息的语义分割图像结果不准确，添加对此加权损失函数l，公式如下：l=ω1·
l
dice
（ζ）+ω2·
l
fl
其中，l
dice
表示dice loss损失函数，ω1为dice loss损失函数的加权系数，表示dice loss损失函数的重要性，作为优选ω1=0.1；l
fl
表示focal loss损失函数，ω2为focal loss损失函数的加权系数，表示focal loss损失函数的重要性作为优选ω2=0.9；ζ={0.3、0.3、0.3、0.1}分别对应间接反射光、漫反射光、定向光和不发光物体的权重。
[0039]
cnn语义分割模型是根据真光源的发光特性而非发光状态进行分类的，若通过加权损失函数l处理后的语义分割图像掩膜与真光源区域掩膜有很大重叠区域，则将该语义分割图像结果确定为真光源的类型。由于真实场景的复杂性，小面积或具有复杂几何形状的真光源可能会被错误地分类为不发光物体。
[0040]
其中，为了不遗任何一个真光源，将未分类的光源定义为漫反射光。
[0041]
s5:基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强的计算，具体包括如下：s51:ldr全景图像的颜色校正：通过逆相机响应函数将非线性像素值分布的ldr全景图像i转换为线性像素值分布的ldr全景图像iq,具体包括如下:s511:从所述ldr全景图像i中选择s个图像块；s512:通过最小二乘法，在第y个图像块（y∈[1,s]）中选择中间行或列计算出v个备选逆相机响应函数；s513:根据投票决策法在第y个图像块中选出最优逆相机响应函数；s514:在所有s个图像块中选出ldr全景图像i的最终逆相机响应函数；s515:根据所述最终逆相机响应函数计算ldr全景图像i中每个像素值经过颜色校正的对应像素值，即iq=g（i）。
[0042]
场景光强计算：基于所述真光源区域和真光源类型，对所述ldr全景图像iq进行hdr场景光强计算。具体包括如下：s52:获取真光源对场景环境的照明贡献度，具体如下：s521:通过本征图像分解算法提取ldr全景图像iq的场景中的光照部分uq，量化光源对场景环境的照明贡献度，第i个真光源对周围环境的贡献可表示为：
其中，e
env
表示ldr全景图像iq中的平均漫反射光，ei表示第i个光源在ldr全景图像iq中的灰度值，e
env
的计算公式可表示为：其中，w和h分别表示ldr全景图像iq的宽度和高度，p为ldr全景图像iq中的任一坐标位置，z表示ldr全景图像iq中除了真光源区域的像素数，q表示ldr全景图像iq中的非光源区域，uq表示利用本征图像分解算法从iq中提取的照射图。
[0043]
s522:获取ldr全景图像iq中的每一个坐标位置的hdr场景光强，具体如下：定向光和漫反射光x通常比间接反射光y具有更大的光照贡献。同时，可以作为计算光照强度的重要指标，所以坐标p的ldr灰度值x
p
对应的高动态光照，即在坐标p处的hdr场景光强可以表示为：；；其中，μ表示降低间接反射光强度的压缩因子，表示x
p
的归一化灰度值，q表示预设的hdr最大光强值,f表示模拟sigmoid曲线的光强扩展曲线，用于保留图像的对比度和色调，γ表示hdr映射梯度控制因子，用于控制相邻ldr灰度值x
p
映射到hdr光强的变化幅值。
[0044]
在实际光照估计应用，由于hdr场景中的光照是实时动态变化的，需要对每一帧的图像作光照估计。视频渲染过程中，在相邻视的频帧中，若与γ变化过大会使得光照强度在动态视频中计算不连续从而导致渲染结果出现闪烁。为了解决这个问题，在视频第t帧中添加了平滑照明的约束项来优化与γ：argmin表示使其右边括号内的目标函数取最小值时的变量值。
[0045]
其中，可通过levenberg-marquardt方法计算上述非线性函数的最小二乘拟合。
[0046]
参见附图3所示，本实施例还提供基于ldr全景图像的hdr场景光强计算装置，应用上述基于ldr图像的hdr场强计算方法，所述装置包括：图像获取模块：获取包含场景全方位信息的ldr全景图像；光源区域提取模块：将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域，将所述子光源区域合并为光源
区域；真光源区域提取模块：将所述光源区域中划分为若干个第二光源检测区域，从所述第二光源检测区域中区分出属于光源像素的子真光源区域，将所述子真光源区域合并为真光源区域；真光源类型确定模块：对所述真光源进行分类，根据分类结果确定真光源类型；hdr场景光强计算模块：基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算。
[0047]
本装置在运行时实现上述基于ldr全景图像的场景光强计算方法。
[0048]
本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于ldr图像的hdr场强计算方法的步骤。
[0049]
存储介质存储有能够实现上述所有方法的程序指令，其中，该程序指令可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端装置。
[0050]
其中，处理器还可以称为cpu(central processing unit，中央处理单元)。处理器可能是一种集成电路芯片，具有信号的处理能力。处理器还可以是：dsp（digitalsignalprocessor，数字信号处理器），数字信号处理器是由大规模或超大规模集成电路芯片组成的用来完成某种信号处理任务的处理器。它是为适应高速实时信号处理任务的需要而逐渐发展起来的。随着集成电路技术和数字信号处理算法的发展，数字信号处理器的实现方法也在不断变化，处理功能不断提高和扩大。
[0051]
asic(application specific integrated circuit，专用集成电路），即专用集成电路是指应特定用户要求和特定电子系统的需要而设计、制造的集成电路。
[0052]
fpga（现场可编程门阵列，field programmable gate array）是在pal（programmable array logic，可编程阵列逻辑）、gal（generic array logic，通用阵列逻辑）等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（asic）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。
[0053]
通用处理器，所述通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0054]
以上实施方式只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人了解本发明的内容并加以实施，并不能以此限制本发明的保护范围，凡根据本发明精神实质所做的等效变化或修饰，都应涵盖在本发明的保护范围内。

技术特征：
1.基于ldr图像的hdr场强计算方法,其特征在于，包括如下步骤：获取包含场景全方位信息的ldr全景图像；将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域，将所述子光源区域合并为光源区域；将所述光源区域划分为若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域；将所述子真光源区域合并为真光源区域，对所述真光源进行分类，根据分类结果确定真光源类型；基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算。2.根据权利要求1所述的基于ldr图像的hdr场强计算方法，其特征在于：将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域的具体方法如下：将所述ldr全景图像映射到等值黑视素勒克斯图像中，对映射后的ldr全景图像中的每一个第一光源检测区域进行判断：若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值大于eml值阈值，则判断该第一光源检测区域为子光源区域；若映射后的ldr全景图像中的某第一光源检测区域像素对应的eml值小于等于eml值阈值，则判断该第一光源检测区域为非光源区域。3.根据权利要求1或2所述的基于ldr图像的hdr场强计算方法，其特征在于：将所述子光源区域合并为光源区域的具体方法如下：通过广度优先搜索计算不同子光源区域之间的距离，将符合距离阈值范围内的区域合并为光源区域。4.根据权利要求3所述的基于ldr图像的hdr场强计算方法，其特征在于：将所述光源区域划分为若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域的具体方法如下：通过光照衰减模拟所述ldr全景图像中不同特性区域的曝光衰减过程，在所述ldr全景图像上计算不同曝光条件下的像素值i＇，像素值i＇的计算公式如下：其中，i表示光源区域像素的原始强度，i＇表示光源区域像素的归一化强度，σ表示用于模拟逆相机响应函数，λ∈(-1,0]表示ldr全景图像在曝光衰减过程中的衰减偏移值；通过不同曝光条件下的像素值i＇计算光源区域中每个第二光源检测区域的光照主方向来区分出属于光源像素的子真光源区域。5.根据权利要求4所述的基于ldr图像的hdr场强计算方法，其特征在于：通过不同曝光条件下的像素值i＇计算光源区域中每个第二光源检测区域的光照主方向来区分出属于光源像素的子真光源区域的具体方法如下：将所述ldr全景图像上光源区域中的所有第二光源检测区域平均池化至2*2分辨率；将第m个第二光源检测区域衰减n次，得到全局衰减矩阵c
m
：
；将全局衰减矩阵中的数据分布调整为矩阵；将矩阵d
m
中的数据投影至二维平面中，实现数据的降维：s
m
=p
·
d
m
，其中，s
m
表示构建二维平面的二维矩阵，s
m
垂直于向量l=[1,1,1,1]
t
,表示正交投影矩阵；计算第m个第二光源检测区域的光照分布方差r
m
，所述r
m
=m(t(s
m
))，其中，m表示标准差计算函数，t表示奇异值计算函数，奇异值计算函数用于提取二维矩阵s
m
的主方向向量；若r
m
接近0，则说明该第二光源检测区域属于子真光源区域；若r
m
远离0，则说明该第二光源检测区域属于非光源区域。6.根据权利要求4或5所述的基于ldr图像的hdr场强计算方法，其特征在于：将所述子真光源区域合并为真光源区域的具体方法如下：通过广度优先搜索计算不同子真光源区域之间的距离，将符合距离阈值范围内的区域合并为真光源区域。7.根据权利要求1所述的基于ldr图像的hdr场强计算方法，其特征在于：通过cnn语义分割模型对所述真光源进行分类，所述cnn语义分割模型的训练方法具体如下：获取cnn语义分割模型的训练数据集，所述训练数据集采用包含150类物体的ade20k数据集，所述ade20k数据集的标签类别包括间接反射光、漫反射光、定向光和不发光物体；对训练图像进行预处理，具体如下：将所述ade20k数据集中的训练图像-ldr全景图像转换为天空盒图像；对所述天空盒图像进行几何变换的数据增强操作；输入rgb图像至所述cnn语义分割模型，输出包含真光源标签类别信息的语义分割图像。8.根据权利要求7所述的基于ldr图像的hdr场强计算方法，其特征在于：对所述语义分割图像的结果通过加权损失函数l加权处理，所述加权损失函数l的公式如下：l=ω1·
l
dice
（ζ）+ω2·
l
fl
其中，l
dice
表示dice loss损失函数，ω1为dice loss损失函数的加权系数，表示dice loss损失函数的重要性，ω1=0.1；l
fl
表示focal loss损失函数，ω2为focal loss损失函数的加权系数，表示focal loss损失函数的重要性，ω2=0.9；ζ={0.3、0.3、0.3、0.1}分别对应间接反射光、漫反射光、定向光和不发光物体的权重。9.根据权利要求1所述的基于ldr图像的hdr场强计算方法，其特征在于：基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算具体包括如下：ldr全景图像的颜色校正：通过逆相机响应函数将非线性像素值分布的ldr全景图像i转换为线性像素值分布的ldr全景图像i
q
；场景光强计算：基于所述真光源区域和真光源类型，对所述ldr全景图像i
q
进行动态范围的场景光强计算。10.根据权利要求9所述的基于ldr图像的hdr场强计算方法，其特征在于：通过逆相机响应函数将非线性像素值分布的ldr全景图像i转换为线性像素值分布的ldr全景图像i
q
具体包括如下：从所述ldr全景图像i中选择s个图像块；通过最小二乘法，在第y个图像块（y∈[1,s]）中选择中间行或列计算出v个备选逆相机
响应函数；根据投票决策法在第y个图像块中选出最优逆相机响应函数；在所有s个图像块中选出ldr全景图像i的最终逆相机响应函数；根据所述最终逆相机响应函数计算ldr全景图像i中每个像素值经过颜色校正的对应像素值，即i
q
=g（i）。11.根据权利要求9所述的基于ldr图像的hdr场强计算方法，其特征在于：基于所述真光源区域和真光源类型，对所述ldr全景图像i
q
进行hdr场景光强计算的具体方法如下：通过本征图像分解算法提取ldr全景图像i
q
的场景中光照部分u
q
，量化光源对场景环境的照明贡献度，第i个真光源对周围环境的贡献可表示为：；其中，e
env
表示ldr全景图像i
q
中的平均漫反射光，e
i
表示第i个光源在ldr全景图像i
q
中的灰度值，e
env
的计算公式可表示为：；其中，w和h分别表示ldr全景图像i
q
的宽度和高度，p为ldr全景图像i
q
中的任一坐标位置，z表示ldr全景图像i
q
中除了真光源区域的像素数，q表示ldr全景图像i
q
中的非光源区域，u
q
表示利用本征图像分解算法从i
q
中提取的照射图；获取ldr全景图像i
q
中的每一个坐标位置的场景光强，具体如下：坐标p的ldr灰度值x
p
对应的高动态光照，即在坐标p处的hdr场景光强表示为：；；其中，μ表示降低间接反射光强度的压缩因子，表示x
p
的归一化灰度值，q表示预设的hdr最大光强值,f表示模拟sigmoid曲线的光强扩展曲线，用于保留图像的对比度和色调,γ表示hdr映射梯度控制因子，用于控制相邻ldr灰度值x
p
映射到hdr光强的变化幅值；x表示定向光和漫反射光，y表示间接反射光，为第i个真光源对周围环境的贡献。12.基于ldr图像的hdr场强计算装置，其特征在于：包括：图像获取模块：获取包含场景全方位信息的ldr全景图像；光源区域提取模块：将所述ldr全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合eml值阈值的子光源区域，将所述子光源区域合并为光源区域；真光源区域提取模块：将所述光源区域划分为若干个第二光源检测区域，从所述第二光源检测区域中区分出属于光源像素的子真光源区域，将所述子真光源区域合并为真光源区域；
真光源类型确定模块：对所述真光源进行分类，根据分类结果确定真光源类型；hdr场景光强计算模块：基于所述真光源区域的位置和真光源类型，对所述ldr全景图像进行hdr场景光强计算。13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11任一项所述的基于ldr图像的hdr场强计算方法的步骤。

技术总结
本发明公开基于LDR图像的HDR场强计算方法、装置和存储介质,HDR场景光强计算方法包括获取包含场景全方位信息的LDR全景图像；将所述LDR全景图像划分为若干个第一光源检测区域，从所述第一光源检测区域中区分出符合EML值阈值的子光源区域，将所述子光源区域合并为光源区域；从所述光源区域中划分若干个第二光源检测区域，通过光照衰减模拟从所述第二光源检测区域中区分出属于光源像素的子真光源区域，将所述子真光源区域合并为真光源区域；对所述真光源进行分类，根据分类结果确定真光源类型；基于所述真光源区域的位置和真光源类型，对所述LDR全景图像进行HDR场景光强计算。对所述LDR全景图像进行HDR场景光强计算。对所述LDR全景图像进行HDR场景光强计算。


技术研发人员：赵凌霄 程浩杰 王佳俊
受保护的技术使用者：苏州深捷信息科技有限公司
技术研发日：2023.08.14
技术公布日：2023/9/14