一种基于Raw域的HDR图像重建方法

一种基于raw域的hdr图像重建方法
技术领域
1.本发明属于图像信号处理技术领域，具体讲，涉及一种基于raw域的hdr图像重建算法。


背景技术：

2.高动态范围(high dynamic range,hdr)成像旨在捕捉更大范围的亮度值，弥补低动态范围(ldr)图像的色彩失真和细微细节损失。虽然我们可以直接使用专用硬件获取hdr图像，但它们通常很昂贵，限制了大多数用户的实用性。现有的技术方法利用一组包含多种曝光的低动态范围图像来扩展图像的动态范围，进而丰富图像细节，弥补色彩失真。
3.最广泛使用的hdr重建方法利用具有不同曝光水平的srgb图像序列来生成hdr图像。然而，在实际应用中，捕捉多个不同曝光量的ldr图像可能会带来挑战，特别是当在取景器框架中存在摄像机或移动物体的全局运动。为了解决这个问题，索尼公司开发了数字重叠(dol)hdr传感器和分箱多路曝光(bme)hdr传感器。这些传感器可以缩短不同曝光图像之间的时间间隔，实现不同曝光时间的多帧原始图像的“准同步”输出。然而，准同步仍然存在前后帧的相对运动，导致生成的hdr图像出现伪影。
4.尽管近年来基于srgb的hdr重建方法取得了显著进展，但往往忽略了三个关键方面。首先，在获取不同曝光量的原始ldr图像时，每次曝光图像都必须进行isp管道。这不仅会增加额外的内存和计算开销，还会导致hdr图像输出的帧率降低。其次，许多现有方法用简单的逆gamma操作替换复杂的相机响应曲线，获得一组线性的srgb图像。然而，这种方法可能会导致不同曝光图像在非饱和区域没有亮度对齐，使训练更具挑战性。第三，原始图像包含更多原始传感器信号的精细细节，这些细节在srgb图像处理过程中可能会丢失。目前高动态范围成像方法的局限性突出表明，高动态范围成像需要进一步研究和发展。
5.综合上述，本发明提出了一种基于raw域的hdr图像重建算法。


技术实现要素：

6.本发明的目的在于提出一种基于raw域的hdr图像重建算法以解决背景技术中所提出的问题。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于raw域的hdr图像重建方法，具体包括以下步骤：
9.s1、构建数据集：基于图像传感器成像原理，构建raw域图像hdr数据集，并将数据集划分为训练集和测试集，其中训练集的构建具体包括如下内容：
10.s1.1、捕获原始数据，通过相机拍摄捕获若干对高分辨率的干净raw图像，每对图像场景相同但包含不同的运动目标；
11.s1.2、基于cmos图像传感器成像原理，模拟相机成像管道，构建可用于raw hdr训练的数据集，具体步骤为：调整增益、重建曝光、添加噪声得到raw域的hdr和ldr图像，将其作为raw域的训练数据对；
12.s2、设计重建网络：将输入ldr的raw图像记作和将输入hdr的raw图像记作i
gt
；基于s1中所得的数据对，将和i
gt
作为训练对来设计raw域的hdr图像重建网络；
13.s3、搭建、训练模型：基于s2中所设计的重建网络来搭建模型，然后利用深度学习框架pytorch平台训练模型，在整个数据集上迭代若干个epoch至损失收敛，得到最终模型；
14.s4、输出结果：将测试集中的两张低动态范围的raw图像输入到s3中所得的最终模型中，得到相应的高动态范围的输出结果
15.优选地，所述s1.2具体包括如下内容：
16.s1.2.1、对于捕获的干净的raw图像对，将两个raw ldr图像i1和i2分别乘以最大像素值2
12+r
，得到两个rawhdr图像和其中r表示待构建的长短曝光图像的曝光比；
17.s1.2.2、将s1.2.1中所得的和分别除1和r，并将像素值进行裁剪，得到和
18.s1.2.3、将除以1，然后对其进行裁剪操作，得到基于三角函数，将和作为混合权重生成相应干净的rawhdr图像i
gt
；
19.s1.2.4、将s1.2.2中所得的和图像添加特定的噪声；
20.s1.2.5、将添加噪声后的图像进行归一化并进行亮度对齐，得到包含噪声的和
21.优选地，s2中所述raw域的hdr图像重建网络设计，具体包括以下内容：
22.①
图像分辨率调整：将和通过像素解混洗操作降低图像分辨率；
23.②
特征编码：将短曝光图像作为参考图像，将长曝光图像作为补充图像，并引入短曝光编码器和长曝光编码器；短曝光编码器提取的特征视为参考特征，长曝光编码器提取的特征视为补充特征；所述短曝光编码器每层由一个像素解混洗下采样、一个3
×
3卷积层和一个relu激活组成，其结构表示为[down-conv-relu]；所述长曝光编码器每层的结构表示为[down-conv-relu-conv-relu]；所述短曝光编码器和长曝光编码器的公式表示如下：
[0024][0025][0026]
其中，si表示短曝光编码器提取的第i层特征；li表示长曝光编码器提取的第i层特征；
[0027]
③
特征解码：将已编码的短曝光特征si和li进行特征拼接操作并馈送至解码器网络；所述解码器每层由一个3
×
3卷积层和一个上采样的反卷积组成；所述解码器在解码特征时，与编码器特征相加融合后进行上采样；
[0028]
④
可重新参数化模块设计：利用卷积重参数技术，设计一种可重新参数化模块以
拓扑卷积块：利用一个3
×
3卷积、一个1
×
1卷积、扩展和挤压卷积、sobel和laplacian算子、跳跃连接并行组成拓扑卷积块；
[0029]
⑤
运动对齐损失计算：：从非参考图像补丁中选取若干小方块，对齐进行不同程度的运动模糊，然后利用0/1蒙版m记录小方块移动前后的位置；将与i
gt
分别与所述蒙版m相乘，然后利用msssim损失函数进行优化：
[0030][0031]
⑥
重建损失计算：利用全局msssim和l2损失重建预测结果：
[0032][0033][0034]
⑦
拜尔损失计算：分别对和i
gt
的两个g通道进行平均，然后在于r、b通道连接，将rggb的raw图像转化为rgb空间，得到和将余弦嵌入损失cosine强加在处理后的输出和真实值之间：
[0035][0036]
⑧
总损失计算：利用多权重系数训练hdr图像重建网络：
[0037]
l＝α
·
l
ma
+β
·
l
ssim
+γ
·
l
pix
+θ
·
lb[0038]
式中，α，β，γ，θ为相应的权重系数。
[0039]
与现有技术相比，本发明提供了基于raw域的hdr图像重建方法，具备以下有益效果：
[0040]
(1)本发明基于cmos图像传感器成像原理，提出了一种基于计算摄影的原始hdr图像形成管道模拟方法，并构建了第一个真实的原始hdr数据集；
[0041]
(2)本发明基于提出的raw hdr数据集，使用结构重参数化技术开发了一个轻量级模型；
[0042]
(3)本发明提出了一种即插即用的运动对齐损失，以缓解短曝光和长曝光图像之间的对齐问题。
附图说明
[0043]
图1为本发明提出的基于raw域的hdr图像重建方法中模拟基于计算摄影的原始hdr图像形成管道的流程图；
[0044]
图2为本发明提出的基于raw域的hdr图像重建方法的方法流程图；
[0045]
图3为本发明提出的基于raw域的hdr图像重建方法其他图像hdr重建算法在测试集上的结果视觉对比图。
具体实施方式
[0046]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
[0047]
实施例1：
[0048]
请参阅图1-2，本发明提出一种基于基于raw域的hdr图像重建方法，具体包含如下步骤：
[0049]
s1、构建数据集：基于图像传感器成像原理，构建raw域图像hdr数据集，并将数据集划分为训练集和测试集，其中训练集的构建具体包括如下内容：
[0050]
s1.1、捕获原始数据，通过富士相机gfx50s ii捕获240对8192
×
6192高分辨率的干净raw图像，每对图像场景相同但包含不同的运动目标；
[0051]
s1.2、基于cmos图像传感器成像原理，模拟相机成像管道，构建可用于raw hdr训练的数据集，具体步骤为：调整增益、重建曝光、添加噪声得到raw域的hdr和ldr图像，将其作为raw域的训练数据对；
[0052]
s1.2中提到的模拟相机成像通道，具体包括如下内容：
[0053]
s1.2.1、对于捕获的干净的raw图像对，将两个raw ldr图像i1和i2分别乘以最大像素值2
12+r
，得到两个rawhdr图像和其中r表示待构建的长短曝光图像的曝光比；
[0054]
s1.2.2、将s1.2.1中所得的和分别除1和r，并将像素值进行裁剪，得到和
[0055]
s1.2.3、将除以1，然后对其进行裁剪操作，得到基于三角函数，将和作为混合权重生成相应干净的raw hdr图像i
gt
；
[0056]
s1.2.4、将s1.2.2中所得的和图像添加特定的噪声；
[0057]
s1.2.5、将添加噪声后的图像进行归一化并进行亮度对齐，得到包含噪声的和
[0058]
s2、设计重建网络：将输入ldr的raw图像记作利将输入hdr的raw图像记作i
gt
；基于s1中所得的数据对，将和i
gt
作为训练对来设计raw域的hdr图像重建网络；
[0059]
具体包括以下内容：
[0060]
①
图像分辨率调整：将和通过像素解混洗操作降低图像分辨率；
[0061]
②
特征编码：将短曝光图像作为参考图像，将长曝光图像作为补充图像，并引入短曝光编码器和长曝光编码器；短曝光编码器提取的特征视为参考特征，长曝光编码器提取的特征视为补充特征；短曝光编码器每层由一个像素解混洗下采样、一个3
×
3卷积层和一个relu激活组成，其结构表示为[down-conv-relu]；长曝光编码器每层的结构表示为[down-conv-relu-conv-relu]；短曝光编码器和长曝光编码器的公式表示如下：
[0062][0063][0064]
其中，si表示短曝光编码器提取的第i层特征；li表示长曝光编码器提取的第i层特征；
[0065]
③
特征解码：将已编码的短曝光特征si和li进行特征拼接操作并馈送至解码器网
络；解码器每层由一个3
×
3卷积层和一个上采样的反卷积组成；解码器在解码特征时，与编码器特征相加融合后进行上采样；
[0066]
④
可重新参数化模块设计：利用卷积重参数技术，设计一种可重新参数化模块以拓扑卷积块：利用一个3
×
3卷积、一个1
×
1卷积、扩展和挤压卷积、sobel和laplacian算子、跳跃连接并行组成拓扑卷积块；在网络训练阶段，使用拓扑卷积块进行训练，在推理阶段，利用卷积的可加性，经过拓扑卷积块重新参数化为一个普通的3
×
3卷积，实现高效部署和推理；
[0067]
⑤
运动对齐损失计算：：从非参考图像补丁中选取大小[40,60]小方块，对齐进行不同程度的运动模糊，然后利用0/1蒙版m记录小方块移动前后的位置；将与i
gt
分别与蒙版m相乘，然后利用msssim损失函数进行优化：
[0068][0069]
⑥
重建损失计算：利用全局msssim和l2损失重建预测结果：
[0070][0071][0072]
⑦
拜尔损失计算：分别对和i
gt
的两个g通道进行平均，然后在于r、b通道连接，将rggb的raw图像转化为rgb空间，得到和将余弦嵌入损失cosine强加在处理后的输出和真实值之间：
[0073][0074]
⑧
总损失计算：利用多权重系数训练hdr图像重建网络：
[0075]
l＝α
·
l
ma
+β
·
l
ssim
+γ
·
l
pix
+θ
·
lb[0076]
式中，α，β，γ，θ为相应的权重系数；
[0077]
s3、搭建、训练模型：基于s2中所设计的重建网络来搭建模型，然后利用深度学习框架pytorch平台训练模型，在整个数据集上迭代若干个epoch至损失收敛，得到最终模型；
[0078]
s4、输出结果：将测试集中的两张低动态范围的raw图像输入到s3中所得的最终模型中，得到相应的高动态范围的输出结果
[0079]
综上所述，本发明基于raw图像hdr数据集，提出了一种hdr图像重建方法，利用所提出的运动蒙版损失和拜尔损失在不依赖网络结构的条件下，实现了长短曝光对齐问题以及颜色校正。
[0080]
实施例2：
[0081]
请参阅图3，基于实施例1但有所不同之处在于，
[0082]
本发明选取4个同在realhdr数据集上训练的先进对比方法，包括：ahdrnet，deephdr，nhdrrnet，sgn。这些方法中，sgn方法是一种轻量化的raw域图像去噪方法，并经过我们改进可以在realhdr数据集上进行训练hdr任务训练，其他的方法都是面向srgb图像的hdr方法，但都经过我们的改进可以在raw域图像上进行训练、测试。对于这些方法，我们在realhdr的数据集上分别进行测试得到图3所示效果图。
[0083]
从图3可以看出，本发明所提出的一种基于raw域的hdr图像重建方法，可以在不依赖对齐模块的情况下缓解鬼影问题，并缓解原始图像的色偏问题。特别是，我们所提出的网络模型具有更少的参数和极低的gflops。我们可以在nvidia rtx 3090gpu上只用2.9ms处理4k bayerraw图像输入，而其他具有类似性能的模型需要更长的时间。repunet仅以4.5％的计算复杂度(127g vs.2848g)实现了与ahdrnet相当的性能。此外，deephdr、ahdrnet、nhdrrnet中的对齐模块会占用大量的行缓存，难以在资源有限的情况下部署。
[0084]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种基于raw域的hdr图像重建方法，其特征在于，具体包括以下步骤：s1、构建数据集：基于图像传感器成像原理，构建raw域图像hdr数据集，并将数据集划分为训练集和测试集，其中训练集的构建具体包括如下内容：s1.1、捕获原始数据，通过相机拍摄捕获若干对高分辨率的干净raw图像，每对图像场景相同但包含不同的运动目标；s1.2、基于cmos图像传感器成像原理，模拟相机成像管道，构建可用于raw hdr训练的数据集，具体步骤为：调整增益、重建曝光、添加噪声得到raw域的hdr和ldr图像，将其作为raw域的训练数据对；s2、设计重建网络：将输入ldr的raw图像记作和将输入hdr的raw图像记作i
gt
；基于s1中所得的数据对，将和i
gt
作为训练对来设计raw域的hdr图像重建网络；s3、搭建、训练模型：基于s2中所设计的重建网络来搭建模型，然后利用深度学习框架pytorch平台训练模型，在整个数据集上迭代若干个epoch至损失收敛，得到最终模型；s4、输出结果：将测试集中的两张低动态范围的raw图像输入到s3中所得的最终模型中，得到相应的高动态范围的输出结果2.根据权利要求1所述的基于raw域的hdr图像重建方法，其特征在于，所述s1.2具体包括如下内容：s1.2.1、对于捕获的干净的raw图像对，将两个raw ldr图像i1和i2分别乘以最大像素值2
12+r
，得到两个rawhdr图像和其中r表示待构建的长短曝光图像的曝光比；s1.2.2、将s1.2.1中所得的和分别除1和r，并将像素值进行裁剪，得到和s1.2.3、将除以1，然后对其进行裁剪操作，得到基于三角函数，将和作为混合权重生成相应干净的raw hdr图像i
gt
；s1.2.4、将s1.2.2中所得的和图像添加特定的噪声；s1.2.5、将添加噪声后的图像进行归一化并进行亮度对齐，得到包含噪声的和3.根据权利要求1所述的基于raw域的hdr图像重建方法，其特征在于，s2中所述raw域的hdr图像重建网络设计，具体包括以下内容：
①
图像分辨率调整：将和通过像素解混洗操作降低图像分辨率；
②
特征编码：将短曝光图像作为参考图像，将长曝光图像作为补充图像，并引入短曝光编码器和长曝光编码器；短曝光编码器提取的特征视为参考特征，长曝光编码器提取的特征视为补充特征；所述短曝光编码器每层由一个像素解混洗下采样、一个3
×
3卷积层和一个relu激活组成，其结构表示为[down-conv-relu]；所述长曝光编码器每层的结构表示为[down-conv-relu-conv-relu]；所述短曝光编码器和长曝光编码器的公式表示如下：relu]；所述短曝光编码器和长曝光编码器的公式表示如下：
其中，s
i
表示短曝光编码器提取的第i层特征；l
i
表示长曝光编码器提取的第i层特征；
③
特征解码：将已编码的短曝光特征s
i
和l
i
进行特征拼接操作并馈送至解码器网络；所述解码器每层由一个3
×
3卷积层和一个上采样的反卷积组成；所述解码器在解码特征时，与编码器特征相加融合后进行上采样；
④
可重新参数化模块设计：利用卷积重参数技术，设计一种可重新参数化模块以拓扑卷积块：利用一个3
×
3卷积、一个1
×
1卷积、扩展和挤压卷积、sobel和laplacian算子、跳跃连接并行组成拓扑卷积块；
⑤
运动对齐损失计算：：从非参考图像补丁中选取若干小方块，对齐进行不同程度的运动模糊，然后利用0/1蒙版m记录小方块移动前后的位置；将与i
gt
分别与所述蒙版m相乘，然后利用msssim损失函数进行优化：
⑥
重建损失计算：利用全局msssim和l2损失重建预测结果：重建损失计算：利用全局msssim和l2损失重建预测结果：
⑦
拜尔损失计算：分别对和i
gt
的两个g通道进行平均，然后在于r、b通道连接，将rggb的raw图像转化为rgb空间，得到和将余弦嵌入损失cosine强加在处理后的输出和真实值之间：
⑧
总损失计算：利用多权重系数训练hdr图像重建网络：l＝α
·
l
ma
+β
·
l
ssim
+γ
·
l
pix
+θ
·
l
b
式中，α，β，γ，θ为相应的权重系数。

技术总结
本发明公开了一种基于Raw域的HDR图像重建方法，属于图像信号处理技术领域。本发明主要包括如下步骤：S1、构建数据集：基于图像传感器成像原理，构建Raw域图像HDR数据集；S2、设计重建网络：将输入LDR的Raw图像记作和将输入HDR的Raw图像记作I


技术研发人员：杨敬钰 杨琦瑞 岳焕景 李坤
受保护的技术使用者：天津大学
技术研发日：2023.06.26
技术公布日：2023/9/16