基于彩色及黑白双摄像头的夜景成像方法及系统

1.本发明涉及底层计算机视觉去噪技术领域，特别是一种基于彩色及黑白双摄像头的夜景成像方法及系统。


背景技术：

2.当前，随着移动设备中夜景成像需求的增长，夜景成像技术得到了广泛的应用。然而，在夜景条件下，必然会导致光照条件、颜色、噪声和模糊等退化，已经严重影响到夜景成像的质量，在低光环境中得到高质量的夜景成像已经成为强烈的需求。解决上述问题的重要手段之一，是探索实现高质量夜景成像方法，以应对复杂的真实场景夜景成像需求。因此，本发明设计了基于彩色及黑白双摄像头的夜景成像方法及系统，及保证在夜景条件下快速捕获到图片并得到高质量成像，以面向夜景成像任务中的用户需求。


技术实现要素：

3.本发明的目的在于提供一种基于彩色及黑白双摄像头的夜景成像方法及系统，较其他方法提高了夜景成像质量。
4.为实现上述目的，本发明的技术方案是：一种基于彩色及黑白双摄像头的夜景成像方法，包括如下步骤：步骤s1、用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即《0.1s；步骤s2、将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；步骤s3、制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
5.在本发明一实施例中，所述步骤s1具体实现如下：步骤s11、用户按下快门，通过黑白摄像头自动对焦并计算出曝光的iso值为x；步骤s121、设置彩色相机参数，其中iso设为0.2x，曝光时间设为0.05s；步骤s122、设置黑白相机参数，其中iso设为x，曝光时间设为0.05s；步骤s13、彩色相机和黑白相机同时捕获图像，得到彩色及黑白图像对。
6.在本发明一实施例中，所述步骤s2具体实现如下：步骤s21、调用设备包括cpu、gpu、内存和硬盘的硬件资源，加载低光退化矫正模型ldrm，将彩色及黑白图像对送入低光退化矫正模型ldrm；步骤s22、通过加性矫正网络arn对低光彩色图像做初步的增强，并将增强后的图像从rgb转到yuv通道，并拆封为y通道图像和uv通道图像；步骤s231、对uv通道图像做处理，通过uv通道乘性矫正网络mrn_uv对uv通道进行复原，得到增强后的uv通道特征；步骤s232、对y通道图像做处理，在y通道乘性矫正网络mrn_y中利用黑白图像指导
y通道进行复原，得到增强后的y通道特征；步骤s24、将增强后的uv通道特征和y通道特征结合，通过细节增强模块dem对特征进一步融合和增强，再转换至rgb通道，得到乘性矫正图像；步骤s25、将步骤s22中得到的初步增强图像与乘性矫正图像相乘，得到最终的输出成像，储存在设备上。
7.在本发明一实施例中，所述步骤s3具体实现如下：步骤s31、制作合成数据集，通过添加噪声来模拟彩色及黑白双摄像头之间的差异，将合成数据集用于训练和测试模型性能；步骤s32、拍摄真实数据集，通过固定三脚架来拍摄短时间曝光的彩色黑白图像对以及长时间曝光的高质量彩色图像，将真实数据集用于训练和测试模型性能；步骤s33、将l1损失和感知损失perceptual loss作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据；步骤s34、引入有参考的性能评价指标峰值信噪比psnr、结构相似性ssim和进修感知图像块类似度lpips对任务完成情况进行评价。
8.在本发明一实施例中，步骤s1至步骤s3中，建议配件基础配置不低于表1：
9.在用户按下快门后，彩色及黑白双摄像头根据环境亮度计算曝光并自动设置参数捕获到彩色和黑白图像对，并在本地设备上进行处理；最终成像结果将保存在设备中。
10.本发明还提供了一种基于彩色及黑白双摄像头的夜景成像系统，包括：数据采集模块，用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即《0.1s；成像模块，将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；测试模块，制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
11.相较于现有技术，本发明具有以下有益效果：本发明方法提供了基于彩色及黑白双摄像头的夜景成像方法及系统，有效地提高了移动设备上夜景成像质量，具有非常广泛的应用前景。
附图说明
12.图1是本发明实施例过程中的方法及系统整体工作流程图。
13.图2是本发明实施例中的方法及系统框架图。
14.图3是本发明实施例中的合成数据集夜景成像前后对比图。
15.图4是本发明实施例中的真实数据集夜景成像前后对比图。
具体实施方式
16.下面结合附图，对本发明的技术方案进行具体说明。
17.本发明提供了一种基于彩色及黑白双摄像头的夜景成像方法，包括如下步骤：步骤s1、用户按下快门，系统自动设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间（《0.1s）获取低iso的彩色图像和高iso的黑白图像；步骤s2、将彩色及黑白图像对输入算法，在低光退化矫正模型（ldrm）中利用黑白图像指导彩色图像增强得到最终高质量成像；步骤s3、制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
18.本发明还提供了一种基于彩色及黑白双摄像头的夜景成像系统，包括：数据采集模块，用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即《0.1s；成像模块，将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；测试模块，制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
19.以下为本发明具体实施实例。
20.本实施提供一种基于彩色及黑白双摄像头的夜景成像方法，整体工作流程如图1所示，包括以下步骤：步骤s1：用户按下快门，系统自动设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间（《0.1s）获取低iso的彩色图像和高iso的黑白图像；步骤s2：将彩色及黑白图像对输入算法，在低光退化矫正模型（ldrm）中利用黑白图像指导彩色图像增强得到最终高质量成像；步骤s3：制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
21.在本实施例中，所述步骤s1，用户按下快门，系统自动设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间（《0.1s）获取低iso的彩色图像和高iso的黑白图像，具体包括以下步骤：步骤s11、用户按下快门，系统通过黑白摄像头自动对焦并计算出合理曝光的iso值为x；步骤s121、系统自动设置彩色相机参数，其中iso设为0.2x，曝光时间设为0.05s；步骤s122、系统自动设置黑白相机参数，其中iso设为x，曝光时间设为0.05s；步骤s13、彩色相机和黑白相机同时捕获图像，得到彩色及黑白图像对。
22.ldrm框架模型如图2所述：在本实施例中，低光退化矫正模型用于利用黑白图像指导彩色图像增强得到高质量成像结果。本实施例中，步骤s2：将彩色及黑白图像对输入算法，在低光退化矫正模型（ldrm）中利用黑白图像指导彩色图像增强得到最终高质量成像，具体包括以下步骤：步骤s21、系统自动调用设备cpu、gpu、内存和硬盘等硬件资源，加载低光退化矫正模型（ldrm），将彩色及黑白图像对送入模型；步骤s22、通过加性矫正网络（arn）对低光彩色图像做初步的增强，并将增强后的
图像从rgb转到yuv通道，并拆封为y通道图像和uv通道图像；步骤s231、对uv通道图像做处理，通过uv通道乘性矫正网络（mrn_uv）对uv通道进行复原，得到增强后的uv通道特征；步骤s232、对y通道图像做处理，在y通道乘性矫正网络（mrn_y）中利用黑白图像指导y通道进行复原，得到增强后的y通道特征；步骤s24、将增强后的uv通道特征和y通道特征结合，通过细节增强模块（dem）对特征进一步融合和增强，再转换至rgb通道，得到乘性矫正图像；步骤s25、将步骤s21中得到的初步增强图像与乘性矫正图像相乘，得到最终的输出成像，储存在设备上。
23.进一步地，制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证模型的可靠性。具体包括以下步骤：步骤s31、制作合成数据集，通过添加噪声来模拟彩色及黑白双摄像头之间的差异，将合成数据集用于训练和测试模型性能；步骤s32、拍摄真实数据集，通过固定三脚架来拍摄短时间曝光的彩色黑白图像对以及长时间曝光的高质量彩色图像，将真实数据集用于训练和测试模型性能；步骤s33、将l1损失和感知损失（perceptual loss）作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据；步骤s34、引入有参考的性能评价指标峰值信噪比（psnr）、结构相似性（ssim）和进修感知图像块类似度（lpips）对任务完成情况进行评价。
24.在步骤s1至s3中，建议配件基础配置不低于表1：
25.在用户按下快门后，彩色及黑白双摄像头根据环境亮度计算合理曝光并自动设置参数捕获到彩色和黑白图像对，并在本地设备上进行处理。最终成像结果将保存在设备中。
26.本发明还提供了一种基于彩色及黑白双摄像头的夜景成像系统，包括：数据采集模块，用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即《0.1s；成像模块，将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；测试模块，制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。
27.图3是本发明实施例中的合成数据集夜景成像前后对比图。图4是本发明实施例中的真实数据集夜景成像前后对比图。
28.以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

技术特征：
1.一种基于彩色及黑白双摄像头的夜景成像方法，其特征在于，包括如下步骤：步骤s1、用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即<0.1s；步骤s2、将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；步骤s3、制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。2.根据权利要求1所述的一种基于彩色及黑白双摄像头的夜景成像方法，其特征在于，所述步骤s1具体实现如下：步骤s11、用户按下快门，通过黑白摄像头自动对焦并计算出曝光的iso值为x；步骤s121、设置彩色相机参数，其中iso设为0.2x，曝光时间设为0.05s；步骤s122、设置黑白相机参数，其中iso设为x，曝光时间设为0.05s；步骤s13、彩色相机和黑白相机同时捕获图像，得到彩色及黑白图像对。3.根据权利要求1所述的一种基于彩色及黑白双摄像头的夜景成像方法，其特征在于，所述步骤s2具体实现如下：步骤s21、调用设备包括cpu、gpu、内存和硬盘的硬件资源，加载低光退化矫正模型ldrm，将彩色及黑白图像对送入低光退化矫正模型ldrm；步骤s22、通过加性矫正网络arn对低光彩色图像做初步的增强，并将增强后的图像从rgb转到yuv通道，并拆封为y通道图像和uv通道图像；步骤s231、对uv通道图像做处理，通过uv通道乘性矫正网络mrn_uv对uv通道进行复原，得到增强后的uv通道特征；步骤s232、对y通道图像做处理，在y通道乘性矫正网络mrn_y中利用黑白图像指导y通道进行复原，得到增强后的y通道特征；步骤s24、将增强后的uv通道特征和y通道特征结合，通过细节增强模块dem对特征进一步融合和增强，再转换至rgb通道，得到乘性矫正图像；步骤s25、将步骤s22中得到的初步增强图像与乘性矫正图像相乘，得到最终的输出成像，储存在设备上。4.根据权利要求1所述的一种基于彩色及黑白双摄像头的夜景成像方法，其特征在于，所述步骤s3具体实现如下：步骤s31、制作合成数据集，通过添加噪声来模拟彩色及黑白双摄像头之间的差异，将合成数据集用于训练和测试模型性能；步骤s32、拍摄真实数据集，通过固定三脚架来拍摄短时间曝光的彩色黑白图像对以及长时间曝光的高质量彩色图像，将真实数据集用于训练和测试模型性能；步骤s33、将l1损失和感知损失perceptual loss作为模型的训练损失，对模型训练过程进行实时评价，实时保存训练模型和数据；步骤s34、引入有参考的性能评价指标峰值信噪比psnr、结构相似性ssim和进修感知图像块类似度lpips对任务完成情况进行评价。5.根据权利要求1所述的一种基于彩色及黑白双摄像头的夜景成像方法，其特征在于，步骤s1至步骤s3中，配件基础配置不低于：彩色摄像头：imx600，黑白摄像头：imx600，cpu：
骁龙870，gpu：adreno650，内存：8g，硬盘：64g；在用户按下快门后，彩色及黑白双摄像头根据环境亮度计算曝光并自动设置参数捕获到彩色和黑白图像对，并在本地设备上进行处理；最终成像结果将保存在设备中。6.一种基于彩色及黑白双摄像头的夜景成像系统，其特征在于，包括：数据采集模块，用户按下快门，设置彩色及黑白双摄像头的拍摄参数，利用短曝光时间获取低iso的彩色图像和高iso的黑白图像，得到彩色及黑白图像对，短曝光时间即<0.1s；成像模块，将彩色及黑白图像对输入，在低光退化矫正模型ldrm中利用黑白图像指导彩色图像增强得到最终高质量成像；测试模块，制作合成数据集、拍摄真实数据集，将复原结果与原始图像进行对比，验证系统的可靠性。

技术总结
本发明涉及一种基于彩色及黑白双摄像头的夜景成像方法及系统。所述方法：首先，用户按下快门，系统自动设置彩色及黑白双摄像头的拍摄参数，通过快门同时获取到低ISO的彩色图像和高ISO的黑白图像；其次，为了得到高质量的成像结果，在低光退化矫正模型（LDRM）中利用黑白图像指导彩色图像增强得到最终高质量成像，其中采用加性矫正网络对彩色图像初步增强，再采用乘性矫正网络利用黑白图像指导彩色图像做精细地增强；最后，利用训练模型预测出的结果与原始未增强的彩色图像进行对比，判断任务中目标的完成情况。本发明较采用其他低光照增强方法相比在准确率性能上表现最好，并且在主观效果上有着出色的表现，在实际低光成像应用场景中优势明显。景中优势明显。景中优势明显。


技术研发人员：赵铁松 林俊鸿 裴舒凡 罗芳 林振宇
受保护的技术使用者：福州大学
技术研发日：2023.06.10
技术公布日：2023/9/9