一种基于图像识别的曝光控制方法与流程

1.本发明属于图像识别技术领域，尤其涉及一种基于图像识别的曝光控制方法。


背景技术：

2.由于视频直播具有实时性，并且直播的视频内容可能发生不停地变化，例如主播在展示自己的才艺表演，主播身体会在画面中不停地转动，脸部的曝光细节可能随着他的运动而产生变化。又例如，主播在展示某项目厨艺、或者介绍某类商品的时候，会不停地翻转食材或者不停地摆弄商品，它们会随着主播的摆动而不停转动，食材和商品的纹理曝光细节可能随着他的运动而产生变化，使得观众观看体验下降。


技术实现要素：

3.为解决上述背景技术提到的技术问题，本发明提出一种基于图像识别的曝光控制方法，所述方法包括：
4.对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容；
5.将所述直播画面图像由rgb颜色模型转换到hsv颜色模型，得到所述直播画面图像的hsv颜色模型的亮度值；
6.实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝光状态进行调整。
7.优选的，所述对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容的步骤，具体包括：
8.对所述直播视频进行预处理，预处理过程包括对所述直播视频中的图像的裁剪和旋转扩充；
9.构建多层卷积神经网络，所述卷积神经网络包括数据输入层、卷积单元、损失函数，分别用于完成输入图像和标签，训练和学习功能；
10.基于多层卷积神经网络对所述直播视频中的图像进行去噪，得到预处理之后的直播画面图像，以确定目标内容。
11.优选的，所述对所述直播视频进行预处理，预处理过程包括对所述直播视频中的图像的裁剪和旋转扩充的步骤，包括：
12.预先从所述直播视频中的图像中选取多张带添加噪声的rgb颜色模型图像及其对应的噪声分布图像，分别构建为网络训练数据集和网络标签数据集；将所有图片进行预处理后，将含噪声的图像和其对应的噪声分布图像分为一组，每组图像裁剪为同样大小，得到的就是网络训练需要的数据集和标签集；清洗对网络学习存在干扰的对应的数据集和标签集；对得到的数据集和标签集随机同步进行一定角度的旋转和翻转，扩充训练的数量；
13.优选的，所述构建多层卷积神经网络的步骤，包括：
14.建立数据输入层，所述数据输入层依次连接十个卷积层单元，其中，每个卷积单元
分别连接于用于进行批归一化操作的batchnormalization层和scale层，每个卷积单元分别经过一个激活函数层输出连接到下一个卷积单元，最后一个卷积单元则经过reshape层重新排列数据后连接到损失函数层。
15.优选的，所述基于多层卷积神经网络对所述直播视频中的图像进行去噪，得到预处理之后的直播画面图像，以确定目标内容的步骤，具体包括：
16.采用欧几里得代价函数来计算输出的噪声预测结果与其本身标签结果之间的差值；
17.使用随机梯度下降的反向传播算法调节所述所述直播视频中的图像，使得预测的噪声结果和标签之间的代价函数收敛到一个恰当的值，得到卷积神经网络对所述直播视频中的图像的噪声检测的网络模型，基于所述网络模型对所述直播视频中的图像去噪，得到预处理之后的直播画面图像并得到所述直播画面图像中的目标内容。
18.优选的，所述实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝光状态进行调整，具体包括：
19.根据hsv空间中的亮度值来判断所述目标内容当前的曝光状态，
20.在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比大于第一占比阈值占比时，判断为第一曝光状态，则对所述目标内容中相对较暗的区域进行曝光控制，以增加画面曝光强度；
21.在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比小于第二占比阈值占比时，判断为第二曝光状态，则对所述目标内容中相对较亮的区域进行曝光控制，以降低画面曝光强度。
22.本发明的有益效果在于：在对直播视频的画面内容进行准确检测与识别的基础上，能够根据直播画面的实时变化的内容，智能对画面中的某个目标内容的曝光强度进行调整的对应的控制调整，提高了用户观看直播视频时的体验。
附图说明
23.图1为本发明一种基于图像识别的曝光控制方法的流程示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.本技术实施例提供一种基于图像识别的曝光控制方法，应用于视频直播场景，该控制方法的执行主体为安装有与所述控制方法相关的应用程序的计算机终端设备，所述方法包括：
26.步骤s10:对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容；
27.步骤s20:将所述直播画面图像由rgb颜色模型转换到hsv颜色模型，得到所述直播画面图像的hsv颜色模型的亮度值；
28.步骤s30:实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝
光状态进行调整。
29.需要说明的是，本发明首先获取当前播放的直播视频，对直播视频进行预处理，通过预处理的方式对直播视频的画面图像进行去噪，并识别直播视频中的目标内容；本实施例中的目标内容可以是主播人脸，例如主播在进行才艺直播时(如跳舞)，由于舞姿动作很快，脸部的曝光细节可能随着他的运动而产生变化，那么主播的脸部就是目标内容；本实施例中的目标内容也可以是某个商品，例如主播在进行直播带货，由于主播会不停地摆弄商品，商品会随着主播的摆动而不停转动，商品的纹理曝光细节可能随着他的运动而产生变化，那么被介绍的商品就是目标内容。
30.在直播视频进行预处理过程中，步骤s10分为：
31.s11,对所述直播视频进行预处理，预处理过程包括对所述直播视频中的图像的裁剪和旋转扩充；
32.s12,构建多层卷积神经网络，所述卷积神经网络包括数据输入层、卷积单元、损失函数，分别用于完成输入图像和标签，训练和学习功能；
33.s13,基于多层卷积神经网络对所述直播视频中的图像进行去噪，得到预处理之后的直播画面图像，以确定目标内容。
34.其中，所述s11的步骤，包括：
35.预先从所述直播视频中的图像中选取多张带添加噪声的rgb颜色模型图像及其对应的噪声分布图像，分别构建为网络训练数据集和网络标签数据集；将所有图片进行预处理后，将含噪声的图像和其对应的噪声分布图像分为一组，每组图像裁剪为同样大小，得到的就是网络训练需要的数据集和标签集；清洗对网络学习存在干扰的对应的数据集和标签集；对得到的数据集和标签集随机同步进行一定角度的旋转和翻转，扩充训练的数量；
36.进一步地，所述s12的步骤，包括：
37.建立数据输入层，所述数据输入层依次连接十个卷积层单元，其中，每个卷积单元分别连接于用于进行批归一化操作的batchnormalization层和scale层，每个卷积单元分别经过一个激活函数层输出连接到下一个卷积单元，最后一个卷积单元则经过reshape层重新排列数据后连接到损失函数层。
38.进一步地，所述s13的步骤，具体包括：
39.采用欧几里得代价函数来计算输出的噪声预测结果与其本身标签结果之间的差值；
40.使用随机梯度下降的反向传播算法调节所述所述直播视频中的图像，使得预测的噪声结果和标签之间的代价函数收敛到一个恰当的值，得到卷积神经网络对所述直播视频中的图像的噪声检测的网络模型，基于所述网络模型对所述直播视频中的图像去噪，得到预处理之后的直播画面图像并得到所述直播画面图像中的目标内容。
41.本实施例基于卷积神经网络的图像检测方法可以很快的得到带噪图片中噪声的分布情况，较准确的识别各种类型的噪声，为之后识别直播视频中的目标内容提供基础，有助于能加准确地控制目标内容图像的曝光强度。
42.进一步地，需要说明的是，本实施例在步骤s30实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝光状态进行调整的过程中，具体包括：
43.根据hsv空间中的亮度值来判断所述目标内容当前的曝光状态，
44.在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比大于第一占比阈值占比时，判断为第一曝光状态，则对所述目标内容中相对较暗的区域进行曝光控制，以增加画面曝光强度；
45.在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比小于第二占比阈值占比时，判断为第二曝光状态，则对所述目标内容中相对较亮的区域进行曝光控制，以降低画面曝光强度。
46.具体地，本实施例以50为hsv颜色模型的最大亮度值，设第一亮度阈值为18，第一占比阈值占比为85％，第二占比阈值为15％，
47.当亮度值小于18的像素占比大于85％时，可以认为是曝光不足状态(第一曝光状态)，则对所述目标内容中相对较暗的区域进行曝光控制，以增加画面曝光强度；
48.当亮度值小于18的像素占比小于15％时，可认为是曝光过剩状态(第二曝光状态)，则对所述目标内容中相对较亮的区域进行曝光控制，以降低画面曝光强度。
49.本实施例在对直播视频的画面内容进行准确检测与识别的基础上，能够根据直播画面的实时变化的内容，智能对画面中的某个目标内容的曝光强度进行调整的对应的控制调整，提高了用户观看直播视频时的体验。
50.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
51.上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
52.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
53.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种基于图像识别的曝光控制方法，其特征在于，所述方法包括：对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容；将所述直播画面图像由rgb颜色模型转换到hsv颜色模型，得到所述直播画面图像的hsv颜色模型的亮度值；实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝光状态进行调整。2.如权利要求1所述的方法，其特征在于，所述对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容的步骤，具体包括：对所述直播视频进行预处理，预处理过程包括对所述直播视频中的图像的裁剪和旋转扩充；构建多层卷积神经网络，所述卷积神经网络包括数据输入层、卷积单元、损失函数，分别用于完成输入图像和标签，训练和学习功能；基于多层卷积神经网络对所述直播视频中的图像进行去噪，得到预处理之后的直播画面图像，以确定目标内容。3.如权利要求1所述的方法，其特征在于，所述对所述直播视频进行预处理，预处理过程包括对所述直播视频中的图像的裁剪和旋转扩充的步骤，包括：预先从所述直播视频中的图像中选取多张带添加噪声的rgb颜色模型图像及其对应的噪声分布图像，分别构建为网络训练数据集和网络标签数据集；将所有图片进行预处理后，将含噪声的图像和其对应的噪声分布图像分为一组，每组图像裁剪为同样大小，得到的就是网络训练需要的数据集和标签集；清洗对网络学习存在干扰的对应的数据集和标签集；对得到的数据集和标签集随机同步进行一定角度的旋转和翻转，扩充训练的数量。4.如权利要求3所述的方法，其特征在于，所述构建多层卷积神经网络的步骤，包括：建立数据输入层，所述数据输入层依次连接十个卷积层单元，其中，每个卷积单元分别连接于用于进行批归一化操作的batchnormalization层和scale层，每个卷积单元分别经过一个激活函数层输出连接到下一个卷积单元，最后一个卷积单元则经过reshape层重新排列数据后连接到损失函数层。5.如权利要求4所述的方法，其特征在于，所述基于多层卷积神经网络对所述直播视频中的图像进行去噪，得到预处理之后的直播画面图像，以确定目标内容的步骤，具体包括：采用欧几里得代价函数来计算输出的噪声预测结果与其本身标签结果之间的差值；使用随机梯度下降的反向传播算法调节所述所述直播视频中的图像，使得预测的噪声结果和标签之间的代价函数收敛到一个恰当的值，得到卷积神经网络对所述直播视频中的图像的噪声检测的网络模型，基于所述网络模型对所述直播视频中的图像去噪，得到预处理之后的直播画面图像并得到所述直播画面图像中的目标内容。6.如权利要求1-5任一项所述的方法，其特征在于，所述实时地根据直播画面图像的hsv颜色模型的亮度值对所述目标内容的曝光状态进行调整，具体包括：根据hsv空间中的亮度值来判断所述目标内容当前的曝光状态，在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比大于第一占比阈值占比时，判断为第一曝光状态，则对所述目标内容中相对较暗的区域进行曝光控制，以
增加画面曝光强度；在所述目标内容的hsv颜色模型的亮度值小于第一亮度阈值的像素占比小于第二占比阈值占比时，判断为第二曝光状态，则对所述目标内容中相对较亮的区域进行曝光控制，以降低画面曝光强度。

技术总结
本发明提出一种基于图像识别的曝光控制方法，包括：对直播视频进行预处理，得到预处理之后的直播画面图像，并识别直播视频中的目标内容；将所述直播画面图像由RGB颜色模型转换到HSV颜色模型，得到所述直播画面图像的HSV颜色模型的亮度值；实时地根据直播画面图像的HSV颜色模型的亮度值对所述目标内容的曝光状态进行调整。本发明在对直播视频的画面内容进行准确检测与识别的基础上，能够根据直播画面的实时变化的内容，智能对画面中的某个目标内容的曝光强度进行调整的对应的控制调整，提高了用户观看直播视频时的体验。了用户观看直播视频时的体验。了用户观看直播视频时的体验。


技术研发人员：李维刚 王永强
受保护的技术使用者：科大集智技术湖北有限公司
技术研发日：2023.04.11
技术公布日：2023/8/22