图像处理方法和电子设备与流程

1.本技术涉及图像领域，具体地，涉及一种图像处理方法和电子设备。


背景技术：

2.随着电子设备中图像技术的发展，用户对拍摄功能的要求越来越高。例如，用户在拍摄运动对象时，通常期望电子设备能够采集到运动对象在运动瞬间的图像；由于拍摄对象在运动，因此电子设备通常需要减少图像中的运动模糊；目前，为了减少图像中的运动模糊，通常电子设备可以缩短曝光时间，提升感光度值；但是，在带电光源(例如，50hz交流电)的拍摄场景中，由于缩短曝光时间会导致曝光时间不满足10ms的整数倍；若曝光时间不满足10ms的整数倍，则电子设备采集的图像中会出现图像条带化(banding)问题；例如，明暗相间的banding条纹，或者，局部图像区域偏色问题，从而影响图像质量。
3.因此，如何去除图像中的图像条带问题和/或局部偏色问题，提升图像质量成为一个亟需解决的问题。


技术实现要素：

4.本技术提供了一种图像处理方法和电子设备，能够去除图像中的图像条带问题和/或局部偏色问题，提升图像质量。
5.第一方面，提供了一种图像处理方法，应用于电子设备，所述电子设备所处的拍摄环境的光源为频闪光源，所述图像处理方法包括：
6.运行所述电子设备的相机应用程序；
7.显示第一图像，所述第一图像为基于第一曝光时间采集的拍摄对象的图像，所述拍摄对象为运动对象，所述第一曝光时间小于第一时长，所述第一图像中包括条纹和/或偏色图像区域；
8.检测到第一操作，所述第一操作指示所述电子设备拍摄或者录像；
9.响应于所述第一操作，获取第二图像，所述第二图像为基于第二曝光时间采集的所述拍摄对象的图像，所述第二曝光时间为所述第一时长的整数倍；
10.基于所述第一图像与所述第二图像，得到颜色转换矩阵和/或亮度参数，所述颜色转换矩阵用于对所述第一图像进行颜色调整，所述亮度参数用于对所述第一图像进行亮度调整；
11.基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为去除所述条纹和/或偏色图像区域的图像；
12.显示或者保存所述第三图像。
13.在本技术的实施例中，在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding条纹的情况下；在本技术的实施例中，通过以第二图像(例如，正常曝光图像)为基准对第一图像(曝光图像)进行颜色迁移与亮度迁移，得到颜色转换矩阵和/或亮度参数；基于颜色转换矩阵和/或亮度参
数，去除第一图像中的条纹和/或偏色图像区域；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的条纹和/或偏色图像区域，提高图像质量。
14.结合第一方面，在第一方面的某些实现方式中，还包括：
15.将所述第一图像与所述第二图像输入至图像处理模型，得到双边网格数据；其中，所述图像处理模型用于以所述第二图像为基准对所述第一图像进行颜色迁移处理与亮度迁移处理，所述双边网格数据包括所述颜色转换矩阵和/或所述亮度参数，所述第一图像的尺寸与所述第二图像的尺寸相同。
16.本技术的实施例中，通过图像处理模型能够得到将正常曝光时间或者长曝光时间得到的图像帧的颜色与亮度迁移至短曝光时间的图像帧的双边网格；在交流电为50hz的频闪光源的拍摄场景中，由于正常曝光时间或者长曝光时间为10ms的整数倍，因此，长曝光图像与正常曝光图像中通常不存在图像条纹或者偏色图像区域；基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，能够识别第一图像与第二图像之间的图像内容差异部分；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
17.结合第一方面，在第一方面的某些实现方式中，所述基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，包括：
18.基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行插值处理，得到所述第三图像。
19.在一种可能的实现方式中，可以对颜色转换矩阵和/或亮度参数与第一图像的矩阵进行相乘，得到第三图像。
20.结合第一方面，在第一方面的某些实现方式中，所述基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行插值处理，得到所述第三图像，包括：
21.在第一颜色空间，基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行所述第一图像处理，得到处理后的图像；
22.在所述第一颜色空间，对所述处理后的图像进行第二图像处理，得到所述第三图像，所述第二图像处理为所述第一颜色空间中的颜色处理算法。
23.在本技术的实施例中，在图像信号处理器对电子设备采集的raw图像进行处理的过程中，在执行第一颜色空间的算法时，可以先执行基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理再执行第一颜色空间的其他算法；由于第一图像处理能够得到去除banding条纹和/或偏色图像区域的图像；换而言之，第一图像处理能够对图像进行颜色与亮度的校正；在颜色与亮度的准确性较高的情况下，再执行第一颜色空间的其他算法能够确保在图像的颜色与亮度的准确性较高的基础上，对去除banding条纹和/或偏色图像区域的图像进行第一颜色空间的其他算法处理，从而提升图像质量。
24.结合第一方面，在第一方面的某些实现方式中，所述获取第二图像之前，还包括：
25.对所述电子设备所处的拍摄场景进行检测，检测到所述运动对象；且
26.检测到所述第一图像中存在所述条纹和/或偏色图像区域。
27.结合第一方面，在第一方面的某些实现方式中，所述第一时长的大小为基于所述频闪光源在每秒的亮暗次数得到的。
28.结合第一方面，在第一方面的某些实现方式中，所述第一时长＝1000/所述频闪光源在每秒的亮暗次数。
29.结合第一方面，在第一方面的某些实现方式中，所述频闪光源在每秒的亮暗次数与所述频闪光源的工作电压的频率关联。
30.在一种可能的实现方式中，频闪光源工作电压的频率为50hz，即频闪光源在每秒的亮暗次数为100次，则第一时长为10ms；此时，第一图像的曝光时间小于10ms，第二图像的曝光时间为10ms的整数倍。
31.在一种可能的实现方式中，频闪光源工作电压的频率为60hz，即频闪光源在每秒的亮暗次数为120次，则第一时长为8.3ms；此时，第一图像的曝光时间小于8.3ms，第二图像的曝光时间为8.3ms的整数倍。
32.结合第一方面，在第一方面的某些实现方式中，所述图像处理模型为卷积神经网络。
33.在一种可能的实现方式中，图像处理模型为hdrnet。
34.结合第一方面，在第一方面的某些实现方式中，所述图像处理模型是通过以下方法训练得到的：
35.获取样本数据，所述样本数据包括第一样本图像、第二样本图像与第三样本图像，所述第二样本图像中包括所述第一样本图像的图像内容、条纹和/或偏色图像区域，所述第三样本图像与所述第一样本图像具有相同的图像内容，所述第三样本图像的图像质量高于所述第一样本图像的图像质量；
36.将所述第一样本图像与所述第二样本图像输入至待训练的图像处理模型，得到预测双边网格数据；
37.基于所述预测双边网格数据对所述第二样本图像进行插值处理，得到预测图像；
38.基于预测图像与所述第三样本图像之间的差异训练所述待训练的图像处理模型，得到所述图像处理模型。
39.结合第一方面，在第一方面的某些实现方式中，所述电子设备包括图像信号处理器，所述第一图像为所述图像信号处理器输出的图像。
40.在本技术的实施例中，第一图像可以为图像信号处理器输出的图像；由于第一图像为信号处理器输出的图像，图像信号处理器可以对短曝光的raw图像进行去噪处理，因此虽然第一图像中包括banding条纹，但是第一图像中的图像细节信息较丰富。
41.结合第一方面，在第一方面的某些实现方式中，所述第二图像为对所述电子设备采集的raw图像进行第三图像处理得到的图像，所述第三图像处理包括颜色空间转换处理。
42.应理解，在本技术的实施例中，第二图像为正常曝光图像；例如，第二图像可以为对正常曝光的raw图像进行下采样与颜色空间转换处理后得到的图像；由于在本技术的实施例中，需要第二图像中的颜色信息与亮度信息对第一图像进行迁移处理，因此对第二图像中的细节信息的要求较低，即第二图像可以无需经过图像信号处理器的处理。
43.第二方面，提供了一种电子设备，电子设备包括一个或多个处理器与存储器；存储器与一个或多个处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，一个或多个处理器调用计算机指令以使得电子设备执行：
44.运行所述电子设备的相机应用程序；
45.显示第一图像，所述第一图像为基于第一曝光时间采集的拍摄对象的图像，所述拍摄对象为运动对象，所述第一曝光时间小于第一时长，所述第一图像中包括条纹和/或偏色图像区域；
46.检测到第一操作，所述第一操作指示所述电子设备拍摄或者录像；
47.响应于所述第一操作，获取第二图像，所述第二图像为基于第二曝光时间采集的所述拍摄对象的图像，所述第二曝光时间为所述第一时长的整数倍；
48.基于所述第一图像与所述第二图像，得到颜色转换矩阵和/或亮度参数，所述颜色转换矩阵用于对所述第一图像进行颜色调整，所述亮度参数用于对所述第一图像进行亮度调整；
49.基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为去除所述条纹和/或偏色图像区域的图像；
50.显示或者保存所述第三图像。
51.结合第二方面，在第二方面的某些实现方式中，一个或多个处理器调用计算机指令以使得电子设备执行：
52.将所述第一图像与所述第二图像输入至图像处理模型，得到双边网格数据；其中，所述图像处理模型用于以所述第二图像为基准对所述第一图像进行颜色迁移处理与亮度迁移处理，所述双边网格数据包括所述颜色转换矩阵和/或所述亮度参数，所述第一图像的尺寸与所述第二图像的尺寸相同。
53.结合第二方面，在第二方面的某些实现方式中，一个或多个处理器调用计算机指令以使得电子设备执行：
54.基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行插值处理，得到所述第三图像。
55.结合第二方面，在第二方面的某些实现方式中，一个或多个处理器调用计算机指令以使得电子设备执行：
56.在第一颜色空间，基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行所述第一图像处理，得到处理后的图像；
57.在所述第一颜色空间，对所述处理后的图像进行第二图像处理，得到所述第三图像，所述第二图像处理为所述第一颜色空间中的颜色处理算法。
58.结合第二方面，在第二方面的某些实现方式中，一个或多个处理器调用计算机指令以使得电子设备执行：
59.对所述电子设备所处的拍摄场景进行检测，检测到所述运动对象；且
60.检测到所述第一图像中存在所述条纹和/或偏色图像区域。
61.结合第二方面，在第二方面的某些实现方式中，所述第一时长的大小为基于所述频闪光源在每秒的亮暗次数得到的。
62.结合第二方面，在第二方面的某些实现方式中，所述第一时长＝1000/所述频闪光源在每秒的亮暗次数。
63.结合第二方面，在第二方面的某些实现方式中，所述频闪光源在每秒的亮暗次数与所述频闪光源的工作电压的频率关联。
64.结合第二方面，在第二方面的某些实现方式中，所述图像处理模型为卷积神经网
络。
65.结合第二方面，在第二方面的某些实现方式中，所述图像处理模型是通过以下方法训练得到的：
66.获取样本数据，所述样本数据包括第一样本图像、第二样本图像与第三样本图像，所述第二样本图像中包括所述第一样本图像的图像内容、条纹和/或偏色图像区域，所述第三样本图像与所述第一样本图像具有相同的图像内容，所述第三样本图像的图像质量高于所述第一样本图像的图像质量；
67.将所述第一样本图像与所述第二样本图像输入至待训练的图像处理模型，得到预测双边网格数据；
68.基于所述预测双边网格数据对所述第二样本图像进行插值处理，得到预测图像；
69.基于预测图像与所述第三样本图像之间的差异训练所述待训练的图像处理模型，得到所述图像处理模型。
70.结合第二方面，在第二方面的某些实现方式中，所述电子设备包括图像信号处理器，所述第一图像为所述图像信号处理器输出的图像。
71.结合第二方面，在第二方面的某些实现方式中，所述第二图像为对所述电子设备采集的raw图像进行第三图像处理得到的图像，所述第三图像处理包括颜色空间转换处理。
72.第三方面，提供了一种电子设备，包括用于执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法的模块/单元。
73.第四方面，提供一种电子设备，所述电子设备包括一个或多个处理器和存储器与；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
74.第五方面，提供了一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行第一方面或第一方面中的任一种图像处理方法。
75.第六方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
76.第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序代码，当所述计算机程序代码被电子设备运行时，使得该电子设备执行第一方面或者第一方面中的任意一种实现方式中的图像处理方法。
77.在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding(例如，banding条纹和/或偏色图像区域)的情况下；在本技术的实施例中，通过以正常曝光图像为基准对短曝光图像进行颜色迁移与亮度迁移，得到颜色转换矩阵和/或亮度参数；基于颜色转换矩阵和/或亮度参数，去除短曝光图像中的banding条纹；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的banding条纹，提高图像质量。
78.此外，在本技术的实施例中，基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，第一图像与
第二图像之间图像内容差异较大的偏差区域，即图像处理模型能够识别第二图像与第一图像之间的鬼影区域；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
附图说明
79.图1是一种适用于本技术的电子设备的硬件系统的示意图；
80.图2是一种适用于本技术的电子设备的软件系统的示意图；
81.图3是一种适用于本技术实施例的应用场景的示意图；
82.图4是一种适用于本技术实施例的图形用户界面的示意图；
83.图5是本技术实施例提供的一种图像处理方法的示意性流程图；
84.图6是本技术实施例提供的一种图像信号处理器处理方法的示意性流程图；
85.图7是本技术实施例提供的一种图像处理方法的示意性流程图；
86.图8是本技术实施例提供的一种图像处理模型的训练方法的示意性流程图；
87.图9是一种适用于本技术实施例的图形用户界面的示意图；
88.图10是一种适用于本技术实施例的图形用户界面的示意图；
89.图11是一种适用于本技术实施例的图形用户界面的示意图；
90.图12是一种适用于本技术实施例的图形用户界面的示意图；
91.图13是一种适用于本技术实施例的图形用户界面的示意图；
92.图14是本技术实施例提供的一种电子设备的结构示意图；
93.图15是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
94.在本技术的实施例中，以下术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
95.为了便于对本技术实施例的理解，首先对本技术实施例中涉及的相关概念进行简要说明。
96.1、频闪(flicker)
97.交流电网中的传输的能量并不是稳定不变的，而是随着一个固定频率进行变化，这个频率一般被称为工频；工频的带来的这种能量变化称为flicker。
98.2、图像条带(banding)
99.在频闪光源的拍摄环境中，电子设备中的图像传感器捕捉到flicker而在图像上形成的条带的现象称为图像条带banding现象，通常可以称为banding。
100.示例性地，对于50hz交流电，即每秒钟灯光亮暗100次的带电光源；若电子设备的曝光时间满足10ms的整数倍，则曝光积分周期可以抵消banding；若电子设备的曝光时间不满足10ms的整数倍，则采集图像时的进光量会按交流电正弦波规律波动，导致图像中出现有规律的条纹。
101.3、双边网格(bilateral grid)
102.双边网格本质上是一个数据结构；例如，对于单通道的灰度值，双边网格可以为结合图像二维的空间域信息以及一维的灰度信息，得到的一个三维数组。
103.4、曝光时间
104.曝光时间是指从相机快门打开到关闭这段时间内光线照射到底片或感光器的时间。
105.5、神经网络
106.神经网络是指将多个单一的神经单元联结在一起形成的网络，即一个神经单元的输出可以是另一个神经单元的输入；每个神经单元的输入可以与前一层的局部接受域相连，来提取局部接受域的特征，局部接受域可以是由若干个神经单元组成的区域。
107.6、卷积神经网络(convolutional neuron network，cnn)
108.卷积神经网络是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征选取器，该特征选取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取图像信息的方式与位置无关。卷积核可以以随机大小的矩阵的形式初始化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
109.7、hdrnet
110.hdrnet是一种典型的3d插值网格；例如，空域上可以划分成了16x16，值域上可以划分成8个区间。
111.8、反向传播算法
112.神经网络可以采用误差反向传播(back propagation，bp)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
113.下面将结合附图，对本技术实施例中提供的图像处理方法和电子设备进行描述。
114.图1示出了一种适用于本技术的电子设备的硬件系统。
115.电子设备100可以是手机、智慧屏、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality，ar)设备、虚拟现实(virtual reality，vr)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个人数字助理(personal digital assistant，pda)、投影仪等等，本技术实施例对电子设备100的具体类型不作任何限制。
116.电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头
193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等。
117.需要说明的是，图1所示的结构并不构成对电子设备100的具体限定。在本技术另一些实施例中，电子设备100可以包括比图1所示的部件更多或更少的部件，或者，电子设备100可以包括图1所示的部件中某些部件的组合，或者，电子设备100可以包括图1所示的部件中某些部件的子部件。图1示的部件可以以硬件、软件、或软件和硬件的组合实现。
118.处理器110可以包括一个或多个处理单元。例如，处理器110可以包括以下处理单元中的至少一个：应用处理器(application processor，ap)、调制解调处理器、图形处理器(graphics processing unit，gpu)、图像信号处理器(image signal processor，isp)、控制器、视频编解码器、数字信号处理器(digital signal processor，dsp)、基带处理器、神经网络处理器(neural-network processing unit，npu)。其中，不同的处理单元可以是独立的器件，也可以是集成的器件。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
119.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
120.在一些实施例中，处理器110可以包括一个或多个接口。例如，处理器110可以包括以下接口中的至少一个：内部集成电路(inter-integrated circuit，i2c)接口、内部集成电路音频(inter-integrated circuit sound，i2s)接口、脉冲编码调制(pulse code modulation，pcm)接口、通用异步接收传输器(universal asynchronous receiver/transmitter，uart)接口、移动产业处理器接口(mobile industry processor interface，mipi)、通用输入输出(general-purpose input/output，gpio)接口、sim接口、usb接口。
121.示例性地，在本技术的实施例中，处理器110可以用于执行本技术实施例提供的图像处理方法；例如，行电子设备的相机应用程序；显示第一图像，第一图像为基于第一曝光时间采集的拍摄对象的图像，拍摄对象为运动对象，第一曝光时间小于第一时长，第一图像中包括条纹和/或偏色图像区域；检测到第一操作，第一操作指示电子设备拍摄或者录像；响应于第一操作，获取第二图像，第二图像为基于第二曝光时间采集的拍摄对象的图像，第二曝光时间为第一时长的整数倍；基于第一图像与第二图像，得到颜色转换矩阵和/或亮度参数，颜色转换矩阵用于对第一图像进行颜色调整，亮度参数用于对第一图像进行亮度调整；基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到第三图像，第三图像为去除条纹和/或偏色图像区域的图像；显示或者保存第三图像。
122.图1所示的各模块间的连接关系只是示意性说明，并不构成对电子设备100的各模块间的连接关系的限定。可选地，电子设备100的各模块也可以采用上述实施例中多种连接方式的组合。
123.电子设备100的无线通信功能可以通过天线1、天线2、移动通信模块150、无线通信模块160、调制解调处理器以及基带处理器等器件实现。
124.天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
125.电子设备100可以通过gpu、显示屏194以及应用处理器实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
126.显示屏194可以用于显示图像或视频。
127.可选地，显示屏194可以用于显示图像或视频。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)、有机发光二极管(organic light-emitting diode，oled)、有源矩阵有机发光二极体(active-matrix organic light-emitting diode，amoled)、柔性发光二极管(flex light-emitting diode，fled)、迷你发光二极管(mini light-emitting diode，mini led)、微型发光二极管(micro light-emitting diode，micro led)、微型oled(micro oled)或量子点发光二极管(quantum dot light emitting diodes，qled)。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
128.示例性地，电子设备100可以通过isp、摄像头193、视频编解码器、gpu、显示屏194以及应用处理器等实现拍摄功能。
129.示例性地，isp用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过摄像头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp可以对图像的噪点、亮度和色彩进行算法优化，isp还可以优化拍摄场景的曝光和色温等参数。在一些实施例中，isp可以设置在摄像头193中。
130.示例性地，摄像头193(也可以称为镜头)用于捕获静态图像或视频。可以通过应用程序指令触发开启，实现拍照功能，如拍摄获取任意场景的图像。摄像头可以包括成像镜头、滤光片、图像传感器等部件。物体发出或反射的光线进入成像镜头，通过滤光片，最终汇聚在图像传感器上。成像镜头主要是用于对拍照视角中的所有物体(也可以称为待拍摄场景、目标场景，也可以理解为用户期待拍摄的场景图像)发出或反射的光汇聚成像；滤光片主要是用于将光线中的多余光波(例如除可见光外的光波，如红外)滤去；图像传感器可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。图像传感器主要是用于对接收到的光信号进行光电转换，转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。
131.示例性地，数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
132.示例性地，视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1、mpeg2、mpeg3和mpeg4。
133.示例性地，陀螺仪传感器180b可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备100围绕三个轴(即，x轴、y轴和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。例如，当快门被按下时，陀螺仪传感器180b检测电子设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备100的抖动，实现防抖。陀螺仪传感器180b还可以用于导航和体感游戏等场景。
134.示例性地，加速度传感器180e可检测电子设备100在各个方向上(一般为x轴、y轴和z轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。加速度传感器180e还可以用于识别电子设备100的姿态，作为横竖屏切换和计步器等应用程序的输入参数。
135.示例性地，距离传感器180f用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，例如在拍摄场景中，电子设备100可以利用距离传感器180f测距以实现快速对焦。
136.示例性地，环境光传感器180l用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180l也可用于拍照时自动调节白平衡。环境光传感器180l还可以与接近光传感器180g配合，检测电子设备100是否在口袋里，以防误触。
137.示例性地，指纹传感器180h用于采集指纹。电子设备100可以利用采集的指纹特性实现解锁、访问应用锁、拍照和接听来电等功能。
138.示例性地，触摸传感器180k，也称为触控器件。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，触摸屏也称为触控屏。触摸传感器180k用于检测作用于其上或其附近的触摸操作。触摸传感器180k可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备100的表面，并且与显示屏194设置于不同的位置。
139.上文详细描述了电子设备100的硬件系统，下面介绍电子设备100的软件系统。
140.图2是本技术实施例提供的电子设备的软件系统的示意图。
141.如图2所示，系统架构中可以包括应用层210、应用框架层220、硬件抽象层230、驱动层240以及硬件层250。
142.应用层210可以包括相机应用程序。
143.可选地，应用层210还可以包括图库、日历、通话、地图、导航、wlan、蓝牙、音乐、视频、短信息等应用程序。
144.应用框架层320为应用程序层的应用程序提供应用程序编程接口(application programming interface，api)和编程框架；应用程序框架层可以包括一些预定义的函数。
145.例如，应用框架层320可以包括相机访问接口；相机访问接口中可以包括相机管理与相机设备。其中，相机管理可以用于提供管理相机的访问接口；相机设备可以用于提供访问相机的接口。
146.硬件抽象层330用于将硬件抽象化。比如，硬件抽象层可以包相机抽象层以及其他硬件设备抽象层；相机抽象层中可以包括相机设备1、相机设备2等；相机硬件抽象层可以与
相机算法库相连接，相机硬件抽象层可以调用相机算法库中的算法。
147.示例性地，相机算法库中可以包括图像处理算法，运行图像处理算法时用于执行本技术实施例提供的图像处理方法。
148.驱动层340用于为不同硬件设备提供驱动。比如，驱动层可以包括相机设备驱动。
149.硬件层250可以包括图像传感器、图像信号处理器以及其他硬件设备。
150.目前，用户在拍摄运动对象时，通常期望电子设备能够采集到运动对象在运动瞬间的图像；由于拍摄对象在运动，因此电子设备通常需要减少图像中的运动模糊；目前，为了减少图像中的运动模糊，通常电子设备可以缩短曝光时间，提升感光度值；但是，在频闪光源(例如，50hz交流电)的拍摄场景中，由于缩短曝光时间会导致曝光时间不满足10ms的整数倍；若曝光时间不满足10ms的整数倍，则电子设备采集的图像中会出现图像条带(banding)问题，即图像中出现明暗相间的banding条纹；其中，banding可以包括luma banding与chroma banding；luma banding是指由于缩短曝光时间产生的banding条纹；其中，luma banding仅有明暗变换，无颜色改变；chroma banding是指图像中的局部区域出现图像偏色，图像中的局部区域与图像整体颜色不符，出现红色，绿色或者蓝色的偏色；产生luma banding的原因在于：对于50hz交流电的频闪光源的拍摄场景，若电子设备的曝光时间不是10ms的整数倍时，拍摄环境中频闪光源产生的交流电正弦波段无法与曝光积分周期相抵消，使得采集的图像中出现亮度有规律的条纹；产生chroma banding的原因在于：在频闪光源的电压变化10％时，光源的色温会发生较大的变化(例如，1000k左右)；图像的成像与色温相关；由于带电光源的电压发生较小的变化时，色温会出现较大的变化；导致图像中出现偏色问题；因此，若图像中出现banding则会严重影响图像质量。
151.有鉴于此，本技术的实施例提供了一种图像处理方法和电子设备；在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding条纹和/或偏色图像区域的情况下；在本技术的实施例中，通过以正常曝光图像为基准对短曝光图像进行颜色迁移与亮度迁移，从而去除短曝光图像中的banding条纹与偏色图像区域；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的banding条纹与偏色图像区域，提高图像质量。
152.图3是本技术实施例提供的图像处理方法的应用场景的示意图。
153.示例性地，本技术实施例中的图像处理方法可以应用于拍照领域；例如，本技术的图像处理方法可以应用于在频闪光源的拍摄环境(例如，室内拍摄环境)中拍摄运动对象；其中，运动对象可以是指运动的用户，移动的物体，或者，视频中播放的图像(例如，电影)等。
154.例如，如图3所示，拍摄对象270在频闪光源的室内场所运动，室内照明设备(例如，电灯260)提供照明，电子设备100运行相机应用，电子设备100采集包括拍摄对象270的图像的过程中，显示屏上可以实时显示包括拍摄对象270的预览图像；用户在查看电子设备100显示屏的预览图像时，若要抓拍拍摄对象270运动瞬间的图像，点击拍摄界面的拍摄控件即可。当电子设备100的拍摄控件被触发，电子设备100可以抓拍到拍摄对象270运动瞬间的图像。
155.可选地，图3中以拍摄对象270为用户进行举例说明；拍摄对象还可以是动物、车辆、机器人等。例如，拍摄对象在频闪光源的拍摄环境中运动，可以是用户在室内打羽毛球、
打乒乓球、练习瑜伽等。其中，电子设备的拍摄视角中的拍摄对象可以是一个用户，也可以是多用户。
156.另外，室内场所需要使用照明设备提供光照，照明设备可以在交流电的驱动下工作。以照明设备是日光灯为例，日光灯的工作原理是在高压电流的作用下，灯管内的惰性气体放电，放电产生的电子到达日光灯的灯管使得日光灯发光。以日光灯的工作电压是50hz交流电为例，当日光灯在交流电的驱动下工作时，50hz的交流电使得日光灯在1s中频闪次数为100。
157.可选地，日光灯的工作电压是60hz交流电为例，当日光灯在交流电的驱动下工作时，60hz的交流电使得日光灯在1s中频闪次数为120。
158.示例性地，在本技术的实施例中，电子设备处于拍照模式，电子设备的显示屏可以显示预览图像，当电子设备的拍摄控件被触发，电子设备可以生成抓拍图像(也可被称为拍摄图像)。当电子设备抓拍拍摄对象的运动瞬间的过程，拍摄场景中光源的频闪会影响图像传感器采集的图像，可能会使得预览图像流中的图像出现banding条纹，和/或，使得电子设备采集的图像出现banding条纹；例如，如图4所示。
159.本技术实施例的图像处理方法可以应用于相机应用程序的拍照模式；通过本技术实施例提供的图像处理方法，在电子设备处于频闪光源的拍摄环境中，拍摄运动物体时，能够去除图像中的banding条纹与偏色图像区域，提高图像的颜色准确性与亮度准确性；提高图像质量。
160.示例性地，在相机应用程序处于预览状态(例如，拍照预览)时；电子设备显示的预览图像中包括banding条纹；在电子设备的拍摄控件被触发后，可以执行本技术实施例提供的图像处理方法，得到去除banding的图像；去除图像banding的图像可以是指去除图像中的局部偏色问题(例如，chroma banding)，和/或，去除图像中的明暗相间的条纹(例如，luma banding)。
161.可选地，在电子设备具有足够的运算能力的情况下，本技术实施例中的图像处理方法还可以应用于录制视频领域、视频通话领域或者其他图像处理领域。
162.示例性地，视频通话场景可以包括但不限于以下场景中：
163.视频通话、视频会议应用、长短视频应用、视频直播类应用、视频网课应用、人像智能运镜应用场景、系统相机录像功能录制视频、视频监控，或者智能猫眼等人像拍摄类场景等。
164.应理解，上述为对应用场景的举例说明，并不对本技术的应用场景作任何限定。
165.下面结合图6至图12对本技术实施例提供的图像处理方法进行详细地描述。
166.图5是本技术实施例提供的一种图像处理方法的示意性流程图。该方法300包括可以由图1所示的电子设备执行；该方法300包括步骤s310至步骤s350，下面分别对步骤s310至步骤s350进行详细的描述。
167.应理解，图5所示的方法应用于电子设备所处拍摄环境的光源为频闪光源；由于本技术的方案光源为频闪光源，因此在电子设备获取图像时的曝光时间不满足(1000/每秒钟光源亮暗次数)毫秒的整数倍时，图像中会出现banding条纹。
168.步骤s310、运行电子设备中的相机应用程序。
169.例性地，用户可以通过单击“相机”应用程序的图标，指示电子设备运行相机应用；
或者，电子设备处于锁屏状态时，用户可以通过在电子设备的显示屏上向右滑动的手势，指示电子设备运行相机应用。又或者，电子设备处于锁屏状态，锁屏界面上包括相机应用程序的图标，用户通过点击相机应用程序的图标，指示电子设备运行相机应用程序。又或者，电子设备在运行其他应用时，该应用具有调用相机应用程序的权限；用户通过点击相应的控件可以指示电子设备运行相机应用程序。例如，电子设备正在运行即时通信类应用程序时，用户可以通过选择相机功能的控件，指示电子设备运行相机应用程序等。
170.应理解，上述为对运行相机应用程序的操作的举例说明；还可以通过语音指示操作，或者其它操作的指示电子设备运行相机应用程序；本技术对此不作任何限定。
171.还应理解，运行相机应用程序可以是指启动相机应用程序。
172.步骤s320、显示第一图像，第一图像中包括条纹和/或偏色图像区域。
173.其中，第一图像为基于第一曝光时间采集的拍摄对象的图像，拍摄对象为运动对象，第一曝光时间小于第一时长。
174.可选地，第一图像中可以包括条纹，即第一图像中包括luma banding。
175.可选地，第一图像中可以包括条纹与偏色图像区域，即第一图像中包括luma banding与chroma banding。
176.应理解，luma banding指由于缩短曝光时间产生的banding条纹；其中，luma banding仅有明暗变换，无颜色改变；产生luma banding的原因在于：拍摄环境中频闪光源产生的交流电正弦波段无法与曝光积分周期相抵消，使得采集的图像中出现亮度有规律的条纹。
177.应理解，chroma banding是指图像中的局部区域出现图像偏色，图像中的局部区域与图像整体颜色不符，出现红色，绿色或者蓝色等偏色；产生chroma banding的原因在于：能量变化的同时，伴随色温的变化，导致图像中出现偏色问题；例如，对于luma banding中明暗相间的条纹中呈现不同的颜色，则图像中出现chroma banding。
178.还应理解，条纹可以是指全局banding,即图像的整体区域中会出现明暗相间的条纹；偏色图像区域可以是指局部banding，即图像中出现局部偏色区域，该偏色区域与图像整体的颜色不相符；例如，可以是出现红色，绿色或者蓝色的偏色。
179.还应理解，由于第一图像的曝光时间小于第一时长，因此曝光积分周期无法抵消banding；因此，第一图像中可能会出现banding条纹；此外，在频闪光源的电压变化10％时，光源的色温会发生较大的变化(例如，1000k左右)；图像的成像与色温相关；由于带电光源的电压发生较小的变化时，色温会出现较大的变化；导致图像中出现偏色问题。
180.示例性地，第一图像可以为如图10中的(a)所示的图像，图像中包括明暗相间的条纹与偏色图像区域704；图像区域704可以是指红色，绿色，蓝色或者其他颜色的偏色图像区域。
181.可选地，第一图像可以是指电子设备中预览界面中的预览图像；其中，预览界面可以是指拍照预览界面，或者，录像预览界面。
182.步骤s330、检测到第一操作，第一操作指示所述电子设备拍摄或者录像。
183.示例性地，在相机应用程序处于拍照模式，则第一操作可以是指点击拍照控件的操作，如图11中的(b)所示。
184.示例性地，在相机应用程序处于录像模式，则第一操作可以是指点击录像控件的
操作。应理解，上述是对第一操作的举例说明；还可以通过语音指示操作，或者其它操作的指示电子设备拍照或者录像；本技术对此不作任何限定。
185.可选地，运动对象可以是指运动的用户，移动的物体，或者，视频中播放的图像(例如，电影)等。
186.可选地，电子设备中包括图像信号处理器，第一图像可以为图像信号处理器输出的图像。
187.在本技术的实施例中，第一图像可以为图像信号处理器输出的图像；由于第一图像为信号处理器输出的图像，图像信号处理器可以对短曝光的raw图像进行去噪处理，因此虽然第一图像中包括banding条纹，但是第一图像中的图像细节信息较丰富。
188.步骤s340、响应于第一操作，获取第二图像。
189.其中，第二图像为基于第二曝光时间采集的拍摄对象的图像，第二曝光时间为第一时长的整数倍。
190.应理解，由于第二图像的曝光时间为第一时长的整数倍，因此曝光积分周期可以抵消banding；因此，第二图像中不会出现banding条纹。
191.示例性地，对于50hz交流电的频闪光源，第二图像的曝光时间可以为10ms的整数倍。
192.应理解，由于第二图像的曝光时间满足第一时长的整数倍，因此第二图像中每一行像素接收的能量相同，因此第二图像中不会存在能量波动，也不会存在偏色问题；因此，第二图像中不会出现条纹与偏色图像区域，即第二图像中不存在luma banding与chroma banding。
193.可选地，第一时长的大小为基于频闪光源在每秒的亮暗次数得到的。
194.可选地，频闪光源在每秒的亮暗次数与频闪光源的工作电压的频率关联。
195.示例性地，第一时长＝1000/频闪光源在每秒的亮暗次数。
196.在一个示例中，频闪光源工作电压的频率为50hz，即频闪光源在每秒的亮暗次数为100次，则第一时长为10ms；此时，第一图像的曝光时间小于10ms，第二图像的曝光时间为10ms的整数倍。
197.在一个示例中，频闪光源工作电压的频率为60hz，即频闪光源在每秒的亮暗次数为120次，则第一时长为8.3ms；此时，第一图像的曝光时间小于8.3ms，第二图像的曝光时间为8.3ms的整数倍。
198.应理解，上述是对第一时长的举例说明；本技术对第一时长的大小不作任何限定。
199.可选地，第二图像为对电子设备采集的raw图像进行第三图像处理得到的图像，第三图像处理包括颜色空间转换处理。
200.示例性地，电子设备可以采集正常曝光的raw图像，对正常曝光的raw图像进行颜色空间转换处理，得到第二像。
201.例如，第二图像可以为rgb颜色空间的图像，或者，yuv颜色空间的图像。
202.应理解，在本技术的实施例中，第二图像为正常曝光图像；例如，第二图像可以为对正常曝光的raw图像进行下采样与颜色空间转换处理后得到的图像；由于在本技术的实施例中，需要第二图像中的颜色信息与亮度信息对第一图像进行迁移处理，因此对第二图像中的细节信息的要求较低，即第二图像可以无需经过图像信号处理器的处理。
203.可选地，在获取第二图像之前，还包括：
204.对电子设备所处的拍摄场景进行检测，检测到运动对象；且
205.检测到第一图像中存在条纹和/或偏色图像区域。
206.示例性地，电子设备中可以包括检测模块，检测模块可以对拍摄对象进行检测；当拍摄对象中包括运动对象时，检测模块输出标识，该标识可以指示拍摄场景中包括运动对象。
207.示例性地，电子设备中的防闪烁传感器(flicker sensor)可以用于检测是否存在条纹；其中，防闪烁传感器(flicker sensor)可以为一种对环境光进行采样的传感器。
208.在本技术的实施例中，在拍摄场景中存在运动对象且采集的图像中包括banding时，可以触发电子设备执行本技术实施例提供的图像处理方法，即去除图像中banding的方法。
209.应理解，若拍摄场景中包括运动对象，则在电子设备采集运动对象在运动瞬间的图像；由于拍摄对象在运动，因此电子设备通常需要减少图像中的运动模糊；为了减少图像中的运动模糊，通常电子设备可以缩短曝光时间，提升感光度值；但是，对于频闪光源的拍摄环境而言，降低曝光时间会导致图像中出现banding，因此需要对图像中的banding进行处理。
210.步骤s350、基于第一图像与第二图像，得到颜色转换矩阵和/或亮度参数。
211.其中，颜色转换矩阵用于对第一图像进行颜色调整，亮度参数用于对第一图像进行亮度调整。
212.在本技术的实施例中，由于第二图像为正常曝光时间的图像，因此第二图像中不存在banding；可以基于将第二图像的颜色与亮度迁移至第一图像中，得到颜色转换矩阵与亮度参数。
213.可选地，上述方法还包括：
214.将第一图像与第二图像输入至图像处理模型，得到双边网格数据；其中，图像处理模型用于以第二图像为基准对第一图像进行颜色迁移处理与亮度迁移处理，双边网格数据包括颜色转换矩阵和/或亮度参数，第一图像的尺寸与第二图像的尺寸相同。
215.示例性地，图像处理模型为卷积神经网络；例如，图像处理模型可以为hdrnet。可选地，图像处理模型的训练方法可以参见后续图8所示的相关描述。
216.在本技术的实施例中，基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，第一图像与第二图像之间图像内容差异较大的偏差区域，即图像处理模型能够识别第二图像与第一图像之间的鬼影区域；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
217.可选地，可以对第一图像与第二图像先进行配准处理与平滑处理；对配准处理后的第一图像与第二图像进行逐像素的作差，得到颜色转换矩阵和/或亮度参数。
218.步骤s360、基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到第三图像。
219.其中，第三图像为去除条纹和/或偏色图像区域的图像。
220.示例性地，可以基于颜色转换矩阵对第一图像进行颜色调整，去除第一图像中的
偏色图像区域；基于亮度参数对第一图像进行亮度调整，去除第一图像中的banding条纹；例如，如图11中的(c)所示，基于颜色转换矩阵可以去除图像中的图像区域704；基于亮度参数可以去除图像中的明暗相间的条纹。
221.示例性地，第一图像可以如图11中的(d)所示，第三图像可以如图12所示。
222.可选地，基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到第三图像，包括：
223.基于颜色转换矩阵和/或亮度参数对第一图像进行插值处理，得到第三图像。
224.示例性地，可以对颜色转换矩阵和/或亮度参数与第一图像的矩阵进行相乘，得到第三图像。
225.可选地，基于颜色转换矩阵和/或亮度参数对第一图像进行插值处理，得到第三图像，包括：
226.在第一颜色空间，基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到处理后的图像；
227.在第一颜色空间，对处理后的图像进行第二图像处理，得到第三图像，第二图像处理为第一颜色空间中的颜色处理算法。
228.示例性地，第一颜色空间可以为rgb颜色空间；即第一图像处理可以在rgb颜色空间执行。
229.例如，在rgb颜色空间中，可以先执行第一图像处理；再执行其他rgb颜色空间中与颜色处理相关的算法。
230.在本技术的实施例中，在图像信号处理器对电子设备采集的raw图像进行处理的过程中，在执行rgb域算法时，可以先执行基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理再执行其他rgb域算法；由于第一图像处理能够得到去除banding条纹和/或偏色图像区域的图像；换而言之，第一图像处理能够对图像进行颜色与亮度的校正；在颜色与亮度的准确性较高的情况下，再执行其他rgb域算法能够确保在图像的颜色与亮度的准确性较高的基础上，对去除banding的图像进行rgb域算法处理，从而提升图像质量。
231.例如，在rgb颜色空间中，可以先执行第一图像处理；再执行其他rgb颜色空间中的其他算法。
232.示例性地，第一颜色空间可以为yuv颜色空间；即第一图像处理可以在yuv颜色空间执行。
233.可选地，图像处理模型是通过以下方法训练得到的：
234.获取样本数据，样本数据包括第一样本图像、第二样本图像与第三样本图像，第二样本图像中包括第一样本图像的图像内容、条纹和/或偏色图像区域，第三样本图像与第一样本图像具有相同的图像内容，第三样本图像的图像质量高于第一样本图像的图像质量；
235.将第一样本图像与第二样本图像输入至待训练的图像处理模型，得到预测双边网格数据；
236.基于预测双边网格数据对第二样本图像进行插值处理，得到预测图像；
237.基于预测图像与第三样本图像之间的差异训练待训练的图像处理模型，得到图像处理模型。
238.步骤s370、显示或者保存第三图像。
239.示例性地，电子设备在运行其他应用时，该应用具有调用相机应用程序的权限；在其他应用调用相机应用程序获取图像时，可以显示第三图像。示例性地，在电子设备运行相机应用程序的拍摄模式(或者录像模式)时，在电子设备检测到指示拍照的操作(或者指示录像的操作)之后，可以保存第三图像。
240.在本技术的实施例中，在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding条纹和/或偏色图像区域的情况下；在本技术的实施例中，通过以正常曝光图像为基准对短曝光图像进行颜色迁移与亮度迁移，得到颜色转换矩阵和/或亮度参数；基于颜色转换矩阵可以去除短曝光图像中局部图像区域的偏色问题；基于亮度参数可以去除短曝光图像中的banding条纹；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的banding(例如，去除banding条纹与偏色图像区域)，提高图像质量。
241.此外，在本技术的实施例中，基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，能够识别第一图像与第二图像之间的图像内容差异部分；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
242.图6是本技术实施例提供的一种图像信号处理器的处理流程的示意性流程图。该方法400包括可以由图1所示的电子设备执行；该方法400包括步骤s410至步骤s460，下面分别对步骤s410至步骤s460进行详细的描述。
243.步骤s410、图像传感器采集raw图像。
244.应理解，raw图像是指raw颜色空间的图像；raw图像可以是指从图像传感器中输出的未经过插值混色的原始的图像数据。
245.步骤s420、对raw图像进行第一颜色空间转换处理。
246.示例性地，可以将raw图像转换至rgb颜色空间，得到rgb图像。
247.步骤s430、rgb域算法处理。
248.可选地，本技术实施例提供的图像处理方法，即去除图像条带处理(例如，去除图像中的banding处理)可以是rgb域算法处理中第一个执行的算法；例如，步骤s430中对rgb图像进行rgb域算法处理包括：对rgb图像先执行去除图像条带处理，得到去除banding的rgb图像；再对去除banding的rgb图像执行其他rgb域算法处理。
249.可选地，本技术实施例提供的图像处理方法，即去除图像条带处理可以是rgb域算法处理中颜色相关的算法中第一个执行的算法。
250.在本技术的实施例中，在图像信号处理器对电子设备采集的raw图像进行处理的过程中，在执行rgb域算法时，可以先执行去除图像条带处理，从而使得图像的颜色与亮度的准确性较高；在颜色与亮度的准确性较高的情况下，再执行其他rgb域算法能够确保在图像的颜色与亮度的准确性较高的基础上，对去除图像banding的图像进行rgb域算法处理，从而提升图像质量。
251.例如，步骤s430中对rgb图像进行rgb域算法处理包括：颜色相关算法处理与其他rgb域算法处理；在执行颜色相关算法处理时，先执行去除图像条带处理，得到去除banding的rgb图像；再对去除banding的rgb图像执行其他颜色相关的算法处理。
252.在本技术的实施例中，在执行颜色相关算法处理之前，可以先执行本技术实施例提供的图像处理方法，即执行去除图像条带处理；通过去除图像条带处理，能够得到去除banding的图像，使得图像的颜色与亮度的准确性较高；在颜色与亮度的准确性较高的情况下，再执行颜色相关算法处理，从而能够确保在图像的颜色与亮度的准确性较高的基础上，对去除banding的图像进行其他颜色相关算法处理，从而提升图像质量。
253.可选地，本技术实施例提供的图像处理方法，即去除图像条带处理可以不限定在rgb域算法中的执行时间。
254.可选地，去除图像条带处理的实现方式可以参见图7所示的步骤s510至步骤s570。
255.步骤s440、对处理后的rgb图像进行第二颜色空间转换处理。
256.示例性地，第二颜色空间可以是指yuv颜色空间；可以将处理后的rgb图像转换至yuv颜色空间；并执行yuv域算法处理。
257.步骤s450、yuv域算法处理。
258.示例性地，yuv域算法处理包括但不限于：
259.亮度降噪处理、边缘增强处理，对比度处理等。
260.步骤s460、输出处理后的图像。
261.应理解，上述步骤s410至步骤s460中以rgb域算法处理中包括去除图像条带处理进行举例说明；可选地，去除图像条带处理也可以在yuv域执行；换而言之，也可以在步骤s450中执行去除图像条带处理。
262.在本技术的实施例中，通过在rgb域算法处理增加去除图像条带处理；能够在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding的情况下，去除短曝光图像中的banding；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的banding条纹与偏色图像区域，提高图像质量。
263.图7是本技术实施例提供的一种图像处理方法的示意性流程图。该方法500包括可以由图1所示的电子设备执行；该方法500包括步骤s501至步骤s508，下面分别对步骤s501至步骤s508进行详细的描述。
264.需要说明的是，在本技术的实施例中，电子设备所处的拍摄环境的光源为频闪光源。
265.应理解，图7中所示的方法500可以是指图6所示的去除图像条带处理的相关算法。
266.可选地，图7所示的方法500可以在图6所示的rgb域算法处理中的第一个执行的算法。
267.在本技术的实施例中，在图像信号处理器对电子设备采集的raw图像进行处理的过程中，在执行rgb域算法时，可以先执行图7所示的方法再执行其他rgb域算法；由于图7所示的图像处理方法能够得到去除banding的图像；换而言之，图7所示的方法能够对图像进行颜色与亮度的校正；在颜色与亮度的准确性较高的情况下，再执行其他rgb域算法能够确保在图像的颜色与亮度的准确性较高的基础上，对去除banding的图像进行rgb域算法处理，从而提升图像质量。
268.可选地，图7所示的方法500可以在图6所示的rgb域算法处理中所有的颜色相关的算法之前执行。
269.在本技术的实施例中，在执行颜色相关的算法之前，可以先执行图7所示的方法
500；通过图7所示的图像处理方法，能够输出去除banding的图像；换而言之，图7所示的方法能够对图像进行颜色与亮度的校正；在颜色与亮度的准确性较高的情况下，再执行其他颜色相关的算法能够确保在图像的颜色与亮度的准确性较高的基础上，对去除banding的图像执行其他颜色处理，从而提升图像质量。
270.可选地，图7所示的方法500可以不限定在图6所示的rgb域算法中的执行。
271.可选地，图7所示的方法500可以在图6所示的yuv域算法中的执行；本技术对此不作任何限定。
272.步骤s501、运行相机应用程序。
273.例性地，用户可以通过单击“相机”应用程序的图标，指示电子设备运行相机应用；或者，电子设备处于锁屏状态时，用户可以通过在电子设备的显示屏上向右滑动的手势，指示电子设备运行相机应用。又或者，电子设备处于锁屏状态，锁屏界面上包括相机应用程序的图标，用户通过点击相机应用程序的图标，指示电子设备运行相机应用程序。又或者，电子设备在运行其他应用时，该应用具有调用相机应用程序的权限；用户通过点击相应的控件可以指示电子设备运行相机应用程序。例如，电子设备正在运行即时通信类应用程序时，用户可以通过选择相机功能的控件，指示电子设备运行相机应用程序等。
274.应理解，上述为对运行相机应用程序的操作的举例说明；还可以通过语音指示操作，或者其它操作的指示电子设备运行相机应用程序；本技术对此不作任何限定。
275.还应理解，运行相机应用程序可以是指启动相机应用程序。
276.步骤s502、检测到拍摄对象中包括运动对象。
277.示例性地，电子设备中可以包括检测模块，检测模块可以对拍摄对象进行检测；当拍摄对象中包括运动对象时，检测模块输出标识，该标识可以指示拍摄场景中包括运动对象。
278.可选地，运动对象可以是指运动的用户，移动的物体，或者，视频中播放的图像等。
279.步骤s503、检测到存在图像条带(banding)。
280.应理解，图像条带可以包括(banding)可以包括luma banding与chroma banding；其中，luma banding是指由于缩短曝光时间产生的banding条纹；其中，luma banding仅有明暗变换，无颜色改变；例如，如图10中的(a)所示的条纹；chroma banding是指图像中的局部区域出现图像偏色，图像中的局部区域与图像整体颜色不符；例如，图像偏色可以包括出现红色，绿色或者蓝色的偏色等；例如，如图10中的(a)所示的图像区域704。
281.示例性地，电子设备中的防闪烁传感器(flicker sensor)可以用于检测是否存在图像条带化；其中，防闪烁传感器(flicker sensor)可以为一种对环境光进行采样的传感器。
282.步骤s504、获取isp处理后的短曝光图像(第一图像的一个示例)。
283.可选地，isp处理后输出的短曝光图像可以是指以多帧raw图像中的短曝光raw图像为参考，得到的rgb图像。
284.应理解，由于短曝光图像的曝光时间较短，短曝光图像的曝光时间通常不满足10ms的整数倍；因此，短曝光图像中存在banding条纹。此外，由于在频闪光源的电压变化10％时，光源的色温会发生较大的变化(例如，1000k左右)；图像的成像与色温相关，由于频闪光源的电压发生较小的变化时，色温会出现较大的变化，导致图像中出现偏色问题；因
此，短曝光图像中可能还存在偏色图像区域。
285.可选地，可以先执行步骤s503再执行步骤s504；或者，也可以先执行步骤s504再执行步骤s504；或者，可以同时执行步骤s503与步骤s504；本技术对步骤s503与步骤s504的先后顺序不作任何限定。
286.可选地，可以获取全尺寸(full size)的短曝光raw图像，对短曝光raw图像进行isp处理后得到的短曝光图像(例如，512*512大小的rgb图像)。
287.例如，相机模组中摄像头支持的最大分辨率为4096*2160，则获取的全尺寸的短曝光raw图像的分辨率可以为4096*2160。
288.步骤s505、检测到指示拍照的第一操作。
289.可选地，如图11中的(b)所示，第一操作可以为点击拍照控件705的操作。
290.应理解，上述为对指示拍照的第一操作的举例说明；还可以通过语音指示操作，或者其它操作的指示电子设备拍照；本技术对此不作任何限定。
291.步骤s506、响应于第一操作，获取正常曝光图像(第二图像的一个示例)。
292.应理解，对于交流电为50hz的频闪光源的拍摄场景中，正常曝光图像可以是指曝光时间为10ms的整数倍的raw图像；即在采集正常曝光图像时，电子设备的曝光时间为10ms的整数倍。
293.应理解，由于正常曝光图像的曝光时间为10ms的整数倍；因此，正常曝光图像中不存在banding条纹；即图像中不存在luma banding；此外，chroma banding产生的原因在于：能量变化的同时，伴随色温的变化，导致图像中出现偏色问题；例如，对于luma banding中明暗相间的条纹中呈现不同的颜色，则图像中出现chroma banding；例如，暗条纹的位置偏红，亮条纹的位置偏蓝等；对于正常曝光图像而言，每一行像素接收的能量相同，因此正常曝光图像中不会存在能量波动，也不会存在偏色问题；因此，正常曝光图像中不会出现luma banding与chroma banding。
294.可选地，在本技术的实施例中，电子设备可以采集多帧raw图像，多帧raw图像中包括sanb；其中，sa表示a帧短曝光图像，nb表示b帧正常曝光图像；其中，a为大于或者等于1的整数，b为大于或者等于1的整数；短曝光图像的曝光时间小于10ms；正常曝光图像的曝光时间为10ms的整数倍。
295.可选地，在本技术的实施例中，电子设备可以采集多帧raw图像，多帧raw图像中包括sanblc；其中，sa表示a帧短曝光图像，nb表示b帧正常曝光图像，lc表示c帧长曝光图像；其中，a为大于或者等于1的整数，b为大于或者等于1的整数，c为大于或者等于0的整数；短曝光图像的曝光时间小于10ms；正常曝光图像的曝光时间为10ms的整数倍；长曝光图像的曝光时间大于正常曝光图像的曝光时间。
296.例如，多帧raw图像可以是指s4n2l的7帧图像；即为ssssnnl的raw图像，其中，4帧s为预览帧中的短曝光raw图像；2帧n表示曝光值大于或者等于4帧短曝光图像，曝光时间为10ms整数倍的正常曝光图像；1帧l表示长曝光图像。
297.可选地，可以对采集到的一帧或者多帧正常曝光的raw图像中的第一帧正常曝光的raw图像，进行颜色空间转换处理(例如，去马赛克处理)后得到rgb图像。
298.在本技术的实施例中，可以基于多帧图像中的第一帧正常曝光的raw图像得到正常曝光图像；由于第一帧正常曝光的raw图像与短曝光的raw图像的时间差较短；因此，基于
第一帧正常曝光的raw图像得到正常曝光图像，并对短曝光图像进行颜色迁移处理与亮度迁移处理，能够在一定程度上避免引入运动鬼影。
299.步骤s507、将短曝光图像与正常曝光图像输入图像处理模型进行处理，得到双边网格。
300.应理解，双边网格是指一种数据结构；在本技术的实施例中，双边网格可以是一个网格矩阵；该网格矩阵中包括颜色校正转换矩阵与亮度参数(例如，亮度阶数)，其中，颜色校正转换矩阵包括红色像素增益(r gain)、绿色像素增益(g gain)与蓝色像素增益(b gain)；基于双边网格中的数据可以将正常曝光图像的颜色与亮度迁移至短曝光图像中，从而实现去除短曝光图像中的banding条纹与偏色图像区域。
301.示例性地，双边网格可以为一个32*32*8*9的网格矩阵；其中，32*32可以表示宽度与高度，8可以表示亮度阶数；9可以表示颜色校正转换矩阵，即作用于每一个rgb值的3*3矩阵。
302.可选地，图像处理模型的网络结构可以为卷积神经网络；例如，图像处理模型可以为hdr net；图像处理模型的训练方法可以参见后续图8所示的相关描述。
303.步骤s508、基于双边网格对短曝光图像进行处理，得到去除条纹和/或局部偏色区域的图像(第三图像的一个示例)。
304.可选地，可以基于双边网格中的颜色转换矩阵对短曝光图像进行颜色迁移处理，去除短曝光图像中的偏色图像区域；和/或基于双边网格中的亮度参数对短曝光图像进行亮度迁移处理，从而实现去除短曝光图像中的banding条纹。
305.可选地，可以基于双边网格中的数据与短曝光图像进行插值处理，得到去除banding的图像。
306.例如，将双边网格中的数据与短曝光图像的像素矩阵进行相乘，得到去除banding的图像。
307.需要说明的是，上述步骤s506为在检测到指示拍照的第一操作之后，获取正常曝光图像；可选地，在一种实现方式中，在电子设备处于预览态时，即电子设备未检测到第一操作之前，电子设备可以采用单帧逐行hdr(stagger hdr)技术获取短曝光图像与正常曝光图像。
308.应理解，stagger hdr是指以“行”作为输出单位的“长短帧”拍摄的技术。即采用时序上先后两次曝光获取正常曝光图像与短曝光图像。
309.需要说明的是，在图7所示的方法500中以短曝光图像的曝光时间小于10ms，正常曝光图像的曝光时间为10ms的整数倍进行举例说明；本技术对此不作任何限定。
310.可选地，在本技术的实施例中，短曝光图像的曝光时间、正常曝光图像的曝光时间与电子设备所处的拍摄环境的频闪光源在每秒的亮暗次数相关；例如，正常曝光图像的曝光时间＝(1000/频闪光源在每秒的亮暗次数)毫秒的整数倍。
311.示例性地，若拍摄环境的频闪光源的工作电压频率为50hz，即频闪光源每秒钟灯光亮暗100次，则短曝光图像是指曝光时间小于10ms的图像；正常曝光图像是指曝光时间为10ms整数倍的图像。
312.示例性地，拍摄环境的频闪光源的工作电压频率为60hz，即频闪光源每秒钟灯光亮暗120次，则短曝光图像是指曝光时间小于8.3ms的图像；正常曝光图像是指曝光时间为
8.3ms整数倍的图像。
313.可选地，图7所示的步骤s501至步骤s508以在rgb颜色空间执行去除banding条纹与偏色图像区域进行举例说明；上述去除banding条纹与偏色图像区域的步骤也可以在yuv颜色空间执行；若在yuv颜色空间执行，则短曝光图像与正常曝光图像可以为yuv图像。
314.可选地，图7所示的步骤s501至步骤s508以电子设备拍照的场景进行举例描述；图7所示的方法也可以应用于电子设备录像的场景。
315.可选地，上述为基于图像处理模型得到双边网格进行举例说明；在本技术的实施例中，可以对第一图像与第二图像先进行配准处理与平滑处理；对配准处理后的第一图像与第二图像进行逐像素的作差，得到颜色转换矩阵和/或亮度参数。
316.在本技术的实施例中，在电子设备所处的拍摄环境的光源为频闪光源，由于电子设备需要拍摄运动物体从而降低曝光时间导致图像中出现banding条纹和/或偏色图像区域的情况下；在本技术的实施例中，通过以正常曝光图像为基准对短曝光图像进行颜色迁移与亮度迁移，得到颜色转换矩阵和/或亮度参数；基于颜色转换矩阵可以去除短曝光图像中局部图像区域的偏色问题；基于亮度参数可以去除短曝光图像中的banding条纹；确保在采集运动拍摄对象的运动瞬间图像时，去除图像中的banding(例如，去除banding条纹与偏色图像区域)，提高图像质量。
317.此外，在本技术的实施例中，基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，能够识别第一图像与第二图像之间的图像内容差异部分；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
318.图8是本技术实施例提供的一种图像处理模型的训练方法的示意性流程图。该方法600包括可以由图1所示的电子设备执行；该方法600包括步骤s610至步骤s650，下面分别对步骤s610至步骤s650进行详细的描述。
319.步骤s610、获取训练数据。
320.其中，训练数据中包括第一样本图像、第二样本图像与第三样本图像；其中，第一样本图像为无banding的图像；第二样本图像为在第一图像中增加banding后的图像；第三样本图像为无banding图像且第三样本图像的图像质量高于第一样本图像的图像质量。
321.例如，第三样本图像可以为讲经过isp处理后且无banding的rgb图像；第一样本图像可以为基于正常曝光的样本raw图像进行颜色空间转换后得到的rgb图像；因此，第三样本图像的图像质量高于第一样本图像的图像质量。
322.步骤s620、将第一样本图像与第二样本图像输入至待训练的图像处理模型，得到预测双边网格。
323.需要说明的是，图像处理模型用于学习相同拍摄场景中，无banding图像与有banding图像之间的颜色差异与亮度差异；目的在于通过输出的预测双边网格，使得能够使得将有banding图像中的颜色和亮度迁移至无banding图像中。
324.可选地，图像处理模型的网络结构可以vgg网络，或者，hdr net。
325.步骤s630、基于预测双边网格对第一样本图像进行插值处理，得到预测图像。
326.示例性地，可以对双边网格中的数据与第一样本图像的数据进行相乘，得到预测
图像。
327.步骤s640、基于预测图像与第三样本图像之间的差异，更新图像处理模型的参数得到训练后的图像处理模型。
328.示例性地，可以计算预测图像与第三样本图像中各个像素点之间的差异，通过反向传播算法训练待训练的图像处理模型的，使得待训练的图像处理模型的损失函数收敛，得到训练后的图像处理模型。
329.可选地，在本技术的实施例中，考虑到chroma banding图像处理模型可以包括8个参数；8个参数分别为a*3，a*1，b*1，c*3；其中，a表示幅值；a表示频率；b表示初始相位；c表示偏移项；a*3表示rgb像素分别对应的幅值；c*3表示rgb像素分别对应的偏移项。
330.在本技术的实施例中，通过图像处理模型能够得到将正常曝光时间或者长曝光时间得到的图像帧的颜色与亮度迁移至短曝光时间的图像帧的双边网格；在交流电为50hz的频闪光源的拍摄场景中，由于正常曝光时间或者长曝光时间为10ms的整数倍，因此，长曝光图像与正常曝光图像中通常不存在图像条纹或者偏色图像区域；基于图像处理模型输出的双边网格得到颜色转换矩阵和/或亮度参数；通过图像处理模型对第一图像进行颜色迁移与亮度迁移时，能够识别第一图像与第二图像之间的图像内容差异部分；因此，通过图像处理模型得到的得到颜色转换矩阵和/或亮度参数，在对第一图像进行颜色调整和/或亮度调整时不会引入鬼影区域，提高图像质量。
331.下面结合图9至图13对在电子设备中的界面示意图进行举例描述。
332.图9是本技术实施例提供的一种电子设备的界面示意图。
333.在本技术的实施例中，在电子设备运行相机应用程序后电子设备中显示中的预览界面中显示的预览图像包括banding条纹和/或偏色区域；在电子设备检测到用户点击控件后，可以执行本技术实施例提供的图像处理方法，即执行去除图像条带的处理，在用户点击拍照控件，电子设备采集图像；该图像为去除banding条纹和/或偏色区域的图像，即为去除图像条带处理后输出的图像。
334.在一个示例中，如图9中的(b)所示电子设备检测到点击控件703的操作之后，执行本技术实施例提供的图像处理方法。
335.示例性地，如图9所示，图9中的(a)所示的图形用户界面(graphical user interface，gui)为电子设备的桌面701；电子设备检测到用户点击桌面701上的相机应用程序的控件702，如图9中的(b)所示；在电子设备检测到用户点击桌面701上的相机应用程序的控件702之后，电子设备运行相机应用程序；例如，如图10中的(a)所示，电子设备可以显示拍照预览界面；拍照预览界面中包括预览图像与控件703，其中，预览图像中包括明暗相间的条纹与图像区域704；图像区域704可以为红色、绿色、蓝色或者其他颜色；电子设备检测到用户点击控件703的操作，如图10中的(d)所示；当电子设备检测到用户点击控件703的操作之后，电子设备可以执行本技术实施例提供的图像处理方法，显示如图11中的(a)所示的预览界面；在预览界面中，包括拍照控件705；电子设备检测到用户点击拍照控件705的操作，如图11中的(b)所示；在电子设备检测到用户点击拍照控件705的操作之后，显示如图11中的(c)所示的显示界面，显示界面中包括相册控件706；电子设备检测到用户点击相册控件706中的操作，如图11中的(d)所示；当电子设备检测到用户点击相册控件706的操作之后，显示如图12所示的界面。
336.在一个示例中，如图13中的(d)所示电子设备检测到点击控件709的操作之后，执行本技术实施例提供的图像处理方法。
337.示例性地，电子设备中运行相机应用程序后，可以显示如图13中的(a)所示的预览界面；预览界面中包括预览图像与控件707，其中，预览图像中包括明暗相间的条纹与图像区域704，图像区域704可以为红色、绿色、蓝色或者其他颜色；电子设备检测到用户点击控件707的操作，如图13中的(b)所示；在电子设备检测到用户点击控件707的操作之后，显示设置界面，如图13中的(c)所示；设置界面中包括去除图像条带的控件709；电子设备检测到用户点击去除图像条带的控件709的操作，如图13中的(d)所示；在电子设备检测到用户点击去除图像条带的控件709的操作之后，执行本技术实施例提供的图像处理方法。
338.需要说明的是，上述为对电子设备中的显示界面的举例说明，本技术对此不作任何限定。
339.应理解，上述举例说明是为了帮助本领域技术人员理解本技术实施例，而非要将本技术实施例限于所例示的具体数值或具体场景。本领域技术人员根据所给出的上述举例说明，显然可以进行各种等价的修改或变化，这样的修改或变化也落入本技术实施例的范围内。
340.上文结合图1至图13详细描述了本技术实施例提供的图像处理方法；下面将结合图14至图15详细描述本技术的装置实施例。应理解，本技术实施例中的装置可以执行前述本技术实施例的各种方法，即以下各种产品的具体工作过程，可以参考前述方法实施例中的对应过程。
341.图14是本技术实施例提供的一种电子设备的结构示意图。该电子设备800包括处理模块810与显示模块820。
342.需要说明的是，电子设备所处的拍摄环境的光源为频闪光源。
343.其中，处理模块810用于运行所述电子设备的相机应用程序；显示模块820用于显示第一图像，所述第一图像为基于第一曝光时间采集的拍摄对象的图像，所述拍摄对象为运动对象，所述第一曝光时间小于第一时长，所述第一图像中包括条纹和/或偏色图像区域；处理模块810还用于检测到第一操作，所述第一操作指示所述电子设备拍摄或者录像；响应于所述第一操作，获取第二图像，所述第二图像为基于第二曝光时间采集的所述拍摄对象的图像，所述第二曝光时间为所述第一时长的整数倍；基于所述第一图像与所述第二图像，得到颜色转换矩阵和/或亮度参数，所述颜色转换矩阵用于对所述第一图像进行颜色调整，所述亮度参数用于对所述第一图像进行亮度调整；基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为去除所述条纹和/或偏色图像区域的图像；显示或者保存所述第三图像。
344.可选地，作为一个实施例，处理模块820还用于：
345.将所述第一图像与所述第二图像输入至图像处理模型，得到双边网格数据；其中，所述图像处理模型用于以所述第二图像为基准对所述第一图像进行颜色迁移处理与亮度迁移处理，所述双边网格数据包括所述颜色转换矩阵和/或所述亮度参数，所述第一图像的尺寸与所述第二图像的尺寸相同。
346.可选地，作为一个实施例，处理模块820具体用于：
347.基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行插值处理，得到
所述第三图像。
348.可选地，作为一个实施例，处理模块820具体用于：
349.在第一颜色空间，基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行所述第一图像处理，得到处理后的图像；
350.在所述第一颜色空间，对所述处理后的图像进行第二图像处理，得到所述第三图像，所述第二图像处理为所述第一颜色空间中的颜色处理算法。
351.可选地，作为一个实施例，处理模块820还用于：
352.对所述电子设备所处的拍摄场景进行检测，检测到所述运动对象；且
353.检测到所述第一图像中存在所述条纹和/或偏色图像区域。
354.可选地，作为一个实施例，所述第一时长的大小为基于所述频闪光源在每秒的亮暗次数得到的。
355.可选地，作为一个实施例，所述第一时长＝1000/所述频闪光源在每秒的亮暗次数。
356.可选地，作为一个实施例，所述频闪光源在每秒的亮暗次数与所述频闪光源的工作电压的频率关联。
357.可选地，作为一个实施例，所述图像处理模型为卷积神经网络。
358.可选地，作为一个实施例，所述图像处理模型是通过以下方法训练得到的：
359.获取样本数据，所述样本数据包括第一样本图像、第二样本图像与第三样本图像，所述第二样本图像中包括所述第一样本图像的图像内容、条纹和/或偏色图像区域，所述第三样本图像与所述第一样本图像具有相同的图像内容，所述第三样本图像的图像质量高于所述第一样本图像的图像质量；
360.将所述第一样本图像与所述第二样本图像输入至待训练的图像处理模型，得到预测双边网格数据；
361.基于所述预测双边网格数据对所述第二样本图像进行插值处理，得到预测图像；
362.基于预测图像与所述第三样本图像之间的差异训练所述待训练的图像处理模型，得到所述图像处理模型。
363.可选地，作为一个实施例，所述电子设备包括图像信号处理器，所述第一图像为所述图像信号处理器输出的图像。
364.可选地，作为一个实施例，所述第二图像为对所述电子设备采集的raw图像进行第三图像处理得到的图像，所述第三图像处理包括颜色空间转换处理。
365.需要说明的是，上述电子设备800以功能模块的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现，对此不作具体限定。
366.例如，“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
367.因此，在本技术的实施例中描述的各示例的单元，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现
所描述的功能，但是这种实现不应认为超出本技术的范围。
368.图15示出了本技术提供的一种电子设备的结构示意图。图15中的虚线表示该单元或该模块为可选的；电子设备900可以用于实现上述方法实施例中描述的图像处理方法。
369.电子设备900包括一个或多个处理器901，该一个或多个处理器901可支持电子设备900实现方法实施例中的图像处理方法。处理器901可以是通用处理器或者专用处理器。例如，处理器901可以是中央处理器(central processing unit，cpu)、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其它可编程逻辑器件，如分立门、晶体管逻辑器件或分立硬件组件。
370.可选地，处理器901可以用于对电子设备900进行控制，执行软件程序，处理软件程序的数据。电子设备900还可以包括通信单元905，用以实现信号的输入(接收)和输出(发送)。
371.例如，电子设备900可以是芯片，通信单元905可以是该芯片的输入和/或输出电路，或者，通信单元905可以是该芯片的通信接口，该芯片可以作为终端设备或其它电子设备的组成部分。
372.又例如，电子设备900可以是终端设备，通信单元905可以是该终端设备的收发器，或者，通信单元905可以900中可以包括一个或多个存储器902，其上存有程序904，程序904可被处理器901运行，生成指令903，使得处理器901根据指令903执行上述方法实施例中描述的图像处理方法。
373.可选地，存储器902中还可以存储有数据。
374.可选地，处理器901还可以读取存储器902中存储的数据，该数据可以与程序904存储在相同的存储地址，该数据也可以与程序904存储在不同的存储地址。
375.可选地，处理器901和存储器902可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，soc)上。
376.示例性地，存储器902可以用于存储本技术实施例中提供的图像处理方法的相关程序904，处理器901可以用于在执行图像处理方法时调用存储器902中存储的图像处理方法的相关程序904，执行本技术实施例的图像处理方法；例如，运行电子设备的相机应用程序；显示第一图像，第一图像为基于第一曝光时间采集的拍摄对象的图像，拍摄对象为运动对象，第一曝光时间小于第一时长，第一图像中包括条纹和/或偏色图像区域；检测到第一操作，第一操作指示电子设备拍摄或者录像；响应于第一操作，获取第二图像，第二图像为基于第二曝光时间采集的拍摄对象的图像，第二曝光时间为第一时长的整数倍；基于第一图像与第二图像，得到颜色转换矩阵和/或亮度参数，颜色转换矩阵用于对第一图像进行颜色调整，亮度参数用于对第一图像进行亮度调整；基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到第三图像，第三图像为去除条纹和/或偏色图像区域的图像；显示或者保存第三图像。
377.可选地，本技术还提供了一种计算机程序产品，该计算机程序产品被处理器901执行时实现本技术中任一方法实施例中的图像处理方法。
378.例如，该计算机程序产品可以存储在存储器902中，例如是程序904，程序904经过预处理、编译、汇编和链接等处理过程最终被转换为能够被处理器901执行的可执行目标文
件。
379.可选地，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机执行时实现本技术中任一方法实施例所述的图像处理方法。该计算机程序可以是高级语言程序，也可以是可执行目标程序。
380.例如，该计算机可读存储介质例如是存储器902。存储器902可以是易失性存储器或非易失性存储器，或者，存储器902可以同时包括易失性存储器和非易失性存储器。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
381.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
382.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
383.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的电子设备的实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
384.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
385.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
386.应理解，在本技术的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术的实施例的实施过程构成任何限定。
387.另外，本文中的术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
388.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
389.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准总之，以上所述仅为本技术技术方案的较佳实施例而已，并非用于限定本技术的保护范围。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种图像处理方法，其特征在于，应用于电子设备，所述电子设备所处的拍摄环境的光源为频闪光源，所述图像处理方法包括：运行所述电子设备的相机应用程序；显示第一图像，所述第一图像为基于第一曝光时间采集的拍摄对象的图像，所述拍摄对象为运动对象，所述第一曝光时间小于第一时长，所述第一图像中包括条纹和/或偏色图像区域；检测到第一操作，所述第一操作指示所述电子设备拍摄或者录像；响应于所述第一操作，获取第二图像，所述第二图像为基于第二曝光时间采集的所述拍摄对象的图像，所述第二曝光时间为所述第一时长的整数倍；基于所述第一图像与所述第二图像，得到颜色转换矩阵和/或亮度参数，所述颜色转换矩阵用于对所述第一图像进行颜色调整，所述亮度参数用于对所述第一图像进行亮度调整；基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，所述第三图像为去除所述条纹和/或偏色图像区域的图像；显示或者保存所述第三图像。2.如权利要求1所述的图像处理方法，其特征在于，还包括：将所述第一图像与所述第二图像输入至图像处理模型，得到双边网格数据；其中，所述图像处理模型用于以所述第二图像为基准对所述第一图像进行颜色迁移处理与亮度迁移处理，所述双边网格数据包括所述颜色转换矩阵和/或所述亮度参数，所述第一图像的尺寸与所述第二图像的尺寸相同。3.如权利要求1或2所述的图像处理方法，其特征在于，所述基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行第一图像处理，得到第三图像，包括：基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行插值处理，得到所述第三图像。4.如权利要求1至3中任一项所述图像处理方法，其特征在于，所述基于所述颜色转换矩阵和/或亮度参数对所述第一图像进行插值处理，得到所述第三图像，包括：在第一颜色空间，基于所述颜色转换矩阵和/或所述亮度参数对所述第一图像进行所述第一图像处理，得到处理后的图像；在所述第一颜色空间，对所述处理后的图像进行第二图像处理，得到所述第三图像，所述第二图像处理为所述第一颜色空间中的颜色处理算法。5.如权利要求1至4中任一项所述的图像处理方法，其特征在于，所述获取第二图像之前，还包括：对所述电子设备所处的拍摄场景进行检测，检测到所述运动对象；且检测到所述第一图像中存在所述条纹和/或偏色图像区域。6.如权利要求1至5中任一项所述的图像处理方法，其特征在于，所述第一时长的大小为基于所述频闪光源在每秒的亮暗次数得到的。7.如权利要求6所述的图像处理方法，其特征在于，所述第一时长＝1000/所述频闪光源在每秒的亮暗次数。8.如权利要求7所述的图像处理方法，其特征在于，所述频闪光源在每秒的亮暗次数与
所述频闪光源的工作电压的频率关联。9.如权利要求2所述的图像处理方法，其特征在于，所述图像处理模型为卷积神经网络。10.如权利要求2或9所述的图像处理方法，其特征在于，所述图像处理模型是通过以下方法训练得到的：获取样本数据，所述样本数据包括第一样本图像、第二样本图像与第三样本图像，所述第二样本图像中包括所述第一样本图像的图像内容、条纹和/或偏色图像区域，所述第三样本图像与所述第一样本图像具有相同的图像内容，所述第三样本图像的图像质量高于所述第一样本图像的图像质量；将所述第一样本图像与所述第二样本图像输入至待训练的图像处理模型，得到预测双边网格数据；基于所述预测双边网格数据对所述第二样本图像进行插值处理，得到预测图像；基于预测图像与所述第三样本图像之间的差异训练所述待训练的图像处理模型，得到所述图像处理模型。11.如权利要求1至10中任一项所述的图像处理方法，其特征在于，所述电子设备包括图像信号处理器，所述第一图像为所述图像信号处理器输出的图像。12.如权利要求1至11中任一项所述的图像处理方法，其特征在于，所述第二图像为对所述电子设备采集的raw图像进行第三图像处理得到的图像，所述第三图像处理包括颜色空间转换处理。13.一种电子设备，其特征在于，包括：一个或多个处理器和存储器；所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。14.一种芯片系统，其特征在于，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述电子设备执行如权利要求1至12中任一项所述的方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储了计算机程序，当所述计算机程序被处理器执行时，使得处理器执行权利要求1至12中任一项所述的方法。

技术总结
本申请涉及图像处理领域，提供了一种图像处理方法和电子设备，该方法应用于电子设备，电子设备所处的拍摄环境的光源为频闪光源，包括：运行电子设备的相机应用程序；显示第一图像，第一曝光时间小于第一时长，第一图像中包括条纹和/或偏色图像区域；检测到第一操作；响应于第一操作，获取第二图像，第二曝光时间为第一时长的整数倍；基于第一图像与第二图像，得到颜色转换矩阵和/或亮度参数；基于颜色转换矩阵和/或亮度参数对第一图像进行第一图像处理，得到第三图像，第三图像为去除条纹和/或偏色图像区域的图像；显示或者保存第三图像。基于本申请的方案，在拍摄运动对象时能够去除图像中的条纹和/或局部偏色，提升图像质量。提升图像质量。提升图像质量。


技术研发人员：乔晓磊 肖斌 李怀乾 赵志忠
受保护的技术使用者：荣耀终端有限公司
技术研发日：2022.09.15
技术公布日：2023/9/13