图像预览方法、装置、电子设备及可读存储介质与流程

1.本技术属于拍摄技术领域，具体涉及一种图像预览方法、装置、电子设备及可读存储介质。


背景技术：

2.随着电子技术的高速发展，电子设备得到了广泛的应用。电子设备通常会安装有拍摄应用，用户可以通过拍摄应用进行图像拍摄。且针对拍摄陆续推出了利用显示提亮拓展照片动态范围(extend dynamic range，xdr)功能，其是利用屏显亮度提升，改善拍照照片的通透性，极大改善用户体验。
3.目前关于xdr的应用一般是拍摄得到图像后，用户在相册或者文件夹中打开所拍摄的图像，电子设备xdr显示所拍摄的图像，xdr图像显示的场景较为单一。


技术实现要素：

4.本技术实施例的目的是提供一种图像预览方法、装置、电子设备及可读存储介质，可以实现图像的xdr预览显示。
5.第一方面，本技术实施例提供了一种图像预览方法，应用于电子设备，所述电子设备包括图像传感器和显示屏幕，该方法包括：
6.获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；
7.基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；
8.基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。
9.第二方面，本技术实施例提供了一种图像预览装置，应用于电子设备，所述电子设备包括图像传感器和显示屏幕，该装置包括：
10.第一获取模块，用于获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；
11.生成模块，用于基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；
12.显示模块，用于基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。
13.第三方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的图像预览方法的步骤。
14.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的图像预览方法的步骤。
15.第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的图像预览方法的步骤。
16.在本技术实施例中，通过获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。如此，通过利用图像传感器输出的两路不同曝光策略的raw图，生成精准的增益图数据，从而可以基于增益图数据，从而可以实现图像的xdr预览，并保障图像预览的xdr效果。
附图说明
17.图1是本技术的一些实施例提供的图像预览方法的流程图；
18.图2是利用xdr技术增强显示屏幕的亮度范围的示意图；
19.图3是一示例的图像预览方法的框架示意图；
20.图4是图像预览方法中soc芯片的处理阶段的流程示意图；
21.图5是图像预览方法中cpu的图像处理阶段的流程示意图；
22.图6是图像预览方法中dpu的显示处理阶段的流程示意图；
23.图7是本技术的一些实施例提供的图像预览装置的结构图；
24.图8是本技术的一些实施例提供的电子设备的结构图；
25.图9为实现本技术的一些实施例提供的电子设备的硬件结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
27.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
28.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的图像预览方法进行详细地说明。本实施例中，图像预览方法应用于电子设备中，该电子设备可以包括图像传感器和显示屏幕。
29.图1是本技术实施例提供的图像预览方法的流程图，如图1所示，包括以下步骤：
30.步骤101，获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像。
31.本实施例中，图像传感器具备两路输出功能，即在同一时刻可以输出两路图像内
容相同的raw图，且两张raw图可以采用不同的曝光策略。
32.其中，两张raw图并不是在同一时刻曝光产生的，而是采用不同的曝光策略交替产生的，并在同一时刻进行输出。
33.显示屏幕可以为双屏，也可以为单屏，这里不进行具体限定。
34.图像传感器输出的两路raw图分别为第一raw图和第二raw图，第一raw图为正常曝光图像，曝光值可以表示为ev0，其对应第一预设曝光量，比如，第一预设曝光量为感光度为100、光圈系数为f/1、曝光时长为1秒时获得的曝光量。第二raw图为欠曝光图像，可以表示为ev-，即第二raw图的曝光量为欠曝，其对应第二预设曝光量，第二预设曝光量可以小于第一预设曝光量。
35.其中，如ev-1相对于ev0表示降低了一档曝光，也即降低了曝光量，其对应的曝光量可以是ev0的曝光量的1/2，而ev-2对于ev0表示降低了两档曝光，也即降低了曝光量，其对应的曝光量可以是ev0的曝光量的1/4，ev-3和ev-4依次类推。
36.第二raw图的曝光值可以表示为ev-2、ev-3、ev-4等，根据拍摄场景覆盖的动态范围不同，其设置的曝光值不同。电子设备的处理器可以监测拍摄场景覆盖的动态范围，根据其覆盖的动态范围自动调整第二raw图的曝光值。其中，拍摄场景覆盖的动态范围大，其欠曝的强度越大，如可以设置为ev-4，拍摄场景覆盖的动态范围小，其欠曝的强度越小，如可以设置为ev-2。
37.图像传感器输出的第一raw图和第二raw图可以送至电子设备的处理器，或者，图像处理器输出的第一raw图和第二raw图也可以送至电子设备中的片上系统(system on chip，soc)芯片，这里不进行具体限定。相应的，可以获取图像传感器输出的不同曝光策略的第一raw图和第二raw图。
38.步骤102：基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示所述图像内容对应的图像在所述显示屏幕显示时每个像素点所提亮的倍数。
39.电子设备的处理器可以内置有目标功能模块，如可以内置散落的(stragger)高动态范围(high dynamic range，hdr)功能模块，可以通过stragger hdr功能模块，在获取到第一raw图和第二raw图的基础上，基于第一raw图和第二raw图，生成增益图数据；也可以通过处理器外置的soc芯片，在获取到第一raw图和第二raw图的基础上，基于第一raw图和第二raw图，生成增益图数据，这里不进行具体限定。
40.电子设备的处理器或者soc芯片可以接收图像传感器输出的第一raw图和第二raw图，并基于第一raw图和第二raw图进行预设算法的处理，以生成增益图数据。
41.在一可选实施方式中，所述步骤102具体包括：
42.将所述第一raw图和所述第二raw图进行配准，确定所述第一raw图中高亮过曝区对应环境的亮度相对大小；
43.基于所述高亮过曝区对应环境的亮度相对大小，确定所述第一raw图中各像素点对应环境的亮度分布；
44.基于所述亮度分布，确定所述图像内容对应的图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到所述增益图数据。
45.在该实施方式中，可以将第一raw图作为基准，第二raw图通过与第一raw图的对比，可以检测出第一raw图的高亮区，具体可以检测出过曝区对应环境的亮度相对大小。其
中，第一raw图的图像内容对应区域称之为第一raw图的图像区域。
46.基于过曝区对应环境的亮度相对大小，以及第一raw图的图像区域的亮度差异，可以推测出第一raw图的图像区域中各像素点的亮度分布，该亮度分布是图像区域对应环境的亮度相对大小。其中，亮度相对大小指的是对应环境亮度的相对大小，如图像内容为太阳的区域下的亮度大，图像内容为地面的区域下的亮度小。
47.相应的，可以基于第一raw图中各像素点的亮度分布，按照预设的亮度大小与增益的映射关系，确定图像内容对应的图像在所述显示屏幕显示时每个像素点所提亮的倍数，从而生成增益图数据，其中，图像在显示屏幕显示时每个像素点所提亮的倍数即为该像素点的增益。如此，可以基于第一raw图和第二raw图，简单地实现增益图数据的生成，保障图像预览的xdr效果，并降低图像预览功耗。
48.由于增益图数据是基于图像区域对应环境的亮度相对大小确定的，并不是实际拍摄环境的亮度，也即电子设备可能仅知道图像区域中哪些像素点的亮度大，哪些像素点的亮度小，以及各个像素点的差异关系，其并不清楚各个像素点的实际亮度大小。因此，可以结合第一raw图的拍摄环境亮度信息、拍摄场景信息等来确定或调整增益图数据。
49.电子设备的处理器或soc芯片可以基于拍摄的曝光时间和压缩值，来辅助判断第一raw图的拍摄环境亮度信息、拍摄场景信息，以得到元数据。
50.可以基于元数据，如基于拍摄环境亮度信息、拍摄场景信息等，来调整基于第一raw图和第二raw图比对得到的图像区域中各像素点的亮度分布，得到第一raw图的图像区域中各像素点的实际亮度大小，从而基于其实际亮度大小，确定图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到增益图数据。
51.也可以在基于第一raw图和第二raw图比对得到的图像区域中各像素点的亮度分布确定增益图数据的基础上，基于元数据来调整增益图数据，可选地，所述方法还包括：
52.获取元数据，所述元数据包括所述第一raw图的拍摄环境亮度信息和拍摄场景信息中的至少一项；
53.基于所述元数据，对所述增益图数据进行调整；
54.所述基于所述增益图数据，预览显示目标图像，包括：
55.基于调整后的所述增益图数据，预览显示目标图像。
56.在基于元数据如拍摄环境亮度信息和拍摄场景信息中的至少一项，确定图像区域中各像素点的实际亮度大小的基础上，可以按照像素点的实际亮度大小和对应环境的亮度相对大小的关系，来调整基于亮度相对大小确定的增益图数据，调整后的增益图数据反映了实际拍摄环境的亮度信息。相应的，基于调整后的增益图数据，在显示屏幕上显示目标图像，可以保障图像预览的xdr效果，从而可以提高图像预览效果。
57.可选地，所述基于所述元数据，对所述增益图数据进行调整，包括：
58.基于所述元数据，对所述目标增益值进行调整；
59.按照所述目标增益值的调整比例，对所述增益图数据进行调整。
60.可以基于元数据，如拍摄环境亮度信息、拍摄场景信息，按照预设的拍摄环境和最大增益的映射关系，对目标增益值进行调整。比如，若拍摄环境为夜景，其亮度大的区域如图像内容为路灯的区域的最大增益通常是3，若拍摄环境为室外，其亮度大的区域如图像内容为太阳的区域的最大增益通常是4。之后按照所述目标增益值的调整比例，对所述增益图
数据进行调整，从而可以简化增益图数据的调整。
61.可选地，所述电子设备还包括片上系统soc芯片，所述方法还包括：
62.所述soc芯片基于所述第一raw图和所述第二raw图生成增益图数据。
63.可以通过处理器外置的soc芯片来实现增益图数据的生成。具体的，图像传感器可以输出第一raw图和第二raw图，并送至soc芯片。soc芯片接收不同曝光的第一raw图和第二raw图，并基于第一raw图和第二raw图进行预设算法的处理，以生成增益图数据。
64.之后，可以通过移动产业处理器接口(mobile industry processor interface，mipi)协议，将第一raw图和增益图数据等送至处理器(central processing unit，cpu)进行后端图像处理。由于前期的处理由soc芯片执行，可以降低处理器的功耗，从而可以改善电子设备的图像预览效果和功耗。
65.步骤103：基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。
66.其中，目标图像是对第一raw图进行图像处理得到的，目标图像的图像内容与第一raw图的图像内容相同。
67.可以基于增益图数据，增强目标图像中每个像素点的亮度，按照增强后的像素点亮度，在显示屏幕上预览显示目标图像。可以在显示屏幕的预设区域预览显示目标图像，该预设区域可以为拍摄界面的预览区域。
68.由于按照增益图数据，增强了目标图像中每个像素点的亮度，因此，增强后的像素点亮度可能会超过显示屏幕的亮度范围。可选地，所述步骤103具体包括：
69.基于目标增益值，扩展所述显示屏幕的亮度范围，所述目标增益值为所述增益图数据中的最大值；
70.基于所述增益图数据，增强所述目标图像中每个像素点的亮度；
71.按照增强后的像素点亮度，在亮度范围扩展后的所述显示屏幕预览显示目标图像。
72.也就是说，可以利用xdr技术，基于目标增益值，先扩展显示屏幕的亮度范围。比如，显示屏幕的亮度范围0至500尼特(nit)，扩展两倍后，显示屏幕的亮度范围为0至1000nit，500nit至1000nit为利用xdr技术增强的亮度范围。其中，基于目标增益值扩展显示屏幕的亮度范围的目的是为了防止增强后的像素点亮度超出显示屏幕的亮度范围。
73.图2是利用xdr技术增强显示屏幕的亮度范围的示意图，如图2所示，屏幕显示能力下的亮度范围包括可调节亮度和激发亮度，可调节亮度是显示屏幕显示的亮度范围，比如0至500nit，激发亮度是屏幕硬件能支持的亮度范围，比如0至1200nit。
74.在显示屏幕的可调节亮度调节至255nit的情况下，255nit为显示屏幕的标准动态范围(standard dynamic range，sdr)，可以通过xdr技术将显示屏幕的动态范围增强，即扩展显示屏幕的亮度范围，相应的，255nit至屏幕硬件所能支持的最大亮度即为xdr增强范围。
75.需要说明的是，基于目标增益值扩展显示屏幕的亮度范围可能会超出屏幕硬件能支持的亮度范围，因此，需要将显示屏幕的亮度范围限制在屏幕硬件能支持的亮度范围内。并且，若扩展后的像素点亮度超出了显示屏幕的亮度范围，则需要将像素点亮度限制在显示屏幕的亮度范围内。
76.可选的，所述电子设备还包括显示处理单元dpu，所述dpu用于基于目标增益值，扩展所述显示屏幕的亮度范围，所述方法还包括：
77.所述dpu基于所述增益图数据对像素点的亮度进行增强得到所述目标图像。
78.如此，可以通过电子设备中的dpu来实现显示屏幕亮度范围的扩展以及图像像素点亮度的增强。
79.本实施例中，通过获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。如此，通过利用图像传感器输出的两路不同曝光策略的raw图，生成精准的增益图数据，从而可以基于增益图数据，利用xdr功能进行图像预览，从而可以实现图像的xdr预览，并保障图像预览的xdr效果，从而可以提高图像预览效果。
80.需要说明的是，步骤101、步骤102和步骤103需要循环执行，可以实现图像预览的xdr功能，目标图像的动态范围和通透性可以得到显性改善。
81.可选地，所述方法还包括：
82.对所述第一raw图进行第一图像处理，得到第一待显示图像；
83.基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，所述目标图像与所述第一待显示图像的图像格式不同，所述目标图像的位深大于所述第一待显示图像的位深。
84.第一raw图为pure raw数据，为实现图像的xdr预览，并保障图像预览效果，通常需要对其进行图像处理，以得到目标图像。
85.电子设备的处理器可以将第一raw图经过处理器的图像信号处理(image signal processor，isp)模块进行处理后，生成第一待显示图像，第一待显示图像的图像格式可以为yuv，其位深为8bit，也即第一待显示图像可以为sdr图像。
86.可以基于所述增益图数据和显示屏幕的显示特性参数，对第一待显示图像进行进一步的图像处理，得到目标图像。该目标图像的图像格式为rgb，其位深可以为10bit，也即目标图像可以为hdr图像。
87.其中，显示屏幕的显示特性参数包括位深、色域、屏幕尺寸size、峰值亮度等。显示特性参数不同，图像处理后所得到的图像参数可能会有所不同。
88.可以基于增益图数据、显示屏幕的显示特性参数和第一待显示图像进行sdr2hdr合成，从而得到位深为10bit，图像格式为rgb的hdr图像。如此，可以实现目标图像的生成，并且结合增益图数据进行目标图像的生成可以提高图像位深，从而可以保障图像预览的xdr效果，进而提高图像预览效果。
89.其中，sdr2hdr合成指的是标准动态范围图像至高动态范围图像的合成。可选地，所述基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，包括：
90.将所述第一待显示图像的图像数据与所述增益图数据进行相乘处理，得到第二待显示图像；
91.将所述第二待显示图像的图像格式进行转换，得到所述目标图像。
92.本实施方式中，第一待显示图像可以为位深为8bit的sdr图像，sdr图像乘以增益图数据，可以得到位深为10bit的hdr图像，其图像格式为yuv，之后可以将图像格式为yuv的hdr图像转换成图像格式为rgb的hdr。从而按照目标增益值扩展显示屏幕的亮度范围后该目标图像即可以在显示屏幕上进行显示。
93.可选地，所述显示屏幕包括主屏和副屏，所述基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，包括：
94.基于所述增益图数据和所述主屏的显示特性参数，对所述第一待显示图像进行第一子处理，得到第一目标图像；
95.基于所述增益图数据和所述副屏的显示特性参数，对所述第一待显示图像进行第二子处理，得到第二目标图像；
96.其中，所述第二图像处理包括所述第一子处理和所述第二子处理，所述目标图像包括所述第一目标图像和所述第二目标图像。
97.其中，第一子处理和第二子处理同步进行。
98.可以基于增益图数据、主屏的显示特性参数和第一待显示图像进行sdr2hdr合成，以生成第一目标图像，第一目标图像是主屏上预览显示的目标图像。
99.可以基于增益图数据、副屏的显示特性参数和第一待显示图像进行sdr2hdr合成，以生成第二目标图像，第二目标图像是副屏上预览显示的目标图像。
100.如此，可以同步生成主屏和副屏上预览显示的目标图像，从而可以利用xdr功能进行双屏的图像预览。
101.上述双屏的图像预览场景中，主屏和副屏分别预览显示的是同一图像内容的图像，即各自针对其显示特性参数，对同一图像进行同步的预览显示。在一些应用场景中，可以将主屏和副屏拼接成一个完整屏幕，并在该完整屏幕上预览显示一张图像，以扩大屏幕的显示范围。可选地，所述方法还包括：
102.基于主屏和副屏的预览比例，对所述第一待显示图像进行分割，得到第一子图像和第二子图像；
103.基于所述增益图数据和所述主屏的显示特性参数，对所述第一子图像进行第一子处理，得到第三目标图像；
104.基于所述增益图数据和所述副屏的显示特性参数，对所述第二子图像进行第二子处理，得到第四目标图像；
105.在所述主屏上预览显示所述第三目标图像，在所述副屏上预览显示所述第四目标图像。
106.在将主屏和副屏拼接成一个完整屏幕以扩大屏幕的应用场景下，可以按照图像在主屏和副屏的预览比例，对第一待显示图像进行分割，得到第一子图像和第二子图像。
107.之后可以基于增益图数据、主屏的显示特性参数和第一子图像进行sdr2hdr合成，以生成第三目标图像。
108.可以基于增益图数据、副屏的显示特性参数和第二子图像进行sdr2hdr合成，以生成第四目标图像。
109.第一子处理和第二子处理同步进行，并在主屏上预览显示第三目标图像，在副屏上预览显示第四目标图像，第三目标图像和第四目标图像的预览显示同步进行。
110.如此，可以同步生成主屏和副屏上预览显示的目标图像，从而可以利用xdr功能进行双屏的图像预览，并且可以扩大目标图像的预览显示区域。
111.可选地，所述显示屏幕包括主屏和副屏，所述基于所述增益图数据，预览显示目标图像，包括：
112.基于所述增益图数据，在所述主屏预览显示基于所述主屏的显示特性参数生成的目标图像；或，
113.基于所述增益图数据，在所述副屏预览显示基于所述副屏的显示特性参数生成的目标图像。
114.可以基于增益图数据，在主屏预览显示基于主屏的显示特性参数生成的目标图像，也可以基于增益图数据，在副屏预览显示基于副屏的显示特性参数生成的目标图像，还可以在主屏和副屏上同步进行目标图像的预览显示。
115.可以基于增益图数据，同步扩展主屏和副屏的亮度范围。并基于增益图数据中第一目标图像对应的增益图数据，增强第一目标图像中每个像素点的亮度，以及同步基于增益图数据中第二目标图像对应的增益图数据，增强第二目标图像中每个像素点的亮度，将第一目标图像和第二目标图像按照增强后的像素点亮度在亮度范围扩展后的主屏和副屏上进行同步显示。其中，第一目标图像可以为基于主屏的显示特性参数生成的目标图像，第二目标图像可以为基于副屏的显示特性参数生成的目标图像。
116.如此，可以基于增益图数据，利用xdr功能进行双屏的图像预览，改善图像预览xdr效果。
117.以下对一示例的图像预览方法进行详细说明。
118.该图像预览方法应用于电子设备，该电子设备包括图像传感器、soc芯片、cpu和显示屏幕。cpu包括显示处理单元(display process unit，dpu)，该电子设备可以为手机，且该电子设备的显示屏幕为双屏。
119.图3是一示例的图像预览方法的框架示意图，其按照三个阶段进行处理，分别是步骤301：soc芯片的处理阶段、步骤302：cpu的图像处理阶段和步骤303：dpu的显示处理阶段。
120.第一阶段是soc芯片的处理阶段，流程框图如图4所示，具体如下：
121.步骤401：双屏手机打开相机；
122.步骤402：图像传感器输出不同曝光策略的两路纯raw图数据，送至soc芯片；
123.步骤403：两路曝光图像数据，其曝光值分别设置为ev0和ev-；
124.步骤404：soc芯片，接收不同曝光策略的两路纯raw图数据进行预设算法的处理，soc芯片运行算法后生成精准的增益图数据和元数据，元数据可以包括增益图数据中的目标增益值、拍摄环境亮度信息和拍摄场景信息；
125.步骤405：将曝光值为ev-的纯raw图数据丢弃，保留曝光值为ev0的纯raw图数据、增益值数据和元数据，通过mipi协议，送至手机主处理器芯片(cpu)，进行后端图像处理。
126.第二阶段是cpu的图像处理阶段，流程框图如图5所示，具体如下：
127.步骤501：cpu接收soc芯片发送的数据，将增益图数据和元数据存入双倍速率(double data rate，ddr)同步动态随机存储器(synchronous dynamic random access memory，sdram)中的缓存a；其中，ddr sdram可以简称为ddr；
128.步骤502：纯raw图数据经过cpu的isp模块处理后，生成待显示的图像yuv数据，存
入ddr中的缓存b；
129.步骤503：获取双屏的显示特性参数，如位深，色域、屏幕size、峰值亮度等，将主屏和副屏的上述特性参数，分别存入ddr中的缓存c和缓存d；
130.步骤504：读出ddr中缓存a、b、c的数据进行sdr2hdr合成，得到位深为10bit、且图像格式为rgb的hdr数据，用于主屏显示；同步读出ddr中缓存a、b、d的数据进行sdr2hdr合成，得到位深为10bit、且图像格式为rgb的hdr数据，用于副屏显示；
131.步骤505：根据元数据中的目标增益值，拓展主屏的亮度范围，以及同步根据元数据中的目标增益值，拓展副屏的亮度范围，其亮度范围的扩展示意如图2所示。
132.第三阶段是dpu的显示处理阶段，流程框图如图6所示，具体如下：
133.步骤601：将主屏待显示的位深为10bit、且图像格式为rgb的hdr数据送至dpu进行显示处理，通过主屏的显示器串行接口规范(display serial interface specification，dsi)接口，将dpu处理后数据送至主屏显示；
134.步骤602：同步将副屏待显示的位深为10bit、且图像格式为rgb的hdr数据送至dpu进行显示处理，经过dpu处理后，通过副屏dsi接口，将dpu处理后数据送至副屏显示；
135.步骤603：主屏和副屏的xdr预览显示同步，实现主副双屏的xdr同步显示。
136.循环执行上述三个阶段，实现图像预览的xdr功能，目标图像的动态范围和通透性可以得到显著改善。
137.需要说明的是，本技术实施例提供的图像预览方法，执行主体可以为图像预览装置，或者图像预览装置中的用于执行图像预览方法的控制模块。本技术实施例中以图像预览装置执行图像预览方法为例，说明本技术实施例提供的图像预览装置。
138.参见图7，图7是本技术实施例提供的图像预览装置的结构图，该装置应用于电子设备，所述电子设备包括图像传感器和显示屏幕，如图7所示，图像预览装置700包括：
139.第一获取模块701，用于获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；
140.生成模块702，用于基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；
141.显示模块703，用于基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。
142.可选地，所述显示模块703包括：
143.扩展单元，用于基于目标增益值，扩展所述显示屏幕的亮度范围，所述目标增益值为所述增益图数据中的最大值；
144.增强单元，用于基于所述增益图数据，增强所述目标图像中每个像素点的亮度；
145.显示单元，用于按照增强后的像素点亮度，在亮度范围扩展后的所述显示屏幕预览显示目标图像。
146.可选的，所述电子设备还包括显示处理单元dpu，所述dpu用于基于目标增益值，扩展所述显示屏幕的亮度范围，所述dpu还用于基于所述增益图数据对像素点的亮度进行增强得到所述目标图像。
147.可选地，所述生成模块702，具体用于：
148.将所述第一raw图和所述第二raw图进行配准，确定所述第一raw图中高亮过曝区
对应环境的亮度相对大小；
149.基于所述高亮过曝区对应环境的亮度相对大小，确定所述第一raw图中各像素点对应环境的亮度分布；
150.基于所述亮度分布，确定图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到所述增益图数据。
151.可选地，所述装置还包括：
152.第二获取模块，用于获取元数据，所述元数据包括所述第一raw图的拍摄环境亮度信息和拍摄场景信息中的至少一项；
153.调整模块，用于基于所述元数据，对所述增益图数据进行调整；
154.所述显示模块，具体用于基于调整后的所述增益图数据，预览显示目标图像。
155.可选地，所述调整模块，具体用于：
156.基于所述元数据，对所述目标增益值进行调整；
157.按照所述目标增益值的调整比例，对所述增益图数据进行调整。
158.可选地，所述电子设备还包括片上系统soc芯片，所述soc芯片用于基于所述第一raw图和所述第二raw图，生成增益图数据。
159.可选地，所述装置还包括：
160.第一图像处理模块，用于对所述第一raw图进行第一图像处理，得到第一待显示图像；
161.第二图像处理模块，用于基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，所述目标图像与所述第一待显示图像的图像格式不同，所述目标图像的位深大于所述第一待显示图像的位深。
162.可选地，所述第二图像处理模块包括：
163.第一处理单元，用于将所述第一待显示图像的图像数据与所述增益图数据进行相乘处理，得到第二待显示图像；
164.格式转换单元，用于将所述第二待显示图像的图像格式进行转换，得到所述目标图像。
165.可选地，所述显示屏幕包括主屏和副屏，所述第二图像处理模块包括：
166.第二处理单元，用于基于所述增益图数据和所述主屏的显示特性参数，对所述第一待显示图像进行第一子处理，得到第一目标图像；
167.第三处理单元，用于基于所述增益图数据和所述副屏的显示特性参数，对所述第一待显示图像进行第二子处理，得到第二目标图像；
168.其中，所述第二图像处理包括所述第一子处理和所述第二子处理，所述目标图像包括所述第一目标图像和所述第二目标图像。
169.可选地，所述装置还包括：
170.分割模块，用于基于主屏和副屏的预览比例，对所述第一待显示图像进行分割，得到第一子图像和第二子图像；
171.第三图像处理模块，用于基于所述增益图数据和所述主屏的显示特性参数，对所述第一子图像进行第一子处理，得到第三目标图像；基于所述增益图数据和所述副屏的显示特性参数，对所述第二子图像进行第二子处理，得到第四目标图像；
172.显示模块703，具体用于在所述主屏上预览显示所述第三目标图像，在所述副屏上预览显示所述第四目标图像。
173.可选地，所述显示屏幕包括主屏和副屏，所述显示模块703，具体用于：
174.基于所述增益图数据，在所述主屏预览显示基于所述主屏的显示特性参数生成的目标图像；或，
175.基于所述增益图数据，在所述副屏预览显示基于所述副屏的显示特性参数生成的目标图像。
176.本实施例中，通过获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。如此，通过利用图像传感器输出的两路不同曝光策略的raw图，生成精准的增益图数据，从而可以基于增益图数据，利用xdr功能进行图像预览，从而可以实现图像的xdr预览，并保障图像预览的xdr效果。
177.本技术实施例中的图像预览装置可以是装置，也可以是电子设备中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，非移动电子设备可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
178.本技术实施例中的图像预览装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
179.本技术实施例提供的图像预览装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。
180.可选地，如图8所示，本技术实施例还提供一种电子设备800，包括处理器801，存储器802，存储在存储器802上并可在所述处理器801上运行的程序或指令，该程序或指令被处理器801执行时实现上述图像预览方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
181.需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
182.图9为实现本技术实施例的一种电子设备的硬件结构示意图。
183.该电子设备900包括但不限于：射频单元901、网络模块902、音频输出单元903、输入单元904、传感器905、显示单元906、用户输入单元907、接口单元908、存储器909、以及处理器910等部件。
184.本领域技术人员可以理解，电子设备900还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器910逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限
定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
185.处理器910，用于获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；
186.显示单元906，用于基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。
187.本实施例中，通过获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。如此，通过利用图像传感器输出的两路不同曝光策略的raw图，生成精准的增益图数据，从而可以基于增益图数据，利用xdr功能进行图像预览，从而可以实现图像的xdr预览，并保障图像预览的xdr效果。
188.可选地，显示单元906，具体用于：
189.基于目标增益值，扩展所述显示屏幕的亮度范围，所述目标增益值为所述增益图数据中的最大值；
190.基于所述增益图数据，增强所述目标图像中每个像素点的亮度；
191.按照增强后的像素点亮度，在亮度范围扩展后的所述显示屏幕预览显示目标图像。
192.可选的，所述电子设备还包括显示处理单元dpu，所述dpu用于基于目标增益值，扩展所述显示屏幕的亮度范围，所述dpu还用于基于所述增益图数据对像素点的亮度进行增强得到所述目标图像。
193.可选地，处理器910还用于：
194.将所述第一raw图和所述第二raw图进行配准，确定所述第一raw图中高亮过曝区对应环境的亮度相对大小；
195.基于所述高亮过曝区对应环境的亮度相对大小，确定所述第一raw图中各像素点对应环境的亮度分布；
196.基于所述亮度分布，确定图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到所述增益图数据。
197.可选地，处理器910，还用于：
198.获取元数据，所述元数据包括所述第一raw图的拍摄环境亮度信息和拍摄场景信息中的至少一项；
199.基于所述元数据，对所述增益图数据进行调整；
200.显示单元906，具体用于基于调整后的所述增益图数据，预览显示目标图像。
201.可选地，处理器910，还用于：
202.基于所述元数据，对所述目标增益值进行调整；
203.按照所述目标增益值的调整比例，对所述增益图数据进行调整。
204.可选地，所述电子设备还包括片上系统soc芯片，所述soc芯片用于基于所述第一raw图和所述第二raw图，生成增益图数据。
205.可选地，处理器910，还用于：
206.对所述第一raw图进行第一图像处理，得到第一待显示图像；
207.基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，所述目标图像与所述第一待显示图像的图像格式不同，所述目标图像的位深大于所述第一待显示图像的位深。
208.可选地，处理器910，还用于：
209.将所述第一待显示图像的图像数据与所述增益图数据进行相乘处理，得到第二待显示图像；
210.将所述第二待显示图像的图像格式进行转换，得到所述目标图像。
211.可选地，所述显示屏幕包括主屏和副屏，处理器910，还用于：
212.基于所述增益图数据和所述主屏的显示特性参数，对所述第一待显示图像进行第一子处理，得到第一目标图像；
213.基于所述增益图数据和所述副屏的显示特性参数，对所述第一待显示图像进行第二子处理，得到第二目标图像；
214.其中，所述第二图像处理包括所述第一子处理和所述第二子处理，所述目标图像包括所述第一目标图像和所述第二目标图像。
215.可选地，处理器910，还用于：
216.基于主屏和副屏的预览比例，对所述第一待显示图像进行分割，得到第一子图像和第二子图像；
217.基于所述增益图数据和所述主屏的显示特性参数，对所述第一子图像进行第一子处理，得到第三目标图像；
218.基于所述增益图数据和所述副屏的显示特性参数，对所述第二子图像进行第二子处理，得到第四目标图像；
219.显示单元906，还用于在所述主屏上预览显示所述第三目标图像，在所述副屏上预览显示所述第四目标图像。
220.可选地，所述显示屏幕包括主屏和副屏，显示单元906，具体用于：
221.基于所述增益图数据，在所述主屏预览显示基于所述主屏的显示特性参数生成的目标图像；或，
222.基于所述增益图数据，在所述副屏预览显示基于所述副屏的显示特性参数生成的目标图像。
223.应理解的是，本技术实施例中，输入单元904可以包括图形处理器(graphics processing unit，gpu)9041和麦克风9042，图形处理器9041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元906可包括显示面板9061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板9061。用户输入单元907包括触控面板9071以及其他输入设备9072。触控面板9071，也称为触摸屏。触控面板9071可包括触摸检测装置和触摸控制器两个部分。其他输入设备9072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作
杆，在此不再赘述。存储器909可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器910可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器910中。
224.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像预览方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
225.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
226.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像预览方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
227.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
228.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
229.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台电子设备(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
230.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种图像预览方法，其特征在于，应用于电子设备，所述电子设备包括图像传感器和显示屏幕，所述方法包括：获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。2.根据权利要求1所述的方法，其特征在于，所述基于所述增益图数据，预览显示目标图像，包括：基于目标增益值，扩展所述显示屏幕的亮度范围，所述目标增益值为所述增益图数据中的最大值；基于所述增益图数据，增强所述目标图像中每个像素点的亮度；按照增强后的像素点亮度，在亮度范围扩展后的所述显示屏幕预览显示目标图像。3.根据权利要求2所述的方法，其特征在于，所述电子设备还包括显示处理单元dpu，所述dpu用于基于目标增益值，扩展所述显示屏幕的亮度范围，所述方法还包括：所述dpu基于所述增益图数据对像素点的亮度进行增强得到所述目标图像。4.根据权利要求1所述的方法，其特征在于，所述基于所述第一raw图和所述第二raw图，生成增益图数据，包括：将所述第一raw图和所述第二raw图进行配准，确定所述第一raw图中高亮过曝区对应环境的亮度相对大小；基于所述高亮过曝区对应环境的亮度相对大小，确定所述第一raw图中各像素点对应环境的亮度分布；基于所述亮度分布，确定图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到所述增益图数据。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取元数据，所述元数据包括所述第一raw图的拍摄环境亮度信息和拍摄场景信息中的至少一项；基于所述元数据，对所述增益图数据进行调整；所述基于所述增益图数据，预览显示目标图像，包括：基于调整后的所述增益图数据，预览显示目标图像。6.根据权利要求5所述的方法，其特征在于，所述基于所述元数据，对所述增益图数据进行调整，包括：基于所述元数据，对所述目标增益值进行调整；按照所述目标增益值的调整比例，对所述增益图数据进行调整。7.根据权利要求1所述的方法，其特征在于，所述电子设备还包括片上系统soc芯片，所述方法还包括：所述soc芯片基于所述第一raw图和所述第二raw图生成增益图数据。8.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对所述第一raw图进行第一图像处理，得到第一待显示图像；基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，所述目标图像与所述第一待显示图像的图像格式不同，所述目标图像的位深大于所述第一待显示图像的位深。9.根据权利要求8所述的方法，其特征在于，所述基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，包括：将所述第一待显示图像的图像数据与所述增益图数据进行相乘处理，得到第二待显示图像；将所述第二待显示图像的图像格式进行转换，得到所述目标图像。10.根据权利要求8所述的方法，其特征在于，所述显示屏幕包括主屏和副屏，所述基于所述增益图数据和所述显示屏幕的显示特性参数，对所述第一待显示图像进行第二图像处理，得到所述目标图像，包括：基于所述增益图数据和所述主屏的显示特性参数，对所述第一待显示图像进行第一子处理，得到第一目标图像；基于所述增益图数据和所述副屏的显示特性参数，对所述第一待显示图像进行第二子处理，得到第二目标图像；其中，所述第二图像处理包括所述第一子处理和所述第二子处理，所述目标图像包括所述第一目标图像和所述第二目标图像。11.根据权利要求8所述的方法，其特征在于，所述方法还包括：基于主屏和副屏的预览比例，对所述第一待显示图像进行分割，得到第一子图像和第二子图像；基于所述增益图数据和所述主屏的显示特性参数，对所述第一子图像进行第一子处理，得到第三目标图像；基于所述增益图数据和所述副屏的显示特性参数，对所述第二子图像进行第二子处理，得到第四目标图像；在所述主屏上预览显示所述第三目标图像，在所述副屏上预览显示所述第四目标图像。12.根据权利要求1-11中任一项所述的方法，其特征在于，所述显示屏幕包括主屏和副屏，所述基于所述增益图数据，预览显示目标图像，包括：基于所述增益图数据，在所述主屏预览显示基于所述主屏的显示特性参数生成的目标图像；或，基于所述增益图数据，在所述副屏预览显示基于所述副屏的显示特性参数生成的目标图像。13.一种图像预览装置，其特征在于，应用于电子设备，所述电子设备包括图像传感器和显示屏幕，所述装置包括：第一获取模块，用于获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；生成模块，用于基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；
显示模块，用于基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。14.根据权利要求13所述的装置，其特征在于，所述生成模块，具体用于：将所述第一raw图和所述第二raw图进行配准，确定所述第一raw图中高亮过曝区对应环境的亮度相对大小；基于所述高亮过曝区对应环境的亮度相对大小，确定所述第一raw图中各像素点对应环境的亮度分布；基于所述亮度分布，确定图像在所述显示屏幕显示时每个像素点所提亮的倍数，得到所述增益图数据。15.根据权利要求13所述的装置，其特征在于，所述显示屏幕包括主屏和副屏，所述显示模块，具体用于：基于所述增益图数据，在所述主屏预览显示基于所述主屏的显示特性参数生成的目标图像；或，基于所述增益图数据，在所述副屏预览显示基于所述副屏的显示特性参数生成的目标图像。16.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-12任一项所述的图像预览方法的步骤。17.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-12任一项所述的图像预览方法的步骤。

技术总结
本申请公开了一种图像预览方法、装置、电子设备及可读存储介质，属于拍摄技术领域，该方法应用于电子设备，电子设备包括图像传感器和显示屏幕，该方法包括：获取所述图像传感器输出的第一raw图和第二raw图，所述第一raw图为正常曝光图像，所述第二raw图为欠曝光图像；基于所述第一raw图和所述第二raw图，生成增益图数据，所述增益图数据指示图像在所述显示屏幕显示时每个像素点所提亮的倍数；基于所述增益图数据，预览显示目标图像，所述目标图像是基于所述第一raw图生成的。基于所述第一raw图生成的。基于所述第一raw图生成的。


技术研发人员：周燎
受保护的技术使用者：维沃移动通信有限公司
技术研发日：2023.07.10
技术公布日：2023/10/6