增益图编码方法、解码方法、装置、设备及介质与流程

1.本技术属于通信技术领域，具体涉及一种增益图编码方法、解码方法、装置、设备及介质。


背景技术：

2.随着图像采集和显示技术的进步，高动态范围成像和显示能够在电子设备(如智能手机、平板)上完成。虽然支持高动态范围静止图像显示的设备越来越多，但是仍然存在大量只支持标准动态范围(standard dynamic range，sdr)的电子设备。兼顾拍摄的高动态范围图像能同时在高动态范围(high-dynamic range，hdr)显示设备和sdr显示设备上，呈现良好的显示效果，基于增益图(gain map)的hdr采集、存储和显示方案是业界普遍采用的一种方法。
3.然而，增益图作为sdr图像和hdr图像之外的额外信息，通常会增加存储空间需求。


技术实现要素：

4.本技术实施例的目的是提供一种增益图编码方法、装置、设备及介质，能够解决现有的gain map增加存储空间需求的问题。
5.第一方面，本技术实施例提供了一种增益图编码方法，包括：
6.确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；
7.根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；
8.根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。
9.第二方面，本技术实施例提供了一种增益图解码方法，包括：
10.获取增益图的编码信息；
11.对所述编码信息进行解码，得到所述增益图；
12.其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。
13.第三方面，本技术实施例提供了一种增益图编码装置，包括：
14.第一处理模块，用于确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；
15.第二处理模块，用于根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；
16.编码模块，用于根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。
17.第四方面，本技术实施例提供了一种增益图解码装置，包括：
18.获取模块，用于获取增益图的编码信息；
19.解码模块，用于对所述编码信息进行解码，得到所述增益图；
20.其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。
21.第五方面，本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。
22.第六方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。
23.第七方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。
24.第八方面，本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面或第二方面所述的方法。
25.本技术实施例中，在通过第一阈值，将增益图分为第一图像区域和第二图像区域后，能够根据第一图像区域和第二图像区域确定增益图的编码策略，然后根据确定的编码策略对增益图进行编码，得到增益图的编码信息。如此，对于具有不同亮度的图像区域，采用了适用的编码策略进行编码，相较于直接存储增益图，降低了数据量，节省了存储空间。由于编码策略对应不同亮度的图像区域不同，相较于单一的编码策略，在保证包含有效信息的图像区域获得高质量编码和重建的情况下，对于其它图像区域可以采用低质量编码，降低增益图的编码信息对存储空间的需求。
附图说明
26.图1是gain map应用示意图之一；
27.图2是gain map应用示意图之二；
28.图3是本技术实施例的编码方法流程示意图；
29.图4是本技术实施例的编码方法应用流程示意图之一；
30.图5是本技术实施例的编码方法应用流程示意图之二；
31.图6是本技术实施例的解码方法流程示意图；
32.图7是本技术实施例的解码方法应用流程示意图之一；
33.图8是本技术实施例的解码方法应用流程示意图之二；
34.图9是本技术实施例的装置的模块结构示意图之一；
35.图10是本技术实施例的装置的模块结构示意图之二；
36.图11是本技术实施例的电子设备的结构示意图；
37.图12是本技术另一实施例的电子设备的结构示意图。
具体实施方式
38.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本技术保护的范围。
39.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
40.为了方便理解，以下对本技术实施例涉及的一些内容进行说明：
41.gain map(又称为增益图或者增强图)通常是在采集hdr图像时生成，作为一种额外的信息，可以存储为一种特定的文件格式，比如存储为图像的格式或者存储为某种图像格式的附加信息，然后再进行编码传输。显示时，对gain map进行解码。gain map是基于hdr图像及其对应的色调映射后的sdr图像生成，gain map的使用可以是sdr和gain map来生成对应的hdr图像，也可以是hdr和gain map来生成对应的sdr图像，如图1和图2所示。在这两种格式中，都需要存储gain map。
42.而且，基于gain map的hdr方案，hdr图像中需要通过gain map提亮的区域有限。这主要是因为：1)如果提亮的区域过大，大面积的提亮区域会对人眼造成不舒适的观感。因此，生成gain map时，需要考虑适当控制提亮区域的面积。2)如果提亮区域过大，hdr在视觉上带来的体验优势会降低。3)在拍摄的自然界内容中，通常高亮的区域也是有限的。
43.下面结合附图，通过具体的实施例及其应用场景对本技术实施例提供的增益图编码方法、解码方法、装置、设备及介质进行详细地说明。
44.如图3所示，本技术实施例的一种增益图编码方法，包括：
45.步骤301，确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。
46.第一阈值是亮度阈值。本步骤中，对于gain map，会通过像素点的亮度和第一阈值比较，来确定像素点的亮度大于第一阈值的第一图像区域，以及像素点的亮度小于或等于第一阈值的第二图像区域。
47.步骤302，根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略。
48.步骤303，根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。
49.这样，按照上述步骤301-303，在通过第一阈值，将增益图分为第一图像区域和第二图像区域后，能够根据第一图像区域和第二图像区域确定增益图的编码策略，然后根据确定的编码策略对增益图进行编码，得到增益图的编码信息。如此，对于具有不同亮度的图像区域，采用了适用的编码策略进行编码，相较于直接存储增益图，降低了数据量，节省了存储空间。由于编码策略对应不同亮度的图像区域不同，相较于单一的编码策略，在保证包含有效信息的图像区域获得高质量编码和重建的情况下，对于其它图像区域可以采用低质量编码，降低增益图的编码信息对存储空间的需求。
50.例如，如图4所示，结合hdr图像和sdr图像生成gain map。然后，进行gain map提亮区域识别，即确定gain map中像素点像素值大于第一阈值的第一图像区域(提亮区域)和像素点像素值小于或等于第一阈值的第二图像区域(非提亮区域)。下一步，基于第一图像区域和第二图像区域，分别确定不同区域的编码策略。下一步，按照不同的编码策略对第一图像区域和第二图像区域进行编码，得到gain map的编码信息。
51.可选地，所述确定增益图中的第一图像区域和第二图像区域，包括：
52.基于目标色调映射方式，确定分割尺寸；其中，所述目标色调映射方式是由高动态范围图像生成标准动态范围图像时所使用的色调映射方式；
53.基于所述分割尺寸，将所述增益图分割为多个区域；
54.基于所述第一阈值，确定所述多个区域中的所述第一图像区域和所述第二图像区域。
55.即，第一图像区域和第二图像区域的大小与hdr图像生成sdr图像使用的色调映射(tone mapping)方法，以及基于hdr图像和生成的sdr图像生成gain map的方法相关。当编码设备(如用户设备)使用一种色调映射方式也就是目标色调映射方式生成sdr图像及对应的gain map，分割尺寸与该目标色调映射方式、基于hdr和sdr生成gain map的方法，以及采用的图像编码器支持的编码块尺寸有关。通常，分割尺寸可基于图像编码器支持的最小编码单元块尺寸来确定，如分割尺寸大于或者等于最小编码单元块尺寸。确定分割尺寸后，基于该分割尺寸分割gain map，得到多个区域，进而结合第一阈值，将该多个区域区分为第一图像区域和第二图像区域。例如，基于分割尺寸得到20个区域后，由第一阈值，进一步得到8个第一图像区域和12个第二图像区域。
56.当然，第一图像区域和第二图像区域也可是基于人工智能学习方法识别得到。
57.其中，第一阈值是预先设定的亮度阈值。第一阈值的设定可以根据不同的应用场景和需求调整。例如，在某个应用场景中，由于其对hdr/sdr图像质量要求高，则阈值的设定可以把较多的区域设定为第一图像区域(又称为提亮区域，也可称为感兴趣roi区域)，较少的区域设定为第二图像区域(又称为非提亮区域，也可称为非roi区域)；在另一种应用场景中，由于其对gain map增加的存储空间有限制，则阈值的设定可以把较少的区域设定为第一图像区域。第一阈值的设定还可以与图像的内容有关，比如白天的风景图中，光照充足，通过阈值的设定第一图像区域可以选择较大的区域；在部分夜景场景中，有灯光的区域有限，通过阈值的设定第一图像区域可以选择较小的区域。
58.可选的，该实施例中，在gain map生成后和编码前，可进行gain map的一些预处理操作，如基于增益图的像素信息进行归一化处理，将增益图像素转换为0，1之间的浮点数；再将归一化之后的浮点数根据选择的位深进行数字化编码，如选择8bit位深，或者10bit位深。对gain map的分割和识别可以在上述的预处理操作之前，也可以是在这些预处理之后。
59.该实施例中，还可以结合编码器选择的编码单元尺寸，如ctu的块尺寸对增益图进行分割，这样，第一图像区域和第二图像区域的尺寸为一个或者多个ctu的块尺寸。例如，如果gain map采用jpeg编码，增益图gain map的分割尺寸可以按照jpeg中dct变换的块尺寸8x8来确定。当然，也可以按照其他尺寸进行增益图分割，在此不再赘述。
60.另外，该实施例中，可选地，所述根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略，包括：
61.在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略；
62.在所述待编码图像单元属于所述第二图像区域的情况下，确定所述编码策略为第二策略；
63.其中，所述第一策略的编码质量高于所述第二策略的编码质量。
64.也就是说，第一图像区域对应的是编码质量更高的第一策略，第二图像区域对应的是编码质量更低的第二策略。对于待编码图像单元，就会基于该待编码图像单元所属的区域，采用相应的第一策略或第二策略进行编码。
65.其中，编码质量的高低是指解码后图像是否更接近于编码前的原图，如编码质量越高，解码后图像的图像评价指标中峰值信噪比(peak signal to noise ratio，psnr)和/或结构相似性(structural similarity,ssim)越大。
66.作为一种实现方式，不同编码策略可以是不同的编码码率。即，第一图像区域的编码码率是大于第二图像区域的编码码率的。
67.该实施例中，待编码图像单元是作为图像编码器支持的最小编码单元。增益图的分割块尺寸可以与图像编码器支持的编码单元尺寸相同，如采用基于hevc的图像编码器中，待编码图像单元和分割尺寸与ctu的块尺寸相同。将待编码图像单元结合第一图像区域作为编码策略选择的输入信息。
68.可选地，该实施例中，所述第一策略包括多个具有不同编码质量的编码规则；
69.所述在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略，包括：
70.通过所述待编码图像单元所属的所述第一图像区域的亮度级别或纹理信息，确定与所述亮度级别或纹理信息关联的编码规则。
71.即，对于第一图像区域，还可以按照亮度级别或纹理信息进一步设定更细化的编码质量等级，如亮度级别越高，编码质量越高；纹理信息越丰富，编码质量越高。
72.作为一种可选的实施方式，通过预先设定大于第一阈值的第二阈值、第三阈值，可以将第一图像区域按照亮度级别区分为a、b、c三个级别，亮度级别a《b《c。亮度级别为c的区域，进行最高(第一等级)图像质量的编码；亮度级别为b的区域，进行次高(第二等级)图像质量的编码；亮度级别为a的区域，进行最低(第三等级)图像质量的编码。
73.作为一种可选的实施方式，通过纹理信息如边缘信息、高频信息，可以将第一图像区域确定为纹理丰富的区域和纹理平坦的区域。纹理丰富的区域，进行最高(第一等级)图像质量的编码；纹理平坦的区域，进行最低(第三等级)图像质量的编码。
74.同样的，对于第二图像区域，也可以按照亮度级别或纹理信息进一步设定更细的编码质量等级，在此不再赘述。
75.可选地，该实施例中，所述根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略，包括：
76.在所述待编码图像单元属于所述第一图像区域中与所述第二图像区域直接相邻的边缘部分，或者所述第二图像区域中与所述第一图像区域直接相邻的边缘部分的情况下，确定所述编码策略为第三策略；
77.其中，所述第三策略的编码质量高于所述第二策略的编码质量，且低于所述第一
策略的编码质量。
78.也就是说，第一策略是适用第一图像区域中，除与第二图像区域直接相邻的边缘部分的其它部分的；第二策略是适用于第二图像区域中，除与第一图像区域直接相邻的边缘部分的其它部分的。第一图像区域中与第二图像区域直接相邻的边缘部分，以及，第二图像区域中与第一图像区域直接相邻的边缘部分，则适用编码质量高于第二策略但低于第一策略的第三策略，使得第一图像区域中与第二图像区域相邻区域的质量平滑过渡，避免相邻区域质量偏差较大而出现可感知的主观失真。
79.可选的，该实施例中，所述根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息，包括：
80.基于所述编码策略调整编码参数；
81.基于所述编码参数对所述增益图进行编码，得到所述编码信息；
82.其中，所述编码参数包括以下至少一项：
83.量化参数；
84.变换编码系数；
85.率失真函数。
86.即，在编码过程中，会根据确定的编码策略，通过调整量化参数、变换编码系数、率失真函数中的至少一项，来实现对应的编码质量或编码码率。如，对于对应第一策略的图像区域，会采用较小的量化参数编码，以保留更多的信息，甚至在选择最高编码质量时可执行无损编码；对于对应第二策略的图像区域，会采用较大的量化参数编码，会增加信号失真，降低编码数据量。又如，对于对应第一策略的图像区域，会保留编码块的大部分变换编码系数；对于对应第二策略的图像区域，会丢弃部分变换编码系数，如变换编码系数的高频部分可以直接置零或者丢弃，降低数据量。又如，对于对应第一策略的图像区域，会以高码率为目标调整率失真函数；对于对应第二策略的图像区域，会以低码率为目标调整率失真函数。
87.可选地，该实施例中，所述量化参数包括以下至少一项：
88.图像级量化参数；
89.切片(slice)级量化参数；
90.编码树单元(ctu)级量化参数；
91.分块(tile)级量化参数；
92.编码单元(cu)级量化参数。
93.以hevc的静止图像编码(heic,heif)为例，调整量化参数实现编码策略的一种实现：可以在图像级、slice级、ctu级或者cu级进行量化参数的调整。在hevc中，ctu是默认的可以设置不同量化参数的最小编码单元级别。图像级量化参数在图像级的参数集设置，指定图像级量化参数的初始值，例如hevc的图像参数集(picture parameter set，pps)中的参数init_qp_minus26。slice级的量化策略可以通过slice标头(header)设置slice_qp_delta实现，其指定了当前slice中编码和解码的初始量化参数值，直到在cu编解码层面出现cu级的量化偏移值cuqpdeltaval。init_qp_minus26加26指定了使用当前pps的每个slice的编码和解码量化参数初始值。对于非零的slice_qp_delta，当前slice的量化参数为init_qp_minus26+26+slice_qp_delta。为了实现更精细的图像内不同区域的码率控制，可以通过cu支持不同的量化参数设置或者其它率失真码率控制策略。在hevc，可以通过在
pps中开启cu_qp_delta_enabled_flag标志位。cu_qp_delta_abs指定当前cu亮度信号量化参数和前一个cu量化参数差值的绝对值，cu_qp_delta_sign_flag指定当前cu亮度信号量化参数和前一个cu量化参数差值的符号。通过这些cu级别的量化参数设置可实现cu级别的码率控制。
94.当然，其它编码器，如基于vvc或者av1(avif)和其它编解码器的静止图像压缩格式，类似于上述hevc的策略来调整图像层面、slice、ctu或者cu级的量化参数，实现增益图第一图像区域、第二图像区域的编码质量控制。其中，基于标准允许的编码块尺寸对增益图进行块划分，hevc支持最大64x64的ctu块尺寸，vvc支持最大256x256的ctu块尺寸，av1支持最大128x128的superblock块尺寸。
95.该实施例中，也就可以针对增益图中第一图像区域、第二图像区域分布，还可以进一步定义不同的slice，通过不同的slice级量化参数，实现不同的编码质量，实现第一图像区域比第二图像区域更高的编码质量。或者定义不同的cu级量化参数等，实现第一图像区域比第二图像区域更高的编码质量。
96.例如，hevc支持最大64x64的ctu块划分。在确定增益图中第一图像区域、第二图像区域后，对增益图按照ctu块尺寸划分待编码单元。此时，划分的待编码单元、第一图像区域、第二图像区域作为编码策略的输入信息，通过判断待编码单元所属的区域，确定具体编码策略。如果第一图像区域、第二图像区域的分布适合通过slice进行编码，可以通过在slice级调整编码策略，如调整slice_qp_delta实现第一图像区域和第二图像区域的编码质量控制。若待编码单元属于第一图像区域的ctu块分布无法适用slice编码，可以采用在cu/ctu级别实现相应的编码策略，如调整ctu级量化参数，此时，ctu块划分、第一图像区域、第二图像区域可以作为编码策略选择的辅助信息，作为第一图像区域、第二图像区域编码参数确定的输入信息。具体的，第二图像区域不包含任何提亮信息，可以将第二图像区域的ctu编码码率确定为低码率，如量化参数设置为允许的最大值，尽量使得量化后系数为零，降低码率。对于第一图像区域，可以使用较小的量化参数或者无损压缩，确保该区域重建图像质量高。
97.可选地，该实施例中，所述基于所述编码参数对所述增益图进行编码，得到所述编码信息，包括：
98.在所述增益图为多通道增益图，且所述编码参数包括量化参数的情况下，在不同通道采用不同的量化参数进行编码。
99.这样，多通道gain map，可以针对不同通道(如，luma亮度和cb/cr色度信号)设置不同的量化策略，也就是，不同通道会采用不同的量化参数进行编码。例如，通过pps_cb_qp_offset、pps_cr_qp_offset以及slice_cb_qp_offset、slice_cr_qp_offset等方式指定在不同编码和解码层级色度信号和亮度信号的不同量化参数。
100.可选地，该实施例中，所述确定增益图中的第一图像区域和第二图像区域之前，所述方法还包括：
101.对所述增益图进行下采样。
102.即，可以先对原始的增益图进行下采样，如1/4或者1/16下采样，再基于下采样的增益图确定第一图像区域和第二图像区域，然后基于第一图像区域和第二图像区域确定两者的编码策略，按照编码策略对下采样的增益图进行编码，如图5所示，进一步降低存储空
间。
103.其中，下采样可以使用bilinear滤波器、lanczos滤波器、边缘保持滤波器、基于人工智能(ai)的方法等。
104.综上所述，本技术实施例的增益图编码方法，对于具有不同亮度的图像区域，采用了适用的编码策略进行编码，在不降低基于增益图重建hdr或者sdr图像质量的前提下，相较于直接存储增益图，降低了数据量，节省了存储空间。
105.本技术实施例提供的增益图编码方法，执行主体可以为增益图编码装置。本技术实施例中以增益图编码装置执行增益图编码方法为例，说明本技术实施例提供的增益图编码装置。
106.如图6所示，本技术实施例的一种增益图解码方法，包括：
107.步骤601，获取增益图的编码信息；
108.步骤602，对所述编码信息进行解码，得到所述增益图；
109.其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。
110.这样，在获取经上述实施例方法编码得到的增益图的编码信息后，通过对其解码得到增益图。
111.其中，若解码端也是编码端，获取增益图的编码信息，可以是从存储空间中提取gain map的编码信息；若解码端与编码端不同，获取增益图的编码信息，可以是解码端从编码端接收的gain map的编码信息。
112.例如，如图7所示，对于gain map的编码信息，解码gain map的编码信息，得到gain map。下一步，基于解码后的gain map和sdr图像，生成hdr图像。如果采用的是hdr加相应的gain map的存储形式，则是hdr与解码后的gain map生成sdr图像。
113.应该知道的是，由于上述实施例方法编码遵循编码标准，如hevc/vvc/av1或其它标准，解码端无需特殊处理，按照正常码流解码重建增益图。
114.可选地，所述对所述编码信息进行解码，得到所述增益图，包括：
115.在对编码信息进行解码后，对解码所得图像进行上采样，得到增益图。
116.即，若增益图在编码端进行了下采样，相对的，解码端需要再解码后对图像进行上采样，以便上采样后的增益图与sdr/hdr进行结合，生成相应的hdr/sdr图像，如图8所示。其中，上采样可以使用bilinear滤波器、lanczos滤波器、边缘保持滤波器、基于ai的方法等。
117.需要指出的是，在增益图解码后，在应用到sdr/hdr生成hdr/sdr图像之前，可能会执行一些后处理操作。比如将解码的增益图根据编码位深转换为浮点数，再将浮点数使用逆归一化操作恢复为对数域数值。增益图的上采样可以是在这些后处理之前进行，也可以是在这些后处理之后进行。最后，再将增益图应用到sdr/hdr图像上。
118.需要说明的是，该方法是与上述实施例的增益图编码方法配合实现的，上述方法实施例的实现方式适用于该方法，也能达到相同的技术效果。
119.如图9所示，本技术实施例的一种增益图编码装置900，包括：
120.第一处理模块910，用于确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所
述第一阈值；
121.第二处理模块920，用于根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；
122.编码模块930，用于根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。
123.可选地，所述第一处理模块还用于：
124.基于目标色调映射方式，确定分割尺寸；其中，所述目标色调映射方式是由高动态范围图像生成标准动态范围图像时所使用的色调映射方式；
125.基于所述分割尺寸，将所述增益图分割为多个区域；
126.基于所述第一阈值，确定所述多个区域中的所述第一图像区域和所述第二图像区域。
127.可选地，所述第二处理模块还用于：
128.在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略；
129.在所述待编码图像单元属于所述第二图像区域的情况下，确定所述编码策略为第二策略；
130.其中，所述第一策略的编码质量高于所述第二策略的编码质量。
131.可选地，所述第一策略包括多个具有不同编码质量的编码规则；
132.所述第二处理模块还用于：
133.通过所述待编码图像单元所属的所述第一图像区域的亮度级别或纹理信息，确定与所述亮度级别或纹理信息关联的编码规则。
134.可选地，所述第二处理模块还用于：
135.在所述待编码图像单元属于所述第一图像区域中与所述第二图像区域直接相邻的边缘部分，或者所述第二图像区域中与所述第一图像区域直接相邻的边缘部分的情况下，确定所述编码策略为第三策略；
136.其中，所述第三策略的编码质量高于所述第二策略的编码质量，且低于所述第一策略的编码质量。
137.可选地，所述编码模块还用于：
138.基于所述编码策略调整编码参数；
139.基于所述编码参数对所述增益图进行编码，得到所述编码信息；
140.其中，所述编码参数包括以下至少一项：
141.量化参数；
142.变换编码系数；
143.率失真函数。
144.可选地，所述量化参数包括以下至少一项：
145.图像级量化参数；
146.切片级量化参数；
147.编码树单元级量化参数；
148.分块级量化参数；
149.编码单元级量化参数。
150.可选地，所述编码模块还用于：
151.在所述增益图为多通道增益图，且所述编码参数包括量化参数的情况下，在不同通道采用不同的量化参数进行编码。
152.可选地，所述装置还包括：
153.第三处理模块，用于对所述增益图进行下采样。
154.该装置在通过第一阈值，将增益图分为第一图像区域和第二图像区域后，能够根据第一图像区域和第二图像区域确定增益图的编码策略，然后根据确定的编码策略对增益图进行编码，得到增益图的编码信息。如此，对于具有不同亮度的图像区域，采用了适用的编码策略进行编码，相较于增益图的存储，降低了数据量，节省了存储空间。
155.本技术实施例中的增益图编码装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device，mid)、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本或者个人数字助理(personal digital assistant，pda)等，还可以为服务器、网络附属存储器(network attached storage，nas)、个人计算机(personal computer，pc)、电视机(television，tv)、柜员机或者自助机等，本技术实施例不作具体限定。
156.本技术实施例中的增益图编码装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本技术实施例不作具体限定。
157.本技术实施例提供的增益图编码装置能够实现图3至图5的方法实施例实现的各个过程，为避免重复，这里不再赘述。
158.如图10所示，本技术的实施例还提供一种增益图解码装置，包括：
159.获取模块1010，用于获取增益图的编码信息；
160.解码模块1020，用于对所述编码信息进行解码，得到所述增益图；
161.其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。
162.可选地，所述解码模块还用于：
163.在对编码信息进行解码后，对解码所得图像进行上采样，得到增益图。
164.该装置在获取经上述实施例方法编码得到的增益图的编码信息后，通过对其解码得到增益图。
165.可选地，如图11所示，本技术实施例还提供一种电子设备1100，包括处理器1101和存储器1102，存储器1102上存储有可在所述处理器1101上运行的程序或指令，该程序或指令被处理器1101执行时实现上述增益图编码方法或增益图解码方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
166.需要说明的是，本技术实施例中的电子设备包括上述所述的移动电子设备和非移
动电子设备。
167.图12为实现本技术实施例的一种电子设备的硬件结构示意图。
168.该电子设备1200包括但不限于：射频单元1201、网络模块1202、音频输出单元1203、输入单元1204、传感器1205、显示单元1206、用户输入单元1207、接口单元1208、存储器1209、以及处理器1210等部件。
169.本领域技术人员可以理解，电子设备1200还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1210逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图x中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
170.其中，处理器1210，用于确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；
171.根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；
172.根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。
173.该电子设备在通过第一阈值，将增益图分为第一图像区域和第二图像区域后，能够根据第一图像区域和第二图像区域确定增益图的编码策略，然后根据确定的编码策略对增益图进行编码，得到增益图的编码信息。如此，对于具有不同亮度的图像区域，采用了适用的编码策略进行编码，相较于增益图的存储，降低了数据量，节省了存储空间。
174.可选地，所述处理器1210，还用于：基于目标色调映射方式，确定分割尺寸；其中，所述目标色调映射方式是由高动态范围图像生成标准动态范围图像时所使用的色调映射方式；
175.基于所述分割尺寸，将所述增益图分割为多个区域；
176.基于所述第一阈值，确定所述多个区域中的所述第一图像区域和所述第二图像区域。
177.可选地，所述处理器1210，还用于：
178.在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略；
179.在所述待编码图像单元属于所述第二图像区域的情况下，确定所述编码策略为第二策略；
180.其中，所述第一策略的编码质量高于所述第二策略的编码质量。
181.可选地，所述第一策略包括多个具有不同编码质量的编码规则；
182.所述处理器1210，还用于：
183.通过所述待编码图像单元所属的所述第一图像区域的亮度级别或纹理信息，确定与所述亮度级别或纹理信息关联的编码规则。
184.可选地，所述处理器1210，还用于：
185.在所述待编码图像单元属于所述第一图像区域中与所述第二图像区域直接相邻的边缘部分，或者所述第二图像区域中与所述第一图像区域直接相邻的边缘部分的情况下，确定所述编码策略为第三策略；
186.其中，所述第三策略的编码质量高于所述第二策略的编码质量，且低于所述第一策略的编码质量。
187.可选地，所述处理器1210，还用于：
188.基于所述编码策略调整编码参数；
189.基于所述编码参数对所述增益图进行编码，得到所述编码信息；
190.其中，所述编码参数包括以下至少一项：
191.量化参数；
192.变换编码系数；
193.率失真函数。
194.可选地，所述量化参数包括以下至少一项：
195.图像级量化参数；
196.切片级量化参数；
197.编码树单元级量化参数；
198.分块级量化参数；
199.编码单元级量化参数。
200.可选地，所述处理器1210，还用于：
201.在所述增益图为多通道增益图，且所述编码参数包括量化参数的情况下，在不同通道采用不同的量化参数进行编码。
202.可选地，所述处理器1210，还用于：
203.对所述增益图进行下采样。
204.应理解的是，本技术实施例中，输入单元1204可以包括图形处理器(graphics processing unit，gpu)12041和麦克风12042，图形处理器12041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1206可包括显示面板12061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板12061。用户输入单元1207包括触控面板12071以及其他输入设备12072中的至少一种。触控面板12071，也称为触摸屏。触控面板12071可包括触摸检测装置和触摸控制器两个部分。其他输入设备12072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
205.存储器1209可用于存储软件程序以及各种数据。存储器1209可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1209可以包括易失性存储器或非易失性存储器，或者，存储器1209可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器
(synch link dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本技术实施例中的存储器1209包括但不限于这些和任意其它适合类型的存储器。
206.处理器1210可包括一个或多个处理单元；可选的，处理器1210集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1210中。
207.当然，图12所示的电子设备，也能够应用上述实施例所示的增益图解码方法，在此不再赘述。
208.本技术实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述增益图编码方法或者增益图解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
209.其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器rom、随机存取存储器ram、磁碟或者光盘等。
210.本技术实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述增益图编码方法或者增益图解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
211.应理解，本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
212.本技术实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述增益图编码方法或者增益图解码方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
213.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
214.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本技术各个实施例所述的方法。
215.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员
在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。

技术特征：
1.一种增益图编码方法，其特征在于，包括：确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。2.根据权利要求1所述的方法，其特征在于，所述确定增益图中的第一图像区域和第二图像区域，包括：基于目标色调映射方式，确定分割尺寸；其中，所述目标色调映射方式是由高动态范围图像生成标准动态范围图像时所使用的色调映射方式；基于所述分割尺寸，将所述增益图分割为多个区域；基于所述第一阈值，确定所述多个区域中的所述第一图像区域和所述第二图像区域。3.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略，包括：在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略；在所述待编码图像单元属于所述第二图像区域的情况下，确定所述编码策略为第二策略；其中，所述第一策略的编码质量高于所述第二策略的编码质量。4.根据权利要求3所述的方法，其特征在于，所述第一策略包括多个具有不同编码质量的编码规则；所述在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略，包括：通过所述待编码图像单元所属的所述第一图像区域的亮度级别或纹理信息，确定与所述亮度级别或纹理信息关联的编码规则。5.根据权利要求3所述的方法，其特征在于，所述根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略，包括：在所述待编码图像单元属于所述第一图像区域中与所述第二图像区域直接相邻的边缘部分，或者所述第二图像区域中与所述第一图像区域直接相邻的边缘部分的情况下，确定所述编码策略为第三策略；其中，所述第三策略的编码质量高于所述第二策略的编码质量，且低于所述第一策略的编码质量。6.根据权利要求1所述的方法，其特征在于，所述根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息，包括：基于所述编码策略调整编码参数；基于所述编码参数对所述增益图进行编码，得到所述编码信息；其中，所述编码参数包括以下至少一项：量化参数；变换编码系数；率失真函数。7.根据权利要求6所述的方法，其特征在于，所述量化参数包括以下至少一项：
图像级量化参数；切片级量化参数；编码树单元级量化参数；分块级量化参数；编码单元级量化参数。8.根据权利要求6所述的方法，其特征在于，所述基于所述编码参数对所述增益图进行编码，得到所述编码信息，包括：在所述增益图为多通道增益图，且所述编码参数包括量化参数的情况下，在不同通道采用不同的量化参数进行编码。9.根据权利要求1所述的方法，其特征在于，所述确定增益图中的第一图像区域和第二图像区域之前，所述方法还包括：对所述增益图进行下采样。10.一种增益图解码方法，其特征在于，包括：获取增益图的编码信息；对所述编码信息进行解码，得到所述增益图；其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。11.一种增益图编码装置，其特征在于，包括：第一处理模块，用于确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；第二处理模块，用于根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；编码模块，用于根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。12.根据权利要求11所述的装置，其特征在于，所述第二处理模块还用于：在待编码图像单元属于所述第一图像区域的情况下，确定所述编码策略为第一策略；在所述待编码图像单元属于所述第二图像区域的情况下，确定所述编码策略为第二策略；其中，所述第一策略的编码质量高于所述第二策略的编码质量。13.根据权利要求12所述的装置，其特征在于，所述第一策略包括多个具有不同编码质量的编码规则；所述第二处理模块还用于：通过所述待编码图像单元所属的所述第一图像区域的亮度级别或纹理信息，确定与所述亮度级别或纹理信息关联的编码规则。14.根据权利要求12所述的装置，其特征在于，所述第二处理模块还用于：在所述待编码图像单元属于所述第一图像区域中与所述第二图像区域直接相邻的边缘部分，或者所述第二图像区域中与所述第一图像区域直接相邻的边缘部分的情况下，确
定所述编码策略为第三策略；其中，所述第三策略的编码质量高于所述第二策略的编码质量，且低于所述第一策略的编码质量。15.一种增益图解码装置，其特征在于，包括：获取模块，用于获取增益图的编码信息；解码模块，用于对所述编码信息进行解码，得到所述增益图；其中，所述增益图的第一图像区域和第二图像区域是通过不同的编码策略完成编码的，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值。16.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-9任一项所述的增益图编码方法，或者如权利要求10所述的增益图解码方法的步骤。17.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-9任一项所述的增益图编码方法，或者如权利要求10所述的增益图解码方法的步骤。

技术总结
本申请公开了一种增益图编码方法、解码方法、装置、设备及介质，属于通信技术领域。本申请的方法，包括：确定增益图中的第一图像区域和第二图像区域，所述第一图像区域中像素点的亮度大于第一阈值，所述第二图像区域中像素点的亮度小于或等于所述第一阈值；根据所述第一图像区域和第二图像区域，确定所述增益图的编码策略；根据所述编码策略对所述增益图进行编码，得到所述增益图的编码信息。得到所述增益图的编码信息。得到所述增益图的编码信息。


技术研发人员：赵志杰 周燎
受保护的技术使用者：维沃移动通信有限公司
技术研发日：2023.07.18
技术公布日：2023/10/15