用于具有编码效率约束的HDR视频的颜色变换的制作方法

用于具有编码效率约束的hdr视频的颜色变换
1.相关申请的交叉引用
2.本技术要求于2020年10月14日提交的美国临时专利申请号63/091,436以及于2020年10月14日提交的欧洲专利申请号20201683.8的优先权，该专利申请均通过援引以其全文并入本文。
技术领域
3.本公开总体上涉及图像。更具体地，本发明的实施例涉及用于具有编码效率约束的高动态范围(hdr)视频的颜色变换和处理。


背景技术：

4.如本文所使用的，术语“动态范围(dr)”可以与人类视觉系统(hvs)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))范围的能力有关，该强度范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，dr与“参考场景的(scene-referred)”强度有关。dr还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，dr与“参考显示的(display-referred)”强度有关。除非在本文的描述中的任何一点明确指定特定的意义具有特定的意思，否则应该推断为术语可以在任一意义上例如可互换地使用。
5.如本文所使用的，术语高动态范围(hdr)涉及跨越人类视觉系统(hvs)的14至15个数量级的dr阔度。实际上，相对于hdr，人类可以同时感知强度范围中的广泛阔度的dr可能会被稍微截短。如本文所使用的，术语视觉动态范围(vdr)或增强动态范围(edr)可以单独地或可互换地与这种dr有关：该dr可在场景或图像内由包括眼运动的人类视觉系统(hvs)感知，从而允许场景或图像上的一些光适性变化。如本文所使用的，vdr可以与跨越5至6个数量级的dr有关。因此，虽然相对于参考真实场景的hdr可能稍微窄一些，但vdr或edr可以代表宽dr阔度并且也可以被称为hdr。
6.实际上，图像包括一个或多个颜色分量(例如，亮度y以及色度cb和cr)，其中，每个颜色分量由每像素n位的精度表示(例如，n＝8)。例如，使用伽马光亮度编码，其中n≤8的图像(例如，彩色24位jpeg图像)被认为是标准动态范围的图像，而其中n≥10的图像可以被认为是增强动态范围的图像。hdr图像还可以使用如由工业光魔公司(industrial light and magic)开发的openexr文件格式等高精度(例如，16位)浮点格式来存储和分发。
7.大多数消费类桌面显示器目前支持200到300cd/m2或尼特的光亮度。大多数消费类hdtv的范围为300到500尼特，其中，新型号达到1,000尼特(cd/m2)。因此，这样的传统显示器代表了相对于hdr的较低动态范围(ldr)，也被称为标准动态范围(sdr)。随着hdr内容的可用性由于捕获设备(例如，相机)和hdr显示器(例如，杜比实验室的prm-4200专业参考监视器)两者的发展而提高，hdr内容可以被颜色分级并被显示在支持更高动态范围(例如，从1,000尼特到5,000尼特或更高)的hdr显示器上。
8.如本文所使用的，术语“前向整形(forward reshaping)”表示数字图像从其原始
位深度和原始码字分布或表示(例如，伽马、pq、hlg等)到相同或不同位深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将整形应用于10位或12位pq编解码的hdr视频，以提高10位视频编码架构中的编码效率。在接收器中，在对接收到的信号(该信号可能经历也可能未经历整形)进行解压缩之后，接收器可以应用“逆(或后向)整形函数”以将信号恢复为其原始码字分布和/或实现更高的动态范围。
9.由于位深度的限制和对后向兼容性的潜在需求，在典型的单层hdr分发场景中，hdr内容作为sdr基层和元数据的结合被传输。传统解码器可以从sdr基层提取可视的sdr流，但是较新的hdr解码器可以将元数据应用于sdr基层以重建与原始hdr源接近近似的hdr版本。如发明人在此所理解的，期望有在这样的hdr内容分发中将内容保护和提高编码效率相结合的改进技术。
10.在本节中描述的方法是可以采用的方法，但不一定是先前已经设想到或采用过的方法。因此，除非另有指示，否则不应该认为本节中描述的任何方法仅凭其纳入本节就可被视为现有技术。类似地，除非另有指明，否则不应认为基于本节而已经在任何现有技术中认识到关于一种或多种方法所识别的问题。
附图说明
11.在附图中以举例而非限制的方式来图示本发明的实施例，并且其中类似的附图标记指代类似的元素，并且在附图中：
12.图1a描绘了根据实施例的使用颜色变换和整形函数的用于hdr数据的示例单层编码器；
13.图1b描绘了根据实施例的与图1a的编码器相对应的示例hdr解码器；以及
14.图2描绘了根据实施例的用于生成颜色变换参数的示例过程。
具体实施方式
15.本文描述了用于在hdr视频编码的编码效率约束下的颜色变换的方法。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实践本发明。在其他情形中，为了避免不必要地遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和设备。
16.概述
17.本文描述的示例实施例涉及在hdr图像编码的编码效率约束下的颜色变换。在实施例中，处理器：
18.接收在第一动态范围中并且在第一颜色空间中的输入图像；
19.基于从第一颜色空间到基于标准的颜色空间的颜色变换来获取第一3
×
3颜色变换矩阵和第一3
×
1偏移向量；
20.将第一3
×
3颜色变换矩阵应用(210)于输入图像，以生成具有光亮度分量和色度分量的第一图像；
21.生成第一图像的针对光亮度分量和色度分量的最小像素值和最大像素值；
22.基于第一图像中的最小光亮度像素值和最大光亮度像素值来计算(215)光亮度缩
放值；
23.基于编码效率约束和第一3
×
3颜色变换矩阵来计算2
×
2色度变换矩阵的元素；基于光亮度缩放值和2
×
2色度变换矩阵来形成3
×
3中间变换矩阵；
24.将3
×
3中间变换矩阵应用(225)于第一图像以生成第二图像；
25.基于第一偏移向量以及第二图像的光亮度分量和色度分量中的最小像素值和最大像素值来生成中间3
×
1偏移向量；以及生成(230)：
26.输出3
×
3颜色变换矩阵，其方式为将第一3
×
3颜色变换矩阵与3
×
3中间变换矩阵相乘；
27.输出3
×
1偏移向量，其方式为将第一3
×
1偏移向量与中间3
×
1偏移向量相加；以及
28.第二颜色空间中的输出图像，其方式为将输出3
×
1偏移向量与第二图像的像素值相加。
29.示例hdr编码系统
30.图1a和图1b根据实施例图示了使用颜色变换和图像整形两者的示例单层后向兼容编解码器框架。更具体地，图1a图示了可以用上游视频编码器中的一个或多个计算处理器来实施的示例编码器架构。图1b图示了也可以用一个或多个下游视频解码器中的一个或多个计算处理器来实施的示例解码器架构。
31.在这个框架下，给定参考hdr内容(105)和对应的参考sdr内容(108)(即表示与hdr内容相同的图像、但被颜色分级并表示在标准动态范围内的内容)，经整形的sdr内容(134)由实施编码器架构的上游编码设备在经编码的视频信号(144)的单个层中编码为sdr内容并作为sdr内容传输。接收到的sdr内容由实施解码器架构的下游解码设备在视频信号的单个层中接收并解码。后向整形的元数据(152)也和经整形的内容一起在视频信号中被编码和传输，使得hdr显示设备可以基于(经整形的)sdr内容和后向整形的元数据来重建hdr内容。不失一般性地，在一些实施例中，如在非后向兼容的系统中，经整形的sdr内容本身可能不可观看，而是必须与将生成可观看的sdr或hdr内容的后向整形函数相结合才能观看。在支持后向兼容性的其他实施例中，传统sdr解码器仍然可以回放接收到的sdr内容而无需采用后向整形函数。
32.如图1a中图示的，给定hdr图像(120)、其对应的sdr图像(125)和目标动态范围，在步骤130中生成前向整形函数之后，然后给定前向整形函数，将前向整形映射步骤(132)应用于hdr图像(120)以生成经整形的sdr基层(134)。压缩块(142)(例如，根据如avc、hevc、av1、vvc等任何已知视频编码算法实施的编码器)将sdr图像(134)压缩/编码在视频信号的单个层(144)中。另外，后向整形函数生成器(150)可以生成可以作为元数据(152)传输到解码器的后向整形函数。在一些实施例中，元数据(152)可以表示前向整形函数(130)，因此，将由解码器来生成后向整形函数(未示出)。
33.表示/指定最佳后向整形函数的后向整形元数据的示例可以包括但不一定仅限于以下各项中任一项：逆色调映射函数、逆亮度映射函数、逆色度映射函数、查找表(lut)、多项式、逆显示管理系数/参数等。在各个实施例中，亮度后向整形函数和色度后向整形函数可以共同或单独得到/优化，可以使用各种技术得到，例如但不限于，如本公开稍后描述的。
34.由后向整形函数生成器(150)基于经整形的sdr图像(134)和目标hdr图像(120)生
成的后向整形元数据(152)可以作为视频信号144的一部分(例如，作为补充增强信息(sei)消息传递)被复用。
35.在一些实施例中，后向整形元数据(152)作为整体图像元数据的一部分被承载在视频信号中，整体图像元数据与视频信号中的其中sdr图像被编码的单个层分开地被承载在视频信号中。例如，后向整形元数据(152)可以被编码在经编码的比特流中的分量流中，该分量流可以与或可以不与其中sdr图像(134)被编码的(经编码的比特流的)单个层分开。
36.因此，可以在编码器侧生成或预生成后向整形元数据(152)，以利用在编码器侧可获得的强大的计算资源和离线编码流程(包括但不限于内容自适应多轮次、超前操作、逆亮度映射、逆色度映射、基于cdf的直方图近似和/或传递等)。
37.图1a的编码器架构可以用于避免将目标hdr图像(120)直接编码为视频信号中的经编码的/压缩的hdr图像；相反，视频信号中的后向整形元数据(152)可以用于使下游解码设备能够将(被编码在视频信号中的)sdr图像(134)后向整形为与参考hdr图像(120)相同或接近近似/最佳近似的重建的图像。
38.在实施例中，参考sdr和hdr信号可以在不适合于直接编码的颜色格式中(例如，在rgb颜色格式中)可用。传统上，这样的信号被转化为如ycbcr、yuv等对编解码器友好的格式。颜色变换块110和115表示使用3
×
3rgb矩阵和3
×
1偏移向量的rgb到ycc变换。如本文所使用的，术语“ycc”表示通用亮度-色度类颜色表示，类似于yuv和ycbcr，但是使用专有颜色变换来从rgb输入数据中生成的。这些块可以用于执行(例如，根据rec.709(参考文献[4])或rec.2020(参考文献[5])的)传统颜色变换、或根据后续节中要呈现的示例实施例的编码效率约束下的颜色变换。
[0039]
在一些实施例中，如图1b中图示的，在编解码器框架的解码器侧接收编码有单个层(144)中的经整形的sdr图像和作为整体图像元数据的一部分的后向整形元数据(152)的视频信号作为输入。解压缩块(154)将视频信号的单个层(144)中的经压缩的视频数据解压缩/解码成经解码的sdr图像(156)。解压缩154通常对应于压缩142的逆过程。经解码的sdr图像(156)可以与经受过压缩块(142)中和解压缩框(154)中的量化误差的sdr图像(134)相同，这些量化误差可能已经针对sdr显示设备进行了优化。在后向兼容的系统中，经解码的sdr图像(156)可以在表示sdr颜色变换(110)的逆变换的合适的逆sdr颜色变换(175)之后在输出sdr视频信号(177)中被输出(例如，通过hdmi接口、通过视频链路等)，以在sdr显示设备上渲染。
[0040]
可选地、替代地或另外地，在同一个或另一个实施例中，后向整形块158从输入视频信号中提取后向(或前向)整形元数据(152)，基于整形元数据(152)构建后向整形函数，并基于最佳后向整形函数对经解码的sdr图像(156)执行后向整形操作，以生成经后向整形的图像(160)(或重建的hdr图像)。在一些实施例中，在合适的逆hdr颜色变换(170)(表示hdr颜色变换115的逆变换)之后，经后向整形的图像(172)表示与参考hdr图像(105)相同或接近近似/最佳近似的生产质量或接近生产质量的hdr图像。经后向整形的图像(172)可以在输出hdr视频信号中被输出(例如，通过hdmi接口、通过视频链路等)，以在hdr显示设备上渲染。
[0041]
在一些实施例中，颜色变换(170)可以是特定于hdr显示设备的显示管理操作的一部分，并且可以作为hdr图像渲染操作的一部分对后向整形的图像(160)执行，该hdr图像渲
染操作在hdr显示设备上渲染经后向整形的图像(160)。
[0042]
经由颜色变换进行的内容保护
[0043]
返回到图1a，在实施例中，令参考hdr rgb信号(105)被3
×
3rgb到ycbcr矩阵和3
×
1偏移向量转换为ycbcr。对应的3
×
3ycbcr到rgb矩阵和3
×
1偏移向量将在解码器侧(170)处使用。为确保可还原性，在实施例中，后向颜色变换矩阵是前向矩阵的逆矩阵，即，在实施例中，和值可以是元数据(152)的一部分。通常，但非限制性地，使用rec.709规范或rec.2020规范来确定和
[0044]
在块110中，将使用编码器侧处的3
×
3rgb到ycc颜色矩阵和3
×
1偏移向量来对参考sdr rgb信号(108)进行颜色转换。对于逆sdr颜色变换(175)，对应的3
×
3ycc到rgb矩阵和3
×
1偏移向量将在解码器侧处被使用。为确保可还原性，后向颜色变换矩阵是前向矩阵的逆矩阵，即，在实施例中，和数据可以作为元数据(152)的一部分进行传送。和不一定由rec.709规范(或任何其他基于标准的变换)来定义；事实上，它们是根据示例实施例的要调整的设计参数。注意，在前向整形(132)之后，经整形的信号(134)将与sdr颜色变换(110)的输出(125)处于同一个颜色空间中。在解码器中，如图1b所表示的，以下示例操作场景是可能的：
[0045]
对授权设备进行内容保护
[0046]
如所讨论的，在编码器侧处，经由和基层被映射到ycc。那些参数由稍后要描述的算法设计并且不是标准参数(例如，rec.709、rec.2020等)。为恢复正确的颜色，需要对应参数和因为和值不一定基于如rec.709等标准，所以当传统设备不具有关于和的信息时，设备将用默认的rec.709矩阵将ycc转换为rgb，这将在颜色和明亮度方面生成不可观看的图片。相反，如果接收器可以访问正确的和值，那么重建的sdr rgb图像的颜色将是正确的。因此，在这样的场景中，专有颜色变换可以用作“授权”机制以控制查看甚至hdr内容的sdr版本。
[0047]
在另一个实施例中，可以使用专有颜色信息作为“指纹”或“水印”方案。例如，内容提供商可以决定将不同的颜色变换矩阵用于不同的分发区域(例如，欧洲、亚洲、美国等)或者用于特定的流式传输提供商(例如，亚马逊公司、hulu等)。
[0048]
对hdr内容进行恢复
[0049]
在hdr回放模式下，可以用传入的元数据从仅使用一种颜色变换的基线ycc sdr图像来重建hdr rgb图像。在实施例中，通过使用如多颜色通道多元回归(mmr)预测器(参考文献[1])等颜色交叉预测器，这是可行的。即使sdr源的颜色不正确，mmr预测器的性质也可以使解码器能够恢复正确的ycbcr颜色中的hdr数据。给定ycbcr hdr输出(160)，可以使用和相关的元数据来将输出从ycbcr转换为rgb。
[0050]
总之，在实施例中，和颜色变换参数可以对保护内容起到关键作用。只要设备不具有正确的和使用默认的ycc2rgb矩阵就会生成不正确的输出。利用对和进行的精心设计，为维持或甚至提高编码效率，可以创建不可观看的基层并且甚至提高压
缩效率。在以下节中，呈现了用于构建和以实现那些目标的方法。
[0051]
如前所讨论的，希望在约束下设计sdr rgb到ycc的颜色变换和对应的sdr ycc到的逆颜色变换以维持或提高编码效率。将和中的12个系数表示为：
[0052][0053]
以及
[0054][0055]
给定前向变换参数，可以从前向变换得到后向或逆变换部分为：
[0056][0057]
以及
[0058][0059]
只要rgb到ycc矩阵中的任何系数从基于标准的矩阵(例如，rec.709矩阵)偏离，使用规则rec.709矩阵来转换为rgb就会表现出错误的颜色和明亮度。考虑到所有编码标准是在ycbcr颜色空间中进行操作的假定下进行设计的，虽然得到和参数似乎有极大的灵活性，但是不可以随机选择那些参数，因为它们可能影响编码效率。因此，需要解决两个主要问题：(1)应该维持整体视频编码效率以及(2)应该禁止亮度/色度信息泄露。
[0060]
在实施例中，可以基于如rec.709或rec.2020的现有的颜色空间转换矩阵来得到新的矩阵。将基于标准的颜色变换集(例如，如rec.709或rec.2020中所定义的那些)表示为：
[0061][0062]
以及
[0063][0064]
例如，在rec.709下，对于smpte范围(对于8位码字，[16，235])：
[0065][0066]
以及
[0067][0068]
对于全范围([0，1))
[0069][0070]
以及
[0071][0072]
令
[0073][0074]
在实施例中，中的新系数是通过将与另一个3
×
3矩阵ws相乘而获得的，其中，
[0075][0076]
因此：
[0077][0078]
以及
[0079][0080]
对于等于单位矩阵i的ws，则
[0081][0082]
将rgb sdr信号的第i个像素的三个输入分量表示为3
×
1向量
[0083][0084]
在应用变换后，中间结果是对于第i个像素，
[0085][0086]
在与ws相乘之后，结果s
″
＝wss
′
由下式给出：
[0087][0088]
对于3
×
1向量，定义新的向量
[0089][0090]
最终的3
×
1向量是
[0091][0092]
或者
[0093][0094]s″
和值的组合表示基层，该基层将被传递至视频压缩模块：
[0095][0096]
或者
[0097][0098]
首先考虑使光亮度分量不变的情况。然后，设计自由度从12个参数减少为8个参数。
[0099][0100]
以及
[0101][0102]
可以进一步约束矩阵以便不允许光亮度泄漏到色度中(即，无亮度和色度串扰)，如下式中：
[0103][0104]
因为亮度分量不变，所以可以假定视频压缩效率取决于两个色度分量中的能量。因此，在实施例中，可以通过拥有如下的另一个约束来控制编码效率：通过ws变换之后的色度能量应该与变换之前的色度能量成比例。换言之，给定缩放值α2：
[0105]
(s
″
i，1
)2+(s
″
i，2
)2＝α2((s
′
i，1
)2+(s
′
i，2
)2)。
ꢀꢀꢀꢀ
(16)
[0106]
如果α＝1，则调整之前和之后的色度能量是相同的，并且对视频压缩编解码器的影响应该是最小的。另一方面，如果期望增加颜色加密的裕度以使猜测参数更难，则可以允许较小的δ≥0差异(例如，δ＝0.1)，使得
[0107]
1-δ≤α≤1+δ，
[0108]
同时满足能量约束。
[0109]
注意，增大这个色度缩放因子相当于在基层中给色度分配更多的码字，因此，基带信号量化损失会变得更少并且预期会有更好的视频编码增益，这也经过了数值模拟验证。然后，可以得到3
×
3矩阵ws的设计指南，如下。从ws矩阵代入s
″1和s
″2，得到
[0110]
(w
11s′
1，1
+w
12s′
i，2
)2+(w
21s′
i，1
+w
22s′
i，2
)2＝α2(s
′
i，1
)2+α2(s
′
i，2
)2[0111]
通过重新布置等式，
[0112]
((w
11
)2+(w
21
)
2-α2)(s
′
i，1
)2+((w
12
)2+(w
22
)
2-α2)(s
′
i，2
)2+2(w
11w12
+w
12w22
)s
′
i，1s′
i，2
＝0
[0113]
为满足所有的s
′
i，1
和s
′
i，2
值，矩阵系数需要满足以下一组等式：
[0114][0115]
等式(17)表示所提出的设计的核心约束。非限制性地，满足等式(17)的示例包括：
[0116]
第一示例
[0117]
令θ表示控制参数，使得例如
[0118][0119]
注意，通过简单地置换cos(θ)和sin(θ)的位置并改变其对应的符号以满足等式(17)，可以用多种其他的变型重写等式(18)。例如：
[0120][0121]
可以度或弧度为单位来表达θ参数，例如，θ∈[0，2π]或θ∈[0，360]度。
[0122]
第二示例
[0123]
将cb和cr进行简单交换也满足等式(17)，产生
[0124][0125]
再次，通过适当地改变符号，可以生成替代性的变型，如下式中：
[0126][0127]
为了生成3
×
1向量，组合的3
×
3矩阵ws和向量需要满足以下约束，使得归一化数据的最终输出在范围[0，1]内，即，没有数据被裁剪：
[0128][0129]
或者
[0130][0131]
或者更准确地说，得到3
×
1向量，使得
[0132][0133]
如果不存在，则需要返回重新设计ws。例如，在等式(18)下，需要为α和θ选择新的值。
[0134]
注意，调整偏移相当于调整色度的dc值。在使用有损视频压缩时，这种调整不会影响编码效率。
[0135]
在实施例中，还可以将简单的线性缩放和偏移应用于亮度分量，以利用附加的基层码字并且因此减少基带量化误差并提高编码效率。在这种情况下，等式(5)从12个参数减少为10个参数。
[0136][0137]
以及
[0138][0139]
此外，为满足等式(17)和(22)，还需要约束β和p0的值，使得经整形的亮度不被裁剪。因此，给定如下约束
[0140][0141]
则
[0142]
0≤βs
′
i，0
+p0+n
s，0
≤1。
ꢀꢀꢀ
(24)
[0143]
根据等式(24)，给定β的值，偏移p0被确定为：
[0144]-βmin{s
′
i，0
}-n
s，0
≤p0≤1-βmax{s
′
i，0
}-n
s，0
。
ꢀꢀꢀ
(25)
[0145]
在将亮度映射到基层的全范围(例如，[0，1))时，可以如下选择这些参数：
[0146][0147]
p0＝-βmin{s
′
i，0
}-n
s，0
。
ꢀꢀꢀ
(27)
[0148]
图2描绘了根据实施例的用于确定颜色变换矩阵的示例流程(200)。在步骤205中，以中间3
×
3矩阵的简化的3
×
3形式ws开始，该形式满足用于维持编码效率的约束，即等式(17)。例如，不失一般性地，可以使用等式(18)和(23)的组合来以下式的形式开始
[0149][0150]
以及
[0151][0152]
在这个示例中，需确定参数β、α、θ和向量
[0153]
在实施例中，设计流程可以如下进行：
[0154]
·
步骤210：给定基于标准的颜色变换矩阵(例如，根据rec.709等的矩阵)和参考输入sdr数据(si)，计算并且确定经变换的数据的在每个颜色通道中的最小值和最大值，即，min{s
′
i，ch
}和max{s
′
i，ch
}，其中，ch表示三个颜色通道(例如，y、cb或cr)之一。
[0155]
·
步骤215：在这个步骤中，可以选择亮度缩放值。例如，如果β≠1，，则需确定β。其上限由在步骤210中计算的最大亮度值和最小亮度值界定。选择β＞1可以提高在亮度上的编码效率，但是可能在这个过程中会强制进行更多的迭代以生成输出颜色变换矩阵。根据等式(26)，
[0156][0157]
·
步骤220：在这个步骤中，可以在ws中选择色度相关的参数，例如，α和θ。选择α＞
1可以提高在色度上的编码效率。选择θ≠0可以改变颜色，从而(可选地)提供简单的内容保护机制。在这个步骤结束时，矩阵ws被完全限定。
[0158]
·
步骤225：将ws应用于步骤210的输出以针对每个像素计算s
″i＝wss
′i。这些值将辅助选择偏移3
×
1向量。例如，根据等式(25)和(27)，给定基于标准的偏移向量
[0159][0160][0161]
如果根据步骤225没有可行的解决方案，则在可选地调整亮度缩放值(227)之后，可能需要返回到步骤220并且为α和/或θ选择替代性的值。否则，在定义向量的参数之后，在步骤230中，可以生成最终的矩阵和偏移
[0162]
在解码器中，给定和ycc到rgb颜色转换操作包括：
[0163][0164]
现有的整形技术可以是基于帧的，即，新的整形元数据与每个新的帧一起传输，或者是基于场景的，即，新的整形元数据与每个新的场景一起传输。如本文所使用的，对于视频序列(帧/图像的序列)，术语“场景(scene)”可以涉及共享相似光亮度、颜色和动态范围特性的视频序列中的一系列连续帧。基于场景的方法在访问全场景的视频工作流流水线中起效良好；然而，一些场景只包括单个帧并不罕见(例如，在淡入和淡出中)。
[0165]
根据需要，过程200还可以在帧级或场景级上更新；然而，为维持编码效率，优选在整个序列内、场景内、或图片组(gop)内维持同样的颜色变换。为了使过程200适应于场景或图片组，可以用基于场景的最小像素值和最大像素值来代替基于帧的最小像素值和最大像素值。例如，等式(26)可以重写为：
[0166][0167]
其中，
[0168][0169][0170]
其中，对于l个连续帧，max{s
′
，ji，0
}nin{s
′
，ji，0
}表示在第0个(例如，亮度)颜色分量的第j个帧s
′
中的最大像素值和最小像素值。在序列级上，和可以是计算的值或受smpte约束的范围值。s
″
的每个颜色分量的基于场景的最小像素值和最大像素值可以以类似的方式计算。
[0171]
构建整形函数
[0172]
如前所讨论的，非标准颜色变换(110)也可以用作允许从接收到的经整形的sdr数据重建参考hdr输入(105)的接近近似的系统的一部分。在将适当的逆sdr变换应用于接
收到的基层(156)之后，可以应用后向整形(158)；然而，使用适当的前向整形，可以消除额外的逆颜色变换步骤并且直接提取在适当的(例如，标准定义的)ycbcr颜色空间中的重建的hdr内容。接下来将描述这个过程。非限制性地，一些步骤是在被称为三维映射表(3dmt或d3dmt)表示的上下文中描述的，其中，为了简化操作，每个帧都表示为三维映射表，其中，每个颜色分量(例如，y、cb或cr)都被细分为“仓(bin)”，并且用每个仓内的像素平均值而不是用显式像素值来表示图像。3dmt制定的细节可以在参考文献[2]中找到。
[0173]
在实施例中，生成前向整形函数的步骤(130)需要两组参考输入：(1)参考hdr ycbcr像素值(120)和(2)参考sdr ycc像素值(125)。对于hdr信号，将参考rgb hdr数据的输入第i个像素的三个颜色分量表示为3
×
1向量
[0174][0175]
将在hdr颜色转换(115)期间要使用的rgb到ycbcr矩阵和偏移向量表示为
[0176][0177]
以及
[0178][0179]
经由乘以矩阵以及加上偏移来获得ycbcr hdr值即因此，对于第i个像素
[0180][0181]
对于sdr输入，代替从现有的基于标准的rgb到ycbcr变换获取输出，使用经修改的变换的输出，根据等式(13)给出为：
[0182][0183]
给定这两个参考信号，可以应用已知的方法以生成前向整形函数和后向整形函数。作为示例而非限制性地，可以经由累计密度函数(cdf)匹配过程(参考文献[2-3])来构建亮度前向整形函数，其中：a)计算hdr亮度信号的直方图，表示为{hv(b)}，并且计算经颜色变换的sdr亮度信号的直方图，表示为{hs(b)}；b)基于这两个直方图来构建sdr累计密度函数和hdr累计密度函数；以及c)使用cdf匹配来获得查找表(flut)以将hdrycbcr输入数据映射到sdrycc数据。这可以表达为：
[0184][0185]
其中，表示要在块132中使用的前向映射。
[0186]
对于色度，使用在hdr信号与sdr信号之间的参数化(例如，mmr)表示来
构建d3dmt表示(参考文献[2])。将d3dmt对条目表示为和假定有p个这样的仓/对。例如，给定mmr扩展模型，描述为：
[0187][0188]
可以收集所有的hdr三通道输入的所有p个仓
[0189][0190]
然后，令sdr中的ch通道表示为：
[0191][0192]
使用“a/b”表示，其中，t表示转置矩阵，
[0193]bf
＝(vf)
tvf
，
[0194][0195]
在均方误差(mse)最小化准则下，使预测误差最小化为目标参考sdr信号s
ch
的最佳mmr系数可以给出为：
[0196][0197]
并且经前向整形的sdr d3dmt条目可以表达为：
[0198][0199]
后向亮度整形函数可以通过以下方式来生成：首先反向追溯前向lut以生成后向整形1d-lut(blut)，表示声然后将映射近似为分段多项式函数(例如，使用使用2阶多项式的8段近似)。
[0200]
为了生成色度后向整形映射，也可以使用多项式近似(例如，mmr)，其方式为考虑以下两项之间的参数化模型：(a)d3dmt中的经前向整形的3通道sdr仓和(2)d3dmt中的原始hdr色度仓。
[0201]
将第i个经前向整形的sdr仓的mmr扩展形式表示为：
[0202][0203]
在收集所有三个sdr通道输入的p个仓之后
[0204][0205]
给出ch通道的向量hdr表示为
[0206][0207]
并且另一个“a/b”表示为
[0208]bb
＝(sb)
t
sb，
[0209][0210]
使在参考hdr信号与重建的hdr信号之间的预测误差最小化的最佳mmr系数由下式给出：
[0211][0212]
并且重建的hdr信号(160)可以生成为：
[0213][0214]
元数据152包括和的值。
[0215]
参考文献
[0216]
这些参考文献中的每一篇都通过引用以其全文并入。
[0217]
1.g-m.su等人，“multiple color channel multiple regression predictor”，美国专利8,811,490。
[0218]
2.q.song等人，pct专利申请序列号pct/us 2019/031620，“high-fidelity full reference and high-efficiency reduced reference encoding in end-to-end single-layer backward compatible encoding pipeline”，于2019年5月9日提交，公开为wo 2019/217751。
[0219]
3.b.wen等人，“inverse luma/chroma mappings with histogram transfer and approximation”，美国专利10,264,287。
[0220]
4.rec.itu-r bt.709，“parameter values for the hdtv standards for production and international programme exchange”，itu，06/2015。
[0221]
5.rec.itu-r bt.2020，“parameter values for ultra-high definition television systems for production and international programme exchange”，itu，06/2014。
[0222]
示例计算机系统实施方式
[0223]
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)设备(如微控制器、现场可编程门阵列(fpga)或另一个可配置或可编程逻辑器件(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))和/或包括这样的系统、设备或部件中的一个或多个的装置来实施。计算机和/或ic可以执行、控制或实行与hdr视频编码的编码效率约束下的颜色变换相关的指令，如本文所描述的那些指令。计算机和/或ic可以计算与本文所描述的hdr视频编码的编码效率约束下的颜色变换相关的各种参数或值中的任何参数或值。图像和视频动态范围扩展实施例可以以硬件、软件、固件及其各种组合来实施。
[0224]
本发明的某些实施方式包括执行软件指令的计算机处理器，该软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行处理器可访问的程序存储器中的软件指令来实施用于如上所述的hdr视频编码的编码效率约束下的颜色变换的方法。还可以以程序产品的形式提供本发明。程序产品可以包括承载包括指令的一组计算机可读信号的任何非暂态有形介质，该指令在被数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种非暂态且有形
形式中的任何一种。程序产品可以包括例如物理介质，如包括软盘、硬盘驱动器的磁性数据存储介质、包括cd rom、dvd的光学数据存储介质、包括rom、闪速ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0225]
在上面提到部件(例如，软件模块、处理器、组件、设备、电路等)的情况下，除非另有指明，否则对该部件的提及(包括对“装置”的提及)应该被解释为包括执行所描述部件的功能的(例如，功能上等同的)任何部件为该部件的等同物，包括在结构上不等同于执行本发明的所图示示例实施例中的功能的所公开结构的部件。
[0226]
等同物、扩展、替代方案和杂项
[0227]
如此描述了与hdr视频编码的编码效率约束下的颜色变换有关的示例实施例。在前述说明中，已经参考许多具体细节描述了本发明的实施例，这些具体细节可能因实施方式而异。因此，指明本发明以及申请人的发明意图的唯一且排他性指示是根据本技术以具体形式发布的权利要求组，其中，这样的权利要求发布包括任何后续校正。本文中针对这样的权利要求中包含的术语明确阐述的任何定义应该支配如在权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、元素、性质、特征、优点或属性不应该以任何方式限制这样的权利要求的范围。因此，应当从说明性而非限制性意义上看待本说明书和附图。
[0228]
可以根据以下枚举的示例实施例(eee)来理解本发明的各个方面：
[0229]
eee 1.一种用于在编码效率约束下生成颜色变换数据的方法，所述方法包括：
[0230]
接收在第一动态范围中并且在第一颜色空间中的输入图像；
[0231]
基于从所述第一颜色空间到基于标准的颜色空间的颜色变换来获取第一3
×
3颜色变换矩阵和第一3
×
1偏移向量；
[0232]
将所述第一3
×
3颜色变换矩阵应用(210)于所述输入图像，以生成具有光亮度分量和色度分量的第一图像；
[0233]
生成所述第一图像的针对所述光亮度分量和所述色度分量的最小像素值和最大像素值；
[0234]
基于所述第一图像中的最小光亮度像素值和最大光亮度像素值来计算(215)光亮度缩放值；
[0235]
基于编码效率约束和所述第一3
×
3颜色变换矩阵来计算2
×
2色度变换矩阵的元素；
[0236]
基于所述光亮度缩放值和所述2
×
2色度变换矩阵来形成3
×
3中间变换矩阵；
[0237]
将所述3
×
3中间变换矩阵应用(225)于所述第一图像以生成第二图像；
[0238]
基于所述第一偏移向量以及所述第二图像的光亮度分量和色度分量中的最小像素值和最大像素值来生成中间3
×
1偏移向量；以及生成(230)：
[0239]
通过将所述第一3
×
3颜色变换矩阵与所述3
×
3中间变换矩阵相乘得到的输出3
×
3颜色变换矩阵；
[0240]
通过将所述第一3
×
1偏移向量与所述中间3
×
1偏移向量相加得到的输出3
×
1偏移向量；以及
[0241]
通过将所述输出3
×
1偏移向量与所述第二图像的像素值相加得到的第二颜色空间中的输出图像。
[0242]
eee 2.如eee 1所述的方法，进一步包括：
[0243]
生成反向3
×
3颜色变换矩阵和反向3
×
1偏移向量，以将图像数据从所述第二颜色空间变换到所述第一颜色空间，其中，所述反向3
×
1偏移向量等于所述输出3
×
1偏移向量，并且所述反向3
×
3颜色变换矩阵包括所述输出3
×
3颜色变换矩阵的逆矩阵。
[0244]
eee 3.如eee 1或2所述的方法，其中，所述第一颜色空间包括rgb颜色空间，所述基于标准的颜色空间包括ycbcr颜色空间，并且所述第一3
×
3颜色变换矩阵和所述第一3
×
1偏移向量基于rec.709标准或rec.2020标准。
[0245]
eee 4.如前述eee中任一项所述的方法，其中，所述光亮度缩放值被设置为1或者由下式界定
[0246][0247]
其中，s
′
i，0
表示归一化到[0，1]中的所述第一图像中的第i个像素的光亮度值，max{s
′
i，0
}表示所述第一图像中的最大光亮度值，并且min{s
′
i，0
}表示所述第一图像中的最小光亮度值。
[0248]
eee 5.如前述eee中任一项所述的方法，其中，在计算2
×
2色度变换矩阵的元素时，所述编码效率约束包括在由所述2
×
2色度变换矩阵进行的色度变换之前和之后所述第一图像中的像素的色度值的能量保留准则。
[0249]
eee 6.如eee 5所述的方法，其中，所述能量保留准则包括
[0250]
(s
″
i，1
)2+(s
″
i，2
)2＝α2((s
′
i，1
)2+(s
′
i，2
)2)，
[0251]
其中，对于第i个像素，s
′
i，1
和s
′
i，2
表示在应用所述2
×
2色度变换矩阵之前所述像素的色度值，并且s
″
i，1
和s
″
i，2
表示在应用所述2
×
2色度变换矩阵之后所述像素的色度值。
[0252]
eee 7.如eee 6所述的方法，其中，对于2
×
2变换矩阵
[0253][0254]
在所述能量保留准则下
[0255]
(w
11
)2+(w
21
)2＝α2[0256]
(w
12
)2+(w
22
)2＝α2，
[0257]w11w12
+w
12w22
＝0
[0258]
其中，α是接近1的常数。
[0259]
eee 8.如eee 7所述的方法，其中，所述2
×
2变换矩阵包括
[0260][0261]
其中，θ与[0，2π]中的自由参数相对应。
[0262]
eee 9.如前述eee中任一项所述的方法，其中，形成所述3
×
3中间变换矩阵ws包括形成
[0263][0264]
其中，β表示所述光亮度缩放值，并且α和θ是参数。
[0265]
eee 10.如eee 6或eee 9所述的方法，其中，α＝1，或者
[0266]
1-δ≤α≤1+δ，
[0267]
其中，δ是小于0.5的参数。
[0268]
eee 11.如前述eee中任一项所述的方法，其中，生成所述中间3
×
1偏移向量[p
0 p
1 p2]
t
包括计算偏移向量元素以满足偏移向量约束
[0269]-min{s
″
i，0
}-n
s，0
≤p0≤1-max{s
″
i，0
}-n
s，0
[0270]-min{s
″
i，1
}-s，1
≤p1≤1-max{s
″
i，1
}-n
s，1
，
[0271]-min{s
″
i，2
}-n
s，2
≤p2≤1-max{s
″
i，2
}-n
s，2
[0272]
其中，s
″
i，j
表示所述第二图像中的第i个像素的第j个颜色分量的像素值，并且[n
s，0 n
s，1 n
s，2
]
t
表示所述第一偏移向量。
[0273]
eee 12.如eee 11所述的方法，进一步包括在确定至少一个偏移向量元素不满足其偏移向量约束时，通过以下方式来进行迭代：
[0274]
基于更新的光亮度缩放值和/或更新的2
×
2色度变换矩阵来形成更新的3
×
3中间变换矩阵；
[0275]
将所述更新的3
×
3中间变换矩阵应用(225)于所述第一图像以生成所述第二图像；
[0276]
以及生成所述中间3
×
1偏移向量以满足所述偏移向量约束。
[0277]
eee 13.如前述eee中任一项所述的方法，进一步包括：
[0278]
接收在所述第一颜色空间中的第一高动态范围(hdr)图像，所述第一hdr图像表示与所述第一图像相同的场景、但在高于所述第一动态范围的第二动态范围中；
[0279]
将基于标准的颜色变换应用于所述第一hdr图像，以生成在所述第二动态范围中的第二hdr图像；
[0280]
将前向整形函数应用于所述第二hdr图像，以生成在所述第一动态范围中的基图像，其中，所述前向整形函数将来自所述第二动态范围和所述基于标准的颜色空间的像素值映射到在所述第一动态范围和所述第二颜色空间中的像素值；
[0281]
压缩所述基图像，以生成在所述第二颜色空间中的经压缩的图像；以及存储输出信号，所述输出信号包括所述经压缩的图像、所述输出3
×
3颜色变换矩阵、所述输出3
×
1偏移向量和后向整形函数的参数，以基于所述经压缩的图像来重建输出hdr图像。
[0282]
eee 14.如eee 13所述的方法，其中，在解码器中接收所述输出信号进一步包括：
[0283]
解压缩所述经压缩的图像，以生成在所述第一动态范围和所述第二颜色空间中的中间基信号；以及
[0284]
基于所述中间基信号、所述输出3
×
3颜色变换矩阵和所述输出3
×
1偏移向量，生成在所述第一颜色空间和所述第一动态范围中的第一输出信号，或者
[0285]
基于所述中间基信号和所述后向整形函数的参数，生成在所述标准颜色空间中的hdr输出信号，其中，所述后向整形函数将像素值从所述第二颜色空间和所述第一动态范围映射到所述基于标准的颜色空间和所述第二动态范围。
[0286]
eee 15.一种非暂态计算机可读存储介质，其上存储有计算机可执行指令，用于利用一个或多个处理器执行根据eee 1至14中任一项所述的方法。

技术特征：
1.一种用于在编码效率约束下生成颜色变换数据的方法，所述方法包括：接收在第一动态范围中并且在第一颜色空间中的输入图像；基于从所述第一颜色空间到基于标准的颜色空间的颜色变换来获取第一3
×
3颜色变换矩阵和第一3
×
1偏移向量；将所述第一3
×
3颜色变换矩阵应用(210)于所述输入图像，以生成具有光亮度分量和色度分量的第一图像；生成所述第一图像的针对所述光亮度分量的最小像素值和最大像素值；基于所述第一图像中的最小光亮度像素值和最大光亮度像素值来计算(215)光亮度缩放值；基于编码效率约束和所述第一3
×
3颜色变换矩阵来计算2
×
2色度变换矩阵的元素；基于所述光亮度缩放值和所述2
×
2色度变换矩阵来形成3
×
3中间变换矩阵；将所述3
×
3中间变换矩阵应用(225)于所述第一图像以生成第二图像；生成所述第二图像的针对所述光亮度分量和所述色度分量的最小像素值和最大像素值；基于所述第一偏移向量以及所述第二图像的光亮度分量和色度分量中的最小像素值和最大像素值来生成中间3
×
1偏移向量；以及生成(230)：通过将所述第一3
×
3颜色变换矩阵与所述3
×
3中间变换矩阵相乘得到的输出3
×
3颜色变换矩阵；将所述第一3
×
1偏移向量与所述中间3
×
1偏移向量相加得到的输出3
×
1偏移向量；以及将所述输出3
×
1偏移向量与所述第二图像的像素值相加得到的第二颜色空间中的输出图像。2.如权利要求1所述的方法，进一步包括：生成反向3
×
3颜色变换矩阵和反向3
×
1偏移向量，以将图像数据从所述第二颜色空间变换到所述第一颜色空间，其中，所述反向3
×
1偏移向量等于所述输出3
×
1偏移向量，并且所述反向3
×
3颜色变换矩阵包括所述输出3
×
3颜色变换矩阵的逆矩阵。3.如权利要求1或2所述的方法，其中，所述第一颜色空间包括rgb颜色空间，所述基于标准的颜色空间包括ycbcr颜色空间，并且所述第一3
×
3颜色变换矩阵和所述第一3
×
1偏移向量基于rec.709标准或rec.2020标准。4.如前述权利要求中任一项所述的方法，其中，所述光亮度缩放值被设置为1或者由下式界定其中，si，0表示归一化到[0,1]中的所述第一图像中的第i个像素的光亮度值，max{s
′
i，0}表示所述第一图像中的最大光亮度值，并且min{s
′
i，0}表示所述第一图像中的最小光亮度值。5.如前述权利要求中任一项所述的方法，其中，在计算2
×
2色度变换矩阵的元素时，所述编码效率约束包括在由所述2
×
2色度变换矩阵进行的色度变换之前和之后所述第一图像中的像素的色度值的能量保留准则。
6.如权利要求5所述的方法，其中，所述能量保留准则包括(s
″
i，1)2+(s
″
i，2)2＝α2((s
″
i，1)2+(s
′
i，2)2)，其中，对于第i个像素，s
′
i，1和s
′
i，2表示在应用所述2
×
2色度变换矩阵之前所述像素的色度值，并且s
″
i，1和s
″
i，2表示在应用所述2
×
2色度变换矩阵之后所述像素的色度值。7.如权利要求6所述的方法，其中，对于2
×
2变换矩阵在所述能量保留准则下其中，α是接近1的常数。8.如权利要求7所述的方法，其中，所述2
×
2变换矩阵包括其中，θ与[0,2π]中的自由参数相对应。9.如前述权利要求中任一项所述的方法，其中，形成所述3
×
3中间变换矩阵ws包括形成其中，β表示所述光亮度缩放值，并且α和θ是参数。10.如权利要求6或权利要求9所述的方法，其中，α＝1，或者1-δ≤α≤1+δ，其中，δ是小于0.5的参数。11.如前述权利要求中任一项所述的方法，其中，生成所述中间3
×
1偏移向量[p0p1p2]t包括计算偏移向量元素以满足偏移向量约束其中，s
″
i，j表示所述第二图像中的第i个像素的第j个颜色分量的像素值，并且[ns，0ns，1ns，2]t表示所述第一偏移向量。12.如权利要求11所述的方法，进一步包括在确定至少一个偏移向量元素不满足其偏移向量约束时，通过以下方式来进行迭代：基于更新的光亮度缩放值和/或更新的2
×
2色度变换矩阵来形成更新的3
×
3中间变换矩阵；将所述更新的3
×
3中间变换矩阵应用(225)于所述第一图像以生成所述第二图像；以及生成所述中间3
×
1偏移向量以满足所述偏移向量约束。13.如前述权利要求中任一项所述的方法，进一步包括：
接收在所述第一颜色空间中的第一高动态范围(hdr)图像，所述第一hdr图像表示与所述第一图像相同的场景、但在高于所述第一动态范围的第二动态范围中；将基于标准的颜色变换应用于所述第一hdr图像，以生成在所述第二动态范围中的第二hdr图像；将前向整形函数应用于所述第二hdr图像，以生成在所述第一动态范围中的基图像，其中，所述前向整形函数将来自所述第二动态范围和所述基于标准的颜色空间的像素值映射到在所述第一动态范围和所述第二颜色空间中的像素值；压缩所述基图像，以生成在所述第二颜色空间中的经压缩的图像；以及存储输出信号，所述输出信号包括所述经压缩的图像、所述输出3
×
3颜色变换矩阵、所述输出3
×
1偏移向量和后向整形函数的参数，以基于所述经压缩的图像来重建输出hdr图像。14.如权利要求13所述的方法，其中，在解码器中接收所述输出信号进一步包括：解压缩所述经压缩的图像，以生成在所述第一动态范围和所述第二颜色空间中的中间基信号；以及基于所述中间基信号、所述输出3
×
3颜色变换矩阵和所述输出3
×
1偏移向量，生成在所述第一颜色空间和所述第一动态范围中的第一输出信号，或者基于所述中间基信号和所述后向整形函数的参数，生成在所述标准颜色空间中的hdr输出信号，其中，所述后向整形函数将像素值从所述第二颜色空间和所述第一动态范围映射到所述基于标准的颜色空间和所述第二动态范围。15.一种非暂态计算机可读存储介质，其上存储有计算机可执行指令，用于利用一个或多个处理器执行根据权利要求1至14中任一项所述的方法。

技术总结
使用基于标准的RGB到YCbCr颜色变换，在一组编解码效率约束下得到新的RGB到YCC 3


技术研发人员：苏冠铭
受保护的技术使用者：杜比实验室特许公司
技术研发日：2021.10.14
技术公布日：2023/7/7