与源颜色体积信息的处理相关的计算机可读存储介质的制作方法

与源颜色体积信息的处理相关的计算机可读存储介质
1.分案声明
2.本技术是pct国际申请号为pct/us2017/054920、国际申请日为2017年10月03日、进入中国国家阶段的申请号为201780069607.7并且发明名称为“源颜色体积信息消息传送”的发明专利申请的分案申请。
3.相关申请的交叉引用
4.本技术要求于2016年11月29日提交的美国临时专利申请号62/427,677以及于2016年10月5日提交的美国临时专利申请号62/404,302的优先权权益，这两个美国临时专利申请通过引用以其全文并入本文。
技术领域
5.本发明总体上涉及图像。更具体地，本发明的实施例涉及传达并处理源颜色体积信息。


背景技术：

6.用于附录d中的“移动视频编码”、“补充增强信息”(sei)、以及附录e的“视频可用性信息”(vui)的建议书itu-t h.265[1](也称为hevc)描述了用于在编码比特流中提供补充sei和vui信息以使解码器能够更好地将经解码样本映射到显示器中的语法。
[0007]
与mpeg/itu标准化过程并行，电影和电视工程师协会(smpte)还定义了与传达同源视频和针对性显示器(targeted display)二者的颜色体积信息有关的元数据有关的多个建议书。例如，smpte st 2094文档套件(例如，[5]和[6])定义了用于在视频内容的颜色体积变换中使用的元数据。这些元数据可以逐场景或逐帧地变化。例如，这种元数据可以辅助解码器在具有比用于主控源图像的主控显示器的颜色体积小的颜色体积的显示器上呈现高动态范围(hdr)且宽色域(wcg)的数据。
[0008]
如本文所使用的，术语“元数据”涉及作为编码比特流的一部分被传输并且辅助解码器呈现解码图像的任何辅助信息。这样的元数据可以包括但不限于颜色空间或色域信息、预测参数、参考显示参数和辅助信号参数，如本文所描述的那些。
[0009]
虽然h.265的附录d和e支持许多颜色体积相关的元数据，但它们并不携带所有的用于对hdr内容进行最高效显示管理所需要的元数据。2016年7月，在日内瓦的视频编码联合协作组(jct-vc)会议上，提交了关于如何使用sei或vui消息传送来描述内容颜色体积信息的三份提案[2-4]。这些提案中的一些受到smpte st.2094[5]的影响，但它们的范围大不相同。
[0010]
在[2]中，对于2d中的信号内容色域，提出了内容-sei消息，其描述了视频内容的实际颜色分布。在vui中，变量colour_primaries(颜色_原色)用于指示容器色域(container color gamut)而不是真正的源色域[1]。在[3]中，提出将多个原色表达式和空间区域与所识别的源特性相关联。在[4]中，提出用于指示被内容占据的颜色体积的内容颜色体积sei消息。其针对颜色坐标使用(x，y，y)描述，并且具有多个亮度y的切片，其中每个
切片具有相关联的多边形。这些提案具有许多缺点，诸如：向大多数显示器制造商提供很少使用的信息可能增加大量开销，并且可能需要产生太多的计算开销。如本发明人在此所理解的，为了改进现有的编码和解码方案，需要用于生成并传达源颜色体积信息的改进技术。
[0011]
在这一部分中描述的方法是可以采用的方法，但不一定是之前已经设想到或采用的方法。因此，除非另有指明，否则不应认为这一部分中所述的任何方法仅凭其纳入这一部分就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所识别的问题不应认为已基于这一部分在任何现有技术中被公认。


技术实现要素：

[0012]
根据本公开的一些实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机可执行指令，所述计算机可执行指令当被处理器执行时，使得所述处理器执行操作，所述操作包括：接收输入视频比特流和元数据，所述元数据包括所述输入视频比特流的源颜色体积信息；如果元数据标记指示存在源原色元数据，则对于一个或多个原色，从所述元数据中提取x和y色度坐标，所述x和y色度坐标针对所述一个或多个原色中的每一个定义所述输入视频比特流的2d色域；以及从所述元数据中提取最小亮度值、最大亮度值和平均亮度值，其中，对于比特流中的以加水平黑边格式编码的一个或多个已编码的视频图片，所述最小亮度值、所述最大亮度值和所述平均亮度值用于所述比特流中的以所述加水平黑边格式编码的所述一个或多个已编码的视频图片的有效区域。
[0013]
根据本公开的一些实施例，提供了一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机可执行指令，所述计算机可执行指令当被处理器执行时，使得所述处理器执行操作，所述操作包括：接收视频图片的序列；对所述视频图片中的一个或多个进行编码以生成压缩视频图片；生成指示所述压缩视频图片的源颜色体积信息的元数据消息；生成包括所述压缩视频图片和所述元数据消息的输出视频比特流，其中，所述元数据消息包括：所述输出视频比特流中的一个或多个原色分量的归一化x和y色度坐标；以及包括最小亮度值、最大亮度值和平均亮度值的亮度值参数，其中，对于比特流中的以加水平黑边格式编码的一个或多个已编码的视频图片，所述最小亮度值、所述最大亮度值和所述平均亮度值用于所述比特流中的以所述加水平黑边格式编码的所述一个或多个已编码的视频图片的有效区域。
附图说明
[0014]
在附图中以举例而非限制的方式来展示本发明的实施例，并且其中相同的附图标记指代相同的元件，并且在附图中：
[0015]
图1描绘了根据本发明的实施例的视频递送流水线的示例过程；
[0016]
图2描绘了视频容器格式的“最大”可能颜色体积图的示例；
[0017]
图3a描绘了容器颜色体积内的源内容色域的示例；
[0018]
图3b和图3c描绘了在特定亮度(y)值下容器和源颜色体积的2d切片的示例；并且
[0019]
图4描绘了根据本发明的实施例的用于从sei消息传送中提取源颜色体积信息的示例过程。
具体实施方式
[0020]
本文描述了使用sei消息传送来传达源颜色体积信息的技术。在以下说明中，出于解释的目的，阐述了许多具体细节以便提供对本发明的透彻理解。然而，明显的是，可以在没有这些具体细节的情况下实施本发明。在其他情形中，为了避免不必要的遮蔽、模糊或混淆本发明，没有详尽地描述众所周知的结构和装置。
[0021]
概述
[0022]
本文所描述的示例实施例涉及用于使用sei消息传送来传达源颜色体积信息的技术。在解码器中，用于提取sei消息传送的处理器接收源颜色体积标识消息传送变量，该源颜色体积标识消息传送变量标识在输入比特流中存在源颜色体积信息。处理器接收作为源颜色体积信息的一部分的第一消息传送变量。如果第一消息传送变量与第一预定值匹配，则对于一个或多个原色，处理器基于输入比特流中的源颜色体积信息而为一个或多个原色生成x色度坐标和y色度坐标。处理器基于输入比特流中的源颜色体积信息生成最小亮度值、最大亮度值和平均亮度值。处理器接收作为源颜色体积信息的一部分的第二消息传送变量，并且如果第二消息传送变量与第二预定值匹配，则对于一个或多个原色，处理器基于源颜色体积信息而为与最小亮度值、最大亮度值和平均亮度值相对应的一个或多个原色生成x色度坐标和y色度坐标。
[0023]
源颜色体积消息传送的示例
[0024]
图1描绘了视频递送流水线(100)的示例过程，其示出了从视频捕获到视频内容显示的各个阶段。使用图像生成块(105)来捕获或生成视频帧(102)序列。视频帧(102)可以(例如，由数码相机)数字地捕获或者由计算机(例如，使用计算机动画)生成以提供视频数据(107)。可替代地，视频帧(102)可以由胶片摄像机捕获在胶片上。胶片在进行适当编辑(未示出)之后被转换为数字格式以提供视频数据(107)。
[0025]
视频数据(107)然后在块(110)处被提供给处理器以进行后期制作编辑。后期制作编辑(110)可以包括调整或修改图像的特定区中的颜色或亮度，以根据视频创作者的创作意图来增强图像质量或实现图像的特定外观。这有时被称为“颜色调整(color timing)”或“颜色分级(color grading)”。可以在块(110)处执行其他编辑(例如，场景选择和排序、图像裁剪、添加计算机生成的视觉特效等)以产生用于发行的作品的最终版本(112)。在后期制作编辑(110)期间，在参考显示器(125)(由于制作室针对其优化了视频，因此也被称为“针对性显示器”)上观看视频图像。
[0026]
在一些实施例中，在视频编码(120)之前，可以对视频内容进行分析以提取例如如smpte st 2094-1[5]中所定义的、或者如本发明中稍后将定义的源颜色体积元数据(119)。这种元数据还可以定义针对性显示器(例如，参考显示器(125))的特性和颜色重映射信息以使得下游接收器可以以最佳可行方式呈现经解码数据。
[0027]
在后期制作(110)和源颜色体积分析(115)之后，可以以适当的颜色格式(例如，采用4:2:0的10位ycbcr、ictcp等)将最终作品(117)的视频数据和相关联元数据(119)递送到编码块(120)，以便向下游递送到诸如电视机、机顶盒、电影院等解码和重放装置。在一些实施例中，编码块(120)可以包括诸如由atsc、dvb、dvd、蓝光和其他递送格式定义的那些音频编码器和视频编码器，以生成编码比特流(122)。编码比特流(122)可以由单层视频编码比特流或由多层比特流来表示。例如，在多层比特流中，信号(122)可以包括基础层(比如，sdr
层或10位hdr(hdr10)层)和增强层，所述增强层当与基础层组合时产生具有比单独的基础层更高动态范围的hdr比特流(例如，12位hdr信号)。信号(122)(即，来自编码器(120)的输出比特流)还可以包括元数据(119)和附加的编码相关的元数据，诸如预测参数以及其他数据，以用于辅助解码器更好地重建hdr信号。
[0028]
在接收器中，编码比特流(122)由解码单元(130)解码，以生成经解码信号(132)和相关联的元数据(119)。接收器(或目标)显示器(150)可以具有与参考(或针对性)显示器(125)完全不同的特性。例如但不限于，参考显示器(125)可以是1,000尼特显示器，而接收器显示器可以是500尼特显示器。在这种情况下，显示管理模块(140)可以用于通过生成显示器映射信号(142)来将经解码信号(132)的动态范围映射到接收器显示器(150)的特性。如本文所使用的，术语“显示管理”表示将第一动态范围(例如，1000尼特)的输入视频信号映射到第二动态范围(例如，500尼特)的显示器所需的处理(例如，色调和色域映射)。显示管理单元(140)可以将元数据(119)考虑在内以改善显示器(150)上的输出视频的质量。例如，如[7]中所示，可以在接收器上使用关于针对性(或参考)显示器(例如，125)和源数据的亮度范围的信息，以便更好地将视频内容的动态范围映射到接收器显示器(例如，150)中。
[0029]
颜色体积信息
[0030]
图2描绘了预定义容器格式(例如，bt.2020)的“最大”可能颜色体积(也称为“容器颜色体积”)的示例。这种体积可以由二维(2d)色域原色、白点色度(例如，d65)、最大亮度值(例如，l
最大
＝4,000尼特)、以及最小亮度值(例如，0.005尼特)构成。这个图指示源视频内容中所有颜色的最大可能颜色体积边界。
[0031]
在实践中，如由图3a中较深的“云”(305)或图3b和图3c中的较深的区域(305)所描绘的，用于特定帧或甚至整个场景内的源内容(例如，112)的源颜色体积可以显著小于最大可能颜色体积(310)。因为实际颜色体积(305)具有非常不规则的形状，使得为每个帧或整个场景传输这种源颜色体积信息需要大量信息。例如，在实施例中，可以对于多个亮度值(例如，0.1、1、10等)用信号表示色域信息。然后问题变成：有多少亮度值并且哪些是最重要的亮度值？还需要不仅考虑编码比特流上的这种信息的所需开销，而且还考虑在编码器上生成这种内容和/或在解码器上重建颜色体积信息的复杂性。
[0032]
虽然传达源内容中的最小亮度值和最大亮度值是重要的，但是如发明人所理解的，传达平均亮度(或中点亮度)对于接收器也是有价值的。这三个值一起可以有助于生成合理的色调曲线以用于显示映射。在本公开中，提出用信号表示以下元数据以描述源颜色体积：a)源所占据的最大2d色域(例如，源颜色体积)；b)源的最大亮度、最小亮度和平均亮度；以及c)可选地，用于这三个亮度值的分切的(2d)色域(例如，参见图3b和图3c)。假设容器原色和源内容原色的白点应该相同，因此没有理由重传此类信息。可以根据需要例如逐帧或逐场景地更新此信息。图3b和图3c描绘了在特定亮度(y)值下的源颜色体积(305)和容器颜色体积(310)的2d切片的示例。在图3b中，2d切片为y＝84尼特，并且在图3c中，2d切片为y＝246尼特。仅出于说明的目的，提供了在源颜色体积(305)周围且在容器rgb空间内的色度(rgb)三角形。编码器可以选择定义更小或更大的这类区并将其传达到接收器。
[0033]
表1描绘了根据实施例的遵循h.265规范的命名和语法的源颜色体积sei消息传送的示例。对原色的描述遵循如iso 11664-1(另见iso 11664-3和cie 15)中定义的对原色的cie 1931(x，y)颜色色度坐标的定义，并使用红色、绿色和蓝色原色。还可以使用其他类型
的原色，诸如四个、五个或六个、或其他基于多边形的原色表示。对于源内容中的最大实际色域，在实施例中，但不限于，语法类似于在h.265规范的e.3.1节(表e.3)中定义的对colour_primaries参数(或变量)的定义。可相信的是当前的源内容可以达到p3颜色空间，但是达到bt.2020/2010颜色(在smpte eg 432-1和smpte rp 431-2中定义了“dci-p3”)还需要一些时间。因此，在源色域小于或等于p3、或者等于bt.2020/2010原色的那些情况下，可以使用表e.3；但是，对于其色域大于p3但小于bt.2020/2010的源，可能需要对色域进行明确信号表示。亮度值使用以尼特(cd/m2)为单位的亮度值的绝对值来指定。可替代地，为了节省位，还可以使用非线性表示将亮度值编码为例如根据smpte st 2084的逆eotf来编码的值。使与最大亮度值、最小亮度值和平均(中间)亮度值相对应的色域信息是可选的，以允许应用来根据需要减少元数据开销。
[0034]
注：在优选实施例中，1)源颜色体积元数据应该描述在任何亮度或色度预处理之前的采用其原始形式的源的颜色体积。例如，其应该描述在任何色度子采样过程(例如，从4:4:4到4:2:0)或位深度转换过程(例如，从12b到10b)之前的源颜色体积，因为色度子采样或位深度转换将修改颜色体积信息。2)源色域通常不同于容器原色，所述容器原色在h.265的附录e(例如，表e.3)中指示。3)源颜色体积通常不同于主控显示器颜色体积，所述主控显示器颜色体积可以由主控显示器颜色体积sei消息指示。
[0035]
在示例实施例中，表1中的参数(或变量)和编码语义可以描述如下：
[0036]
source_colour_volume_id(源_颜色_体积_id)包含可以用于标识源颜色体积的目的的标识号。source_colour_volume_id的值应该在0到2
32-2的范围内，包括端点。如由应用所确定的，可以使用从0到255和从512到2
31-1的source_colour_volume_id的值。保留从256到511(包括端点)和从2
31
到2
32-2(包括端点)的source_colour_volume_id的值以供未来由itu-t|iso/iec使用。解码器应忽略包含在256到511(包括端点)范围内或在2
31
到2
32-2(包括端点)范围内的source_colour_volume_id的值的所有颜色重映射信息sei消息，并且比特流不应包含这类值。
[0037]
source_colour_volume_cancel_flag(源_颜色_体积_取消_标记)等于1指示源颜色体积sei消息按输出顺序取消应用于当前层的任何先前源颜色体积sei消息的留存。source_colour_volume_cancel_flag等于0指示源颜色体积跟随。
[0038]
source_colour_volume_persistence_flag(源_颜色_体积_留存_标记)指定当前层的源颜色体积sei消息的留存。source_colour_volume_persistence_flag等于0指定源颜色体积信息仅应用于当前图片。
[0039]
使pica成为当前图片。source_colour_volume_persistence_flag等于1指定源颜色体积按输出顺序在当前层持续，直到以下任一条件为真：
[0040]-当前层的新编码层视频序列(clvs)开始
[0041]-比特流结束
[0042]-输出存取单元中的当前层中的图片picb，该图片picb包含具有相同source_colour_volume_id的值且适用于当前层的源颜色体积sei消息，对于该图片picb，picordercnt(picb)大于picordercnt(pica)，其中picordercnt(picb)和picordercnt(pica)是紧接在调用用于picb的图片顺序计数的解码过程之后picb和pica的分别的picordercntval值。
[0043]
source_colour_primaries(源_颜色_原色)与colour_primaries语法元素的子句e.3.1中指定的语义相同，区别在于子句e.3.1中的colour_primaries用信号表示容器源原色，而source_colour_primaries用信号表示源内容真正占据的原色。
[0044]
当source_colour_primaries的值等于2时，source_colour_primaries由语法source_primaries_x[c]和source_primaries_y[c]明确地指定。
[0045]
source_primaries_x[c](源_原色_x[c])和source_primaries_y[c](源_原色_y[c])根据如在iso 11664-1(另见iso 11664-3和cie 15)中规定的x和y的cie 1931定义分别指定源内容的原色成分c的归一化x色度坐标和y色度坐标，以0.00002为增量。为了描述使用红色、绿色和蓝色原色的源内容，建议索引值c等于0应该对应于绿色原色，c等于1应该对应于蓝色原色，并且c等于2应该对应于红色原色(另见附录e和表e.3)。source_primaries_x[c]和source_primaries_y[c]的值应在0到50,000的范围内(包括端点)。
[0046]
max_source_luminance(最大_源_亮度)、min_source_luminance(最小_源_亮度)和avg_source_luminance(平均_源_亮度)分别指定源的以0.0001坎德拉/平方米(尼特)为单位的标称最大亮度、最小亮度和平均亮度。min_source_luminance应小于avg_source_luminance，并且avg_source_luminance应小于max_source_luminance。
[0047]
luminance_colour_primaries_info_present_flag(亮度_颜色_原色_信息_存在_标记)等于1指定存在语法元素luminance_primaries_x和luminance_primaries_y，luminance_colour_primaries_info_present_flag等于0指定不存在语法元素luminance_primaries_x和luminance_primaries_y。
[0048]
luminance_primaries_x[i][c](亮度_原色_x[i][c])和luminance_primaries_y[i][c](亮度_原色_y[i][c])根据如在iso 11664-1(另见iso 11664-3和cie 15)中规定的x和y的cie 1931定义分别指定在一个标称亮度下源内容的原色成分c的归一化x色度坐标和y色度坐标，以0.00002为增量。为了描述源内容亮度，索引值0、1和2应分别对应于max_source_luminance、min_source_luminance和avg_source_luminance。为了描述使用红色、绿色和蓝色原色的源内容，建议索引值c等于0应该对应于绿色原色，c等于1应该对应于蓝色原色，并且c等于2应该对应于红色原色(另见附录e和表e.3)。source_primaries_x[c]和source_primaries_y[c]的值应在0到50,000的范围内(包括端点)。
[0049]
表1提供了被认为是源颜色体积的有用表示的最小信息。在另一实施例中，可以决定定义附加细节，如多个原色表达式[3]、或对多于三个亮度(y)切片的原色的描述，其中每个切片具有相关联的多边形。
[0050]
表1：源颜色体积sei消息传送语法的示例
[0051]
[0052][0053]
图4描绘了根据实施例的用于使用sei消息传送来提取视频源的颜色体积信息的示例过程。首先(405)，解码器可以检测是否存在指示源颜色体积信息的标识号(id)(例如，source_colour_volume_id)的第一sei消息传送变量。然后，考虑存在这种变量，解码器可以检查(步骤407)该变量的值是否在可允许范围内。如果其是非法值，则过程终止(步骤409)。如果其是合法值，则在步骤(410)中，还如表1中所示，解码器可以读取与比特流上的第一变量的留存有关的附加标记(例如，参见source_colour_volume_cancel_flag和source_colour_volume_persistence_flag的语法元素)。在步骤(412)中，经由第二sei消息传送参数(例如，source_colour_primaries)，解码器可以检查元数据是否明确定义了源数据内容真正占据的颜色体积。如果为真(例如，source_colour_primaries＝2)，则在步骤(420)中，读取每个原色(例如，红色、绿色和蓝色)的(x，y)颜色色度坐标，否则，在步骤(425)中，解码器提取最小亮度值、最大亮度值和平均亮度值。可选地，sei消息传送还可以
定义与早先定义的具有最小亮度值、中间亮度值和最大亮度值的原色相对应的(x，y)颜色色度坐标。在实施例中，这可以由第三参数(例如，luminance_colour_primaries_info_present_flag＝1)指示。如果不存在这样的信息(步骤430)，则过程终止(409)，否则，(在步骤435中)，解码器提取最小亮度值、中间亮度值和最大亮度值中的每一个的原色的(x，y)颜色色度坐标。
[0054]
在提取源颜色体积信息之后，解码器可以在其显示管理过程(例如，140)期间使用源颜色体积数据。在示例中，显示管理可以包括两个步骤：色调映射和色域映射。最小亮度值、中间亮度值和最大亮度值可以用于生成如[6-7]中描述的色调映射曲线。最大rgb色域和切片rgb色域可以用于执行色域映射。
[0055]
有效区域(active region)的考虑
[0056]
在一些实施例中，将有效区域定义为与源颜色体积有关的元数据的一部分可能是有益的。例如，当以加水平黑边格式(letterbox format)对视频进行编码时，编码器和解码器在计算每个视频帧的亮度和色度特性(例如，最小亮度、最大亮度和平均亮度)时不应包括黑色加水平黑边区。实验结果表明，考虑对视频序列中的帧的“成框(framing)”或“抠图(matting)”(例如，加垂直黑边(pillarboxing)、加四周黑边(windowboxing)和加水平黑边(letterboxing))可以显著提高整体输出图片质量。虽然可以由解码器实施加水平黑边检测，由此减少用于定义有效图片区域的信令开销，但是在实施例中，可以明确地用信号表示这种信令以支持具有低计算复杂性的解码器。表2描绘了根据实施例的具有有效区域信令的源颜色体积sei消息传送的示例。
[0057]
表2：具有有效区域信令的源颜色体积sei消息语法的示例
[0058]
[0059][0060]
表2是表1的超集，并且考虑了定义有效区域的两种不同语义。
[0061]
语义1.在实施例中，相对于一致性窗口裁剪和输出之前的经解码图片来指定有效区域。然后，有效区域参数可以解释如下：
[0062]
active_region_flag(有效_区域_标记)等于1指示有效区域偏移参数接下来跟随在源颜色体积信息sei消息中。active_region_flag等于0指示不存在有效区域偏移参数。
[0063]
active_region_left_offset(有效_区域_左_偏移)、active_region_right_offset(有效_区域_右_偏移)、active_region_top_offset(有效_区域_顶_偏移)和active_region_bottom_offset(有效_区域_底_偏移)指定有效的矩形区域。当active_region_flag等于0时，推断出active_region_left_offset、active_region_right_
offset、active_region_top_offset和active_region_bottom_offset的值等于0。
[0064]
利用从subwidthc*active_region_left_offset到pic_width_in_luma_samples-(subwidthc*active_region_right_offset+1)的水平图片坐标以及从subheightc*active_region_top_offset到pic_height_in_luma_samples-(subheightc*active_region_bottom_offset+1)的竖直图片坐标，包括端点，来定义有效区域。subwidthc*(active_region_left_offset+active_region_right_offset)的值应小于pic_width_in_luma_samples，并且subheightc*(active_region_top_offset+active_region_bottom_offset)的值应小于pic_height_in_luma_samples。
[0065]
语义2.在实施例中，相对于要显示的最终输出图片来定义有效区域偏移值，因此需要考虑一致性窗口参数。然后，有效区域参数可以解释如下：
[0066]
active_region_flag等于1指示有效区域偏移参数接下来跟随在源颜色体积信息sei消息中。active_region_flag等于0指示不存在有效区域偏移参数。
[0067]
active_region_left_offset、active_region_right_offset、active_region_top_offset和active_region_bottom_offset指定有效的矩形区域。当active_region_flag等于0时，推断出active_region_left_offset、active_region_right_offset、active_region_top_offset和active_region_bottom_offset的值等于0。
[0068]
利用从active_region_left_offset+subwidthc*conf_win_left_offset到ctbsizey*picwidthinctbsy-subwidthc*conf_win_right_offset-active_region_right_offset-1的水平图片坐标以及从active_region_top_offset+subheightc*conf_win_top_offset到ctbsizey*picheightinctbsy-subheightc*conf_win_bottom_offset-active_region_bottom_offset-1的竖直图片坐标，包括端点，来定义有效区域。
[0069]
(active_region_left_offset+active_region_right_offset)的值应小于ctbsizey*picwidthinctbsy-subwidthc*(conf_win_right_offset+conf_win_left_offset)，并且(active_region_top_offset+active_region_bottom_offset)的值应小于ctbsizey*picheightinctbsy-subheightc*(conf_win_bottom_offset+conf_win_top_offset)。
[0070]
以下列出的每篇参考文献都通过引用以其全文并入本文。
[0071]
参考文献
[0072]
[1]建议书itu-t h.265，“series h:audiovisual and multimedia systems,infrastructure of audiovisual services
–
coding of moving video,high efficiency video coding[系列h：视听和多媒体系统、视听服务基础设施——移动视频编码、高效视频编码]”，itu，2014年10月.
[0073]
[2]h.m.oh等人，“content colour gamut sei message[内容色域sei消息]”，jctvc-x0040，2016年5月，日内瓦，ch.
[0074]
[3]a.m.tourapis，“improvements to the effective colour volume sei[对高效颜色体积sei的改进]”，jctvc-x0052，2016年5月，日内瓦，ch.
[0075]
[4]a.k.ramasubramonian，“content colour volume sei message[内容颜色体积sei消息]”，jctvc-x0069，2016年5月，日内瓦，ch.
[0076]
[5]smpte st 2094-1：2016：“dynamic metadata for color volume transform
–
core components[用于颜色体积变换的动态元数据——核心组件]”，smpte，2016年5月18日.
[0077]
[6]smpte st 2094-10：2016：“dynamic metadata for color volume transform
–
application#1[用于颜色体积变换的动态元数据-应用#1]”，smpte，2016年5月18日.
[0078]
[7]r.atkins等人，美国专利公开us2016/0005349，“用于高动态范围视频的显示管理”.
[0079]
示例计算机系统实施方式
[0080]
本发明的实施例可以利用计算机系统、以电子电路和部件来配置的系统、集成电路(ic)装置(诸如微控制器、现场可编程门阵列(fpga)、或其他可配置或可编程逻辑器件(pld)、离散时间或数字信号处理器(dsp)、专用ic(asic))、和/或包括一个或多个这样的系统、装置或部件的设备来实施。计算机和/或ic可以执行、控制或实行与使用sei消息传送来传达源颜色体积信息有关的指令，诸如本文所述的那些指令。计算机和/或ic可以计算与本文描述的过程有关的各种参数或值中的任何参数或值。图像和视频实施例可以以硬件、软件、固件及其各种组合来实施。
[0081]
本发明的某些实施方式包括执行软件指令的计算机处理器，所述软件指令使处理器执行本发明的方法。例如，显示器、编码器、机顶盒、转码器等中的一个或多个处理器可以通过执行所述处理器可访问的程序存储器中的软件指令来实施与如上所述的使用sei消息传送来传达源颜色体积信息有关的方法。还可以以程序产品的形式提供本发明。程序产品可以包括携带一组计算机可读信号的任何非暂态介质，所述一组计算机可读信号包括指令，所述指令当由数据处理器执行时使数据处理器执行本发明的方法。根据本发明的程序产品可以采用各种形式中的任何一种。程序产品可以包括例如物理介质，诸如包括软盘、硬盘驱动器的磁性数据存储介质，包括cd rom、dvd的光学数据存储介质，包括rom、闪存ram的电子数据存储介质等。程序产品上的计算机可读信号可以可选地被压缩或加密。
[0082]
在上面提到部件(例如，软件模块、处理器、组件、装置、电路等)的情况下，除非另有说明，否则对此部件的引用(包括对“装置”的引用)都应被解释为包括作为此部件的执行所描述部件的功能的任何部件的等同物(例如，功能上等同的)，包括在结构上不等同于执行在本发明所说明的示例实施例中的功能的所公开结构的部件。
[0083]
等同、扩展、替代和杂项
[0084]
如此描述了涉及使用sei消息传送来传达源颜色体积信息的示例实施例。在前述说明书中，已经参考许多具体细节描述了本发明的实施例，这些细节可以根据实施方式而变化。因此，作为本发明的、并且申请人意图作为本发明的唯一且独有的指示是从本技术中以这套权利要求发布的具体形式发布的权利要求，包括任何后续修改。本文中明确阐述的对于这样的权利要求中包含的术语的任何定义应当支配着权利要求中使用的这样的术语的含义。因此，权利要求中未明确引用的限制、要素、特性、特征、优点或属性不应以任何方式限制这样的权利要求的范围。因此，说明书和附图应被视为说明性的而非具有限制性意义。

技术特征：
1.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机可执行指令，所述计算机可执行指令当被处理器执行时，使得所述处理器执行操作，所述操作包括：接收输入视频比特流和元数据，所述元数据包括所述输入视频比特流的源颜色体积信息；如果元数据标记指示存在源原色元数据，则对于一个或多个原色，从所述元数据中提取x和y色度坐标，所述x和y色度坐标针对所述一个或多个原色中的每一个定义所述输入视频比特流的2d色域；以及从所述元数据中提取最小亮度值、最大亮度值和平均亮度值，其中，对于比特流中的以加水平黑边格式编码的一个或多个已编码的视频图片，所述最小亮度值、所述最大亮度值和所述平均亮度值用于所述比特流中的以所述加水平黑边格式编码的所述一个或多个已编码的视频图片的有效区域。2.如权利要求1所述的计算机可读存储介质，其中，所述计算机可执行指令当被所述处理器执行时，进一步使得所述处理器执行包括以下项的操作：基于所述输入视频比特流和所述源颜色体积信息的所述元数据生成输出视频信号。3.如权利要求1所述的计算机可读存储介质，其中，所述x和y色度坐标是根据如在iso 11664-1中规定的x和y的cie 1931定义，以0.00002为增量指定的。4.如权利要求1所述的计算机可读存储介质，其中，所述计算机可执行指令当被所述处理器执行时，进一步使得所述处理器执行包括以下项的操作：如果第二元数据标记指示存在亮度原色元数据，则对于所述一个或多个原色，从所述元数据中提取对于所述最小亮度值、所述最大亮度值和所述平均亮度值中的每一个的第二x和y色度坐标。5.如权利要求1所述的计算机可读存储介质，其中，所述元数据进一步包括第三元数据标记，所述第三元数据标记指示存在与所述输入视频比特流中的所述一个或多个已编码的视频图片的所述有效区域有关的信息。6.一种计算机可读存储介质，所述计算机可读存储介质具有存储于其上的计算机可执行指令，所述计算机可执行指令当被处理器执行时，使得所述处理器执行操作，所述操作包括：接收视频图片的序列；对所述视频图片中的一个或多个进行编码以生成压缩视频图片；生成指示所述压缩视频图片的源颜色体积信息的元数据消息；生成包括所述压缩视频图片和所述元数据消息的输出视频比特流，其中，所述元数据消息包括：所述输出视频比特流中的一个或多个原色分量的归一化x和y色度坐标；以及包括最小亮度值、最大亮度值和平均亮度值的亮度值参数，其中，对于比特流中的以加水平黑边格式编码的一个或多个已编码的视频图片，所述最小亮度值、所述最大亮度值和所述平均亮度值用于所述比特流中的以所述加水平黑边格式编码的所述一个或多个已编码的视频图片的有效区域。7.如权利要求6所述的计算机可读存储介质，其中，所述归一化x和y色度坐标是根据如
在iso 11664-1中规定的x和y的cie 1931定义，以0.00002为增量指定的。8.如权利要求6所述的计算机可读存储介质，其中，所述元数据消息包括补充增强信息sei消息。9.如权利要求6所述的计算机可读存储介质，其中，所述元数据消息进一步包括：所述一个或多个原色分量的对于所述最小亮度值、所述最大亮度值和所述平均亮度值中的每一个的第二x和y色度坐标。10.如权利要求6所述的计算机可读存储介质，其中，所述元数据消息进一步包括与所述有效区域有关的信息。

技术总结
描述了与源颜色体积信息的处理相关的计算机可读存储介质。这种数据至少包括源数据中的最小亮度值、最大亮度值和平均亮度值加上可选数据，所述可选数据可以包括：所述源数据的输入原色(例如，红色、绿色和蓝色)的颜色体积x色度坐标和y色度坐标、以及与所述源数据中的所述最小亮度值、所述平均亮度值和所述最大亮度值相对应的所述原色的颜色x色度坐标和y色度坐标。还可以包括用信号表示每个图片中的有效区域的消息传送数据。效区域的消息传送数据。效区域的消息传送数据。


技术研发人员：陈涛 尹鹏 吕陶然 W
受保护的技术使用者：杜比实验室特许公司
技术研发日：2017.10.03
技术公布日：2023/9/12