视频译码中多个颜色分量的符号预测的制作方法

视频译码中多个颜色分量的符号预测
1.交叉引用
2.本技术要求2021年12月21日提交的美国申请第17/645,439号和2020年12月29日提交的美国临时申请第63/131,615号的优先权，其全部内容通过引用并入本文。2021年12月21日提交的美国申请第17/645,439号要求2020年12月29日提交的美国临时申请第63/131,615号的权益。
技术领域
3.本公开涉及视频编码和视频解码。


背景技术：

4.数字视频能力可以集成到广泛的设备中，包括数字电视、数字直播系统、无线广播系统、个人数字助理(pda)、膝上型或台式计算机、平板计算机、电子书阅读器、数码相机、数字录音设备、数字媒体播放器、视频游戏设备、视频游戏控制台、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实施视频译码(coding)技术，例如那些在由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4、第10部分、高级视频译码(avc)、itu-t h.265/高效视频译码(hevc)所定义的标准以及此类标准的扩展中所描述的技术。视频设备可以通过实施此类视频译码技术来更高效地发送、接收、编码、解码和/或存储数字视频信息。
5.视频译码技术包括空间(图片内)预测和/或时间(图片间)预测来减少或消除视频序列中固有的冗余。对于基于块的视频译码，视频切片(例如，视频图片或视频图片的一部分)可被分割成视频块，其也可称为译码树单元(ctu)、译码单元(cu)和/或译码节点。使用关于同一图片中的相邻块中的参考样本的空间预测来编码图片的帧内译码(i)的切片中的视频块。图片的帧间译码的(p或b)切片中的视频可以使用关于同一图片中的相邻块中的参考样本的空间预测，或关于其他参考图片中的参考样本的时间预测。图片可以称为帧，并且参考图片可以称为参考帧。


技术实现要素：

6.一般地，本公开描述用于使用基于视频数据的多个颜色分量执行的符号预测来译码视频数据的技术。为了预测变换块的多个系数中的系数的符号值，视频译码器(例如，视频编码器和/或视频解码器)可以使用系数的符号值的正值和负值两者来重构变换块。使用候选符号值的每个块重构可以被称为假设重构。视频译码器可用成本函数来评估系数的符号的两个假设重构，并且选择最小化成本函数的假设重构，给出变换块的系数的预测符号值。然而，在一些示例中，多个块可能受到预测符号值的影响。例如，在变换块是色度残差联合译码(jccr)变换块的情况下，视频译码器从该jccr变换块生成各自对应于不同颜色分量的多个变换块，多个变换块可能都受到预测符号值的影响。仅基于一个颜色分量执行符号预测可能是次优的，因为一个假设重构可能对一个颜色分量有效，但对其他颜色分量效果
不佳。
7.根据本公开的一个或多个技术，视频译码器(例如，视频编码器和/或视频解码器)可基于视频数据的多个颜色分量来执行符号预测。例如，当对用于产生各自对应于不同颜色分量的多个变换块(例如，cb变换块和cr变换块)的jccr变换块执行符号预测时，视频译码器可基于多个颜色分量执行符号预测。通过基于多个颜色分量执行符号预测，本公开的技术可改进符号预测。改进的符号预测可以减少发信号通知符号所需的比特数。以此方式，本公开的技术可以提高译码效率。
8.在一个示例中，解码视频数据的方法包括：基于使用jccr译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
9.在另一示例中，一种编码视频数据的方法包括：基于使用jccr译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
10.在另一示例中，一种用于译码视频数据的设备包括用于基于使用jccr译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号的部件；用于针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数的部件；以及用于基于多个残差块来重构视频数据块的部件。
11.在另一示例中，一种存储指令的计算机可读存储介质，该指令在被执行时使得视频译码器的一个或多个处理器：基于使用jccr译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
12.一个或多个示例的细节在附图和下面的描述中阐述。其它特征、对象和优点将从说明书、附图和权利要求书中显而易见。
附图说明
13.图1是示出了可以执行本公开的技术的示例视频编码和解码系统的框图。
14.图2a和图2b是示出了示例四叉树二叉树(qtbt)结构和对应的译码树单元(ctu)的概念图。
15.图3是示出了可以执行本公开的技术的示例视频编码器的框图。
16.图4是示出了可以执行本公开的技术的示例视频解码器的框图。
17.图5是示出了在hevc中包含4个系数组的8
×
8变换块的系数扫描的概念图。
18.图6是示出了系数符号预测的示例的概念图。
19.图7是示出了根据本公开的技术的用于编码当前块的示例方法的流程图。
20.图8是示出了根据本公开的技术的用于解码当前块的示例方法的流程图。
21.图9是示出了根据本公开的技术的使用基于多个颜色分量的符号预测解码当前块
的示例方法的流程图。
具体实施方式
22.一般地，本公开描述用于使用基于视频数据的多个颜色分量执行的符号预测来译码视频数据的技术。为了预测变换块的多个系数中的系数的符号值，视频译码器(例如，视频编码器和/或视频解码器)可以使用系数的符号值的正值和负值两者来重构变换块。使用候选符号值的每个块重构可以被称为假设重构。视频译码器可用成本函数来评估系数的符号的两个假设重构，并且选择最小化成本函数的假设重构，给出变换块的系数的预测符号值。然而，在一些示例中，多个块可能受到预测符号值的影响。例如，在变换块是色度残差联合译码(jccr)变换块的情况下，视频译码器从该jccr变换块生成各自对应于不同颜色分量的多个变换块，多个变换块可能都受到预测符号值的影响。仅基于一个颜色分量执行符号预测可能是次优的，因为一个假设重构可能对一个颜色分量有效，但对其他颜色分量效果不佳。
23.根据本公开的一个或多个技术，视频译码器(例如，视频编码器和/或视频解码器)可基于视频数据的多个颜色分量来执行符号预测。例如，当对用于产生各自对应于不同颜色分量的多个变换块(例如，cb变换块和cr变换块)的jccr变换块执行符号预测时，视频译码器可基于多个颜色分量执行符号预测。通过基于多个颜色分量执行符号预测，本公开的技术可改进符号预测。改进的符号预测可以减少发信号通知符号所需的比特数。以此方式，本公开的技术可以提高译码效率。
24.图1是示出了可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对对视频数据进行译码(编码和/或解码)。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的、未编码的视频、编码的视频、解码的(例如，重构的)视频和视频元数据，例如信令数据。
25.如图1所示，在本示例中，系统100包括提供要由目标设备116进行解码和显示的编码视频数据的源设备102。具体地，源设备102经由计算机可读介质110向目标设备116提供视频数据。源设备102和目标设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即，膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能手机的电话手持设备、电视、照相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、广播接收器设备等。在一些情况下，源设备102和目标设备116可以被装备用于无线通信，并且因此可以被称为无线通信设备。
26.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目标设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目标设备116的视频解码器300可以被配置为应用用于多个颜色分量的符号预测的技术。因此，源设备102表示视频编码设备的示例，而目标设备116表示视频解码设备的示例。在其它示例中，源设备和目标设备可以包括其它组件或布置。例如，源设备102可以从外部视频源(例如外部照相机)接收视频数据。类似地，目标设备116可以与外部显示设备接口，而不是包括集成显示设备。
27.如图1所示的系统100仅仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于多个颜色分量的符号预测的技术。源设备102和目标设备116仅仅是这样的译
码设备的示例，其中源设备102生成译码视频数据以发送到目标设备116。本公开将“译码”设备称为执行数据译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300分别表示译码设备的示例，具体地分别是视频编码器和视频解码器的示例。在一些示例中，源设备102和目标设备116可以以基本对称的方式操作，使得源设备102和目标设备116中的每一个均包括视频编码和解码组件。因此，系统100可以支持源设备102和目标设备116之间的单向或双向视频发送，例如，用于视频流式传输、视频回放、视频广播或视频电话。
28.一般地，视频源104表示视频数据(即，原始的、未编码的视频数据)的源，并向视频编码器200提供视频数据的连续图片序列(也称为“帧”)，视频编码器200对图片的数据进行编码。源设备102的视频源104可以包括诸如摄像机的视频捕获设备、包含先前捕获的原始视频的视频存档和/或从视频内容提供商接收视频的视频馈送接口。作为另一替代方案，视频源104可以生成基于计算机图形的数据作为源视频，或者生成实时视频、存档视频和计算机生成的视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收到的顺序(有时称为“显示顺序”)重新排列成用于译码的译码顺序。视频编码器200可以生成包括编码视频数据的比特流。源设备102随后可经由输出接口108将经编码的视频数据输出到计算机可读介质110上，以通过例如目标设备116的输入接口122接收和/或检索。
29.源设备102的存储器106和目标设备116的存储器120表示通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如，来自视频源104的原始视频和来自视频解码器300的原始的解码视频数据。附加地或可选地，存储器106、120可存储可分别由例如视频编码器200和视频解码器300执行的软件指令。尽管在本示例中，存储器106和存储器120与视频编码器200和视频解码器300分开示出，但是应当理解，视频编码器200和视频解码器300还可以包括用于功能相似或等效目的的内部存储器。此外，存储器106、120可以存储例如从视频编码器200输出并输入到视频解码器300的编码视频数据。在一些示例中，存储器106、120的部分可被分配为一个或多个视频缓冲器，例如用于存储原始的、解码的和/或编码的视频数据。
30.计算机可读介质110可以表示能够将经编码的视频数据从源设备102传输到目标设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地将编码视频数据直接发送到目标设备116的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以调制包括经编码的视频数据的发送信号，并且输入接口122可以解调所接收的发送信号。通信介质可以包括任何无线或有线通信介质，例如射频(rf)频谱或一条或多条物理传输线。通信介质可以形成基于分组的网络的一部分，例如局域网、广域网或诸如互联网的全球网络。通信介质可包括路由器、交换机、基站或可用于促进从源设备102到目标设备116的通信的任何其它设备。
31.在一些示例中，源设备102可以将编码数据从输出接口108输出到存储设备112。类似地，目标设备116可以经由输入接口122从存储设备112访问编码数据。存储设备112可以包括用于存储编码视频数据的各种分布式或本地访问的数据存储介质中的任何一种，例如硬盘驱动器、蓝光光盘、dvd、cd-rom、闪存、易失性或非易失性存储器，或者任何其它合适的数字存储介质。
32.在一些示例中，源设备102可将编码的视频数据输出到文件服务器114或可存储由
源设备102生成的编码视频数据的另一中间存储设备。目标设备116可以经由流式传输或下载访问来自文件服务器114的所存储的视频数据。
33.文件服务器114可以是能够存储编码视频数据并将该编码视频数据发送到目标设备116的任何类型的服务器设备。文件服务器114可以表示web服务器(例如，用于网站)、配置为提供文件传送协议服务(例如，文件传送协议(ftp)或单向传输文件分发(flute)协议)的服务器、内容分发网络(cdn)设备、超文本传送协议(http)服务器，多媒体广播多播服务(mbms)或增强型mbms(embms)服务器和/或网络附接存储(nas)设备。文件服务器114可以附加地或替代地实现一个或多个http流传输协议，例如http上的动态自适应流传输(dash)、http实时流传输(hls)、实时流传输协议(rtsp)、http动态流传输等。
34.目标设备116可以通过包括互联网连接的任何标准数据连接来访问来自文件服务器114的编码视频数据。这可以包括适于访问存储在文件服务器114上的编码视频数据的无线信道(例如，wi-fi连接)、有线连接(例如，数字用户线(dsl)、电缆调制解调器等)或两者的组合。输入接口122可以被配置为根据上面讨论的用于从文件服务器114检索或接收媒体数据的各种协议中的任何一个或多个，或者用于检索媒体数据的其他此类协议来操作。
35.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线网络组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何一种进行操作的无线通信组件或其它物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可被配置为根据蜂窝通信标准(例如4g、4g-lte(长期演进)、高级lte、5g等)来传送数据，例如编码视频数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可被配置为根据其它无线标准(例如ieee 802.11规范、ieee 802.15规范(例如zigbee
tm
)、蓝牙
tm
标准等)来传送数据，例如编码视频数据。在一些示例中，源设备102和/或目标设备116可以包括相应的片上系统(soc)设备。例如，源设备102可以包括用于执行归于视频编码器200和/或输出接口108的功能的soc设备，并且目标设备116可以包括用于执行归于视频解码器300和/或输入接口122的功能的soc设备。
36.本公开的技术可应用于支持各种多媒体应用中的任何一种的视频译码，例如空中电视广播、有线电视传输、卫星电视传输、互联网流视频传输，诸如http上的动态自适应流式传输(dash)、编码到数据存储介质上的数字视频、对存储在数据存储介质上的数字视频的解码或其它应用。
37.目的设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码视频比特流。编码的视频比特流可以包括由视频编码器200定义的信令信息，其也由视频解码器300使用，例如具有描述视频块或其它译码单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示解码的视频数据的解码图片。显示设备118可以表示各种显示设备中的任何一种，例如液晶显示器(lcd)、等离子显示器、有机发光二极管(oled)显示器或另一类型的显示设备。
38.尽管在图1中未示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括适当的mux-demux单元或其它硬件和/或软件，以处理在公共数据流中包括音频和视频两者的复用流。如果适用，mux-demux单元可符合itu h.223复用器协议或诸如用户数据报协议(udp)的其它协议。
39.视频编码器200和视频解码器300各自可以实现为各种合适的编码器和/或解码器
电路中的任何一种，例如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、软件、硬件，固件或其任何组合。当这些技术部分地在软件中实现时，设备可以将用于该软件的指令存储在适当的非暂时性计算机可读介质中，并且使用一个或多个处理器在硬件中执行该指令以执行本公开的技术。视频编码器200和视频解码器300中的每一个可以包括在一个或多个编码器或解码器中，其中任何一个都可以作为组合编码器/解码器(codec)的一部分集成在相应设备中。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备，例如蜂窝电话。
40.视频编码器200和视频解码器300可以根据视频译码标准(例如，itu-th.265，也称为高效视频译码(hevc))或其扩展(例如，多视图和/或可缩放视频译码扩展)来操作。或者，视频编码器200和视频解码器300可以根据其他专有或行业标准(例如，itu-t h.266，也称为通用视频译码(vvc))进行操作。在bross等人的“versatile video coding(draft 10)”(“通用视频译码(草案5)”)，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家组(jvet)，第18次会议：电话会议，2020年6月22日至7月1日，jvet-s2001-va(以下简称“vvc草案10”)中描述了vvc标准草案。然而，本公开的技术不限于任何特定的译码标准。
41.通常，视频编码器200和视频解码器300可以执行基于块的图片译码。术语“块”通常指包括要处理(例如，编码、解码或在编码和/或解码过程中以其它方式使用)的数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对用于图片的样本的红、绿和蓝(rgb)数据进行译码，其中色度分量可以包括红色调和蓝色调色度分量两者。在一些示例中，视频编码器200在编码之前将接收到的rgb格式的数据转换为yuv表示，并且视频解码器300将yuv表示转换为rgb格式。可替代地，预处理单元和后处理单元(未示出)可以执行这些转换。
42.本公开通常可以涉及对图片进行译码(例如，编码和解码)，以包括对图片的数据进行编码或解码的过程。类似地，本公开可涉及对图片的块进行译码，以包括对块的数据进行编码或解码的过程，例如预测和/或残差译码。编码的视频比特流通常包括表示译码决策(例如译码模式)和将图片分割为块的语法元素的一系列值。因此，对图片或块进行译码的引用通常应理解为构成图片或块的语法元素的值进行译码。
43.hevc定义了各种的块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据hevc，视频编码器(例如视频编码器200)根据四叉树结构将译码树单元(ctu)分割为cu。也就是说，视频译码器将ctu和cu分割为四个相等的、不重叠正方形，并且四叉树的每一个节点都有零个或四个子节点。没有子节点的节点可以称为“叶节点”，并且此类叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步分割pu和tu。例如，在hevc中，残差四叉树(rqt)表示对tu的分割。在hevc中，pu表示帧间预测数据，tu表示残差数据。帧内预测的cu包括帧内预测信息，例如帧内模式指示。
44.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc操作。根据vvc，视频译码器(例如视频编码器200)将图片分割成多个译码树单元(ctu)。视频编码器200可以根据树结构(例如四叉树二叉树(qtbt)结构或多类型树(mtt)结构来分割ctu。qtbt
结构消除了多个分割类型的概念，例如hevc的cu、pu和tu之间的分隔。qtbt结构包括两个级别：根据四叉树分割而分割得到的第一级，以及根据二叉树分割而分割得到的第二级。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
45.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割和一种或多种类型的三叉树(tt)(也称三元树(tt))分割来对块进行分割。三叉树或三元树分割是其中块被拆分成三个子块的分割。在一些示例中，三叉树或三元树分割将一个块划分为三个子块，而不通过中心划分初始块。mtt中的分割类型(例如qt、bt和tt)可以是对称或不对称的。
46.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度和色度分量中的每一个，而在其它示例中，视频编码器200和视频解码器300可以使用两个或多个qtbt或mtt结构，例如用于亮度分量的一个qtbt/mtt结构和用于两个色度分量的另一qtbt/mtt结构(或用于各自色度分量的两个qtbt/mtt结构)。
47.视频编码器200和视频解码器300可以配置为使用每hevc四叉树分割、qtbt分割、mtt分割或其它分割结构。出于说明的目的，针对qtbt分割呈现了本公开技术的描述。但是，应该理解的是，本公开的技术也可以应用于配置为使用四叉树分割或者其它类型的分割的视频译码器。
48.在一些示例中，ctu包括亮度样本的译码树块(ctb)、具有三个样本阵列的图片的色度样本的两个对应ctb、或单色图片或使用三个单独的颜色平面和用于译码样本的语法结构进行译码的图片的样本的ctb。ctb可以是针对n的某个值的n
×
n样本块，使得将分量划分为ctb是分割。分量是来自以4：2：0、4：2：2或4：4：4的颜色格式构成图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或者是以单色格式构成图片的阵列或阵列的单个样本。在一些示例中，译码块是针对m和n的一些值的m
×
n样本块，使得将ctb划分为译码块是分割。
49.可以以各种方式在图片中对块(例如ctu或cu)进行分组。例如，砖块(brick)可以指图片中的特定图块(tile)内的ctu行的矩形区。图块可以是图片中在特定图块列和特定图块行内的ctu的矩形区。图块列是指ctu的矩形区，其高度等于图片的高度并且其宽度由语法元素(例如，在图片参数集中)指定。图块行是指ctu的矩形区，其具有由语法元素(例如，在图片参数集中)指定的高度并且其宽度等于图片的宽度。
50.在一些示例中，可以将图块分割成多个砖块，其中每一个砖块可以包括图块内一个或多个ctu行。未分割成多个砖块的图块也可以被称为砖块。然而，作为图块的真子集的砖块不可以被称为图块。
51.图片中的砖块也可以成切片排列。切片可以是图片的砖块的整数倍，这些砖块可以排他地包含在单个网络抽象层(nal)单元中。在一些示例中，切片包括许多完整的图块，或者仅仅一个图块的完整砖块的连续序列。
52.本公开可互换地使用“n
×
n”和“n乘n”来指代块(例如cu或其它视频块)在垂直和水平方面的样本维度，例如16
×
16样本或16乘16样本。一般来说，16
×
16cu在垂直方向上将有16个样本(y＝16)，在水平方向上将有16个样本(x＝16)。同样地，n
×
n cu通常在垂直方向上具有n个样本，在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以排列成行和列。此外，cu在水平方向上不必具有与垂直方向上相同数量的样本例如，cu可以包括n
×
m个样本，其中m不一定等于n。
53.视频编码器200对表示预测和/或残差信息以及其它信息的cu的视频数据进行编码。预测信息指示如何预测cu，从而形成对cu的预测块。残差信息通常表示编码前cu的样本与预测块之间的逐样本差异。
54.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成对cu的预测块。帧间预测通常指从先前译码的图片的数据中预测cu，而帧内预测通常指从相同图片的先前译码的数据中预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动向量来生成预测块。视频编码器200通常可以执行运动搜索，以识别例如就cu和参考块之间的差异而言与cu紧密地匹配的参考块。视频编码器200可以使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)和或其它此类差值计算来计算差值度量，以确定参考块是否与当前cu紧密地匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来对当前cu进行预测。
55.vvc的一些示例还提供了仿射运动补偿模式，该模式可以被视为帧间预测模式。在仿射运动补偿模式中，视频编码器200可以确定表示非平移运动的两个或更多个运动向量，例如放大或缩小、旋转、透视运动或其它不规则运动类型。
56.为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。vvc的一些示例提供了六十七种帧内预测模式，包括各种方向模式，以及平面模式和dc模式。一般地，视频编码器200选择描述到当前块(例如cu的块)的相邻样本的帧内预测模式，以从相邻样本预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对ctu和cu进行译码，则此类样本通常可以在与当前块相同的图片中在当前块的上方、左上侧或左侧。
57.视频编码器200对表示当前块的预测模式的数据进行编码。例如，对于帧间预测模式，视频编码器200可以对表示使用了各种可用的预测模式中的哪一种的数据以及用于对应模式的运动信息进行编码。对于单向或双向帧间预测，例如，视频编码器200可以使用高级运动向量预测(amvp)或合并模式对运动向量进行编码。视频编码器200可以使用类似的模式来对用于仿射运动补偿模式的运动向量进行编码。
58.在诸如块的帧内预测或帧间预测的预测之后，视频编码器200可以计算块的残差数据。残差数据(诸如残差块)表示块与该块的使用相应预测模式形成的预测块之间的逐样本差异。视频编码器200可以将一个或多个变换应用于残差块，以在变换域中而非样本域中产生变换数据。例如，视频编码器200可以将离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。此外，视频编码器200可以在第一变换之后应用二次变换，例如模式依赖的不可分二次变换(mdnsst)、信号依赖的变换、karhun-loeve变换(klt)等。视频编码器200在应用一个或多个变换后产生变换系数。
59.如上所述，在用来产生变换系数的任何变换之后，视频编码器200可以执行变换系数的量化。量化通常指将变换系数进行量化以可能地减少用于表示变换系数的数据量，从而提供进一步的压缩的过程。通过执行量化处理，视频编码器200可以减少与变换系数中的一些或所有相关联的比特深度。例如，视频编码器200可以在量化期间将n比特值向下舍入为m比特值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对待量化的值执行逐比特右移。
60.量化之后，视频编码器200可以对变换系数进行扫描，从包括量化的变换系数的二
维矩阵中产生一维向量。可以将扫描设计为将较高能量(因此频率较低)的系数放在向量的前面，并将较低能量(因此频率较高)的变换系数放在向量的后面。在一些示例中，视频编码器200可以利用预定义的扫描顺序来对量化的变换系数进行扫描以产生序列化的向量，然后对向量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在对量化的变换系数进行扫描以形成一维向量之后，例如根据上下文自适应的二进制算术译码(cabac)，视频编码器200可以对一维向量进行熵编码。视频编码器200还可以对语法元素的值进行熵编码，语法元素描述与编码视频数据相关联的元数据，以由视频解码器300在对视频数据进行解码中使用。
61.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给待发送的符号。上下文可以涉及例如符号的相邻值是否是零值。概率确定可以基于分配给符号的上下文。
62.视频编码器200可以进一步地，诸如在图片报头、块报头、切片报头中，生成至视频解码器300的语法数据，诸如基于块的语法数据、基于图片的语法数据以及基于序列的语法数据，或其他语法数据，诸如序列参数集(sps)、图片参数集(pps)或视频参数集(vps)。视频解码器300可以类似地对此类语法数据进行解码来确定如何对对应的视频数据进行解码。
63.以此方式，视频编码器200可以生成包括编码视频数据的比特流，例如描述将图片分割成块(例如cu)的语法元素以及块的预测和/或残差信息。最终，视频解码器300可以接收比特流并且对编码视频数据进行解码。
64.一般地，视频解码器300执行的是与视频编码器200执行的相反过程，以对比特流的编码视频数据进行解码。例如，视频解码器300可以以与视频编码器200的cabac编码过程基本相似(尽管与之相反)的方式，使用cabac对比特流的语法元素的值进行解码。语法元素可以定义分割信息，该分割信息用于将图片分割为ctu，以及根据诸如qtbt结构的对应分割结构对每一个ctu进行分割来定义ctu的cu。语法元素可以进一步定义视频数据的块(例如cu)的预测和残差信息。
65.残差信息可以由例如量化的变换系数表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以对块的残差块进行再现。视频解码器300使用发信号通知的预测模式(帧内或帧间预测)和相关的预测信息(例如用于帧间预测的运动信息)来形成用于块的预测块。然后，视频解码器300可以(在逐样本的基础上)组合预测块和残差块以对初始块进行再现。视频解码器300可以执行附加处理(诸如执行解块(deblocking)过程)来减少沿块边界的视觉伪影。
66.如上文所讨论，视频编码器200可编码并且视频解码器300可解码变换系数。例如，为了根据hevc执行变换系数译码，视频译码器(例如，视频编码器200和/或视频解码器300)可以按系数组(cg)划分变换系数块(tb),其中每一个cg可以表示4
×
4子块。作为一个示例，32
×
32的tu可以被划分为总共64个cg，并且16
×
16的tu可以被划分为总共16个cg。视频译码器可以cg为单位对tb执行熵译码。视频译码器可根据给定的扫描顺序对tb内的cg进行译码。当对每一个cg进行译码时，视频译码器可根据针对4
×
4块的特定预定义扫描顺序来扫描和译码当前cg内的系数。在jem(联合探索模式(jem)，ieeexplore.ieee.org/document/8861068)中，cg大小可以是4
×
4或2
×
2，这取决于一个tb的高度或宽度是否等于2。图5是示出了在hevc包含4个cg的8
×
8tb的系数扫描的概念图。
67.对于每一个颜色分量，视频译码器可发信号通知一个标志以指示当前tb是否具有至少一个非零系数。例如，视频译码器可发信号通知具有指示当前tb是否具有至少一个非零系数的值的经译码块标志(cbf)或经译码块样式(cpb)。如果存在至少一个非零系数，那么视频译码器可以显式地发信号通知相对于tb左上角的坐标的、系数扫描顺序中最后一个有效系数在tb中的位置。坐标的垂直或水平分量可以由其前缀和后缀表示，其中前缀可以用截断的rice(tr)二进制化，而后缀用固定长度二进制化。
68.利用这种译码的位置以及cg的系数扫描顺序，视频译码器可以发信号通知除了最后一个cg(按照扫描顺序)之外的cg的标志，该标志指示cg是否包含非零系数。对于可能含有非零系数的那些cg，视频译码器可根据预定义的4
×
4系数扫描顺序发信号通知每一个系数的有效标志、系数绝对值和非零系数的符号信息。在hevc变换系数熵译码方案中，如果对符号比特进行译码，则可以总是对其进行旁路译码，即，不应用上下文，并且总是使用等概率(ep)假设针对每个符号比特来译码1比特。
69.下面讨论符号数据隐藏。对于cg，并且取决于标准，当使用符号数据隐藏(sdh)时，视频译码器可以省略对最后一个非零系数(按照反向扫描顺序)的符号进行译码，该最后一个非零系数是前向扫描顺序中的第一个非零系数。相反，符号值可以使用预定义的约定(偶数对应于“+”，奇数对应于
“‑”
)被嵌入到cg的级别之和的奇偶校验中，并从其确定。使用sdh的标准可以是cg的第一个和最后一个非零系数之间按扫描顺序的距离。如果该距离等于或大于阈值(例如，4个样本)，则可以使用sdh。
70.下面讨论系数符号预测。为了提高符号比特信息的译码效率，在文献中提出了系数符号预测方法。在jem之上提出了一种符号预测方法。
71.为了预测一个系数的符号，视频译码器可使用此符号的正值和负值两者来重构变换块(tb)，并且使用候选符号值的每一个块重构可被称为假设重构。视频译码器可通过给定的空域成本函数来评估两个假设重构，并且最小化成本函数的假设给出预测符号值。
72.此外，为了预测tb的多个符号，例如n个符号，视频译码器可以使用候选符号预测值的不同组合来重构tb，这包括总共2n个不同的假设重构。类似地，视频译码器可以通过给定的空域成本函数来评估每个假设，并且最小化成本函数的假设给出预测的符号值组合。
73.成本函数通常使用假设之一来测量先前重构的相邻像素和当前测试的重构块之间的空间不连续性。示出在当前块的块边界处的最平滑像素值转变的假设可被视为最佳预测。
74.图6是示出了系数符号预测的概念图。在图6的示例中，使用假设重构的最左边和最上面的像素来测量成本。
75.视频译码器可根据以下等式来确定成本：
[0076][0077]
在上面的等式中，(2p
x,_1-p
x,_2
)和(2p
_1,y-p
_2,y
)项是预测分量，并且p
x,0
和p
0,y
项是假设重构分量。
[0078]
在图6中描述的特定符号预测方案中，编码器可以最初对tu进行去量化，然后选择将被预测符号的n个系数。可以按光栅扫描顺序扫描系数，并且当收集n个要处理的系数时，
超过定义阈值的去量化值优先于低于该阈值的值。
[0079]
利用这n个值，可以如下所述执行2n个简化的边界重构：n个系数的每个唯一的符号组合进行一次重构。
[0080]
为了降低执行符号预测的复杂性，视频译码器可执行基于模板的假设重构。对于特定的假设重构，视频译码器可根据添加到块预测的逆变换仅重建块的最左边和最上面的像素。虽然第一(垂直)逆变换已经完成，但第二(水平)逆变换只需创建最左边和最上面的像素输出，并且因此速度更快。附加标志“topleft”可以被添加到逆变换函数中以允许这样做。
[0081]
此外，通过使用“模板”系统，减少了执行逆变换操作的次数。以此方式，当预测块中的n个符号时，视频译码器可执行n+1个逆变换操作：
[0082]
1.对去量化的系数进行的单个逆变换，其中所有被预测的符号的值都被设置为正。一旦添加到当前块的预测，这对应于第一假设的边界重构。
[0083]
2.对于其符号已被预测的n个系数中的每一个，对包含相应的去量化(和正)系数作为其唯一非空元素的否则为空的块执行逆变换操作。最左边和最上面的边界值被保存在所谓的“模板”中，供以后重构时使用。
[0084]
对后面的假设进行边界重构可以通过获得先前假设的适当的已保存重构来开始，这只需要将单个预测符号从正变为负，以便构建期望的当前假设。然后，可以通过从对应于被预测符号的模板的假设边界的加倍和减去来近似符号的这种变化。在确定成本值之后，如果已知边界重构将被重新用于构建以后的假设，则保存边界重构。
[0085]
模板名称如何创造t001inv xformsingle+ve 1
st sign-hidden coefft010inv xformsingle+ve 2
nd sign-hidden coefft100inv xformsingle+ve 3
rd sign-hidden coeff
[0086][0087]
上表示出了3符号8条目情况下的保存/恢复和模板应用。注意，这些近似可以仅在符号预测过程中使用，而不是在最终重构过程中使用。
[0088]
对于具有较大幅度的变换系数，符号预测通常提供实现正确预测的更好机会。这是因为具有较大幅度的变换系数的不正确符号预测通常在边界样本平滑度上示出更多差异。
[0089]
利用符号预测，代替对显式符号值进行译码，视频译码器可以对符号预测的正确性进行译码。例如，为了预测实际上具有正值的系数符号，如果预测的符号也是正的，即，符号预测是正确的，那么视频译码器可对“0”仓(bin)进行译码。否则，如果预测的符号是负的，即符号预测不正确，那么视频译码器可对“1”仓进行译码。以此方式，视频译码器可利用变换系数的级别值(幅度)作为对符号预测的正确性进行译码的上下文，因为变换系数的幅度越大倾向于“0”仓机会越高。
[0090]
下面讨论色度残差的联合译码。色度残差联合译码(jccr)是一种对色度残差进行联合译码的视频译码工具。当使用jccr时，针对多个颜色分量发信号通知单个变换系数块。jccr是vvc的一部分，vvc是最新的视频译码标准之一。在vvc，当至少一个色度cbf非零时，支持tu级jccr标志。如果jccr标志为真，则解码器从比特流中解析单个系数块，并从单个残差块中导出色度分量的像素残差块。
[0091]
下面讨论交叉分量线性模型预测(cclm)。cclm是一种减少交叉分量冗余的预测方法。vvc视频译码标准采用了cclm。当使用cclm时，色度预测样本通过对并置的亮度样本应用线性模型来生成，如下式所示：
[0092]
predc(i,j)＝α
·
rec
l
′
(i,j)+β
[0093]
其中predc(i,j)表示cu中的预测色度样本，并且rec
l
(i,j)表示同一cu的下采样重构亮度样本。
[0094]
前述技术可能存在一个或多个缺点。例如，当多个颜色分量的重构样本可能受到当前变换块的影响时(例如，在使用cclm或jccr模式的情况下)，仅考虑一个颜色分量(例如，用于符号预测)可能是次优的。具体地，一个假设重构对于一个颜色分量可能有效，但是对于其他颜色分量效果不佳。
[0095]
根据本公开的技术，视频译码器(例如，视频编码器200和/或视频解码器300)在执行残差译码的符号预测时可考虑多个颜色分量。例如，当对用于产生各自对应于不同颜色分量的多个变换块(例如，cb变换块和cr变换块)的jccr变换块执行符号预测时，视频译码器可基于多个颜色分量执行符号预测。
[0096]
a部分。多个变换块的联合符号预测。作为在符号预测中考虑多个颜色分量的示例，视频译码器可联合执行多个颜色分量的符号预测。可以选择具有相互依赖性的多个颜色分量来执行联合符号预测。颜色分量的选择可以基于预定义的规则和/或比特流中发信号通知的信息。生成所有涉及的颜色分量的假设重构，并从中导出联合成本(cost
joint
)。通过最小化联合成本值来确定所涉及符号的预测值。
[0097]
如上所述，在对具有n个预测符号的单个块进行符号预测的情况下。有2n个不同的符号组合，并且选择其中之一作为预测集。在此示例中，视频译码器可联合执行不同颜色分量的符号预测，所涉及颜色分量的预测符号可经组合以产生预测符号的联合集合，如以下等式(1)中所示。视频译码器可对所有涉及的颜色分量的预测符号集(set
color
)执行联合运算(u)：
[0098][0099]
令n
joint
＝size(set
joint
)，有个不同的符号组合。对于每个组合，生成所有涉及的颜色分量的假设重构，并且基于这些假设重构导出联合成本(cost
joint
)。cost
joint
用作确定的标准，其中选择符号组合为被预测性译码的符号的预测子集。
[0100]
联合集生成的一个特殊情况是当多个涉及的颜色分量共享单个变换块时。例如，当应用色度残差联合译码(jccr)并且对cb和cr联合执行符号预测时，所以将在下面描述这种特殊情况的几个示例。
[0101]
b部分。当前变换块的符号预测。作为在符号预测中考虑多个颜色分量的另一示例，当对单个变换块执行符号预测时，视频译码器可考虑多个分量。当存在依赖于当前颜色分量的(一个或多个)其他颜色分量时，可以应用这个示例。在这种情况下，不仅可以基于当前颜色分量，还可以基于可能受当前颜色分量影响的(一个或多个)其他颜色分量来评估每个假设重构。可以应用导出联合成本(cost
joint
)的不同方法：
[0102]
·
与上面a部分中描述的相同，生成所有涉及的颜色分量的假设重构，并且基于所有这些假设重构导出联合成本。
[0103]
·
对于(一个或多个)所涉及的颜色分量中的一些，生成假设重构用于成本计算。而对于(一个或多个)其他分量，可以应用简化的标准。例如，在vvc中的交叉分量线性模型(cclm)的情况下，基于亮度(y)分量的假设重构，可产生对应(一个或多个)色度分量的(一个或多个)预测块，而不是进一步产生(一个或多个)色度分量的(一个或多个)假设重构，(一个或多个)色度预测块可用于导出联合成本(cost
joint
)。
[0104]
c部分。视频译码器可应用使用基于多个颜色分量的符号预测的一个或多个条件。本公开的技术的示例可定义(一个或多个)规则以确定是否联合进行多个变换块的符号预测(如上文在a部分中所述)，或在对变换块执行当前变换块的符号预测(如上文在b部分中所述)时考虑多个颜色分量。可以为编码器和解码器预先定义(一个或多个)规则，在比特流中发信号通知(一个或多个)规则，或者以组合的方式执行(一个或多个)规则。
[0105]
例如，对于用于vvc中的交叉分量线性模型(cclm)的亮度块，如果对应的色度块具有等于零的经译码块标志(例如，意味着没有非零系数)，那么在亮度块的符号预测中考虑该色度块。在这种情况下，对应色度块的假设重构等于从亮度块的假设重构生成的预测块。当执行亮度块的符号预测时，可能不需要导出色度块的样本残差。
[0106]
d部分。多个颜色分量的联合成本的导出。为了考虑多个颜色分量，可能需要从所有涉及的颜色分量中导出的成本值(称为
‘
联合成本’，cost
joint
)。例如，独立地计算每个所涉及的颜色分量的成本，并且如等式(2)所示，联合成本被导出为所有所涉及的颜色分量的成本值的组合，其中s表示在系数的符号预测译码中所涉及的颜色分量集。不同颜色分量的权重可以是固定的、基于在编码器和解码器侧预定义的(一个或多个)规则导出、或者由在比特流中发信号通知的(一个或多个)语法元素控制。
[0107][0108]
在特殊情况下，其中一个权重可以是1，而所有其他权重都是0。然后联合成本可等效于选择一个颜色分量，并且视频译码器可使用联合成本来执行当前块的符号预测。
[0109]
将本公开的技术并入色度残差联合译码中的示例。在视频译码器中，变换块可以对应于多个颜色分量的像素残差块，例如，vvc(jccr)中的色度残差译码的联合译码。这种情况下，cb和cr分量共享一个变换块。当对一对jccr译码的cb&cr块联合执行符号预测(如a部分中所述)时，set
joint
＝∪
color∈{cb,cr}
set
color
＝set
cb
＝set
cr
，当生成变换块的预测符号时，可以评估所有涉及的颜色分量的假设重构。可以使用导出cost
joint
的不同方法。例如，使用d部分中描述的联合成本cost
joint
导出：
[0110][0111]
其中s表示色度颜色分量，并且w
color
表示颜色分量color的权重。
[0112]
下面描述视频译码器可以如何导出w
color
的几个示例。
[0113]
·
例如，固定值1被用作不同色度颜色格式的成本权重。
[0114]
在这种情况下，联合成本cost
joint
可被导出为：
[0115][0116]
·
作为另一个示例，以特定顺序扫描色度分量(该顺序可以从预定义的规则和/或在比特流中发信号通知的信息中导出)，比特流中具有非零cbf的第一色度分量的权重被设置为1，并且
[0117]
(一个或多个)其他分量使用0。在vvc的情况下，色度分量s＝
[0118]
{cb,cr}，以顺序“1：cb，2：cr”为例，cb和cr的权重导出如下：
[0119]
if(cbf_cb！＝0)
[0120]
{
[0121]wcb
＝1；
[0122]wcr
＝0；
[0123]
}
[0124]
else//cbf
cb
＝＝0&&cbf
cr
！＝0
[0125]
{
[0126]wcb
＝0；
[0127]wcr
＝1；
[0128]
}
[0129]
·
作为又一个示例，还可以基于对应的cbf值导出每个颜色分量的权重。例如，如果颜色分量的cbf值为0，则该颜色分量的权重被设置为0，否则权重被设置为1。在vvc的情况下，
[0130]
色度分量s＝{cb,cr}，并且权重w
cb
，w
cr
被导出如下：
[0131]wcb
＝0；
[0132]wcr
＝0；
[0133]
if(cbf_cb！＝0)
[0134]
{
[0135]wcb
＝1；
[0136]
}
[0137]
if(cbf
cr
！＝0)
[0138]
{
[0139]wcr
＝1；
[0140]
}
[0141]
将本公开的技术并入的示例可并入译码工具(例如cclm、ccp)中。在视频译码器中，可以应用颜色分量之间的预测来利用视频信号的不同颜色分量之间的相关性。例如，hevc范围扩展中的交叉分量预测(ccp)和vvc中的交叉分量线性模型(cclm)。对于特定颜色分量a的变换块，如果存在依赖于a的(一个或多个)其他颜色分量，则可以对a及其依赖的颜色分量两者联合执行变换块的符号预测。在这种情况下，可以应用例如在a部分(例如，对多个颜色分量联合执行符号预测)或b部分(例如，对单个颜色分量执行符号预测，但是考虑对多个颜色分量的影响)中描述的示例。
[0142]
在cclm模式的情况下，由于亮度块用于一个或多个色度分量的cclm模式，本公开的技术可应用于相关的颜色分量。
[0143]
1.例如，对于亮度变换块，如果有一个或多个色度块使用该亮度块来执行cclm模式，则对于亮度分量的每个假设重构，生成并评估(一个或多个)对应色度分量的cclm预测子(假设cclm预测子)。基于亮度分量的假设重构和(一个或多个)色度分量的假设cclm预测子来导出联合成本。可选地，可以应用c部分中描述的条件来控制何时可以使用该实施例。这种条件的一个示例是仅当对应的(一个或多个)色度分量具有cbf＝0时才使用这个示例。(在这种情况下，颜色分量的假设cclm预测子等于假设重构。)
[0144]
2.作为另一示例，对于亮度变换块，如果有一个或多个色度块使用该亮度块来执行cclm模式，则为所有涉及的颜色分量生成假设重构以执行符号预测。在这种情况下，生成(一个或多个)色度分量的残差并被将其添加到假设cclm预测子，以找到色度假设重构。如果(一个或多个)色度分量也使用符号预测。那么联合执行符号预测。
[0145]
3.类似于示例2，当使用cclm时，但仅当色度不使用符号预测时，此示例为亮度和相关色度分量两者生成假设重构。
[0146]
本公开通常可以指“发信号通知”某些信息，诸如语法元素。术语“发信号通知”通常可以指对于语法元素和/或用于对编码视频数据进行解码的其他数据的值的通信。也就是说，视频编码器200可以在比特流中发信号通知语法元素的值。一般地，发信号通知是指在比特流中生成值。如上所述，源设备102可以基本上实时地将比特流传输到目标设备116，或非实时地将比特流传输到目标设备116，诸如在将语法元素存储到存储设备112以供以后由目标设备116检索时可能发生。
[0147]
图2a和图2b是示出了示例四叉树二叉树(qtbt)结构130和对应的译码树单元(ctu)132的概念图。实线表示四叉树分割，并且虚线指示二叉树分割。在二叉树的每一个拆
分(即非叶)节点中，发信号通知一个标志以指示使用哪种拆分类型(即水平或垂直)，其中在本示例中0指示水平拆分，而1指示垂直拆分。对于四叉树拆分，由于四叉树节点将块水平和垂直地拆分为尺寸相等的4个子块，因此无需指示拆分类型。相应地，视频编码器200和视频解码器300可以分别地对用于qtbt结构130的区域树级别(即实线)的语法元素(例如拆分信息)和用于qtbt结构130的预测树级别(即虚线)的语法元素(例如拆分信息)进行编码和解码。视频编码器200和视频解码器300可以分别地对针对由qtbt结构130的终端叶节点表示的cu的视频数据(诸如预测和变换数据)进行编码和解码。
[0148]
一般地，图2b的ctu132可以与参数相关联，这些参数定义与第一和第二级别的qtbt结构130的节点相对应的块的尺寸。这些参数可以包括ctu尺寸(表示样本中ctu 132的尺寸)、最小四叉树尺寸(minqtsize，表示最小允许四叉树叶节点尺寸)、最大二叉树尺寸(maxbtsize，表示最大允许二叉树根节点尺寸)、最大二叉树深度(maxbtdepth，表示最大允许二叉树深度)和最小二叉树尺寸(minbtsize，表示最小允许二叉树叶节点尺寸)。
[0149]
与ctu相对应的qtbt结构的根节点可以在qtbt结构的第一级别具有四个子节点，每一个子节点可以根据四叉树分割来分割。也就是说，第一级别的节点是叶节点(没有子节点)或具有四个子节点。qtbt结构130的示例表示这样的节点，其包括父节点和具有实线分支的子节点。如果第一级的节点不大于最大允许二进制树根节点尺寸(maxbtsize)，则可以通过相应的二进制树进一步分割节点。可以对一个节点的二叉树分割进行迭代，直到分割生成的节点达到最小允许二叉树叶节点尺寸(minbtsize)或最大允许二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有虚线分支。二叉树叶节点称为译码单元(cu)，其用于预测(例如图片内或图片间预测)和变换，而无需任何进一步分割。如上面讨论的，cu也可以称为“视频块”或“块”。
[0150]
在qtbt分割结构的一个示例中，ctu尺寸被设置为128
×
128(亮度样本和两个对应的64
×
64色度样本)、minqtsize被设置为16
×
16、maxbtsize被设置为64
×
64、minbtsize(针对宽度和高度两者)被设置为4、并且maxbtdepth被设置为4。首先将四叉树分割应用于ctu来生成四叉树叶节点。四叉树叶节点的尺寸可以从16
×
16(即minqtsize)到128
×
128(即ctu尺寸)。如果四叉树叶节点是128
×
128，则叶四叉树节点不会被二叉树进一步拆分，因为其尺寸超过了maxbtsize(在此示例中，即，64
×
64)。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，且具有二叉树深度为0。当二叉树深度达到maxbtdepth(在此示例中为4)时，不允许进一步拆分。具有宽度等于minbtsize(在本例中为4)的二叉树节点意味着不允许对该二叉树节点进行进一步的垂直拆分(即，宽度的划分)。类似地，具有高度等于minbtsize的二叉树节点意味着不允许对该二叉树节点进行进一步的水平拆分(即，高度的划分)。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换对其进行进一步处理而无需进一步分割。
[0151]
图3是示出了可以执行本公开的技术的示例视频编码器200的框图。图3是为了说明的目的而提供的，并且不应被认为是对本公开中广泛例示和描述的技术的限制。为了说明的目的，本公开描述了根据vvc(itu-th.266，正在开发)和hevc(itu-th.265)的技术的视频编码器200。然而，本公开的技术可以由配置成其它视频译码标准的视频编码设备来执行。
[0152]
在图3的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差
生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、解码图片缓冲器(dpb)218，以及熵编码单元220。视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、滤波器单元216、dpb 218和熵编码单元220中的任一个或全部可以在一个或多个处理器或处理电路中实施。例如，视频编码器200的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、asic或fpga的一部分。此外，视频编码器200可包括附加或替代的处理器或处理电路以执行这些和其他功能。
[0153]
视频数据存储器230可以存储要由视频编码器200的组件进行编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储用于由视频编码器200预测后续视频数据的参考视频数据。视频数据存储器230和dpb 218可以由多种存储器设备中的任何一种形成，例如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram(rram)，或其它类型的存储器设备。视频数据存储器230和dpb 218可以由相同的存储器设备或单独的存储器设备提供。在各种示例中，如图所示，视频数据存储器230可以与视频编码器200的其它组件一起位于芯片上，或者相对于那些组件在芯片之外。
[0154]
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器，除非具体描述为这样，或者限于视频编码器200外部的存储器，除非具体描述为这样。相反，对视频数据存储器230的引用应当理解为引用存储视频编码器200接收的用于编码的视频数据(例如，用于要编码的当前块的视频数据)的存储器。图1的存储器106还可以提供来自视频编码器200的各个单元的输出的临时存储。
[0155]
示出图3的各个单元以帮助理解由视频编码器200执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并预设了能够执行的操作的电路。可编程电路是指可编程以执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可执行使可编程电路以由软件或固件的指令所定义的方式操作的软件或固件。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
[0156]
视频编码器200可以包括算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在使用由可编程电路执行的软件执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收和执行的软件的指令(例如，目标代码)，或者视频编码器200内的另一存储器(未示出)可以存储这样的指令。
[0157]
视频数据存储器230被配置成存储接收到的视频数据。视频编码器200可以从视频数据存储器230检索视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是要编码的原始视频数据。
[0158]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加功能单元以根据其他预测模式执行视频预测。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动
补偿单元224的一部分)、仿射单元、线性模型(lm)单元等。
[0159]
模式选择单元202通常协调多个编码遍次(pass)，以测试编码参数的组合和所得到的用于这种组合的率失真值。编码参数可以包括将cti分割为cu、cu的预测模式、cu的残差数据的变换类型、cu的残差数据的量化参数等。模式选择单元202可最终选择具有比其它经测试的组合更好的率失真值的编码参数的组合。
[0160]
视频编码器200可将从视频数据存储器230检索到的图片分割成一系列ctu，并将一个或多个ctu封装在切片内。模式选择单元202可以根据树结构(例如上述hevc的qtbt结构或四叉树结构)来分割图片的ctu。如上所述，视频编码器200可以根据树结构通过分割ctu来形成一个或多个cu。这样的cu通常也可以被称为“视频块”或“块”[0161]
一般地，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成对当前块(例如，当前cu，或在hevc中，pu和tu的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以识别一个或多个参考图片(例如，dpb 218中存储的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差和(sad)、平方差和(ssd)、平均绝对差(mad)、平均平方差(msd)等来计算表示潜在参考块与当前块的相似程度的值。运动估计单元222通常可以使用当前块和正被考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以识别具有从这些计算得到的最低值的参考块，该最低值指示与当前块最紧密匹配的参考块。
[0162]
运动估计单元222可以形成一个或多个运动向量(mv)，其相对于当前图片中的当前块的位置来定义参考图片中的参考块的位置。然后，运动估计单元222可以将运动向量提供给运动补偿单元224。例如，对于单向帧间预测，运动估计单元222可以提供单个运动向量，而对于双向帧间预测，运动估计单元222可以提供两个运动向量。然后，运动补偿单元224可以使用运动向量生成预测块。例如，运动补偿单元224可以使用运动向量来检索参考块的数据。作为另一示例，如果运动向量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值滤波器对预测块的值进行插值。此外，对于双向帧间预测，运动补偿单元224可以检索由各自的运动向量识别的两个参考块的数据，并且例如通过逐样本平均或加权平均来组合检索到的数据。
[0163]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以从与当前块相邻的样本生成预测块。例如，对于方向模式，帧内预测单元226通常可以在数学上组合相邻样本的值，并在跨当前块的定义方向上填充这些计算值以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算到当前块的相邻样本的平均值，并且生成预测块以包括预测块的每个样本的该结果平均值。
[0164]
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始的未编码的版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样本差。产生的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可以确定残差块中的样本值之间的差，以使用残差差分脉冲代码调制(rdpcm)生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
[0165]
在模式选择单元202将cu分割为pu的示例中，每个pu可以与亮度预测单元和对应
的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种尺寸的pu。如上所述，cu的尺寸可以指cu的亮度译码块的尺寸，而pu的尺寸可以指pu的亮度预测单元的尺寸。假设特定cu的尺寸为2n
×
2n，视频编码器200可支持用于帧内预测的2n
×
2n或n
×
n的pu尺寸，以及用于帧间预测的2n
×
2n、2n
×
n、n
×
2n、n
×
n或类似的对称pu尺寸。视频编码器200和视频解码器300还可以支持用于帧间预测的2n
×
nu、2n
×
nd、nl
×
2n和nr
×
2n的pu尺寸的不对称分割。
[0166]
在模式选择单元202不进一步将cu分割为pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的尺寸可以参考cu的亮度译码块的尺寸。视频编码器200和视频解码器300可以支持2n
×
2n、2n
×
n或n
×
2n的cu尺寸。
[0167]
对于其他视频译码技术，诸如作为一些示例的块内复制模式译码、仿射模式译码和线性模型(lm)模式译码，模式选择单元202经由与译码技术相关联的各个单元，为当前被编码的块生成预测块。在一些示例中，例如调色板模式译码，模式选择单元202可以不生成预测块，而是生成语法元素，这些语法元素指示基于选择的调色板重构块的方式。在这种模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220来进行编码。
[0168]
如上所述，残差生成单元204接收当前块和相应的预测块的视频数据。残差生成单元204随后为当前块生成残差块。为了生成残差块，残差生成单元204计算预测块和当前块之间的逐样本差。
[0169]
变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(这里称为“变换系数块”)。变换处理单元206可以将各种变换应用于残差块以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(dct)、方向变换、karhunen-loeve变换(klt)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如主变换和诸如旋转变换的次级变换。在一些示例中，变换处理单元206不将变换应用于残差块。
[0170]
量化单元208可以对变换系数块中的变换系数进行量化，以生成量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值对变换系数块的变换系数进行量化。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用于与当前块相关联的变换系数块的量化程度。量化可以引入信息丢失，因此，量化的变换系数可能比由变换处理单元206产生的原始变换系数具有更低的精度。
[0171]
逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于重构的残差块和由模式选择单元202生成的预测块，来产生与当前块相对应的重构块(尽管可能具有一定程度的失真)。例如，重构单元214可以将重构的残差块的样本添加到来自由模式选择单元202生成的预测块的对应样本中，以产生重构块。
[0172]
滤波单元216可以对重构块执行一个或多个滤波操作。例如，滤波器单元216可以执行解块操作以减少沿cu的边缘的块状伪影。在一些示例中，可以跳过滤波器单元216的操作。
[0173]
视频编码器200将重构块存储在dpb 218中。例如，在不执行滤波单元216的操作的示例中，重构单元214可以将重构块存储到dpb 218。在执行滤波单元216的操作的示例中，滤波单元216可以将滤波后的重构块存储到dpb 218。运动估计单元222和运动补偿单元224
可以从dpb 218检索由重构的(和潜在地滤波的)块形成的参考图片，以对随后编码的图片的块进行帧间预测。另外，帧内预测单元226可以使用当前图片的dpb 218中的重构块来对当前图片中的其它块进行帧内预测。
[0174]
一般地，熵编码单元220可以对从视频编码器200的其他功能组件接收的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一示例的语法元素执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以执行上下文自适应可变长度译码(cavlc)操作、cabac操作、变量到变量(v2v)长度编码操作、基于语法的上下文自适应二进制算术译码(sbac)操作、概率间隔分割熵(pipe)编码操作，指数-golomb编码操作，或对数据的另一种类型的熵编码操作。在一些示例中，熵编码单元220可以在语法元素未经熵编码的旁路模式中操作。
[0175]
视频编码器200可以输出比特流，该比特流包括重构切片或图片的块所需的熵编码的语法元素。具体地，熵编码单元220可以输出比特流。
[0176]
上述操作是关于块进行描述的。这种描述应当理解为用于亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是pu的亮度和色度分量。
[0177]
在一些示例中，对于色度译码块，不需要重复针对亮度译码块执行的操作。作为一个示例，为了识别色度块的运动向量(mv)和参考图片，不需要重复用于识别亮度译码块的运动向量(mv)和参考图片的操作。而是，可以缩放亮度译码块的mv以确定色度块的mv，并且参考图片可以相同。作为另一示例，对于亮度译码块和色度译码块，帧内预测处理可以是相同的。
[0178]
视频编码器200表示被配置为编码视频数据的设备的示例，包括存储器，被配置为存储视频数据，以及一个或多个处理单元，在电路中实施并被配置为基于视频数据块的多个颜色分量来预测视频数据块的颜色分量的残差数据的符号；并且基于预测的符号来重构视频数据块。
[0179]
图4是示出了可以执行本公开的技术的示例视频解码器300的框图。图4是为了说明的目的而提供的，并且不限制在本公开中广泛例示和描述的技术。为了说明的目的，本公开描述了根据vvc(itu-th.266，正在开发)和hevc(itu-th.265)的技术的视频解码器300。然而，本公开的技术可以由配置成其它视频译码标准的视频译码设备来执行。
[0180]
在图4的示例中，视频解码器300包括译码图片缓冲(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和解码图片缓冲器(dpb)314。cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、滤波器单元312和dpb 314中的任一个或全部可以在一个或多个处理器或处理电路中实施。例如，视频解码器300的单元可以实施为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、asic或fpga的一部分。此外，视频解码器300可包括附加或替代的处理器或处理电路以执行这些和其他功能。
[0181]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调
色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其它示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0182]
cpb存储器320可以存储要由视频解码器300的组件进行解码的视频数据，例如编码的视频比特流。存储在cpb存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。cpb存储器320可以包括存储来自编码的视频比特流的编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储译码图片的语法元素以外的视频数据，例如表示来自视频解码器300的各个单元的输出的临时数据。dpb 314通常存储解码的图片，视频解码器300在对编码视频比特流的后续数据或图片进行解码时，可以输出解码的图片和/或将其用作参考视频数据。cpb存储器320和dpb 314可以由多种存储器设备中的任何一种形成，例如dram，包括sdram、mram、rram，或其他类型的存储器设备。cpb存储器320和dpb 314可以由相同的存储器设备或单独的存储器设备提供。在各种示例中，cpb存储器320可以与视频解码器300的其它组件一起位于芯片上，或者相对于那些组件在芯片之外。
[0183]
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)检索译码的视频数据。也就是说，存储器120可以如上与cpb存储器320讨论的那样存储数据。同样地，当视频解码器300的一些或全部功能在由视频解码器300的处理电路执行的软件中实现时，存储器120可以存储要由视频解码器300执行的指令。
[0184]
示出图4中所示的各种单元以帮助理解视频解码器300执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。与图3类似，固定功能电路是指提供特定功能并且预设了能够执行的操作的电路。可编程电路是指可编程以执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可执行使可编程电路以由软件或固件的指令所定义的方式操作的软件或固件。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作类型通常是不变的。在一些示例中，一个或多个单元可以是不同的电路块(固定功能或可编程的)，并且在一些示例中，一个或多个单元可以是集成电路。
[0185]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上或片外存储器可以存储视频解码器300接收和执行的软件的指令(例如，目标代码)。
[0186]
熵解码单元302可以从cpb接收编码的视频数据，并且对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和滤波器单元312可以基于从比特流提取的语法元素生成解码的视频数据。
[0187]
一般地，视频解码器300在逐块地基础上重构图片。视频解码器300可以单独地对每个块执行重构操作(其中当前正在重构的(即解码的)块可以被称为“当前块”)。
[0188]
熵解码单元302可以对定义量化变换系数块的量化的变换系数的语法元素以及诸如量化参数(qp)和/或变换模式指示的变换信息进行熵解码。逆量化单元306可以使用与量化的变换系数块相关联的qp来确定量化程度，并且同样地，确定逆量化程度以供逆量化单元306应用。逆量化单元306例如可以执行逐比特左移操作以对量化的变换系数进行逆量化。逆量化单元306由此可以形成包括变换系数的变换系数块。
[0189]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对
变换系数块应用逆dct、逆整数变换、逆karhunen-loeve变换(klt)、逆旋转变换、逆方向变换或另一逆变换。
[0190]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素来生成预测块。例如，如果预测信息语法元素指示当前块是被帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示要从中检索参考块的dpb 314中的参考图片，以及相对于当前图片中的当前块的位置识别参考图片中的参考块的位置的运动向量。运动补偿单元316通常可以以与关于运动补偿单元224(图3)描述的方式基本相似的方式来执行帧间预测处理。
[0191]
作为另一示例，如果预测信息语法元素指示当前块是被帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图3)描述的方式基本相似的方式来执行帧内预测处理。帧内预测单元318可以从dpb 314检索到当前块的相邻样本的数据。
[0192]
重构单元310可以使用预测块和残差块重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的对应样本中，以重构当前块。
[0193]
滤波单元312可以对重构块执行一个或多个滤波操作。例如，滤波器单元312可以执行解块操作，以减少沿重构块的边缘的块状伪影。不一定在所有示例中都执行滤波器单元312的操作。
[0194]
视频解码器300可以将重构块存储在dpb 314中。例如，在不执行滤波单元312的操作的示例中，重构单元310可以将重构块存储到dpb 314。在执行滤波单元312的操作的示例中，滤波单元312可以将滤波后的重构块存储到dpb 314。如上所述，dpb 314可以向预测处理单元304提供参考信息，例如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码的图片。此外，视频解码器300可以从dpb 314输出解码的图片(例如，解码的视频)，用于随后在诸如图1的显示设备118上呈现。
[0195]
以此方式，视频解码器300表示视频解码设备的示例，包括存储器，被配置为存储视频数据，以及一个或多个处理单元，在电路中实施并被配置为基于视频数据块的多个颜色分量来预测视频数据块的颜色分量的残差数据的符号；并且基于预测的符号来重构视频数据块。
[0196]
图7是示出了根据本公开的技术的用于编码当前块的示例方法的流程图。当前块可以包括当前cu。尽管关于视频编码器200(图1和图3)进行描述，但应理解，其它设备可以被配置为执行与图7的方法类似的方法。
[0197]
在本示例中，视频编码器200最初预测当前块(350)。例如，视频编码器200可以形成当前块的预测块。然后，视频编码器200可以计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算当前块的原始、未编码的块和预测块之间的差。然后，视频编码器200可以变换残差块并量化残差块的变换系数(354)。接下来，视频编码器200可以对残差块的量化的变换系数进行扫描(356)。在扫描期间或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用cavlc或cabac对变换系数进行编码。然后，视频编码器200可以输出块的熵编码的数据(360)。
[0198]
图8是示出了根据本公开的技术的用于解码当前视频数据块的示例方法的流程图。当前块可以包括当前cu。尽管关于视频解码器300(图1和图4)进行描述，但应理解，其它
设备可以被配置为执行与图8的方法类似的方法。
[0199]
视频解码器300可以接收当前块的熵编码的数据，例如对应于当前块的残差块的变换系数的熵编码的预测信息和熵编码的数据(370)。视频解码器300可以对熵编码的数据进行熵解码，以确定当前块的预测信息，并再现残差块的变换系数(372)。视频解码器300可以预测当前块，例如，使用由当前块的预测信息指示的帧内或帧间预测模式，以计算当前块的预测块(374)。然后，视频解码器300可以对再现的变换系数进行反向扫描，以创建量化的变换系数块(376)。然后，视频解码器300可以逆量化变换系数并将逆变换应用于变换系数以产生残差块(378)。视频解码器300可以通过组合预测块和残差块来最终对当前块进行解码(380)。
[0200]
图9是示出了根据本公开的技术的使用基于多个颜色分量的符号预测解码当前块的示例方法的流程图。当前块可以包括当前变换块(tu)。尽管关于视频解码器300(图1和图4)进行描述，但应理解，其它设备可以被配置为执行与图9的方法类似的方法。例如，视频编码器200(图1和图3)可被配置为执行类似于图9的方法的方法(例如，通过逆变换处理单元212)。
[0201]
视频解码器300可基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测视频数据块的联合残差块的多个系数中的系数的符号(902)。例如，视频解码器300的逆变换处理单元308可产生多个假设重构，包括符号为正的第一假设重构和符号为负的第二假设重构。逆变换处理单元308可使用成本函数来评估多个假设重构，并选择对应于具有最低成本值的假设重构的符号作为系数的预测符号。
[0202]
为了使用成本函数来预测符号，逆变换处理单元308可以确定多个颜色分量的联合成本值。例如，由于联合残差块的系数的预测符号影响基于联合残差块产生的多个颜色分量的残差块(例如，cb残差块和cr残差块)，因此逆变换处理单元308可评估多个颜色分量的成本。在一些示例中，逆变换处理单元308可通过至少将联合成本值确定为多个颜色分量的成本值的加权和来确定联合成本值。例如，逆变换处理单元308可至少通过以下方式来确定联合成本值：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。作为一个具体示例，逆变换处理单元308可根据以下等式来确定联合成本值：
[0203][0204]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是该特定颜色分量的成本值。
[0205]
如上面讨论的，逆变换处理单元308可以确定多个颜色分量的权重(例如w
color
)。例如，逆变换处理单元308可确定第一颜色分量(例如，cb)的第一权重，并且确定第二颜色分量(例如，cr)的第二权重。在一些示例中，逆变换处理单元308可基于包括cb颜色分量和cr颜色分量的多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)来确定权重。作为一个示例，在cb颜色分量按扫描顺序在cr颜色分量之前被扫描的情况下，逆变换处理单元308可响应于确定cb颜色分量具有非零cbf，而确定第一权重为1且第二权重为0。作为另一示例，在cb颜色分量按扫描顺序在cr颜色分量之前被扫描的情况下，
逆变换处理单元308可响应于确定cb颜色分量具有零cbf且cr颜色分量具有非零cbf，而确定第一权重为0且第二权重为1。作为又一示例，响应于确定cb颜色分量具有非零cbf，逆变换处理单元308可确定第一权重为1，并且响应于确定cr颜色分量具有非零cbf，逆变换处理单元308可确定第二权重为1。
[0206]
如上面讨论的，逆变换处理单元308可确定多个联合成本值(例如，多个假设)以预测联合残差块的系数的符号。例如，逆变换处理单元308可以针对负符号确定多个颜色分量的第一联合成本值(例如，在符号为负的情况下执行重构)；并且针对正符号确定多个颜色分量的第二联合成本值(例如，在符号为正的情况下执行重构)。如上所述，为了确定成本值，逆变换处理单元308可以选择与最有利(例如，最低)的联合成本值相对应的符号。作为一个示例，响应于确定第一联合成本值(例如，针对负符号的联合成本值)小于第二联合成本值(例如，针对正符号的联合成本值)，逆变换处理单元308可预测符号为负。作为另一示例，响应于确定第二联合成本值小于第一联合成本值，逆变换处理单元308可预测符号为正。
[0207]
虽然上文描述为针对联合残差块的多个系数中的单个系数执行，但在一些示例中，逆变换处理单元308可执行类似过程来预测联合残差块的多个系数中的其它系数的符号。通过基于多个颜色分量来预测一个或多个符号，本公开的技术可实现视频数据的更高效信令。具体地，可由本公开的技术产生的更准确的符号预测可减少需要在比特流中发信号通知的符号的数量。
[0208]
逆变换处理单元308可针对多个颜色分量中的每个相应颜色分量并且基于联合残差块的多个系数，来产生多个残差块中的相应残差块的系数(904)。例如，逆变换处理单元308可根据vvc支持的三个子模式中的一个来产生cb残差块和cr残差块。逆变换处理单元308可从色度分量的cbf值的组合中导出子模式索引。如果cbf_cb＝＝1且cbf_cr＝＝0，则子模式索引为1。如果cbf_cb＝＝1且cbf_cr＝＝1，则子模式索引为2。否则(cbf_cb＝＝0且cbf_cr＝＝1)，子模式索引为3。下表示出了逆变换的联合系数块(resjointc)如何转换为cb和cr的像素残差(rescb和rescr)。
[0209][0210]
逆变换处理单元308可从图片报头中的ph_joint_cbcr_sign_flag导出csign的值：
[0211]
csign＝1
–
2*ph_joint_cbcr_sign_flag
[0212]
逆变换处理单元308可基于多个残差块来重构视频数据块(906)。例如，类似于图8
的操作380，重构单元310可将颜色分量的相应重构预测块与其相应残差块组合。例如，重构单元310可将cb残差块的值与cb预测块的值(例如，由预测处理单元304产生)相加以产生重构的cb块，并将cr残差块的值与cr预测块的值(例如，由预测处理单元304产生)相加以产生重构的cr块。
[0213]
以下编号的条款可以说明本公开的一个或多个方面：
[0214]
条款1a.一种译码视频数据的方法，该方法包括：基于视频数据块的多个颜色分量，预测视频数据块的颜色分量的残差数据的符号；以及基于预测的符号重构视频数据块。
[0215]
条款2a.根据条款1a的方法，其中预测符号包括：联合预测视频数据块的多个颜色分量的符号。
[0216]
条款3a.根据条款2a的方法，其中联合预测符号包括：确定多个颜色分量的联合成本值；以及基于所确定的联合成本值来预测多个颜色分量的符号。
[0217]
条款4a.根据条款3a的方法，其中确定联合成本值包括根据以下等式确定联合成本值：
[0218][0219]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是特定颜色分量的成本值。
[0220]
条款5a.根据条款1a至4a中任一条款的方法，其中译码包括解码。
[0221]
条款6a.根据条款1a至5a中任一条款的方法，其中译码包括编码。
[0222]
条款7a.一种用于译码视频数据的设备，该设备包括一个或多个用于执行条款1a至6a中任一条款的方法的部件。
[0223]
条款8a.根据条款7a的设备，其中一个或多个部件包括在电路中实施的一个或多个处理器。
[0224]
条款9a.根据条款6a和8a中任一条款的设备，还包括用于存储视频数据的存储器。
[0225]
条款10a.根据条款6a至9a中任一条款的设备，还包括被配置为显示解码的视频数据的显示器。
[0226]
条款11a.根据条款6a至10a中任一条款的设备，其中该设备包括照相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
[0227]
条款12a.根据条款6a至11a中任一条款的设备，其中设备包括视频解码器。
[0228]
条款13a.根据条款6a至12a中任一条款的设备，其中设备包括视频编码器。
[0229]
条款14a.一种其上存储有指令的计算机可读存储介质，当执行该指令时，使得一个或多个处理器执行条款1a至6a中任一条款的方法。
[0230]
条款1b.一种解码视频数据的方法，该方法包括：基于使用色度残差联合译码(jccr)译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0231]
条款2b.根据条款1b的方法，其中预测符号包括：确定多个颜色分量的联合成本值；以及基于联合成本值预测符号。
[0232]
条款3b.根据条款2b的方法，其中确定联合成本值包括将联合成本值确定为多个颜色分量的成本值的加权和。
[0233]
条款4b.根据条款3b的方法，其中将联合成本值确定为多个颜色分量的成本值的加权和包括根据以下等式确定联合成本值：
[0234][0235]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是特定颜色分量的成本值。
[0236]
条款5b.根据条款3b的方法，还包括：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0237]
条款6b.根据条款5b的方法，其中确定第一权重和第二权重包括：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定第一权重和第二权重。
[0238]
条款7b.根据条款6b的方法，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0239]
条款8b.根据条款7b的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0240]
条款9b.根据条款7b的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0241]
条款10b.根据条款7b的方法，还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1；以及响应于确定cr颜色分量具有非零cbf，确定第二权重为1。
[0242]
条款11b.根据条款2b的方法，其中确定多个颜色分量的联合成本值包括：针对负符号确定多个颜色分量的第一联合成本值；以及针对正符号确定多个颜色分量的第二联合成本值，其中预测残差数据的符号包括：响应于确定第一联合成本值小于第二联合成本值，预测符号为负；以及响应于确定第二联合成本值小于第一联合成本值，预测符号为正。
[0243]
条款12b.一种编码视频数据的方法，该方法包括：基于使用色度残差联合译码(jccr)译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0244]
条款13b.根据条款12b的方法，其中预测符号包括：确定多个颜色分量的联合成本值；以及基于联合成本值预测符号。
[0245]
条款14b.根据条款13b的方法，其中确定联合成本值包括将联合成本值确定为多个颜色分量的成本值的加权和。
[0246]
条款15b.根据条款14b的方法，其中将联合成本值确定为多个颜色分量的成本值的加权和包括根据以下等式确定联合成本值：
[0247][0248]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是特定颜色分量的成本值。
[0249]
条款16b.根据条款14b的方法，还包括：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0250]
条款17b.根据条款16b的方法，其中确定第一权重和第二权重包括：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定第一权重和第二权重。
[0251]
条款18b.根据条款17b的方法，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0252]
条款19b.根据条款18b的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0253]
条款20b.根据条款18b的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0254]
条款21b.根据条款18b的方法，还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1；以及响应于确定cr颜色分量具有非零cbf，确定第二权重为1。
[0255]
条款22b.根据条款13b的方法，其中确定多个颜色分量的联合成本值包括：针对负符号确定多个颜色分量的第一联合成本值；以及针对正符号确定多个颜色分量的第二联合成本值，其中预测残差数据的符号包括：响应于确定第一联合成本值小于第二联合成本值，预测符号为负；以及响应于确定第二联合成本值小于第一联合成本值，预测符号为正。
[0256]
条款23b.一种用于解码视频数据的设备，该设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0257]
条款24b.根据条款23b的设备，其中，为了预测符号，一个或多个处理器被配置为：确定多个颜色分量的联合成本值；并且基于联合成本值预测符号。
[0258]
条款25b.根据条款24b的设备，其中，为了确定联合成本值，一个或多个处理器被配置为将联合成本值确定为多个颜色分量的成本值的加权和。
[0259]
条款26b.根据条款25b的设备，其中一个或多个处理器还被配置为：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0260]
条款27b.根据条款26b的设备，其中，为了确定第一权重和第二权重，一个或多个处理器被配置为：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码
块标志(cbf)，确定第一权重和第二权重。
[0261]
条款28b.根据条款27b的设备，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0262]
条款29b.根据条款28b的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0263]
条款30b.根据条款28b的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0264]
条款31b.一种用于编码视频数据的设备，该设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0265]
条款32b.根据条款31b的设备，其中，为了预测符号，一个或多个处理器被配置为：确定多个颜色分量的联合成本值；并且基于联合成本值预测符号。
[0266]
条款33b.根据条款32b的设备，其中，为了确定联合成本值，一个或多个处理器被配置为将联合成本值确定为多个颜色分量的成本值的加权和。
[0267]
条款34b.根据条款33b的设备，其中一个或多个处理器还被配置为：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0268]
条款35b.根据条款34b的设备，其中，为了确定第一权重和第二权重，一个或多个处理器被配置为：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定第一权重和第二权重。
[0269]
条款36b.根据条款35b的设备，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0270]
条款37b.根据条款36b的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0271]
条款38b.根据条款36b的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0272]
条款39b.一种用于译码视频数据的设备，该设备包括：用于基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号的部件；用于针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数的部件；以及用于基于多个残差块来重构视频数据块的部件。
[0273]
条款40b.一种存储指令的计算机可读存储介质，该指令在被执行时使得视频译码器的一个或多个处理器：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜
色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0274]
条款1c.一种解码视频数据的方法，该方法包括：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0275]
条款2c.根据条款1c的方法，其中预测符号包括：确定多个颜色分量的联合成本值；以及基于联合成本值预测符号。
[0276]
条款3c.根据条款2c的方法，其中确定联合成本值包括将联合成本值确定为多个颜色分量的成本值的加权和。
[0277]
条款4c.根据条款3c的方法，其中将联合成本值确定为多个颜色分量的成本值的加权和包括根据以下等式确定联合成本值：
[0278][0279]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是特定颜色分量的成本值。
[0280]
条款5c.根据条款3c或4c的方法，还包括：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0281]
条款6c.根据条款5c的方法，其中确定第一权重和第二权重包括：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf),确定第一权重和第二权重。
[0282]
条款7c.根据条款6c的方法，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0283]
条款8c.根据条款7c的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0284]
条款9c.根据条款7c或8c的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0285]
条款10c.根据条款7c的方法，还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1；以及响应于确定cr颜色分量具有非零cbf，确定第二权重为1。
[0286]
条款11c.根据条款2c至10c中任一条款的方法，其中确定多个颜色分量的联合成本值包括：针对负符号确定多个颜色分量的第一联合成本值；以及针对正符号确定多个颜色分量的第二联合成本值，其中预测残差数据的符号包括：响应于确定第一联合成本值小于第二联合成本值，预测符号为负；以及响应于确定第二联合成本值小于第一联合成本值，预测符号为正。
[0287]
条款12c.一种编码视频数据的方法，该方法包括：基于使用色度残差联合译码
(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0288]
条款13c.根据条款12c的方法，其中预测符号包括：确定多个颜色分量的联合成本值；以及基于联合成本值预测符号。
[0289]
条款14c.根据条款13c的方法，其中确定联合成本值包括将联合成本值确定为多个颜色分量的成本值的加权和。
[0290]
条款15c.根据条款14c的方法，其中将联合成本值确定为多个颜色分量的成本值的加权和包括根据以下等式确定联合成本值：
[0291][0292]
其中cost
joint
是联合成本值，w
color
是多个颜色分量中的特定颜色分量的权重，s表示包括多个颜色分量的集合，并且cost
color
是特定颜色分量的成本值。
[0293]
条款16c.根据条款14c或15c的方法，还包括：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0294]
条款17c.根据条款16c的方法，其中确定第一权重和第二权重包括：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf),确定第一权重和第二权重。
[0295]
条款18c.根据条款17c的方法，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0296]
条款19c.根据条款18c的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0297]
条款20c.根据条款18c或19c的方法，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，该方法还包括：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0298]
条款21c.根据条款18c的方法，还包括：响应于确定cb颜色分量具有非零cbf，确定第一权重为1；以及响应于确定cr颜色分量具有非零cbf，确定第二权重为1。
[0299]
条款22c.根据条款13c至21c中任一条款的方法，其中确定多个颜色分量的联合成本值包括：针对负符号确定多个颜色分量的第一联合成本值；以及针对正符号确定多个颜色分量的第二联合成本值，其中预测残差数据的符号包括：响应于确定第一联合成本值小于第二联合成本值，预测符号为负；以及响应于确定第二联合成本值小于第一联合成本值，预测符号为正。
[0300]
条款23c.一种用于解码视频数据的设备，该设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系
数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0301]
条款24c.根据条款23c的设备，其中，为了预测符号，一个或多个处理器被配置为：确定多个颜色分量的联合成本值；并且基于联合成本值预测符号。
[0302]
条款25c.根据条款24c的设备，其中，为了确定联合成本值，一个或多个处理器被配置为将联合成本值确定为多个颜色分量的成本值的加权和。
[0303]
条款26c.根据条款25c的设备，其中一个或多个处理器还被配置为：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0304]
条款27c.根据条款26c的设备，其中，为了确定第一权重和第二权重，一个或多个处理器被配置为：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定第一权重和第二权重。
[0305]
条款28c.根据条款27c的设备，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0306]
条款29c.根据条款28c的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0307]
条款30c.根据条款28的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0308]
条款31c.一种用于编码视频数据的设备，该设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0309]
条款32c.根据条款31c的设备，其中，为了预测符号，一个或多个处理器被配置为：确定多个颜色分量的联合成本值；并且基于联合成本值预测符号。
[0310]
条款33c.根据条款32c的设备，其中，为了确定联合成本值，一个或多个处理器被配置为将联合成本值确定为多个颜色分量的成本值的加权和。
[0311]
条款34c.根据条款33c的设备，其中一个或多个处理器还被配置为：确定多个颜色分量中的第一颜色分量的第一权重；确定多个颜色分量中的第二颜色分量的第二权重；以及基于第一权重和第二权重确定多个颜色分量的成本值的加权和。
[0312]
条款35c.根据条款34c的设备，其中，为了确定第一权重和第二权重，一个或多个处理器被配置为：基于多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定第一权重和第二权重。
[0313]
条款36c.根据条款35c的设备，其中，第一颜色分量是cb颜色分量，并且第二颜色分量是cr颜色分量。
[0314]
条款37c.根据条款36c的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有非零cbf，确定第一权重为1且第二权重为0。
[0315]
条款38c.根据条款36c的设备，其中cb颜色分量按扫描顺序在cr颜色分量之前被扫描，并且其中一个或多个处理器还被配置为：响应于确定cb颜色分量具有零cbf并且cr颜色分量具有非零cbf，确定第一权重为0且第二权重为1。
[0316]
条款39c.一种用于译码视频数据的设备，该设备包括：用于基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号的部件；用于针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数的部件；以及用于基于多个残差块来重构视频数据块的部件。
[0317]
条款40c.一种存储指令的计算机可读存储介质，该指令在被执行时使得视频译码器的一个或多个处理器：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。
[0318]
应当认识到，取决于示例，本文所述任何技术的某些动作或事件可以以不同的顺序执行，可以被添加、合并或完全排除(例如，并非所有描述的动作或事件对于技术的实践是必要的)。此外，在某些示例中，可以并行地执行动作或事件，例如通过多线程处理、中断处理或多个处理器，而不是顺序地执行。
[0319]
在一个或多个示例中，所述功能可以在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则这些功能可以作为一个或多个指令或代码存储在计算机可读介质上或在其上发送，并由基于硬件的处理单元执行。计算机可读介质可以包括与有形介质(例如数据存储介质)相对应的计算机可读存储介质，或包括有助于计算机程序从一个地方转移到另一个地方(例如，根据通信协议)的任何介质的通信介质。以这种方式，计算机可读介质通常可对应于(1)非暂时的有形计算机可读存储介质或(2)诸如信号或载波的通信介质。数据存储介质可以是可由一个或多个计算机或一个或多个处理器访问以检索用于实现本公开中描述的技术的指令、代码和/或数据结构的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0320]
通过示例而不是限制，这种计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其它光盘存储、磁盘存储或其它磁存储设备、闪存或可用于以指令或数据结构的形式存储并且可以由计算机进行访问的所需的程序代码的任何其它介质。此外，任何连接都被适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或无线技术(诸如红外线、无线电和微波)从网站、服务器或其它远程源发送指令，则同轴电缆、光纤电缆、双绞线、dsl或无线技术(诸如红外线、无线电和微波)被包括在介质的定义中。然而，应当理解，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其它暂时介质，而是指向非暂时的有形存储介质。本文所使用的磁盘和光盘包括光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘，其中磁盘通常以磁性方式再现数据，而光盘则以激光光学方式再现数据。上述的组合也应包括在计算机可读介质的范围内。
[0321]
指令可由一个或多个处理器执行，例如一个或多个dsp、通用微处理器、asic、fpga或其它等效的集成或离散逻辑电路。因此，本文使用的术语“处理器”和“处理电路”可指上述结构中的任何一个或适合实现本文所述技术的任何其它结构。此外，在一些方面，本文描
述的功能可以提供在配置用于编码和解码的专用硬件和/或软件模块内，或并入组合的译码器中。此外，这些技术可以在一个或多个电路或逻辑元件中完全实现。
[0322]
本公开的技术可以在多种设备或装置中实现，包括无线手持机、集成电路(ic)或ic集合，例如芯片集合。本公开中描述了各种组件、模块或单元，以强调被配置为执行所公开技术的设备的功能方面，但不一定需要由不同硬件单元来实现。而是，如上所述，各种单元可以组合在译码器硬件单元中，或者由互操作硬件单元的集合(包括如上所述的一个或多个处理器)连同合适的软件和/或固件来提供。
[0323]
已经描述了各种示例。这些和其它示例在以下权利要求的范围内。

技术特征：
1.一种解码视频数据的方法，所述方法包括：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号；针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数；以及基于所述多个残差块来重构所述视频数据块。2.根据权利要求1所述的方法，其中预测所述符号包括：确定所述多个颜色分量的联合成本值；以及基于所述联合成本值预测所述符号。3.根据权利要求2所述的方法，其中确定所述联合成本值包括将所述联合成本值确定为所述多个颜色分量的成本值的加权和。4.根据权利要求3所述的方法，其中将所述联合成本值确定为所述多个颜色分量的成本值的加权和包括根据以下等式确定所述联合成本值：其中cost
joint
是所述联合成本值，w
color
是所述多个颜色分量中的特定颜色分量的权重，s表示包括所述多个颜色分量的集合，并且cost
color
是所述特定颜色分量的成本值。5.根据权利要求3所述的方法，还包括：确定所述多个颜色分量中的第一颜色分量的第一权重；确定所述多个颜色分量中的第二颜色分量的第二权重；以及基于所述第一权重和所述第二权重确定所述多个颜色分量的成本值的所述加权和。6.根据权利要求5所述的方法，其中确定所述第一权重和所述第二权重包括：基于所述多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定所述第一权重和所述第二权重。7.根据权利要求6所述的方法，其中，所述第一颜色分量是cb颜色分量，并且所述第二颜色分量是cr颜色分量。8.根据权利要求7所述的方法，其中，所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，所述方法还包括：响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1且所述第二权重为0。9.根据权利要求7所述的方法，其中，所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，所述方法还包括：响应于确定所述cb颜色分量具有零cbf并且所述cr颜色分量具有非零cbf，确定所述第一权重为0且所述第二权重为1。10.根据权利要求7所述的方法，还包括：响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1；以及响应于确定所述cr颜色分量具有非零cbf，确定所述第二权重为1。11.根据权利要求2所述的方法，其中确定所述多个颜色分量的所述联合成本值包括：针对负符号确定所述多个颜色分量的第一联合成本值；以及
针对正符号确定所述多个颜色分量的第二联合成本值，其中预测所述残差数据的所述符号包括：响应于确定所述第一联合成本值小于所述第二联合成本值，预测所述符号为负；以及响应于确定所述第二联合成本值小于所述第一联合成本值，预测所述符号为正。12.一种编码视频数据的方法，所述方法包括：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号；针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数；以及基于所述多个残差块来重构所述视频数据块。13.根据权利要求12所述的方法，其中预测所述符号包括：确定所述多个颜色分量的联合成本值；以及基于所述联合成本值预测所述符号。14.根据权利要求13所述的方法，其中确定所述联合成本值包括将所述联合成本值确定为所述多个颜色分量的成本值的加权和。15.根据权利要求14所述的方法，其中将所述联合成本值确定为所述多个颜色分量的成本值的加权和包括根据以下等式确定所述联合成本值：其中cost
joint
是所述联合成本值，w
color
是所述多个颜色分量中的特定颜色分量的权重，s表示包括所述多个颜色分量的集合，并且cost
color
是所述特定颜色分量的成本值。16.根据权利要求14所述的方法，还包括：确定所述多个颜色分量中的第一颜色分量的第一权重；确定所述多个颜色分量中的第二颜色分量的第二权重；以及基于所述第一权重和所述第二权重确定所述多个颜色分量的成本值的所述加权和。17.根据权利要求16所述的方法，其中确定所述第一权重和所述第二权重包括：基于所述多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定所述第一权重和所述第二权重。18.根据权利要求17所述的方法，其中，所述第一颜色分量是cb颜色分量，并且所述第二颜色分量是cr颜色分量。19.根据权利要求18所述的方法，其中，所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，所述方法还包括：响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1且所述第二权重为0。20.根据权利要求18所述的方法，其中，所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，所述方法还包括：响应于确定所述cb颜色分量具有零cbf并且所述cr颜色分量具有非零cbf，确定所述第一权重为0且所述第二权重为1。21.根据权利要求18所述的方法，还包括：
响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1；以及响应于确定所述cr颜色分量具有非零cbf，确定所述第二权重为1。22.根据权利要求13所述的方法，其中确定所述多个颜色分量的所述联合成本值包括：针对负符号确定所述多个颜色分量的第一联合成本值；以及针对正符号确定所述多个颜色分量的第二联合成本值，其中预测所述残差数据的所述符号包括：响应于确定所述第一联合成本值小于所述第二联合成本值，预测所述符号为负；以及响应于确定所述第二联合成本值小于所述第一联合成本值，预测所述符号为正。23.一种用于解码视频数据的设备，所述设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号；针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数；以及基于所述多个残差块来重构所述视频数据块。24.根据权利要求23所述的设备，其中，为了预测所述符号，所述一个或多个处理器被配置为：确定所述多个颜色分量的联合成本值；以及基于所述联合成本值预测所述符号。25.根据权利要求24所述的设备，其中，为了确定所述联合成本值，所述一个或多个处理器被配置为将所述联合成本值确定为所述多个颜色分量的成本值的加权和。26.根据权利要求25所述的设备，其中所述一个或多个处理器还被配置为：确定所述多个颜色分量中的第一颜色分量的第一权重；确定所述多个颜色分量中的第二颜色分量的第二权重；以及基于所述第一权重和所述第二权重确定所述多个颜色分量的成本值的加权和。27.根据权利要求26的设备，其中，为了确定所述第一权重和所述第二权重，所述一个或多个处理器被配置为：基于所述多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定所述第一权重和所述第二权重。28.根据权利要求27所述的设备，其中，所述第一颜色分量是cb颜色分量，并且所述第二颜色分量是cr颜色分量。29.根据权利要求28所述的设备，其中所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，并且其中所述一个或多个处理器还被配置为：响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1且所述第二权重为0。30.根据权利要求28所述的设备，其中所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，并且其中所述一个或多个处理器还被配置为：响应于确定所述cb颜色分量具有零cbf并且所述cr颜色分量具有非零cbf，确定所述第一权重为0且所述第二权重为1。
31.一种用于编码视频数据的设备，所述设备包括：存储器，被配置为存储视频数据；以及一个或多个处理器，在电路中实施并被配置为：基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号；针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数；以及基于所述多个残差块来重构所述视频数据块。32.根据权利要求31所述的设备，其中，为了预测所述符号，所述一个或多个处理器被配置为：确定所述多个颜色分量的联合成本值；以及基于所述联合成本值预测所述符号。33.根据权利要求32所述的设备，其中，为了确定所述联合成本值，所述一个或多个处理器被配置为将所述联合成本值确定为所述多个颜色分量的成本值的加权和。34.根据权利要求33所述的设备，其中所述一个或多个处理器还被配置为：确定所述多个颜色分量中的第一颜色分量的第一权重；确定所述多个颜色分量中的第二颜色分量的第二权重；以及基于所述第一权重和所述第二权重确定所述多个颜色分量的成本值的所述加权和。35.根据权利要求34的设备，其中，为了确定所述第一权重和所述第二权重，所述一个或多个处理器被配置为：基于所述多个颜色分量中的哪个颜色分量在扫描顺序中较早具有非零经译码块标志(cbf)，确定所述第一权重和所述第二权重。36.根据权利要求35所述的设备，其中，所述第一颜色分量是cb颜色分量，并且所述第二颜色分量是cr颜色分量。37.根据权利要求36所述的设备，其中所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，并且其中所述一个或多个处理器还被配置为：响应于确定所述cb颜色分量具有非零cbf，确定所述第一权重为1且所述第二权重为0。38.根据权利要求36所述的设备，其中所述cb颜色分量按所述扫描顺序在所述cr颜色分量之前被扫描，并且其中所述一个或多个处理器还被配置为：响应于确定所述cb颜色分量具有零cbf并且所述cr颜色分量具有非零cbf，确定所述第一权重为0且所述第二权重为1。39.一种用于译码视频数据的设备，所述设备包括：用于基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号的部件；用于针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数的部件；以及用于基于所述多个残差块来重构所述视频数据块的部件。40.一种存储指令的计算机可读存储介质，所述指令在执行时使视频译码器的一个或多个处理器：
基于使用色度残差联合译码(jccr)来译码的视频数据块的多个颜色分量，来预测所述视频数据块的联合残差块的多个系数中的系数的符号；针对所述多个颜色分量中的每个相应颜色分量并且基于所述联合残差块的所述多个系数，来产生多个残差块中的相应残差块的系数；以及基于所述多个残差块来重构所述视频数据块。

技术总结
一种示例方法包括：基于使用色度残差联合译码(JCCR)来译码的视频数据块的多个颜色分量，预测视频数据块的联合残差块的多个系数中的系数的符号；针对多个颜色分量中的每个相应颜色分量，并且基于联合残差块的多个系数，生成多个残差块中的相应残差块的系数；以及基于多个残差块来重构视频数据块。多个残差块来重构视频数据块。多个残差块来重构视频数据块。


技术研发人员：王洪涛 J
受保护的技术使用者：高通股份有限公司
技术研发日：2021.12.22
技术公布日：2023/8/28