用于视频译码的帧内预测的最可能模式的制作方法

用于视频译码的帧内预测的最可能模式
1.本技术要求2021年11月22日提交的美国申请第17/456,080号和2020年12月28日提交的美国临时专利申请第63/131,115号的优先权，它们中的每个的全部内容通过引用并入本文。2021年11月22日提交的美国申请第17/456,080号要求2020年12月28日提交的美国临时专利申请第63/131,115号的权益。
技术领域
2.本公开涉及视频编码和视频解码。


背景技术：

3.数字视频功能可以并入到各种设备中，包括数字电视、数字直接广播系统、无线广播系统、个人数字助理(pda)、膝上式计算机或台式计算机、平板计算机、电子书阅读器、数码相机、数字记录设备、数字媒体播放器、视频游戏设备、视频游戏机、蜂窝或卫星无线电电话、所谓的“智能电话”、视频电话会议设备、视频流设备等。数字视频设备实施视频译码技术，诸如由mpeg-2、mpeg-4、itu-t h.263、itu-t h.264/mpeg-4第10部分、高级视频译码(avc)、itu-t h.265/高效视频译码(hevc)定义的标准以及这样的标准的扩展中所描述的那些技术。通过实施这样的视频译码技术，视频设备可以更有效地发送，接收，编码，解码和/或存储数字视频信息。
4.视频译码技术包括空间(图片内)预测和/或时间(图片间)预测，以减少或消除视频序列中固有的冗余。对于基于块的视频译码，可以将视频切片(例如，视频图片或视频图片的一部分)分割成视频块，这些视频块也可以称为译码树单元(ctu)、译码单元(cu)和/或译码节点。使用相对于同一图片中的相邻块中的参考样本的空域预测对图片的帧内译码(i)切片中的视频块进行编码。图片的帧间译码(p或b)切片中的视频块可以使用相对于同一图片中的相邻块中的参考样本的空间预测，或相对于其他参考图片中的参考样本的时间预测。图片可以被称为帧，参考图片可以被称为参考帧。


技术实现要素：

5.总体上，本公开描述了用于确定用于帧内预测的最可能模式(mpm)列表和从该最可能模式列表确定帧内预测模式的技术。本公开的技术可以在使用帧内预测对视频数据进行译码时提高译码效率。具体而言，本公开描述了用于构建一般最可能模式列表、然后从该一般最可能模式列表构建主要最可能模式列表和次要最可能模式列表的技术。主要最可能模式列表和次要最可能模式列表可以包括来自相邻块的帧内预测模式以及从相邻块的帧内预测模式偏移的帧内预测模式。本公开的技术可以提高生成主要最可能模式列表和次要最可能模式列表的效率。
6.在一个示例中，一种方法包括以下步骤：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模
式列表，其中，np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
7.在另一示例中，设备包括存储器和一个或多个处理器，该一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
8.在另一示例中，设备包括：用于构建包含n个条目的一般最可能模式列表的部件，其中该一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是该一般最可能模式列表中的顺序第一个条目；用于从该一般最可能模式列表中的前np个条目构建主要最可能模式列表的部件，其中，np小于n；用于从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表的部件；用于使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式的部件；以及用于使用该当前帧内预测模式对该当前视频数据块进行解码以生成解码的视频数据块的部件。
9.在另一示例中，非暂时性计算机可读存储介质编码有指令，该指令在被执行时使可编程处理器：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
10.在另一示例中，设备包括存储器和一个或多个处理器，该一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中该一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。
11.在附图和以下说明书中阐述了一个或多个示例的细节。根据说明书、附图和权利要求书，其他特征、目的和优点将是显而易见的。
附图说明
12.图1是示出可以执行本公开的技术的示例视频编码和解码系统的框图。
13.图2是示出用于导出最可能模式列表的相邻块的示例的概念图。
14.图3是示出用于导出最可能模式列表的相邻块的另一示例的概念图。
15.图4a和图4b是示出示例四叉树二叉树(qtbt)结构以及对应的译码树单元(ctu)的概念图。
16.图5是示出可以执行本公开的技术的示例视频编码器的框图。
17.图6是示出可以执行本公开的技术的示例视频解码器的框图。
18.图7是示出根据本公开的技术的用于对当前块进行编码的示例方法的流程图。
19.图8是示出根据本公开的技术的用于对当前块进行解码的示例方法的流程图。
20.图9是示出根据本公开的技术的用于对当前块进行编码的另一示例方法的流程图。
21.图10是示出根据本公开的技术的用于对当前块进行解码的另一示例方法的流程图。
具体实施方式
22.通用视频译码(vvc)由itu-t和iso/iec的联合视频专家小组(jvet)开发，以针对广泛的应用实现超越hevc的实质性压缩能力。vvc规范于2020年7月最终确定，并由itu-t和iso/iec共同发布。vvc规范规定了标准比特流和图片格式、高级语法(hls)和译码单元级语法以及解析和解码过程。vvc还在附录中规定了配置文件/层/级别(ptl)限制、字节流格式、假设参考解码器和补充增强信息(sei)。
23.总体上，本公开描述了用于确定用于帧内预测的最可能模式列表和从该最可能模式列表中确定帧内预测模式的技术。本公开的技术可以提高生成主要最可能模式列表和次要最可能模式列表的效率。例如，视频编码器和/或视频解码器可以被配置为：构建包含n个条目的一般最可能模式列表，其中该一般最可能模式列表的n个条目是帧内预测模式；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；以及使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的帧内预测模式。
24.图1是示出可以执行本公开的技术的示例视频编码和解码系统100的框图。本公开的技术通常针对译码(编码和/或解码)视频数据。通常，视频数据包括用于处理视频的任何数据。因此，视频数据可以包括原始的未编码的视频、编码的视频、解码的(例如，重构的)视频、以及视频元数据，诸如信令数据。
25.如图1所示，在此示例中，系统100包括源设备102，该源设备102提供要由目的地设备116解码和显示的、编码的视频数据。具体地，源设备102经由计算机可读介质110向目的地设备116提供视频数据。源设备102和目的地设备116可以包括多种设备中的任何一种，包括台式计算机、笔记本(即，膝上型)计算机、移动设备、平板计算机、机顶盒、诸如智能电话的电话手持机、电视、相机、显示设备、数字媒体播放器、视频游戏控制台、视频流设备、广播接收器设备等。在一些情况下，源设备102和目的地设备116可以被配备用于无线通信，并因此可以被称为无线通信设备。
26.在图1的示例中，源设备102包括视频源104、存储器106、视频编码器200和输出接口108。目的地设备116包括输入接口122、视频解码器300、存储器120和显示设备118。根据本公开，源设备102的视频编码器200和目的地设备116的视频解码器300可以被配置为应用用于导出用于帧内预测的最可能模式列表的技术。因此，源设备102表示视频编码设备的示
例，而目的地设备116表示视频解码设备的示例。在其他示例中，源设备和目的地设备可以包括其他组件或配置。例如，源设备102可以从诸如外部相机的外部视频源接收视频数据。同样，目的地设备116可以与外部显示设备对接，而不是包括集成的显示设备。
27.如图1所示的系统100仅是一个示例。通常，任何数字视频编码和/或解码设备都可以执行用于导出用于帧内预测的最可能模式列表的技术。源设备102和目的地设备116仅仅是其中源设备102生成译码的视频数据以传输到目的地设备116的这种译码设备的示例。本公开将“译码”设备称为执行数据译码(编码和/或解码)的设备。因此，视频编码器200和视频解码器300表示译码设备的示例，具体地分别是视频编码器和视频解码器的示例。在一些示例中，源设备102和目的地设备116可以以基本对称的方式进行操作，使得源设备102和目的地设备116中的每一个都包括视频编码和解码组件。因此，系统100可以支持源设备102和目的地设备116之间的单向或双向视频传输，例如用于视频流式传输、视频回放、视频广播或视频电话。
28.通常，视频源104表示视频数据(即，原始的、未编码的视频数据)的源，并向视频编码器200提供视频数据的连续系列图片(也称为“帧”)，该视频编码器200对用于图片的数据进行编码。源设备102的视频源104可以包括视频捕获设备，诸如摄像机、包含先前捕获的原始视频的视频档案、和/或从视频内容提供者接收视频的视频馈送接口。作为另一替代，视频源104可以生成基于计算机图形的数据作为源视频，或者实况视频、存档视频和计算机生成视频的组合。在每种情况下，视频编码器200对捕获的、预捕获的或计算机生成的视频数据进行编码。视频编码器200可以将图片从接收到的顺序(有时称为“显示顺序”)重新排列为用于译码的译码顺序。视频编码器200可以生成包括编码的视频数据的比特流。源设备102然后可以经由输出接口108将编码的视频数据输出到计算机可读介质110上，用于由例如目的地设备116的输入接口122接收和/或取回。
29.源设备102的存储器106和目的地设备116的存储器120代表通用存储器。在一些示例中，存储器106、120可以存储原始视频数据，例如来自视频源104的原始视频和来自视频解码器300的原始的解码的视频数据。附加地或可替代地，存储器106、120可以分别存储能够由例如视频编码器200和视频解码器300执行的软件指令。尽管在此示例中存储器106和存储器120被示为与视频编码器200和视频解码器300分离，但是应当理解，视频编码器200和视频解码器300也可以包括用于功能类似或等同目的的内部存储器。此外，存储器106、120可以存储编码的视频数据，例如，从视频编码器200输出并输入到视频解码器300的编码的视频数据。在一些示例中，存储器106、120中的部分可以被分配为一个或多个视频缓冲器，例如，以存储原始的、解码的和/或编码的视频数据。
30.计算机可读介质110可以表示能够将编码的视频数据从源设备102传输到目的地设备116的任何类型的介质或设备。在一个示例中，计算机可读介质110表示使源设备102能够例如经由射频网络或基于计算机的网络实时地直接向目的地设备116发送编码的视频数据的通信介质。根据诸如无线通信协议的通信标准，输出接口108可以调制包括编码的视频数据的传输信号，并且输入接口122可以解调接收到的传输信号。通信介质可以包括任何无线或有线的通信介质，诸如射频(rf)频谱或者一条或多条物理传输线。通信介质可形成基于分组的网络(诸如局域网、广域网或全球网络，诸如因特网)的一部分。通信介质可以包括路由器、交换机、基站、或可以有助于促进从源设备102到目的地设备116的通信的任何其他
设备。
31.在一些示例中，源设备102可以从输出接口108向存储设备112输出编码的数据。类似地，目的地设备116可以经由输入接口122从存储设备112访问编码的数据。存储设备112可以包括各种分布式或本地访问的数据存储介质中的任何一种，诸如硬盘驱动器、蓝光碟、dvd、cd-rom、闪存、易失性或非易失性存储器、或者用于存储编码的视频数据的任何其他合适的数字存储介质。
32.在一些示例中，源设备102可以向文件服务器114或另一中间存储设备输出编码的视频数据，该另一中间存储设备可以存储由源设备102生成的编码的视频数据。目的地设备116可以经由流式传输或下载从文件服务器114访问存储的视频数据。
33.文件服务器114可以是能够存储编码的视频数据并向目的地设备116发送编码的视频数据的任何类型的服务器设备。文件服务器114可以代表网页服务器(例如，用于网站)、被配置为提供文件传输协议服务(诸如文件传输协议(ftp)或单向传输文件递送(flute)协议)的服务器、内容递送网络(cdn)设备、超文本传输协议(http)服务器、多媒体广播多播服务(mbms)或增强型mbms(embms)服务器和/或网络附加存储(nas)设备。文件服务器114可以附加地或可替代地实现一个或多个http流协议，例如http上的动态自适应流(dash)、http实时流(hls)、实时流协议(rtsp)、http动态流等。
34.目的地设备116可以通过任何标准数据连接(包括因特网连接)从文件服务器114访问编码的视频数据。这可以包括无线信道(例如，wi-fi连接)、有线连接(例如，数字订户线(dsl)、电缆调制解调器等)、或者适于访问存储在文件服务器114上的编码的视频数据的两者的的组合。输入接口122可以被配置为根据上文讨论的用于从文件服务器114取回或接收媒体数据的各个协议中的任何一个或多个、或者用于取回媒体数据的其他这样的协议来操作。
35.输出接口108和输入接口122可以表示无线发送器/接收器、调制解调器、有线联网组件(例如，以太网卡)、根据各种ieee 802.11标准中的任何一种进行操作的无线通信组件、或其他物理组件。在输出接口108和输入接口122包括无线组件的示例中，输出接口108和输入接口122可以被配置为根据诸如4g、4g-lte(长期演进)、高级lte、5g等的蜂窝通信标准来传送诸如编码的视频数据的数据。在输出接口108包括无线发送器的一些示例中，输出接口108和输入接口122可以被配置为根据诸如ieee 802.11规范、ieee 802.15规范(例如，zigbee
tm
)、蓝牙
tm
标准等的其他无线标准来传送诸如编码的视频数据的数据。在一些示例中，源设备102和/或目的地设备116可以包括各自的片上系统(soc)设备。例如，源设备102可以包括执行归因于视频编码器200和/或输出接口108的功能的soc设备，并且目的地设备116可以包括执行归因于视频解码器300和/或输入接口122的功能的soc设备。
36.本公开的技术可以应用于视频译码，以支持各种多媒体应用中的任何一种，诸如空中电视广播、有线电视传输、卫星电视传输、诸如通过http的动态自适应流(dash)的因特网流式视频传输、编码到数据存储介质上的数字视频、存储在数据存储介质上的数字视频的解码、或其他应用。
37.目的地设备116的输入接口122从计算机可读介质110(例如，通信介质、存储设备112、文件服务器114等)接收编码的视频比特流。编码的视频比特流可以包括由视频编码器200定义的信令信息，其也由视频解码器300使用，该信令信息诸如具有描述视频块或其他
译码的单元(例如，切片、图片、图片组、序列等)的特性和/或处理的值的语法元素。显示设备118向用户显示解码的视频数据的解码的图片。显示设备118可以表示各种显示设备中的任何一种，诸如液晶显示器(lcd)、等离子体显示器、有机发光二极管(oled)显示器或另一种类型的显示设备。
38.尽管未在图1中示出，但在一些示例中，视频编码器200和视频解码器300可以各自与音频编码器和/或音频解码器集成，并且可以包括合适的mux-demux单元或其他硬件和/或软件，以处理在公共数据流中包括音频和视频两者的多路复用流。如果可适用，mux-demux单元可以符合itu h.223多路复用器协议或其他协议，诸如用户数据报协议(udp)。
39.视频编码器200和视频解码器300各自可被实施为多种合适的编码器和/或解码器电路中的任何一种，诸如一个或多个微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、离散逻辑、软件、硬件、固件或其任何组合。当技术部分地以软件实施时，设备可将用于软件的指令存储在适当的非暂时性计算机可读介质中，并使用一个或多个处理器以硬件方式执行指令以执行本公开的技术。视频编码器200和视频解码器300中的每个可以被包括在一个或多个编码器或解码器中，该编码器或解码器中的任一个可以被集成为相应设备中的组合编码器/解码器(codec)的一部分。包括视频编码器200和/或视频解码器300的设备可以包括集成电路、微处理器和/或无线通信设备，诸如蜂窝电话。
40.视频编码器200和视频解码器300可以根据视频译码标准，诸如itu-th.265，也称为高效视频译码(hevc)或其扩展(诸如多视图和/或可缩放视频译码扩展)进行操作。可替代地，视频编码器200和视频解码器300可以根据其他专有或行业标准进行操作，诸如itu-t h.266，也称为通用视频译码(vvc)。vvc标准的草案在bross等人于2020年6月22日-7月1日在itu-tsg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频专家小组(jvet)的第18次电话会议的jvet-s2001-va(以下简称“vvc草案10”)的“通用视频译码(草案10)”中进行了描述。然而，本公开的技术不限于任何特定的译码标准。
41.通常，视频编码器200和视频解码器300可以执行基于块的图片译码。术语“块”通常是指包括要处理的(例如，编码的、解码的、或者另外在编码和/或解码处理中使用的)数据的结构。例如，块可以包括亮度和/或色度数据的样本的二维矩阵。通常，视频编码器200和视频解码器300可以对以yuv(例如，y、cb、cr)格式表示的视频数据进行译码。也就是说，视频编码器200和视频解码器300可以对亮度和色度分量进行译码，而不是对图片样本的红、绿和蓝(rgb)数据进行译码，其中色度分量可以包括红色调和蓝色调色度分量。在一些示例中，视频编码器200在编码之前将接收到的rgb格式的数据转换成yuv表示，并且视频解码器300将yuv表示转换成rgb格式。可替代地，预处理单元和后处理单元(未示出)可以执行这些转换。
42.本公开通常可涉及图片的译码(例如，编码和解码)，以包括对图片的数据进行编码或解码的处理。类似地，本公开可以涉及图片块的译码，以包括对块的数据进行编码或解码的过程，例如预测和/或残差译码。编码的视频比特流通常包括用于语法元素的一系列值，这些语法元素表示译码决策(例如，译码模式)以及将图片分割成块。因此，对译码图片或块的引用通常应理解为译码用于形成图片或块的语法元素的值。
43.hevc定义了各种块，包括译码单元(cu)、预测单元(pu)和变换单元(tu)。根据
hevc，视频译码器(诸如视频编码器200)根据四叉树结构将译码树单元(ctu)分割成多个cu。也就是说，视频译码器将ctu和cu分割成四个相等的、不重叠的正方形，并且四叉树的每个节点有零个或四个子节点。没有子节点的节点可以被称为“叶节点”，并且这种叶节点的cu可以包括一个或多个pu和/或一个或多个tu。视频译码器可以进一步对pu和tu进行分割。例如，在hevc中，残差四叉树(rqt)表示对tu的分割。在hevc中，pu表示帧间预测数据，而tu表示残差数据。帧内预测的cu包括帧内预测信息，诸如帧内模式指示。
44.作为另一示例，视频编码器200和视频解码器300可以被配置为根据vvc进行操作。根据vvc，视频译码器(诸如视频编码器200)将图片分割为多个译码树单元(ctu)。视频编码器200可以根据树结构来对ctu进行分割，诸如四叉树二叉树(qtbt)结构或多类型树(mtt)结构。qtbt结构移除了多个分割类型的概念，诸如hevc的cu、pu和tu之间的分离。qtbt结构包括两个层级：根据四叉树分割所分割的第一层级，以及根据二叉树分割所分割的第二层级。qtbt结构的根节点对应于ctu。二叉树的叶节点对应于译码单元(cu)。
45.在mtt分割结构中，可以使用四叉树(qt)分割、二叉树(bt)分割以及一种或多种三叉树(tt)(也称为三元树(tt))分割来对块进行分割。三叉或三元树分割是将块分割成三个子块的分割。在一些示例中，三叉树或三元树分割在不通过中心来划分原始块的情况下将块划分成三个子块。mtt中的分割类型(例如，qt、bt和tt)可以是对称的或非对称的。
46.在一些示例中，视频编码器200和视频解码器300可以使用单个qtbt或mtt结构来表示亮度和色度分量中的每一个，而在其他示例中，视频编码器200和视频解码器300可以使用两个或更多个qtbt或mtt结构，诸如一个qtbt/mtt结构用于亮度分量，并且另一个qtbt/mtt结构用于两个色度分量(或者两个qtbt/mtt结构用于相应的色度分量)。
47.视频编码器200和视频解码器300可以被配置为使用按照hevc的四叉树分割、qtbt分割、mtt分割或其他分割结构。出于说明的目的，本公开的技术的描述是针对qtbt分割来呈现的。然而，应当理解，本公开的技术也可以应用于被配置为使用四叉树分割或其他类型的分割的视频译码器。
48.在一些示例中，ctu包括亮度样本的译码树块(ctb)、具有三个样本阵列的图片的色度样本的两个对应ctb、或者单色图片或使用三个单独的颜色平面和用于译码样本的语法结构进行译码的图片的样本的ctb。ctb可以是n的某个值的n
×
n样本块，使得将分量划分成ctb是分割。分量是以4:2:0、4:2:2或4:4:4彩色格式组成图片的三个阵列(亮度和两个色度)之一的阵列或单个样本，或者是以单色格式组成图片的阵列或阵列的单个样本。在一些示例中，译码块是一些m值和n值的m
×
n样本块，使得将ctb划分成译码块是分割。
49.可以在图片中以各种方式对块(例如，ctu或cu)进行分组。作为一个示例，砖(brick)可以指图片中特定瓦片(tile)内的ctu行的矩形区域。瓦片可以是图片中特定瓦片列和特定瓦片行内的ctu的矩形区域。瓦片列指具有与图片的高度相等的高度和由语法元素(例如，在图片参数集中)指定的宽度的ctu的矩形区域。瓦片行指具有由语法元素(例如，诸如在图片参数集中)指定的高度和与图片的宽度相等的宽度的ctu的矩形区域。
50.在一些示例中，瓦片可以被分割成多个砖，其中的每个砖可以包括该瓦片内的一个或多个ctu行。未被分割成多个砖的瓦片也可以被称为砖。然而，作为瓦片的真实子集的砖不能被称为瓦片。
51.图片中的砖还可以按切片排列。切片可以是图片的可以排他地在单个网络抽象层
(nal)单元中包含的整数数目的砖。在一些示例中，切片包括多个完整的瓦片或者仅包括一个瓦片的完整砖的连续序列。
52.本公开可以互换地使用“nxn”和“n乘n”来指代块(诸如cu或其他视频块)在垂直和水平维度方面的样本维度，例如16x16样本或16乘16样本。通常，16x16 cu会在垂直方向上具有16个样本(y＝16)，并且在水平方向上具有16个样本(x＝16)。同样，nxn cu通常在垂直方向上具有n个样本，并且在水平方向上具有n个样本，其中n表示非负整数值。cu中的样本可以按行和列排列。此外，cu不一定需要在水平方向上和在垂直方向上具有相同数目的样本。例如，cu可以包括nxm个样本，其中m不一定等于n。
53.视频编码器200对表示预测和/或残差信息以及其他信息的cu的视频数据进行编码。预测信息指示将如何预测该cu，以便形成用于该cu的预测块。残差信息通常表示编码之前的cu的样本与预测块之间的逐样本差。
54.为了预测cu，视频编码器200通常可以通过帧间预测或帧内预测来形成cu的预测块。帧间预测通常是指根据先前译码的图片的数据来预测cu，而帧内预测通常是指根据同一图片的先前译码的数据来预测cu。为了执行帧间预测，视频编码器200可以使用一个或多个运动矢量来生成预测块。视频编码器200通常可以执行运动搜索以标识与cu紧密匹配(例如，在cu和参考块之间的差方面)的参考块。视频编码器200可使用绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)或其他此类差值计算来确定差值度量，以确定参考块是否与当前的cu紧密匹配。在一些示例中，视频编码器200可以使用单向预测或双向预测来预测当前的cu。
55.vvc的一些示例也提供仿射运动补偿模式，其可以被认为是帧间预测模式。在仿射运动补偿模式下，视频编码器200可以确定表示非平移运动的两个或更多个运动矢量，非平移运动诸如放大或缩小、旋转、透视运动或其他不规则运动类型。
56.为了执行帧内预测，视频编码器200可以选择帧内预测模式来生成预测块。vvc的一些示例提供了六十七种帧内预测模式，包括各种定向模式，以及平面模式和dc模式。通常，视频编码器200选择描述当前块(例如，cu的块)的相邻样本的帧内预测模式，从该当前块来预测当前块的样本。假设视频编码器200以光栅扫描顺序(从左到右、从上到下)对ctu和cu进行译码，这种样本在与当前块相同的图片中通常可以在当前块的上方、左上方或者左侧。
57.视频编码器200对表示当前块的预测模式的数据进行编码。举例来说，对于帧间预测模式，视频编码器200可编码表示使用各种可用帧间预测模式中的哪一个的数据以及对应模式的运动信息。例如，对于单向或双向帧间预测，视频编码器200可使用高级运动向量预测(amvp)或合并模式来对运动向量进行编码。视频编码器200可使用类似模式来对仿射运动补偿模式的运动向量进行编码。
58.在诸如块的帧内预测或帧间预测之类的预测之后，视频编码器200可计算该块的残差数据。残差数据，诸如残差块，表示该块与使用相应预测模式形成的该块的预测块之间的逐样本差异。视频编码器200可将一个或多个变换应用于残差块，以在变换域而非样本域中产生经变换的数据。举例来说，视频编码器200可将离散余弦变换(dct)、整数变换、小波变换或概念上类似的变换应用于残差视频数据。附加地，视频编码器200可以在第一变换之后应用二次变换，诸如模式相关的不可分离次二次变换(mdnsst)、信号相关的变换、卡尔
亨-洛夫(karhunen-loeve)变换(klt)等。视频编码器200在应用一个或多个变换之后产生变换系数。
59.如上所述，在进行任何变换以产生变换系数之后，视频编码器200可执行变换系数的量化。量化通常是指量化变换系数以尽可能减少用于表示变换系数的数据的数量从而提供进一步压缩的处理。通过执行量化过程，视频编码器200可以减少与变换系数中的一些或全部相关联的比特深度。例如，视频编码器200可以在量化期间将n位的值四舍五入为m位的值，其中n大于m。在一些示例中，为了执行量化，视频编码器200可以对要量化的值执行按位右移位。
60.在量化之后，视频编码器200可扫描变换系数，从而从包括量化的变换系数的二维矩阵产生一维矢量。扫描可以被设计为将较高能量(并因此较低频率)的变换系数放置在矢量的前部，并将较低能量(并因此较高频率)的变换系数放置在矢量的后部。在一些示例中，视频编码器200可以利用预定义的扫描顺序来扫描量化的变换系数以产生串行化的矢量，然后对矢量的量化的变换系数进行熵编码。在其他示例中，视频编码器200可以执行自适应扫描。在扫描量化的变换系数以形成一维矢量之后，视频编码器200可以例如根据上下文自适应二进制算术译码(cabac)对该一维矢量进行熵编码。视频编码器200还可以对描述与编码的视频数据相关联的元数据的语法元素的值进行熵编码，以供视频解码器300在解码视频数据时使用。
61.为了执行cabac，视频编码器200可以将上下文模型内的上下文分配给要发送的符号。该上下文可以关于例如符号的相邻值是否为零值。概率确定可以基于分配给符号的上下文。
62.视频编码器200还可以例如在图片头、块头、切片头中向视频解码器300生成语法数据，诸如基于块的语法数据、基于图片的语法数据和基于序列的语法数据，或其他语法数据，诸如序列参数集(sps)、图片参数集(pps)或视频参数集(vps)。同样地，视频解码器300可以解码此类语法数据以确定如何解码对应的视频数据。
63.以这种方式，视频编码器200可以生成包括编码的视频数据(例如，描述将图片分割成块(例如，cu)的语法元素以及块的预测和/或残差信息)的比特流。最终，视频解码器300可以接收比特流并解码编码的视频数据。
64.通常，视频解码器300执行与视频编码器200执行的过程相反的过程，来解码比特流的编码的视频数据。例如，视频解码器300可以使用cabac以与视频编码器200的cabac编码过程基本相似但相反的方式来解码比特流的语法元素的值。语法元素可以定义将图片分割成ctu的分割信息，以及根据对应的分割结构(诸如qtbt结构)对每个ctu进行分割，以定义ctu的cu。语法元素还可以定义视频数据的块(例如，cu)的预测和残差信息。
65.残差信息可以由例如量化的变换系数来表示。视频解码器300可以对块的量化的变换系数进行逆量化和逆变换，以再现该块的残差块。视频解码器300使用经信号传递的预测模式(帧内或帧间预测)和相关的预测信息(例如，用于帧间预测的运动信息)来形成块的预测块。然后视频解码器300可以(在逐个样本的基础上)组合预测块和残差块，以再现原始块。视频解码器300可执行附加处理，诸如执行去块处理以减少沿着块的边界的视觉伪像。
66.本公开通常可以指“用信号传递”某些信息，诸如语法元素。术语“信号传递”通常可以指用于对编码的视频数据进行解码的语法元素和/或其他数据的值的传送。也就是说，
视频编码器200可以在比特流中用信号传递语法元素的值。通常，用信号传递指在比特流中生成值。如上所述，源设备102可以大体上实时地或者非实时地将比特流传输到目的地设备116，诸如当将语法元素存储到存储设备112以供目的地设备116稍后取回时可能发生的情况。
67.根据本公开的技术，如将在下面更详细地解释的，视频编码器200和视频解码器300可以被配置为构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目，从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用当前帧内预测模式对当前视频数据块进行解码。
68.示例帧内译码模式包括dc模式、平面模式和多个定向模式(例如，非平面模式)。在vvc中，j.chen、y.ye和s.-h.kim，“通用视频译码和测试模型9(vtm 9)的算法描述”，jvet-r2002，2020年4月，65个定向模式用于块的帧内预测。为了对帧内模式值进行译码，视频编码器200和视频解码器300可以被配置为导出最可能模式(mpm)列表。如果用于对特定cu进行译码的帧内模式是mpm列表中的模式，则视频编码器200可以仅用信号传递mpm列表中的所确定帧内模式的索引。否则，视频编码器200可以使用旁路译码(例如，具有固定概率模型的熵译码)来用信号传递模式值。
69.在vvc中，mpm列表中有六个条目。mpm列表中的第一个条目是平面模式。mpm列表中的其余条目由cu 400(参见图2)的左(l)相邻块和上(a)相邻块的帧内模式、从相邻块的定向帧内模式导出的帧内模式以及默认帧内模式组成。对于本公开中的其余讨论，该mpm列表将被称为主mpm列表。
70.在a.ramasubramanian等人的“ce3-3.1.1：两种mpm模式和形状依赖性(测试3.1.1)”中，itu-t sg 16wp 3和iso/iec jtc 1/sc 29/wg 11的联合视频探索小组(jvet)，第11次会议，2018年7月10日至18日，斯洛文尼亚卢布尔雅那(以下简称“jvet-k0081”)，提出了两个mpm列表。一个mpm列表是具有6个条目的主要mpm(pmpm)列表，而另一个mpm列表是具有16个条目的次要mpm(smpm)列表。pmpm列表中的条目是使用cu 402的左(l)、上(a)、左下(bl)、右上(ar)和左上(al)相邻块的帧内模式导出的，如图3所示。smpm列表是从与pmpm列表中包括的定向模式相邻(例如，角度或索引值接近)的模式生成的。
71.例如，如果pmpm列表的第一个条目是帧内模式12，并且最大偏移量是4，则帧内模式11、10、9、8、13、14、15和16各自被添加到smpm列表，前提是这样的帧内模式尚未被包括在两个mpm列表中。也就是说，从帧内模式索引12加上或减去4个索引的所有模式都被添加到列表中，只要这些模式不是列表中已经存在的模式的副本即可。
72.jvet-k0081中用于6个主mpm的最大偏移为{4,3,3,2,2,1}。如果smpm列表的16个条目没有通过该过程填充，则从帧内模式的默认列表填充其余条目。视频编码器可以用信号传递语法元素，该语法元素指示块的帧内预测模式是来自pmpm列表还是来自smpm列表。
73.本公开描述了用于改进由pmpm列表和smpm列表组成的mpm列表的构建的不同技术。具体而言，本公开描述了用于构建一般最可能模式列表、然后从该一般最可能模式列表中构建主要最可能模式列表和次要最可能模式列表的技术。主要最可能模式列表和次要最
可能模式列表可以包括来自相邻块的帧内预测模式以及来自相邻块的帧内预测模式的帧内预测模式偏移。
74.一般mpm列表构建
75.首先，可以用n个条目来定义一般mpm(gmpm)列表，其中gmpm列表的第i个条目被表示为gmpm[i]。gmpm列表中的第一个条目是平面模式。也就是说，gmpm列表的索引0(例如，gmpm[0])指示平面帧内模式。当前译码块的左(l)、上(a)、左下(bl)、右上(ar)和左上(al)相邻块的帧内模式，例如，如图3所示，可以分别表示为mpm(l)、mpm(a)、mpm(bl)、mpm(ar)和mpm(al)。
[0076]
视频编码器200和视频解码器300被配置为，如果mpm(j)可用并且尚未被包括在gmpm列表中，则通过将帧内模式mpm(l)、mpm(a)、mpm(bl)、mpm(ar)和mpm(al)添加到gmpm列表来构建gmpm列表。如果相邻块j具有相关联的帧内预测模式，则帧内模式mpm(j)是可用的。例如，如果使用帧内预测对相邻块进行译码，则相邻块可以具有相关联的帧内预测模式。在其他示例中，即使没有使用帧内预测进行译码，相邻块也可以具有相关联的帧内预测模式。
[0077]
视频编码器200和视频解码器300可以通过在mpm(l)、mpm(a)、mpm(bl)、mpm(ar)和mpm(al)帧内预测模式中偏移第一na可用定向帧内模式来导出gmpm列表中的剩余条目，其中na是小于左(l)、上(a)、左下(bl)、右上(ar)和左上(al)相邻块的数目的数目。例如，na可以小于5。
[0078]
包括在gmpm列表中的mpm(l)、mpm(a)、mpm(bl)、mpm(ar)和mpm(al)中的帧内模式表示为gmpm[p]＝mpm(j)，其中1≤p≤nb，nb小于或等于5，并且j是l、a、bl、ar和ar中的一个。如果p小于预定义的值q，则最大偏移被设置为m1；否则，最大偏移被设置为m2。如果gmpm列表中的n个条目未被提议的过程填充，则其余条目将从默认列表填充。gmpm列表中的前np个条目被设置为pmpm列表，以及gmpm列表的其余(n-np)个条目被设置为smpm列表。
[0079]
作为一个示例，如果pmpm列表的第一个条目是帧内模式12，并且最大偏移是4，则帧内模式11、10、9、8、13、14、15和16中的每一个都被添加到smpm列表，前提是这样的帧内模式尚未被包括在两个mpm列表中。也就是说，从帧内模式索引12加上或减去4个索引的所有模式都被添加到列表中，只要这些模式不是列表中已经存在的模式的副本即可。在另一个示例中，如果pmpm列表的第一个条目是帧内模式12，并且最大偏移是3，帧内模式11、10、9、13、14和15各自被添加到smpm列表，前提是这样的帧内模式尚未被包括在两个mpm列表中。也就是说，从帧内模式索引12加上或减去3个索引的所有模式都被添加到列表中提供了这些模式不是列表中已经存在的模式的副本即可。
[0080]
在一个示例中，n＝22，np＝6，na＝2，q＝3，m1＝4，以及m2＝3。在这个示例中，gmpm列表的大小是22个条目，其中前6个条目是pmpm列表，最后16个条目是smpm列表。偏移mpm(l)、mpm(a)、mpm(bl)、mpm(ar)和mpm(al)中的前两个可用定向帧内模式，以导出两个可用定向帧内模式附近的定向帧内模式。在此上下文中，附近意味着从可用定向帧内模式的索引加上或减去m1或m2索引。如果gmpm[1]和gmpm[2]是非dc模式，则gmpm[1]与gmpm[2]的最大偏移量为4。如果gmpm[1]是dc模式，并且gmpm[2]和gmpm[3]是非dc模式，则gmpm[2]的最大偏移量为4，而gmpm[3]的最大偏移量为3。如果gmpm[2]是dc模式，并且gmpm[1]和gmpm[3]是非dc模式，则gmpm[1]的最大偏移量为4，而gmpm[3]的最大偏移量为3。例如，如果gmpm[1]
＝20，并且gmpm[3]＝40，则从gmpm[1]偏移的模式16、17、18、19、21、22、23和24以及从gmpm[3]偏移的模式37、38、39、41、42和43被添加到gmpm列表中。
[0081]
mpm索引译码
[0082]
在vvc的一个示例中，视频解码器300可以被配置为首先解码和解析平面标志，以确定cu的帧内模式是否是pmpm列表的第一个条目。如果平面标志不指示平面模式，则视频解码器300可以被配置为解码和解析索引值(例如，指示索引值的语法元素)，以确定pmpm列表的哪个条目被选择。注意，解析的索引值0、1、2、3和4分别对应于pmpm列表的第一、第二、第三、第四、第五个条目，并且针对索引值0、1、2、3、4的解析的二进制数分别是0、10、110、1110、1111。
[0083]
称为内部子分割(isp)模式和多参考线(mrl)模式的新的译码工具已集成到vvc中。isp模式和常规帧内模式共享同一pmpm列表。mrl模式被应用于pmpm列表中除了第一个条目之外的帧内模式，即平面模式。因为常规帧内模式、isp模式和mrl模式都共享相同的非平面pmpm条目，即pmpm列表的第一、第二、第三、第四、第五个条目，所以以常规帧内模式、isp模式和mrl模式之外的所选模式为条件的上下文编码将提高用信号通知pmpm索引时的译码效率。因此，根据本公开的技术，视频编码器200和视频解码器300可以被配置为使用三个上下文模型来以如下方式对非平面pmpm索引的第一个二进制数进行译码：
[0084]
如果(isp模式)：用上下文索引0对非平面pmpm索引的第一个二进制数进行译码。
[0085]
否则，如果(mrl模式)：用上下文索引1对非平面pmpm索引的第一个二进制数进行译码。
[0086]
否则(常规帧内模式)：用上下文索引2对非平面pmpm索引的第一个二进制数进行译码。
[0087]
当使用本公开的技术时，if-else的顺序可以改变为其他组合。一个示例如下：
[0088]
if(mrl模式)：用上下文索引为0对非平面pmpm索引的第一个二进制数进行译码。
[0089]
否则，if(isp模式)：用上下文索引1对非平面pmpm索引的第一个二进制数进行译码。
[0090]
否则(常规帧内模式)：用上下文索引2对非平面pmpm索引的第一个二进制数进行译码。
[0091]
示例
[0092]
如上所述，可以使用两个mpm列表：一个是具有6个条目的主要mpm(pmpm)列表，而另一个是具有16个条目的次要mpm(smpm)列表。根据本公开的技术，视频编码器200和视频解码器300可以构建具有22个条目的通用mpm列表，其中该通用mpm列表中的前6个条目被包括在pmpm列表中，并且22个条目中的其余条目被设置为smpm列表。一般mpm列表中的第一个条目(例如，顺序第一个条目)是平面模式。剩余条目由左(l)、上(a)、左下(bl)、右上(ar)和左上(al)相邻块的帧内模式、从相邻块的前两个可用定向模式偏移的定向模式以及默认模式组成，如图3所示。如果cu块是矩形且垂直定向的，即，当高度大于宽度时，针对可用帧内预测模式检查的相邻块的顺序是a、l、bl、ar、al。否则，顺序为l、a、bl、ar、al。
[0093]
相邻块的定向模式的最大偏移取决于该定向模式在通用mpm列表中的入口点。如果相邻块的可用定向模式在第二个或第三个条目上(注意，第一个条目是平面模式)，则最大偏移设置为4；否则，最大偏移量设置为3。例如，通用mpm列表的第i个条目被表示为gmpm
[i]。gmpm[0]＝平面模式。如果gmpm[1]是dc模式，并且gmpm[2]和gmpm[3]是定向模式，则gmpm[2]的最大偏移为4，gmpm[3]的最大偏移为3。假设gmpm[2]＝20并且gmpm[3]＝40。然后，从gmpm[2]偏移的16、17、18、19、21、22、23和24以及从gmpm[3]偏移的37、38、39、41、42和43被添加到gmpm列表中。
[0094]
视频解码器300可以首先解码和解析平面标志，以确定cu的帧内模式是否是pmpm列表的第一个条目。如果平面标志不指示要使用平面模式，则视频解码器300解码并解析pmpm列表的非平面模式的索引值，以确定pmpm列表中的哪个条目被选择。注意，针对非平面模式的解析的索引值0、1、2、3、4对应于pmpm列表的第一、第二、第三、第四、第五个条目，并且针对索引值0、1、2、3、4的解析的二进制数分别是0、10、110、1110、1111。视频编码器200和视频解码器300可以被配置为使用3个上下文模型来以如下方式对pmpm列表中的非平面模式的索引的第一个二进制数进行译码：
[0095]
如果(isp)：用上下文索引0对第一个二进制数进行译码。
[0096]
否则，如果(mrl)：用上下文索引1对第一个二进制数进行译码。
[0097]
否则(常规帧内)：用上下文索引2对第一个二进制数进行译码。
[0098]
总之，在本公开的一个示例中，视频解码器300可以被配置为使用帧内预测对当前视频数据块进行解码。视频解码器300可以被配置为构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目。视频解码器300还可以从一般最可能模式列表中的前np个条目来构建主要最可能模式列表，其中np小于n，以及从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表。视频解码器300然后可以使用主要最可能模式列表或次要最可能模式列表来确定用于当前视频数据块的当前帧内预测模式，以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。在一个示例中，n是22，并且np是6。
[0099]
在一个示例中，为了确定当前帧内预测模式，视频解码器300可以被进一步配置为对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。视频解码器300可以基于索引确定当前视频数据块的当前帧内预测模式。
[0100]
在另一个示例中，为了将索引解码到主要最可能模式列表或次要最可能模式列表，视频解码器300可以进一步基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及使用上下文对索引的第一个二进制数进行熵解码。在一个示例中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0101]
在本公开的另一个示例中，为了构建一般最可能模式列表，视频解码器300可以被配置为将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。在一个示例中，视频解码器300可以基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0102]
在其他示例中，为了使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式，视频解码器300可以被配置为对指示来自主要最可能
模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0103]
以相反的方式，视频编码器200被配置为使用帧内预测对当前视频数据块进行编码。视频编码器200可以被配置为构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目。视频编码器200还可以从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n，以及从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表。视频编码器200还可以使用主要最可能模式列表或次要最可能模式列表来确定用于当前视频数据块的当前帧内预测模式，以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。在一个示例中，n是22，并且np是6。
[0104]
在本公开的一个示例中，视频编码器200可以被配置为对主要最可能模式列表或次要最可能模式列表的索引进行编码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。
[0105]
在本公开的另一个示例中，为了对主要最可能模式列表或次要最可能模式列表的索引进行编码，视频编码器200可以被配置为基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵编码的上下文；以及使用上下文对索引的第一个二进制数进行熵编码。在一个示例中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0106]
在另一个示例中，为了构建一般最可能模式列表，视频编码器200还被配置为将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。视频编码器200可以基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0107]
图4a和图4b是图示示例四叉树二叉树(qtbt)结构130和对应的译码树单元(ctu)132的概念图。实线表示四叉树分割，虚线指示二叉树分割。在二叉树的每个分割(即，非叶)节点中，用信号传递一个标志以指示使用哪种分割类型(即，水平还是垂直)，其中在本示例中，0指示水平分割，1指示垂直分割。对于四叉树分割，不需要指示分割类型，因为四叉树节点将块水平和垂直分割为4个具有相等大小的子块。因此，视频编码器200可以编码并且视频解码器300可以解码qtbt结构130的区域树层的语法元素(诸如分割信息)(即，实线)和qtbt结构130的预测树层的语法元素(诸如分割信息)(即，虚线)。视频编码器200可以编码并且视频解码器300可以为由qtbt结构130的终端叶节点表示的cu解码视频数据，诸如预测和变换数据。
[0108]
通常，图4b的ctu 132可以与定义对应于qtbt结构130在第一层和第二层的节点的块的大小的参数相关联。这些参数可以包括ctu大小(表示样本中ctu 132的大小)、最小四叉树大小(minqtsize，表示最小允许的四叉树叶节点大小)、最大二叉树大小(maxbtsize，表示最大允许的二叉树根节点大小)、最大二叉树深度(maxbtdepth，表示最大允许的二叉树深度)和最小二叉树大小(minbtsize，表示最小允许的二叉树叶节点大小)。
[0109]
对应于ctu的qtbt结构的根节点可以在qtbt结构的第一层处具有四个子节点，其中每个子节点可以根据四叉树分割来进行分割。也就是说，第一层的节点是叶节点(没有子节点)，或者具有四个子节点。qtbt结构130的示例将这样的节点表示为包括父节点和具有用于分支的实线的子节点。如果第一层的节点不大于最大允许的二叉树根节点大小(maxbtsize)，则节点可以由相应的二叉树进一步分割。可以迭代一个节点的二叉树分割，直到分割产生的节点达到最小允许的二叉树叶节点大小(minbtsize)或最大允许的二叉树深度(maxbtdepth)。qtbt结构130的示例将这样的节点表示为具有用于分支的虚线。二叉树叶节点被称为译码单元(cu)，其用于预测(例如，图片内或图片间预测)和变换，而无需任何进一步的分割。如上所述，cu也可以被称为“视频块”或“块”。
[0110]
在qtbt分割结构的一个示例中，ctu大小被设置为128x128(亮度样本和两个对应的64x64色度样本)，minqtsize被设置为16x16，maxbtsize被设置为64x64，minbtsize(对于宽度和高度两者)被设置为4，并且maxbtdepth被设置为4。首先将四叉树分割应用于ctu，以生成四叉树叶节点。四叉树叶节点可以具有从16x16(即，minqtsize)到128x128(即，ctu大小)的大小。如果四叉树叶节点是128x128，则叶四叉树节点将不会被二叉树进一步分裂，因为其大小超过了maxbtsize(即，在本示例中为64x64)。否则，四叉树叶节点将被二叉树进一步分割。因此，四叉树叶节点也是二叉树的根节点，并且二叉树深度为0。当二叉树深度达到maxbtdepth(在本示例中为4)时，不允许进一步分裂。具有宽度等于minbtsize(在本示例中为4)的二叉树节点意味着不允许对于二叉树节点的进一步垂直分裂(即，对于宽度的划分)。类似地，具有高度等于minbtsize的二叉树节点意味着不允许对于二叉树节点的进一步水平分裂(即，高度的划分)。如上所述，二叉树的叶节点被称为cu，并且根据预测和变换被进一步处理，而无需进一步分割。
[0111]
图5是示出可以执行本公开的技术的示例视频编码器200的框图。提供图5是为了说明，不应认为是对本公开中广泛例示和描述的技术的限制。出于说明的目的，本公开根据vvc(正在开发的itu-t h.266)和hevc(itu-th.265)的技术来描述视频编码器200。然而，本公开的技术可以由被配置为其他视频译码标准的视频编码设备来执行。
[0112]
在图5的示例中，视频编码器200包括视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、过滤单元216、解码图片缓冲器(dpb)218和熵编码单元220。可以在一个或多个处理器中或在处理电路中实现视频数据存储器230、模式选择单元202、残差生成单元204、变换处理单元206、量化单元208、逆量化单元210、逆变换处理单元212、重构单元214、过滤单元216、dpb 218和熵编码单元220中的任何一个或全部。例如，视频编码器200的单元可以被实现为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、asic、fpga的一部分。此外，视频编码器200可以包括附加的或可替代的处理器或处理电路来执行这些和其他功能。
[0113]
视频数据存储器230可以存储要由视频编码器200的组件编码的视频数据。视频编码器200可以从例如视频源104(图1)接收存储在视频数据存储器230中的视频数据。dpb 218可以充当参考图片存储器，其存储用于在视频编码器200对后续视频数据的预测中使用的参考视频数据。视频数据存储器230和dpb 218可以由各种存储器设备中的任何一种形成，诸如动态随机存取存储器(dram)，包括同步dram(sdram)、磁阻ram(mram)、电阻ram
(rram)或其他类型的存储器设备。视频数据存储器230和dpb 218可以由同一存储器设备或分开的存储器设备提供。在各种示例中，视频数据存储器230可以与视频编码器200的其他组件在芯片上，如图所示，或者相对于那些组件在芯片外。
[0114]
在本公开中，对视频数据存储器230的引用不应被解释为限于视频编码器200内部的存储器(除非如此具体描述)，或者限于视频编码器200外部的存储器(除非如此具体描述)。相反，对视频数据存储器230的引用应该理解为存储视频编码器200接收用于编码的视频数据(例如，要被编码的当前块的视频数据)的参考存储器。图1的存储器106还可以提供从视频编码器200的各个单元输出的临时存储。
[0115]
示出了图5中各个单元以帮助理解由视频编码器200执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。固定功能电路是指提供特定功能并在可执行的操作上预先设置的电路。可编程电路是指可被编程以执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，以接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，这些单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，这些单元中的一个或多个可以是集成电路。
[0116]
视频编码器200可以包括算术逻辑单元(alu)、基本功能单元(efu)、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在使用由可编程电路执行的软件来执行视频编码器200的操作的示例中，存储器106(图1)可以存储视频编码器200接收并执行的软件的指令(例如，目标代码)，或者视频编码器200内的另一个存储器(未示出)可以存储这样的指令。
[0117]
视频数据存储器230被配置为存储接收到的视频数据。视频编码器200可以从视频数据存储器230取回视频数据的图片，并将视频数据提供给残差生成单元204和模式选择单元202。视频数据存储器230中的视频数据可以是待编码的原始视频数据。
[0118]
模式选择单元202包括运动估计单元222、运动补偿单元224和帧内预测单元226。模式选择单元202可以包括附加的功能单元，以根据其他预测模式来执行视频预测。作为示例，模式选择单元202可以包括调色板单元、块内复制单元(其可以是运动估计单元222和/或运动补偿单元224的一部分)、仿射单元、线性模型(lm)单元，或类似的单元。
[0119]
模式选择单元202通常协调多个编码遍历，以测试编码参数的组合以及这种组合的结果率失真值。编码参数可以包括将ctu分割成cu、用于cu的预测模式、用于cu的残差数据的变换类型、用于cu的残差数据的量化参数等。模式选择单元202可以最终选择具有比其他测试组合更好的率失真值的编码参数组合。
[0120]
视频编码器200可以将从视频数据存储器230中取回的图片分割成一系列ctu，并将一个或多个ctu封装在切片内。模式选择单元202可以根据树结构(诸如上述hevc的qtbt结构或四叉树结构)来分割图片的ctu。如上所述，视频编码器200可以通过根据树结构分割ctu来形成一个或多个cu。这样的cu通常也可以被称为“视频块”或“块”。
[0121]
通常，模式选择单元202还控制其组件(例如，运动估计单元222、运动补偿单元224和帧内预测单元226)以生成当前块(例如，当前cu，或者在hevc中pu和tu的重叠部分)的预测块。对于当前块的帧间预测，运动估计单元222可以执行运动搜索以标识一个或多个参考
图片(例如，存储在dpb 218中的一个或多个先前译码的图片)中的一个或多个紧密匹配的参考块。具体地，运动估计单元222可以例如根据绝对差之和(sad)、平方差之和(ssd)、平均绝对差(mad)、均方差(msd)等来计算表示潜在参考块与当前块有多相似的值。运动估计单元222通常可以使用当前块和所考虑的参考块之间的逐样本差来执行这些计算。运动估计单元222可以标识具有从这些计算产生的最低值的参考块，该最低值指示最紧密匹配当前块的参考块。
[0122]
运动估计单元222可形成一个或多个运动矢量(mv)，其定义参考图片中的参考块相对于当前图片中当前块的位置。然后运动估计单元222可以向运动补偿单元224提供运动矢量。例如，对于单向帧间预测，运动估计单元222可以提供单个运动矢量，而对于双向帧间预测，运动估计单元222可以提供两个运动矢量。然后运动补偿单元224可以使用运动矢量来生成预测块。例如，运动补偿单元224可以使用运动矢量来取回参考块的数据。作为另一示例，如果运动矢量具有分数样本精度，则运动补偿单元224可以根据一个或多个插值过滤器来插值用于预测块的值。此外，对于双向帧间预测，运动补偿单元224可例如通过逐样本平均或加权平均来取回由相应运动矢量标识的两个参考块的数据，并组合所取回的数据。
[0123]
作为另一示例，对于帧内预测或帧内预测译码，帧内预测单元226可以从与当前块相邻的样本生成预测块。例如，对于定向模式，帧内预测单元226通常可以数学上地组合相邻样本的值，并在当前块上沿定义的方向填充这些计算值以产生预测块。作为另一示例，对于dc模式，帧内预测单元226可以计算当前块的相邻样本的平均，并且生成预测块以包括预测块的每个样本的所产生的平均。
[0124]
根据上述本公开的技术，帧内预测单元226可以被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表，使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。
[0125]
模式选择单元202将预测块提供给残差生成单元204。残差生成单元204从视频数据存储器230接收当前块的原始未编码版本，并从模式选择单元202接收预测块。残差生成单元204计算当前块和预测块之间的逐样本差。所得的逐样本差定义了当前块的残差块。在一些示例中，残差生成单元204还可确定残差块中的样本值之间的差以使用残差差分脉冲译码调制(rdpcm)来生成残差块。在一些示例中，可以使用执行二进制减法的一个或多个减法器电路来形成残差生成单元204。
[0126]
在模式选择单元202将cu分割成pu的示例中，每个pu可以与亮度预测单元和对应的色度预测单元相关联。视频编码器200和视频解码器300可以支持具有各种大小的pu。如上所述，cu的大小可以指cu的亮度译码块的大小，并且pu的大小可以指pu的亮度预测单元的大小。假设特定cu的大小为2nx2n，视频编码器200可支持用于帧内预测的2nx2n或nxn的pu大小，以及用于帧间预测的2nx2n、2nxn、nx2n、nxn或类似的对称pu大小。视频编码器200和视频解码器300还可以支持用于帧间预测的2nxnu、2nxnd、nlx2n和nrx2n的pu大小的非对称分割。
[0127]
在模式选择单元202未进一步将cu分割成pu的示例中，每个cu可以与亮度译码块和对应的色度译码块相关联。如上所述，cu的大小可以指cu的亮度译码块的大小。视频编码器200和视频解码器300可以支持2nx2n、2nxn或nx2n的cu大小。
[0128]
对于其他视频译码技术，诸如块内复制模式译码、仿射模式译码和线性模型(lm)模式译码，作为一些示例，模式选择单元202经由与译码技术相关联的相应单元，针对正在被编码的当前块生成预测块。在一些示例中，诸如调色板模式译码，模式选择单元202可以不生成预测块，而是生成指示基于所选调色板来重构块的方式的语法元素。在这样的模式中，模式选择单元202可以将这些语法元素提供给熵编码单元220以进行编码。
[0129]
如上所述，残差生成单元204接收当前块和相应的预测块的视频数据。残差生成单元204然后为当前块生成残差块。为了生成残差块，残差生成单元204计算预测块和当前块之间的逐样本差。
[0130]
变换处理单元206将一个或多个变换应用于残差块以生成变换系数的块(在本文中称为“变换系数块”)。变换处理单元206可以对残差块应用各种变换，以形成变换系数块。例如，变换处理单元206可以将离散余弦变换(dct)、方向变换、卡尔亨-洛夫变换(klt)或概念上类似的变换应用于残差块。在一些示例中，变换处理单元206可以对残差块执行多个变换，例如主要变换和次要变换，诸如旋转变换。在一些示例中，变换处理单元206不将变换应用于残差块。
[0131]
量化单元208可以量化变换系数块中的变换系数，以产生量化的变换系数块。量化单元208可以根据与当前块相关联的量化参数(qp)值来量化变换系数块的变换系数。视频编码器200(例如，经由模式选择单元202)可以通过调整与cu相关联的qp值来调整应用于与当前块相关联的变换系数块的量化的程度。量化可能引入信息损失，因此，量化的变换系数可能比由变换处理单元206产生的最初变换系数具有更低的精度。
[0132]
逆量化单元210和逆变换处理单元212可以分别对量化的变换系数块应用逆量化和逆变换，以从变换系数块重构残差块。重构单元214可以基于重构的残差块和由模式选择单元202生成的预测块来产生对应于当前块的重构块(尽管可能具有一定程度的失真)。例如，重构单元214可以将重构的残差块的样本添加到来自模式选择单元202生成的预测块的对应样本，以产生重构的块。
[0133]
过滤单元216可以对重构的块执行一个或多个过滤操作。例如，过滤单元216可以执行去块操作以减少沿cu边缘的块效应伪像。在一些示例中，可以跳过过滤单元216的操作。
[0134]
视频编码器200将重构的块存储在dpb 218中。例如，在不执行过滤单元216的操作的示例中，重构单元214可以将重构的块存储到dpb 218。在执行过滤单元216的操作的示例中，过滤单元216可以将经过滤的重构的块存储到dpb 218。运动估计单元222和运动补偿单元224可以从dpb 218取回由重构的(并且可能经过滤的)块形成的参考图片，以对随后编码的图片的块进行帧间预测。此外，帧内预测单元226可以使用当前图片的dpb 218中的重构的块来对当前图片中的其他块进行帧内预测。
[0135]
通常，熵编码单元220可以对从视频编码器200的其他功能组件接收到的语法元素进行熵编码。例如，熵编码单元220可以对来自量化单元208的量化的变换系数块进行熵编码。作为另一示例，熵编码单元220可以对来自模式选择单元202的预测语法元素(例如，用
于帧间预测的运动信息或用于帧内预测的帧内模式信息)进行熵编码。熵编码单元220可以对作为视频数据的另一个示例的语法元素执行一个或多个熵编码操作，以生成熵编码的数据。例如，熵编码单元220可以对数据执行上下文自适应可变长度译码(cavlc)操作、cabac操作、可变到可变(v2v)长度译码操作、基于语法的上下文自适应二进制算术译码(sbac)操作、概率区间分割熵(pipe)译码操作、指数-哥伦布(exponential-golomb)编码操作或另一种类型的熵编码操作。在一些示例中，熵编码单元220可以在语法元素未被熵编码的旁路模式下操作。
[0136]
视频编码器200可以输出包括重构切片或图片的块所需的经熵编码的语法元素的比特流。具体地，熵编码单元220可以输出比特流。
[0137]
上述操作是关于块进行描述的。这样的描述应该被理解为用于亮度译码块和/或色度译码块的操作。如上所述，在一些示例中，亮度译码块和色度译码块是cu的亮度和色度分量。在一些示例中，亮度译码块和色度译码块是pu的亮度分量和色度分量。
[0138]
在一些示例中，不需要对色度译码块重复关于亮度译码块执行的操作。作为一个示例，不需要重复用于标识针对亮度译码块的运动矢量(mv)和参考图片的操作来标识针对色度块的mv和参考图片。相反，亮度译码块的mv可以被缩放以确定色度块的mv，并且参考图片可以是相同的。作为另一示例，帧内预测过程对于亮度译码块和色度译码块可以是相同的。
[0139]
视频编码器200表示被配置为编码视频数据的设备的示例，该设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实现并被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。
[0140]
图6是示出可以执行本公开的技术的示例视频解码器300的框图。图6是为了解释的目的，并且不限制本公开中广泛例示和描述的技术。出于说明的目的，本公开根据vvc(正在开发的itu-t h.266)和hevc(itu-t h.265)的技术来描述视频解码器300。然而，本公开的技术可以由被配置为其他视频译码标准的视频译码设备来执行。
[0141]
在图6的示例中，视频解码器300包括译码图片缓冲器(cpb)存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、过滤单元312和解码图片缓冲器(dpb)314。可以在一个或多个处理器中或在处理电路中实现cpb存储器320、熵解码单元302、预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310、过滤单元312和dpb 314中的任何一个或全部。例如，视频解码器300的单元可以被实现为一个或多个电路或逻辑元件，作为硬件电路的一部分，或者作为处理器、asic或fpga的一部分。此外，视频解码器300可以包括附加的或可替代的处理器或处理电路来执行这些和其他功能。
[0142]
预测处理单元304包括运动补偿单元316和帧内预测单元318。预测处理单元304可以包括附加单元，以根据其他预测模式执行预测。作为示例，预测处理单元304可以包括调
色板单元、块内复制单元(其可以形成运动补偿单元316的一部分)、仿射单元、线性模型(lm)单元等。在其他示例中，视频解码器300可以包括更多、更少或不同的功能组件。
[0143]
cpb存储器320可以存储要由视频解码器300的组件解码的视频数据，诸如编码的视频比特流。存储在cpb存储器320中的视频数据可以例如从计算机可读介质110(图1)获得。cpb存储器320可以包括存储来自编码的视频比特流的编码的视频数据(例如，语法元素)的cpb。此外，cpb存储器320可以存储除译码的图片的语法元素外的视频数据，诸如表示从视频解码器300的各个单元输出的临时数据。dpb 314通常存储解码的图片，视频解码器300可以在解码编码的视频比特流的后续数据或图片时输出该解码的图片和/或将其用作参考视频数据。cpb存储器320和dpb 314可以由各种存储器设备中的任何一种形成，诸如dram，包括sdram、mram、rram或其他类型的存储器设备。cpb存储器320和dpb 314可以由同一存储器设备或分开的存储器设备提供。在各个示例中，cpb存储器320可以与视频解码器300的其他组件在芯片上，或者相对于那些组件在芯片外。
[0144]
附加地或可替代地，在一些示例中，视频解码器300可以从存储器120(图1)取回译码的视频数据。也就是说，存储器120可以如上所述利用cpb存储器320存储数据。同样，在以要由视频解码器300的处理电路执行的软件实现视频解码器300的功能中的一些或全部时，存储器120可以存储要由视频解码器300执行的指令。
[0145]
示出了图6所示的各个单元以帮助理解由视频解码器300执行的操作。这些单元可以实现为固定功能电路、可编程电路或其组合。与图5类似，固定功能电路是指提供特定功能并且在可以执行的操作上预先设置的电路。可编程电路是指可被编程以执行各种任务并在可执行的操作中提供灵活功能的电路。例如，可编程电路可以执行软件或固件，使可编程电路以由软件或固件的指令定义的方式操作。固定功能电路可以执行软件指令(例如，接收参数或输出参数)，但是固定功能电路执行的操作的类型通常是不可变的。在一些示例中，这些单元中的一个或多个可以是不同的电路块(固定功能的或可编程的)，并且在一些示例中，这些单元中的一个或多个可以是集成电路。
[0146]
视频解码器300可以包括alu、efu、数字电路、模拟电路和/或由可编程电路形成的可编程核心。在视频解码器300的操作由在可编程电路上执行的软件执行的示例中，片上存储器或片外存储器可以存储视频解码器300接收并执行的软件的指令(例如，目标代码)。
[0147]
熵解码单元302可以从cpb接收编码的视频数据，并对视频数据进行熵解码以再现语法元素。预测处理单元304、逆量化单元306、逆变换处理单元308、重构单元310和过滤单元312可以基于从比特流提取的语法元素来生成解码的视频数据。
[0148]
通常，视频解码器300在逐块的基础上重构图片。视频解码器300可以对每个块单独执行重构操作(其中当前正在重构(即解码)的块可以被称为“当前块”)。
[0149]
熵解码单元302可以对定义量化的变换系数块的量化的变换系数的语法元素、以及变换信息(诸如量化参数(qp)和/或(一个或多个)变换模式指示)进行熵解码。逆量化单元306可以使用与量化的变换系数块相关联的qp来确定量化的程度，并且类似地，确定逆量化单元306要应用的逆量化的程度。逆量化单元306可以例如执行逐位左移位操作来对量化的变换系数进行逆量化。逆量化单元306可以由此形成包括变换系数的变换系数块。
[0150]
在逆量化单元306形成变换系数块之后，逆变换处理单元308可以对变换系数块应用一个或多个逆变换，以生成与当前块相关联的残差块。例如，逆变换处理单元308可以对
变换系数块应用逆dct、逆整数变换、逆卡尔亨-洛夫变换(klt)、逆旋转变换、逆方向变换或另一逆变换。
[0151]
此外，预测处理单元304根据由熵解码单元302熵解码的预测信息语法元素生成预测块。例如，如果预测信息语法元素指示当前块是帧间预测的，则运动补偿单元316可以生成预测块。在这种情况下，预测信息语法元素可以指示从中取回参考块的dpb 314中的参考图片，以及标识参考图片中的参考块的位置相对于当前图片中的当前块的位置的运动矢量。运动补偿单元316通常可以以与关于运动补偿单元224(图5)所描述的方式基本上相似的方式来执行帧间预测过程。
[0152]
作为另一示例，如果预测信息语法元素指示当前块是帧内预测的，则帧内预测单元318可以根据由预测信息语法元素指示的帧内预测模式来生成预测块。再次，帧内预测单元318通常可以以与关于帧内预测单元226(图5)所描述的方式基本上相似的方式来执行帧内预测过程。帧内预测单元318可以从dpb 314取回当前块的相邻样本的数据。
[0153]
根据上述技术，帧内预测单元318可以被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0154]
重构单元310可以使用预测块和残差块来重构当前块。例如，重构单元310可以将残差块的样本添加到预测块的相应样本以重构当前块。
[0155]
过滤单元312可以对重构的块执行一个或多个过滤操作。例如，过滤单元312可以执行去块操作以减少沿着重构的块的边缘的块效应伪像。不一定在所有示例中都执行过滤单元312的操作。
[0156]
视频解码器300可以将重构的块存储在dpb 314中。例如，在不执行过滤单元312的操作的示例中，重构单元310可以将重构的块存储到dpb 314。在执行过滤单元312的操作的示例中，过滤单元312可以将经过滤的重构的块存储到dpb 314。如上所述，dpb 314可以向预测处理单元304提供参考信息，诸如用于帧内预测的当前图片的样本和用于后续运动补偿的先前解码的图片。此外，视频解码器300可以从dpb 314输出解码的图片(例如，解码的视频)，用于在显示设备(诸如图1的显示设备118)上随后呈现。
[0157]
以这种方式，视频解码器300表示视频解码设备的示例，该视频解码设备包括被配置为存储视频数据的存储器，以及一个或多个处理单元，该一个或多个处理单元在电路中实现并被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从该一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从该一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用该主要最可能模式列表或该次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0158]
图7是示出根据本公开的技术的用于对当前块进行编码的示例方法的流程图。当
前块可以包括当前cu。尽管关于视频编码器200(图1和图5)进行了描述，但是应当理解，其他设备可以被配置为执行与图7类似的方法。
[0159]
在该示例中，视频编码器200最初预测当前块(350)。举例来说，视频编码器200可形成当前块的预测块。视频编码器200然后可计算当前块的残差块(352)。为了计算残差块，视频编码器200可以计算原始未编码的块与当前块的预测块之间的差。然后视频编码器200可以变换残差块并量化残差块的变换系数(354)。接下来，视频编码器200可以扫描残差块的量化的变换系数(356)。在扫描期间，或在扫描之后，视频编码器200可以对变换系数进行熵编码(358)。例如，视频编码器200可以使用cavlc或cabac对变换系数进行编码。然后视频编码器200可以输出块的熵编码的数据(360)。
[0160]
图8是示出根据本公开的技术的用于对当前视频数据块进行解码的示例方法的流程图。当前块可以包括当前cu。尽管关于视频解码器300(图1和图6)进行了描述，但是应当理解，其他设备可以被配置为执行与图8类似的方法。
[0161]
视频解码器300可以接收当前块的熵编码的数据，诸如用于与当前块相对应的残差块的变换系数的熵编码的预测信息和熵编码的数据(370)。视频解码器300可以对熵编码的数据进行熵解码，以确定当前块的预测信息，并再现残差块的变换系数(372)。视频解码器300可预测当前块(374)，例如，使用由当前块的预测信息指示的帧内或帧间预测模式，来计算当前块的预测块。然后视频解码器300可以逆扫描再现的变换系数(376)，以创建量化的变换系数的块。然后视频解码器300可以对变换系数进行逆量化，并且将逆变换应用于变换系数以产生残差块(378)。视频解码器300可通过组合预测块和残差块来最终解码当前块(380)。
[0162]
图9是示出根据本公开的技术的用于对当前块进行编码的另一示例方法的流程图。图9的技术可以由视频编码器200的一个或多个结构单元执行，包括图5的帧内预测单元226。
[0163]
在本公开的一个示例中，视频编码器200被配置为使用帧内预测对当前视频数据块进行编码。视频编码器200可以被配置为构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目(500)。视频编码器200还可以从一般最可能模式列表中的前np个条目来构建主要最可能模式列表，其中np小于n(502)，以及从一般最可能模式列表(504)中的剩余(n-np)个条目构建次要最可能模式列表。视频编码器200还可以使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式(506)；以及使用当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块(508)。在一个示例中，n是22，并且np是6。
[0164]
在本公开的一个示例中，视频编码器200可以被配置为对主要最可能模式列表或次要最可能模式列表的索引进行编码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。
[0165]
在本公开的另一个示例中，为了对主要最可能模式列表或次要最可能模式列表的索引进行编码，视频编码器200可以被配置为基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵编码的上下文；以及使用上下文对索引的第一个二进制数进行熵编码。在一个示例中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之
一。
[0166]
在另一个示例中，为了构建一般最可能模式列表，视频编码器200还被配置为将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。视频编码器200可以基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0167]
图10是示出根据本公开的技术的用于对当前块进行解码的另一示例方法的流程图。图10的技术可以由视频解码器300的一个或多个结构单元执行，包括图6的帧内预测单元318。
[0168]
在本公开的一个示例中，视频解码器300可以被配置为使用帧内预测对当前视频数据块进行解码。视频解码器300可以被配置为构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目(600)。视频解码器300还可以从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n(602)；以及从一般最可能模式列表(604)中的剩余(n-np)个条目构建次要最可能模式列表。视频解码器300然后可以使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式(606)；以及使用当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块(608)。在一个示例中，n是22，并且np是6。
[0169]
在一个示例中，为了确定当前帧内预测模式，视频解码器300可以被进一步配置为对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。视频解码器300可以基于索引确定当前视频数据块的当前帧内预测模式。
[0170]
在另一个示例中，为了对主要最可能模式列表或次要最可能模式列表的索引进行解码，视频解码器300还可以基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及使用上下文对索引的第一个二进制数进行熵解码。在一个示例中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0171]
在本公开的另一个示例中，为了构建一般最可能模式列表，视频解码器300可以被配置为将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。在一个示例中，视频解码器300可以基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0172]
在其他示例中，为了使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式，视频解码器300可以被配置为对指示来自主要最可能模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0173]
以下描述本公开的附加方面。
[0174]
方面1a-一种对视频数据进行译码的方法，该方法包括：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；以及使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的帧内预测模式。
[0175]
方面2a-根据方面1a所述的方法，其中，n是22，并且np是6。
[0176]
方面3a-根据方面1a和2a中任一项所述的方法，其中构建一般最可能模式列表包括：添加平面模式作为一般最可能模式列表中的顺序第一个条目；将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的帧内预测模式添加到所述一般最可能模式列表。
[0177]
方面4a-根据方面3a所述的方法，其中将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表包括：如果相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0178]
方面5a-根据方面1a-4a中任一项所述的方法，还包括：基于用于当前块的译码工具来确定用于对指示主要最可能模式列表的非平面模式的索引进行译码的上下文。
[0179]
方面6a-根据方面5a所述的方法，其中，译码工具是常规帧内预测、子分割或多参考线之一。
[0180]
方面7a-根据方面1a-6a中任一项所述的方法，其中，译码包括解码。
[0181]
方面8a-根据方面1a-7a中任一项所述的方法，其中，译码包括编码。
[0182]
方面9a-一种用于对视频数据进行译码的设备，该设备包括一个或多个用于执行方面1a
–
8a中任一项所述方法的部件。
[0183]
方面10a-根据方面9a所述的设备，其中，一个或多个部件包含在电路中实现的一个或多个处理器。
[0184]
方面11a-根据方面9a和10a中任一项所述的设备，还包括存储视频数据的存储器。
[0185]
方面12a-根据方面9a-11a中任一项所述的设备，还包括配置为显示解码的视频数据的显示器。
[0186]
方面13a-根据方面9a-12a中任一项所述的设备，其中，该设备包括相机、计算机、移动设备、广播接收器设备或机顶盒中的一个或多个。
[0187]
方面14a-根据方面9a-13a中任一项所述的设备，其中，该设备包括视频解码器。
[0188]
方面15a-根据方面9a-14a中任一项所述的设备，其中，该设备包括视频编码器。
[0189]
方面16a-一种其上存储有指令的计算机可读存储介质，该指令在被执行时使一个或多个处理器执行方面1a-8a中任一项所述的方法。
[0190]
方面1b-一种对视频数据进行解码的方法，该方法包括：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用当前帧内预测模式对当前视频数据块进行解码以生成
解码的视频数据块。
[0191]
方面2b-根据方面1b所述的方法，其中确定当前帧内预测模式还包括：对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及基于索引来确定当前视频数据块的当前帧内预测模式。
[0192]
方面3b-根据方面2b所述的方法，其中对主要最可能模式列表或次要最可能模式列表的索引进行解码包括：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及使用上下文对索引的第一个二进制数进行熵解码。
[0193]
方面4b-根据方面3b所述的方法，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0194]
方面5b-根据方面1b所述的方法，其中，n是22，并且np是6。
[0195]
方面6b-根据方面1b所述的方法，其中构建一般最可能模式列表包括：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0196]
方面7b-根据方面6b所述的方法，其中将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表包括：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0197]
方面8b-根据方面1b所述的方法，其中使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式包括：对指示来自主要最可能模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0198]
方面9b-根据方面1b所述的方法，还包括:显示包括解码的视频数据块的图片。
[0199]
方面10b-一种被配置为对视频数据进行解码的装置，该装置包括：被配置为存储当前视频数据块的存储器；以及在电路中实现并与存储器进行通信的一个或多个处理器，所述一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0200]
方面11b-根据方面10b所述的装置，其中为了进一步确定当前帧内预测模式，一个或多个处理器还被配置为：对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及基于索引来确定当前视频数据块的当前帧内预测模式。
[0201]
方面12b-根据方面11b所述的装置，其中为了对主要最可能模式列表或次要最可能模式列表的索引进行解码，一个或多个处理器还被配置为：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及
[0202]
使用上下文对索引的第一个二进制数进行熵解码。
[0203]
方面13b-根据方面12b所述的装置，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0204]
方面14b-根据方面10b所述的装置，其中，n是22，并且np是6。
[0205]
方面15b-根据方面10b中所述的装置，其中，为了构建一般最可能模式列表，一个或多个处理器还被配置为：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0206]
方面16b-根据方面15b所述的装置，其中为了将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表，一个或多个处理器还被配置为：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0207]
方面17b-根据方面10b所述的装置，其中为了使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式，一个或多个处理器还被配置为：对指示来自主要最可能模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0208]
方面18b-根据方面10b所述的装置，还包括：被配置为显示包括所述解码的视频数据块的图片的显示器。
[0209]
方面19b-一种被配置为对视频数据进行解码的装置，该装置包括：用于构建包含n个条目的一般最可能模式列表的部件，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；用于从一般最可能模式列表中的前np个条目构建主要最可能模式列表的部件，其中np小于n；用于从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表的部件；用于使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式的部件；以及用于使用该当前帧内预测模式对该当前视频数据块进行解码以生成解码的视频数据块的部件。
[0210]
方面20b-根据方面19b所述的装置，其中用于确定当前帧内预测模式的部件还包括：用于对主要最可能模式列表或次要最可能模式列表的索引进行解码的部件，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及用于基于索引来确定所述当前视频数据块的当前帧内预测模式的部件。
[0211]
方面21b-根据方面20b所述的装置，其中用于对主要最可能模式列表或次要最可能模式列表的索引进行解码的部件包括：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文的部件；以及用于使用所述上下文对所述索引的第一个二进制数进行熵解码的部件。
[0212]
方面22b-一种存储有指令的非暂时性计算机可读存储介质，该指令在被执行时使被配置为对视频数据进行解码的一个或多个处理器：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模
式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0213]
方面23b-根据方面22b所述的非暂时性计算机可读存储介质，其中为了确定当前帧内预测模式，指令还使一个或多个处理器：对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及基于索引来确定当前视频数据块的当前帧内预测模式。
[0214]
方面24b-根据方面23b所述的非暂时性计算机可读存储介质，其中为了对主要最可能模式列表或次要最可能模式列表的索引进行解码，指令还使一个或多个处理器：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及使用上下文对索引的第一个二进制数进行熵解码。
[0215]
方面25b-一种被配置为编码视频数据的装置，该装置包括：被配置为存储当前视频数据块的存储器；以及在电路中实现并与存储器进行通信的一个或多个处理器，一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。
[0216]
方面26b-根据方面25b所述的装置，其中，一个或多个处理器还被配置为：对主要最可能模式列表或次要最可能模式列表的索引进行编码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。
[0217]
方面27b-根据方面26b所述的装置，其中为了对主要最可能模式列表或次要最可能模式列表的索引进行编码，一个或多个处理器还被配置为：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵编码的上下文；以及使用上下文对索引的第一个二进制数进行熵编码。
[0218]
方面28b-根据方面27b所述的装置，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0219]
方面29b-根据方面25b所述的装置，其中n是22，并且np是6。
[0220]
方面30b-根据方面25b所述的装置，其中为了构建所述一般最可能模式列表，一个或多个处理器还被配置为：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0221]
方面31b-根据方面25b所述的装置，其中为了将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表，一个或多个处理器还被配置为：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0222]
方面32b-根据方面25b所述的装置，还包括:相机，该相机被配置为捕获包括当前视频数据块的图片。
[0223]
方面1c-一种对视频数据进行解码的方法，该方法包括：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0224]
方面2c-根据方面1c所述的方法，其中确定当前帧内预测模式还包括：对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及基于索引来确定当前视频数据块的当前帧内预测模式。
[0225]
方面3c-根据方面2c所述的方法，其中对主要最可能模式列表或次要最可能模式列表的索引进行解码包括：基于用于当前块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及使用上下文对索引的第一个二进制数进行熵解码。
[0226]
方面4c-根据方面3c所述的方法，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0227]
方面5c-根据方面1c-4c中任一项所述的方法，其中，n是22，并且np是6。
[0228]
方面6c-根据方面1c-5c中任一项所述的方法，其中构建一般最可能模式列表包括：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0229]
方面7c-根据方面6c所述的方法，其中将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表包括：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0230]
方面8c-根据方面1c-7c中任一项所述的方法，其中使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式包括：对指示来自主要最可能模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0231]
方面9c-根据方面1c-8c中任一项所述的方法，还包括：显示包括解码的视频数据块的图片。
[0232]
方面10c-一种被配置为对视频数据进行解码的装置，该装置包括：被配置为存储当前视频数据块的存储器；以及在电路中实现并与存储器进行通信的一个或多个处理器，一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使
用该当前帧内预测模式对当前视频数据块进行解码以生成解码的视频数据块。
[0233]
方面11c-根据方面10c所述的装置，其中，为了进一步确定当前帧内预测模式，一个或多个处理器还被配置为：对主要最可能模式列表或次要最可能模式列表的索引进行解码，其中索引指示所述主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式；以及基于索引来确定当前视频数据块的当前帧内预测模式。
[0234]
方面12c-根据方面11c所述的装置，其中，为了对主要最可能模式列表或次要最可能模式列表的索引进行解码，一个或多个处理器还被配置为：基于用于当前视频数据块的译码工具来确定用于对索引的第一个二进制数进行熵解码的上下文；以及
[0235]
使用上下文对索引的第一个二进制数进行熵解码。
[0236]
方面13c-根据方面12c所述的装置，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0237]
方面14c-根据方面10c-13c中任一项所述的装置，其中n是22，并且np是6。
[0238]
方面15c-根据方面10c-14c中任一项所述的装置，其中，为了构建一般最可能模式列表，一个或多个处理器还被配置为：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0239]
方面16c-根据方面15c所述的装置，其中为了将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表，一个或多个处理器还被配置为：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0240]
方面17c-根据方面10c-16c中任一项所述的装置，其中为了使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式，一个或多个处理器还被配置为：对指示来自主要最可能模式列表或次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对当前最可能模式列表的索引进行解码；以及根据当前最可能模式列表的索引来确定当前帧内预测模式。
[0241]
方面18c-根据方面10c-17c中任一项所述的装置，还包括：被配置为显示包括所述解码的视频数据块的图片的显示器。
[0242]
方面19c-一种被配置为对视频数据进行编码的装置，该装置包括：被配置为存储当前视频数据块的存储器；以及在电路中实现并与存储器进行通信的一个或多个处理器，一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中一般最可能模式列表的n个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用主要最可能模式列表或次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用该当前帧内预测模式对当前视频数据块进行编码以生成编码的视频数据块。
[0243]
方面20c-根据方面19c所述的装置，其中一个或多个处理器还被配置为：对主要最可能模式列表或次要最可能模式列表的索引进行编码，其中索引指示主要最可能模式列表或次要最可能模式列表中的非平面帧内预测模式。
[0244]
方面21c-根据方面20c所述的装置，其中为了对主要最可能模式列表或次要最可
能模式列表的索引进行编码，一个或多个处理器还被配置为：基于用于当前视频数据块的译码工具来确定用于对索引的第一个二进制数进行熵编码的上下文；以及使用上下文对索引的第一个二进制数进行熵编码。
[0245]
方面22c-根据方面21c所述的装置，其中，译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。
[0246]
方面23c-根据方面19c-22c中任一项所述的装置，其中，n是22，并且np是6。
[0247]
方面24c-根据方面19c-23c中任一项所述的装置，其中，为了构建一般最可能模式列表，一个或多个处理器还被配置为：将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表；以及将从来自相应相邻块的相应帧内预测模式偏移的多个帧内预测模式添加到一般最可能模式列表。
[0248]
方面25-根据方面19c-24c中任一项所述的装置，其中为了将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表，一个或多个处理器还被配置为：基于相应帧内预测模式是可用的并且尚未被添加到一般最可能模式列表，将来自当前视频数据块的相应相邻块的相应帧内预测模式添加到一般最可能模式列表。
[0249]
方面26c-根据方面19c-25c中任一项所述的装置，还包括：相机，该相机被配置为捕获包括当前视频数据块的图片。
[0250]
应当认识到，根据示例，本文描述的任何技术的某些动作或事件可以以不同的顺序执行，可以被添加，合并或完全省略(例如，并非所有描述的动作或事件都是技术实践所必需的)。此外，在某些示例中，动作或事件可以例如通过多线程处理、中断处理或多个处理器并发地而不是顺序地执行。
[0251]
在一个或多个示例中，可以以硬件、软件、固件或其任意组合来实现所描述的功能。如果以软件实现，则功能可以作为一个或多个指令或代码存储在计算机可读介质上或通过计算机可读介质发送，并由基于硬件的处理单元执行。计算机可读介质可以包括计算机可读存储介质，其对应于诸如数据存储介质的有形介质，或者通信介质，其包括例如根据通信协议来促进将计算机程序从一个地方转移到另一个地方的任何介质。以此方式，计算机可读介质通常可以对应于(1)非暂时性的有形计算机可读存储介质，或者(2)诸如信号或载波的通信介质。数据存储介质可以是可以由一台或多台计算机或一个或多个处理器存取以检索指令、代码和/或数据结构以实现本公开中描述的技术的任何可用介质。计算机程序产品可以包括计算机可读介质。
[0252]
作为示例而非限制，这种计算机可读存储介质可以包括ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储或其他磁性存储装置、闪存或任何其他可以用来以指令或数据结构的形式存储所需的程序代码并且能够由计算机存取。而且，任何连接都适当地称为计算机可读介质。例如，如果使用同轴电缆、光纤电缆、双绞线、数字订户线(dsl)或无线技术(诸如红外，无线电和微波)从网站，服务器或其他远程源发送指令，则介质的定义包括同轴电缆、光纤电缆、双绞线、dsl或诸如红外、无线电和微波之类的无线技术。然而，应当理解的是，计算机可读存储介质和数据存储介质不包括连接、载波、信号或其他暂时性介质，而是针对非暂时性有形存储介质。如本文使用的盘和碟包括致密碟(cd)、激光碟、光碟、数字多功能碟(dvd)、软盘和蓝光碟，其中盘通常以磁性方式再现数据，而碟则利用激光光学地再现数据。上述的组合也应包括在计算机可读介质的范围内。
[0253]
指令可以由一个或多个处理器执行，诸如一个或多个dsp、通用微处理器、asic、fpga或其他等效的集成或离散逻辑电路。因此，如本文所使用的术语“处理器”和“处理电路”可以指任何前述结构或适合于实现本文描述的技术的任何其他结构。另外，在一些方面，本文描述的功能可以在被配置用于编码和解码的专用硬件和/或软件模块内提供，或结合在组合编解码器中。同样，该技术可以在一个或多个电路或逻辑元件中完全实现。
[0254]
本公开的技术可以在包括无线手持机、集成电路(ic)或一组ic(例如，芯片组)的多种设备或装置中实现。本公开中描述各种组件、模块或单元以强调被配置来执行所公开的技术的设备的功能方面，但不需要由不同硬件单元实现。而是，如上文所描述，各种单元可结合合适的软件和/或固件组合在编解码器硬件单元中或由一些互操作硬件单元来提供，该硬件单元包括如上文所描述的一个或多个处理器。
[0255]
已经对各种示例进行了描述。这些示例以及其他示例都在所附权利要求的范围内。

技术特征：
1.一种对视频数据进行解码的方法，所述方法包括：构建包含n个条目的一般最可能模式列表，其中所述一般最可能模式列表的所述n个条目是帧内预测模式，并且其中平面模式是所述一般最可能模式列表中的顺序第一个条目；从所述一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从所述一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用所述主要最可能模式列表或所述次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用所述当前帧内预测模式对所述当前视频数据块进行解码以生成解码的视频数据块。2.根据权利要求1所述的方法，其中，确定所述当前帧内预测模式还包括：将索引解码成所述主要最可能模式列表或所述次要最可能模式列表，其中所述索引指示所述主要最可能模式列表或所述次要最可能模式列表中的非平面帧内预测模式；以及基于所述索引来确定所述当前视频数据块的当前帧内预测模式。3.根据权利要求2所述的方法，其中，对所述主要最可能模式列表或所述次要最可能模式列表的所述索引进行解码包括：基于用于所述当前视频数据块的译码工具来确定用于对所述索引的第一个二进制数进行熵解码的上下文；以及使用所述上下文对所述索引的所述第一个二进制数进行熵解码。4.根据权利要求3所述的方法，其中，所述译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。5.根据权利要求1所述的方法，其中，n是22，并且np是6。6.根据权利要求1所述的方法，其中，构建所述一般最可能模式列表包括：将来自所述当前视频数据块的相应相邻块的相应帧内预测模式添加到所述一般最可能模式列表；以及将从来自所述相应相邻块的所述相应帧内预测模式偏移的多个帧内预测模式添加到所述一般最可能模式列表。7.根据权利要求6所述的方法，其中，将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表包括：基于所述相应帧内预测模式是可用的并且尚未被添加到所述一般最可能模式列表，将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表。8.根据权利要求1所述的方法，其中，使用所述主要最可能模式列表或所述次要最可能模式列表确定用于所述当前视频数据块的当前帧内预测模式包括：对指示来自所述主要最可能模式列表或所述次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对所述当前最可能模式列表的索引进行解码；以及根据所述当前最可能模式列表的所述索引来确定所述当前帧内预测模式。9.根据权利要求1所述的方法，还包括显示包括所述解码的视频数据块的图片。10.一种被配置为对视频数据进行解码的装置，所述装置包括：存储器，其被配置为存储当前视频数据块；以及
一个或多个处理器，其在电路中实现并与所述存储器进行通信，所述一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中所述一般最可能模式列表的所述n个条目是帧内预测模式，并且其中平面模式是所述一般最可能模式列表中的顺序第一个条目；从所述一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中，np小于n；从所述一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用所述主要最可能模式列表或所述次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用所述当前帧内预测模式对所述当前视频数据块进行解码以生成解码的视频数据块。11.根据权利要求10所述的装置，其中，为了进一步确定所述当前帧内预测模式，所述一个或多个处理器还被配置为：对所述主要最可能模式列表或所述次要最可能模式列表的索引进行解码，其中所述索引指示所述主要最可能模式列表或所述次要最可能模式列表中的非平面帧内预测模式；以及基于所述索引来确定所述当前视频数据块的所述当前帧内预测模式。12.根据权利要求11所述的装置，其中，为了对所述主要最可能模式列表或所述次要最可能模式列表的所述索引进行解码，所述一个或多个处理器还被配置为：基于用于所述当前视频数据块的译码工具来确定用于对所述索引的第一个二进制数进行熵解码的上下文；以及使用所述上下文对所述索引的所述第一个二进制数进行熵解码。13.根据权利要求12所述的装置，其中，所述译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。14.根据权利要求10所述的装置，其中，n是22，并且np是6。15.根据权利要求10所述的装置，其中，为了构建所述一般最可能模式列表，所述一个或多个处理器还被配置为：将来自所述当前视频数据块的相应相邻块的相应帧内预测模式添加到所述一般最可能模式列表；以及将从来自所述相应相邻块的所述相应帧内预测模式偏移的多个帧内预测模式添加到所述一般最可能模式列表。16.根据权利要求15所述的装置，其中，为了将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表，所述一个或多个处理器还被配置为：基于所述相应帧内预测模式是可用的并且尚未被添加到所述一般最可能模式列表，将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表。17.根据权利要求10所述的装置，其中，为了使用所述主要最可能模式列表或所述次要最可能模式列表确定用于所述当前视频数据块的所述当前帧内预测模式，所述一个或多个处理器还被配置为：
对指示来自所述主要最可能模式列表或所述次要最可能模式列表的当前最可能模式列表的语法元素进行解码；对所述当前最可能模式列表的索引进行解码；以及根据所述当前最可能模式列表的所述索引来确定所述当前帧内预测模式。18.根据权利要求10所述的装置，还包括：显示器，其被配置为显示包括所述解码的视频数据块的图片。19.一种被配置为对视频数据进行解码的装置，所述装置包括：用于构建包含n个条目的一般最可能模式列表的部件，其中所述一般最可能模式列表的所述n个条目是帧内预测模式，并且其中平面模式是所述一般最可能模式列表中的顺序第一个条目；用于从所述一般最可能模式列表中的前np个条目构建主要最可能模式列表的部件，其中，np小于n；用于从所述一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表的部件；用于使用所述主要最可能模式列表或所述次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式的部件；以及用于使用所述当前帧内预测模式对所述当前视频数据块进行解码以生成解码的视频数据块的部件。20.根据权利要求19所述的装置，其中，用于确定所述当前帧内预测模式的所述部件还包括：用于对所述主要最可能模式列表或所述次要最可能模式列表的索引进行解码的部件，其中所述索引指示所述主要最可能模式列表或所述次要最可能模式列表中的非平面帧内预测模式；以及用于基于所述索引来确定所述当前视频数据块的所述当前帧内预测模式的部件。21.根据权利要求20所述的装置，其中，用于对所述主要最可能模式列表或所述次要最可能模式列表的所述索引进行解码的部件包括：用于基于用于所述当前视频数据块的译码工具来确定用于对所述索引的第一个二进制数进行熵解码的上下文的部件；以及用于使用所述上下文对所述索引的所述第一个二进制数进行熵解码的部件。22.一种存储指令的非暂时性计算机可读存储介质，所述指令在被执行时使被配置为对视频数据进行解码的一个或多个处理器：构建包含n个条目的一般最可能模式列表，其中所述一般最可能模式列表的所述n个条目是帧内预测模式，并且其中平面模式是所述一般最可能模式列表中的顺序第一个条目；从所述一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从所述一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用所述主要最可能模式列表或所述次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用所述当前帧内预测模式对所述当前视频数据块进行解码以生成解码的视频数据块。
23.根据权利要求22所述的非暂时性计算机可读存储介质，其中，为了进一步确定所述当前帧内预测模式，所述指令还使所述一个或多个处理器：对所述主要最可能模式列表或所述次要最可能模式列表的索引进行解码，其中所述索引指示所述主要最可能模式列表或所述次要最可能模式列表中的非平面帧内预测模式；以及基于所述索引来确定所述当前视频数据块的所述当前帧内预测模式。24.根据权利要求23所述的非暂时性计算机可读存储介质，其中，为了对所述主要最可能模式列表或所述次要最可能模式列表的所述索引进行解码，所述指令还使所述一个或多个处理器：基于用于所述当前视频数据块的译码工具来确定用于对所述索引的第一个二进制数进行熵解码的上下文；以及使用所述上下文对所述索引的所述第一个二进制数进行熵解码。25.一种被配置为对视频数据进行编码的装置，所述装置包括：存储器，其被配置为存储当前视频数据块；以及一个或多个处理器，其在电路中实现并与所述存储器进行通信，所述一个或多个处理器被配置为：构建包含n个条目的一般最可能模式列表，其中所述一般最可能模式列表的所述n个条目是帧内预测模式，并且其中平面模式是所述一般最可能模式列表中的顺序第一个条目；从所述一般最可能模式列表中的前np个条目构建主要最可能模式列表，其中np小于n；从所述一般最可能模式列表中的剩余(n-np)个条目构建次要最可能模式列表；使用所述主要最可能模式列表或所述次要最可能模式列表确定用于当前视频数据块的当前帧内预测模式；以及使用所述当前帧内预测模式对所述当前视频数据块进行编码以生成编码的视频数据块。26.根据权利要求25所述的装置，其中，所述一个或多个处理器还被配置为对所述主要最可能模式列表或所述次要最可能模式列表的索引进行编码，其中所述索引指示所述主要最可能模式列表或所述次要最可能模式列表中的非平面帧内预测模式。27.根据权利要求26所述的装置，其中，为了对所述主要最可能模式列表或所述次要最可能模式列表的所述索引进行编码，所述一个或多个处理器还被配置为：基于用于所述当前视频数据块的译码工具来确定用于对所述索引的第一个二进制数进行熵编码的上下文；以及使用所述上下文对所述索引的所述第一个二进制数进行熵编码。28.根据权利要求27所述的装置，其中，所述译码工具是常规帧内预测模式、帧内子分割模式或多参考线模式之一。29.根据权利要求25所述的装置，其中，n是22，并且np是6。30.根据权利要求25所述的装置，其中，为了构建所述一般最可能模式列表，所述一个或多个处理器还被配置为：将来自所述当前视频数据块的相应相邻块的相应帧内预测模式添加到所述一般最可能模式列表；以及
将从来自所述相应相邻块的所述相应帧内预测模式偏移的多个帧内预测模式添加到所述一般最可能模式列表。31.根据权利要求25所述的装置，其中，为了将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表，所述一个或多个处理器还被配置为基于所述相应帧内预测模式是可用的并且尚未被添加到所述一般最可能模式列表，将来自所述当前视频数据块的所述相应相邻块的所述相应帧内预测模式添加到所述一般最可能模式列表。32.根据权利要求25所述的装置，还包括：相机，其被配置为捕获包括所述当前视频数据块的图片。

技术总结
视频译码器可以使用从最可能模式列表确定的帧内预测模式来对视频数据块进行译码。该视频译码器可以构建包含N个条目的一般最可能模式列表，其中一般最可能模式列表的N个条目是帧内预测模式，并且其中平面模式是一般最可能模式列表中的顺序第一个条目；从一般最可能模式列表中的前Np个条目构建主要最可能模式列表，其中Np小于N；以及从一般最可能模式列表中的剩余(N-Np)个条目构建次要最可能模式列表。视频译码器然后可以使用主要最可能模式列表或次要最可能模式列表来确定用于当前视频数据块的当前帧内预测模式。数据块的当前帧内预测模式。数据块的当前帧内预测模式。


技术研发人员：Y-J
受保护的技术使用者：高通股份有限公司
技术研发日：2021.11.23
技术公布日：2023/9/9