帧内模式传播的改进的制作方法

帧内模式传播的改进
引用并入
1.本技术要求于2022年9月14日提交的美国专利申请第17/945,032号“improvement on intramode propagation”的优先权权益，该美国专利申请要求于2021年10月11日提交的美国临时申请第63/254,526号“intra mode propagation”的优先权权益。在先申请的公开内容在此通过引入整体被并入。
技术领域
2.本公开内容描述了总体上涉及视频编码的实施方式。


背景技术：

3.本文中提供的背景技术描述的目的在于总体上呈现本公开内容的背景。就在该背景技术部分中描述工作的程度而言，目前署名的发明人的工作以及在提交时可能未以其他方式描述为现有技术的描述的各方面既没有明确地也没有隐含地被承认为针对本公开内容的现有技术。
4.可以使用带有运动补偿的图片间预测来执行视频编码和解码。未压缩的数字视频可以包括一系列图片，每个图片具有例如，1920
×
1080的亮度样本和相关联的色度样本的空间维度。这一系列图片可以具有例如，每秒60幅图片或60hz的固定或可变的图片速率(非正式地也称为帧速率)。未压缩的视频具有特定的比特率要求。例如，每个样本8比特的1080p604:2:0视频(60hz帧速率下的1920
×
1080亮度样本分辨率)需要接近1.5gbit/s的带宽。一小时这样的视频需要超过600千兆字节的存储空间。
5.视频编码和解码的一个目的可以是通过压缩减少输入视频信号中的冗余。压缩可以有助于降低前面提到的带宽和/或存储空间要求，在一些情况下可以降低两个数量级或更多。可以采用无损压缩和有损压缩两者，以及其组合。无损压缩是指可以根据压缩的原始信号重构原始信号的精确副本的技术。当使用有损压缩时，重构的信号可能与原始信号不同，但是原始信号与重构的信号之间的失真足够小，以使得重构的信号能够用于预期应用。在视频的情况下，广泛地采用有损压缩。容忍的失真量取决于应用；例如，某些消费者流媒体应用的用户可能比电视分配应用的用户容忍更高的失真。可实现的压缩比可以反映出：越高的可允许/可容忍的失真可以产生越高的压缩比。
6.视频编码器和解码器可以利用来自包括例如，运动补偿、变换、量化和熵编码的若干大类的技术。
7.视频编解码器技术可以包括被称为帧内编码的技术。在帧内编码中，在不参考来自先前重构的参考图片的样本或其他数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有的样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生(例如，独立解码器刷新图片)可以用于重置解码器状态，并且因此可以用作编码视频比特流和视频会话中的第一幅图片，或用作静止图像。可以使帧内块的样本经受变换，并且可以在熵编码之前对变换系数进行量化。帧内预测可以是使预变换域
中的样本值最小化的技术。在一些情况下，变换之后的dc值越小并且ac系数越小，在给定量化步长下表示熵编码之后的块所需的比特就越少。
8.传统的帧内编码，例如从例如mpeg-2代编码技术中已知的帧内编码，不使用帧内预测。然而，一些较新的视频压缩技术包括根据周围样本数据和/或例如在对空间上相邻并且解码顺序在先的数据块的编码和/或解码期间获得的元数据进行尝试的技术。这样的技术在下文中称为“帧内预测”技术。注意，在至少一些情况下，帧内预测使用仅来自重构下的当前图片的参考数据，而不使用来自参考图片的参考数据。
9.可以存在许多不同形式的帧内预测。当在给定视频编码技术中可以使用多于一种的这样的技术时，使用的技术可以在帧内预测模式下进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独编码或被包括在模式码字中。针对给定模式、子模式和/或参数组合使用哪个码字可以通过帧内预测影响编码效率增益，并且因此用于将码字转换成比特流的熵编码技术也可以通过帧内预测影响编码效率增益。
10.帧内预测的某些模式通过h.264引入、在h.265中被细化，并且在诸如联合开发模型(joint exploration model，jem)、通用视频编码(versatile video coding，vvc)和基准集(benchmark set，bms)的较新编码技术中被进一步细化。使用属于已可用样本的相邻样本值，可以形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。可以将对使用的方向的参考编码在比特流中，或者可以自己预测对使用的方向的参考。
11.参照图1，右下方描绘的是从h.265的33个可能预测器方向(对应于35个帧内模式的33个角度模式)已知的九个预测器方向的子集。箭头相交的点(101)表示正被预测的样本。箭头表示对样本进行预测的方向。例如，箭头(102)指示根据右上方的与水平线成45度角的一个或多个样本对样本(101)进行预测。类似地，箭头(103)指示根据样本(101)左下方的与水平线成22.5度角的一个或多个样本对样本(101)进行预测。
12.仍然参照图1，左上方描绘的是4
×
4个样本的正方形块(104)(由黑体虚线指示)。正方形块(104)包括16个样本，每个样本均用“s”、其在y维度上的位置(例如，行索引)以及其在x维度上的位置(例如，列索引)来标记。例如，样本s21是y维度上(从顶部起)的第二样本并且是x维度上(从左侧起)的第一样本。类似地，样本s44是在y维度和x维度两者上块(104)中的第四个样本。由于块的大小是4
×
4个样本，因此s44在右下方。另外示出的是遵循类似的编号方案的参考样本。参考样本用r、其相对于块(104)的y位置(例如，行索引)和x位置(列索引)来标记。在h.264和h.265二者中，预测样本与重构中的块相邻；因此不需要使用负值。
13.帧内图片预测可以通过从沿着用信令通知的预测方向合适的相邻样本复制参考样本值来工作。例如，假设编码视频比特流包括信令，针对该块，该信令指示与箭头(102)一致的预测方向——即，根据与水平线成45度角的右上方的一个或多个预测样本来预测样本。在这种情况下，根据同一参考样本r05来预测样本s41、s32、s23和s14。然后，根据参考样本r08来预测样本s44。
14.在某些情况下，可以例如，通过插值将多个参考样本的值进行组合以便计算参考样本；尤其是当方向不能以45度均匀可分割时。
15.随着视频编码技术的发展，可能的方向的数量也在增加。在h.264(2003年)中，可以表示九个不同的方向。在h.265(2013年)中，增加到33个，并且jem/vvc/bms在公开时可以
支持多至65个方向。已经进行了实验来识别最可能的方向，并且熵编码中的某些技术被用于以少量的比特表示这些可能的方向，代价是较少的可能的方向。此外，有时可以根据在相邻的已解码的块中使用的相邻方向来预测方向本身。
16.图2示出了示意图(201)，其描绘根据jem的65个帧内预测方向以示出预测方向的数量随时间增加。
17.编码视频比特流中表示方向的帧内预测方向比特的映射可以根据不同的视频编码技术而不同；并且该映射的范围可以例如从预测方向的简单直接映射到帧内预测模式，码字，涉及最可能模式的复杂自适应方案以及类似技术。然而，在所有情况下，可能存在与某些其他方向相比统计上较不可能在视频内容中出现的某些方向。由于视频压缩的目标是减少冗余，因此在运转良好的视频编码技术中，与更可能的方向相比，那些较不可能的方向将由更大数量的比特来表示。


技术实现要素：

18.本公开内容的各方面提供用于视频编码/解码的方法和设备。在一些示例中，用于视频解码的设备包括接收电路系统和处理电路系统。
19.根据本公开内容的一方面，提供一种在视频解码器中执行的视频解码方法。在该方法中，可以从编码视频比特流接收(i)图片的当前块和(ii)图片的重构区域的编码信息。可以在图片的重构区域中确定当前块的匹配区域。可以在当前块内确定当前块的第一对应位置。第一对应位置可以包括相对于当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。第一轴可以垂直于第二轴。可以在匹配区域中确定当前块的对应块。对应块可以包括第二对应位置，第二对应位置具有相对于匹配区域上的第二参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。可以基于对应块确定当前块的帧内预测模式。
20.为了确定匹配区域，可以在图片的重构区域中搜索多个候选匹配区域。可以确定当前块的模板区域与多个候选匹配区域中的每个候选匹配区域的相应模板区域之间的相应成本值。可以将匹配区域确定为多个候选匹配区域中的具有最小成本值的候选匹配区域。当前块的模板区域可以包括与当前块的左侧相邻的第一区域以及与当前块的顶侧相邻的第二区域。多个候选匹配区域中的每个候选匹配区域的相应模板区域可以包括与多个候选匹配区域中的相应一个候选匹配区域的左侧相邻的第一区域以及与多个候选匹配区域中的相应一个候选匹配区域的顶侧相邻的第二区域。
21.在一些实施方式中，可以在编码信息中预定义或用信号传送当前块的第一对应位置。
22.在一些实施方式中，第一对应位置可以是当前块的中心。
23.在一些实施方式中，可以将对应块的帧内预测模式确定为当前块的帧内预测模式。
24.在一些实施方式中，可以基于通用帧内模式映射来确定当前块的帧内预测模式。通用帧内模式映射可以将匹配区域划分为多个子区域。多个子区域中的每一个子区域可以与相应的帧内预测模式相关联。当前块的帧内预测模式可以是与多个子区域中的包括第二对应位置的子区域相关联的帧内预测模式。
25.根据本公开内容的另一方面，可以提供一种在视频解码器中执行的视频编码的方法。在该方法中，可以从编码视频比特流接收(i)色度编码单元(cu)和(ii)亮度区域。可以在色度cu内确定色度cu的对应位置。对应位置可以包括第一轴上的第一坐标值和第二轴上的第二坐标值。第一轴可以垂直于第二轴。可以在亮度区域中确定色度cu的同位亮度cu。同位亮度cu可以包括对应位置。可以基于同位亮度cu确定色度cu的帧内预测模式。
26.在实施方式中，响应于基于帧内预测模式对同位亮度cu进行帧内编码，可以将同位亮度cu的帧内预测模式确定为色度cu的帧内预测模式。在其他实施方式中，响应于未对同位亮度cu进行帧内编码，可以将同位亮度cu的传播的帧内模式确定为色度cu的帧内预测模式。同位亮度cu的传播的帧内模式可以基于同位亮度cu的相邻亮度cu的帧内预测模式来获得。
27.在一些实施方式中，可以在编码信息中预定义或用信号传送色度cu的对应位置。
28.在一些实施方式中，可以基于通用帧内模式映射来确定色度cu的帧内预测模式。通用帧内模式映射可以将亮度区域划分为多个子区域。多个子区域中的每一个子区域可以被分配有相应的帧内预测模式。色度cu的帧内预测模式可以是与多个子区域中的包括对应位置的子区域相关联的帧内预测模式。
29.根据本公开内容的另一方面，提供了一种设备。该设备包括处理电路系统。处理电路系统可以被配置成执行用于视频编码的方法中的任一者。
30.本公开内容的各方面还提供一种存储指令的非暂态计算机可读介质，指令在由计算机执行以用于视频编码时使计算机执行用于视频编码的方法中的任一者。
附图说明
31.根据以下详细描述和附图，所公开的主题的进一步特征、性质和各种优点将更加明显，在附图中：
32.图1是帧内预测模式的示例性子集的示意性图示。
33.图2是示例性帧内预测方向的图示。
34.图3是根据实施方式的通信系统(300)的简化框图的示意性图示。
35.图4是根据实施方式的通信系统(400)的简化框图的示意性图示。
36.图5是根据实施方式的解码器的简化框图的示意性图示。
37.图6是根据实施方式的编码器的简化框图的示意性图示。
38.图7示出了根据另一实施方式的编码器的框图。
39.图8示出了根据另一实施方式的解码器的框图。
40.图9示出了根据本公开内容的一些实施方式的帧内模式编码中的当前编码单元的相邻编码单元。
41.图10是根据本公开内容的一些实施方式的帧内模板匹配预测(template matching prediction，tmp)的示意图示。
42.图11是根据本公开内容的一些实施方式的色度的导出模式(derived mode，dm)的示意图。
43.图12a是根据本公开内容的一些实施方式的第一示例性通用帧内模式映射。
44.图12b是根据本公开内容的一些实施方式的第二示例性通用帧内模式映射。
45.图13是根据本公开内容的一些实施方式的基于tmp的第一示例性传播的帧内模式的示意图示。
46.图14是根据本公开内容的一些实施方式的基于tmp的第二示例性传播的帧内模式的示意图示。
47.图15示出了概述根据本公开内容的一些实施方式的第一示例性解码过程的流程图。
48.图16示出了概述根据本公开内容的一些实施方式的第二示例性解码过程的流程图。
49.图17示出了概述根据本公开内容的一些实施方式的第一示例性编码过程的流程图。
50.图18示出了概述根据本公开内容的一些实施方式的第二示例性编码过程的流程图。
51.图19是根据实施方式的计算机系统的示意性图示。
具体实施方式
52.图3示出了根据本公开内容的实施方式的通信系统(300)的简化框图。通信系统(300)包括可以经由例如网络(350)彼此通信的多个终端装置。例如，通信系统(300)包括经由网络(350)互连的第一对终端装置(310)和(320)。在图3的示例中，第一对终端装置(310)和(320)执行数据的单向传输。例如，终端装置(310)可以对视频数据(例如，由终端装置(310)捕获的视频图片流)进行编码，以供经由网络(350)传输至另一终端装置(320)。编码视频数据可以以一个或更多个编码视频比特流的形式传输。终端装置(320)可以从网络(350)接收编码视频数据，对编码视频数据进行解码以恢复视频图片，并且根据所恢复的视频数据显示视频图片。单向数据传输在媒体服务应用等中可以是常见的。
53.在另一示例中，通信系统(300)包括执行编码视频数据的双向传输的第二对终端装置(330)和(340)，该双向传输可能例如在视频会议期间发生。对于数据的双向传输，在示例中，终端装置(330)和(340)中的每个终端装置可以对视频数据(例如，由终端装置捕获的视频图片流)进行编码，以供经由网络(350)传输至终端装置(330)和(340)中的另一终端装置。终端装置(330)和(340)中的每个终端装置还可以接收由终端装置(330)和(340)中的另一终端装置传输的编码视频数据，并且可以对该编码视频数据进行解码以恢复视频图片，并且可以根据所恢复的视频数据在可访问的显示装置处显示视频图片。
54.在图3的示例中，终端装置(310)、(320)、(330)和(340)可以被示出为服务器、个人计算机和智能电话，但是本公开内容的原理可以不被这样限制。本公开内容的实施方式适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络(350)表示在终端装置(310)、(320)、(330)和(340)之间传送编码视频数据的任何数量的网络，包括例如有线(连线的)和/或无线通信网络。通信网络(350)可以在电路交换信道和/或分组交换信道中交换数据。代表性的网络包括电信网络、局域网、广域网和/或因特网。出于本讨论的目的，除非下面在本文中说明，否则网络(350)的架构和拓扑对于本公开内容的操作而言可能是无关紧要的。
55.作为所公开的主题的应用的示例，图4示出了视频编码器和视频解码器在流式传
输环境中的放置。所公开的主题可以同样地适用于其他支持视频的应用，包括例如视频会议、数字tv、在包括cd、dvd、存储棒等的数字介质上存储压缩视频等等。
56.流式传输系统可以包括捕获子系统(413)，该捕获子系统(413)可以包括创建例如未压缩的视频图片流(402)的视频源(401)，例如数字摄像机。在示例中，视频图片流(402)包括由数字摄像机拍摄的样本。视频图片流(402)被描绘为粗线以强调当与编码视频数据(404)(或编码视频比特流)比较时高的数据量，该视频图片流(402)可以由耦接至视频源(401)的包括视频编码器(403)的电子装置(420)进行处理。视频编码器(403)可以包括硬件、软件或其组合，以实现或实施如下更详细地描述的所公开的主题的各方面。编码视频数据(404)(或编码视频比特流(404))被描绘为细线以强调当与视频图片流(402)比较时较低的数据量，编码视频数据(404)(或编码视频比特流(404))可以存储在流式传输服务器(405)上以供将来使用。一个或更多个流式传输客户端子系统例如图4中的客户端子系统(406)和(408)可以访问流式传输服务器(405)以检索编码视频数据(404)的副本(407)和(409)。客户端子系统(406)可以包括例如电子装置(430)中的视频解码器(410)。视频解码器(410)对传入的编码视频数据的副本(407)进行解码，并且创建可以在显示器(412)(例如，显示屏)或另一呈现装置(未描绘)上呈现的传出的视频图片流(411)。在一些流式传输系统中，可以根据某些视频编码/压缩标准对编码视频数据(404)、(407)和(409)(例如，视频比特流)进行编码。这些标准的示例包括itu-t h.265建议书。在示例中，开发中的视频编码标准被非正式地称为通用视频编码(versatile video coding，vvc)。所公开的主题可以用于vvc的背景下。
57.注意，电子装置(420)和(430)可以包括其他部件(未示出)。例如，电子装置(420)可以包括视频解码器(未示出)，并且电子装置(430)也可以包括视频编码器(未示出)。
58.图5示出了根据本公开内容的实施方式的视频解码器(510)的框图。视频解码器(510)可以被包括在电子装置(530)中。电子装置(530)可以包括接收器(531)(例如，接收电路系统)。视频解码器(510)可以代替图4的示例中的视频解码器(410)使用。
59.接收器(531)可以接收要由视频解码器(510)解码的一个或更多个编码视频序列；在同一实施方式或另一实施方式中，一次接收一个编码视频序列，其中，每个编码视频序列的解码独立于其他编码视频序列。可以从信道(501)接收编码视频序列，该信道(501)可以是到存储编码视频数据的存储装置的硬件/软件链路。接收器(531)可以接收编码视频数据以及其他数据，例如编码音频数据和/或辅助数据流，它们可以被转发至其各自的使用实体(未描绘)。接收器(531)可以将编码视频序列与其他数据分开。为了防止网络抖动，可以将缓冲存储器(515)耦接在接收器(531)与熵解码器/解析器(520)(此后称为“解析器(520)”)之间。在某些应用中，缓冲存储器(515)是视频解码器(510)的一部分。在其他应用中，缓冲存储器(515)可以在视频解码器(510)外部(未描绘)。在又一些其他应用中，在视频解码器(510)外部可以存在缓冲存储器(未描绘)以例如防止网络抖动，并且另外在视频解码器(510)内部可以存在另一缓冲存储器(515)以例如处理播出时序。当接收器(531)从具有足够带宽和可控性的存储/转发装置或从等时同步网络接收数据时，可能不需要缓冲存储器(515)，或者缓冲存储器(515)可以是小的。为了在诸如因特网的尽力型(best effort)分组网络上使用，可能需要缓冲存储器(515)，该缓冲存储器(515)可以是相对大的并且可以有利地具有自适应大小，并且可以至少部分地在视频解码器(510)外部的操作系统或类似元
件(未描绘)中实现。
60.视频解码器(510)可以包括解析器(520)以根据编码视频序列重构符号(521)。这些符号的类别包括：用于管理视频解码器(510)的操作的信息，以及可能地包括用于控制呈现装置诸如呈现装置(512)(例如，显示屏)的信息，该呈现装置(512)不是电子装置(530)的组成部分而是可以耦接至电子装置(530)，如图5中所示。呈现装置的控制信息可以呈补充增强信息(supplemental enhancement information，sei消息)或视频可用性信息(video usability information，vui)参数集片段(未描绘)的形式。解析器(520)可以对接收到的编码视频序列进行解析/熵解码。编码视频序列的编码可以符合视频编码技术或标准，并且可以遵循各种原理，包括可变长度编码、霍夫曼编码、具有或不具有上下文敏感性的算术编码等。解析器(520)可以基于与组相对应的至少一个参数，从编码视频序列中提取针对视频解码器中的像素子组中的至少一个子组的子组参数集。子组可以包括：图片组(group of pictures，gop)、图片、图块、切片、宏块、编码单元(coding unit，cu)、块、变换单元(transform unit，tu)、预测单元(prediction unit，pu)等。解析器(520)还可以从编码视频序列中提取诸如变换系数、量化器参数值、运动矢量等的信息。
61.解析器(520)可以对从缓冲存储器(515)接收的视频序列执行熵解码/解析操作，以创建符号(521)。
62.符号(521)的重构可以根据编码视频图片或其部分的类型(例如：帧间图片和帧内图片、帧间块和帧内块)以及其他因素而涉及多个不同的单元。涉及哪些单元以及涉及方式可以通过由解析器(520)从编码视频序列解析的子组控制信息控制。为了清楚起见，未描绘解析器(520)与下面的多个单元之间的这样的子组控制信息流。
63.除已经提到的功能块以外，视频解码器(510)可以在概念上被细分为如下所述的多个功能单元。在商业约束下操作的实际实现中，这些单元中的许多单元彼此紧密交互并且可以至少部分地彼此集成。然而，出于描述所公开的主题的目的，在概念上细分为下面的功能单元是适当的。
64.第一单元是缩放器/逆变换单元(551)。缩放器/逆变换单元(551)从解析器(520)接收经量化的变换系数以及控制信息(包括要使用哪种变换、块大小、量化因子、量化缩放矩阵等)作为(一个或多个)符号(521)。缩放器/逆变换单元(551)可以输出包括样本值的块，所述块可以被输入到聚合器(555)中。
65.在一些情况下，缩放器/逆变换(551)的输出样本可以属于帧内编码块；即：不使用来自先前重构的图片的预测性信息但可以使用来自当前图片的先前重构部分的预测性信息的块。这样的预测性信息可以由帧内图片预测单元(552)提供。在一些情况下，帧内图片预测单元(552)使用从当前图片缓冲器(558)获取的周围已重构信息生成大小和形状与重构中的块相同的块。例如，当前图片缓冲器(558)缓冲部分重构的当前图片和/或完全重构的当前图片。在一些情况下，聚合器(555)基于每个样本将帧内预测单元(552)已经生成的预测信息添加至如由缩放器/逆变换单元(551)提供的输出样本信息。
66.在其他情况下，缩放器/逆变换单元(551)的输出样本可以属于帧间编码并且可能经运动补偿的块。在这样的情况下，运动补偿预测单元(553)可以访问参考图片存储器(557)以获取用于预测的样本。在根据属于块的符号(521)对所获取的样本进行运动补偿之后，这些样本可以由聚合器(555)添加至缩放器/逆变换单元(551)的输出(在这种情况下被
称作残差样本或残差信号)，从而生成输出样本信息。可以通过运动矢量来控制运动补偿预测单元(553)从其获取预测样本的参考图片存储器(557)内的地址，所述运动矢量可以以符号(521)的形式被运动补偿预测单元(553)获得，所述符号(521)可以具有例如x分量、y分量和参考图片分量。运动补偿还可以包括当使用子样本精确运动矢量时对从参考图片存储器(557)中获取的样本值的插值、运动矢量预测机制等。
67.聚合器(555)的输出样本可以在环路滤波器单元(556)中经受各种环路滤波技术。视频压缩技术可以包括环路内滤波器技术，所述环路内滤波器技术受控于编码视频序列(也被称为编码视频比特流)中包括的参数，所述参数可以作为来自解析器(520)的符号(521)被环路滤波器单元(556)获得，但是环路内滤波器技术也可以对在对编码图片或编码视频序列的(按解码顺序的)先前部分进行解码期间获得的元信息进行响应，以及对先前重构并且经环路滤波的样本值进行响应。
68.环路滤波器单元(556)的输出可以是样本流，该样本流可以被输出至呈现装置(512)以及被存储在参考图片存储器(557)中以供在将来的帧间图片预测中使用。
69.一旦被完全重构，某些编码图片就可以被用作参考图片以供在将来预测中使用。例如，一旦与当前图片对应的编码图片被完全重构，并且该编码图片(通过例如解析器(520))被识别为参考图片，则当前图片缓冲器(558)可以变为参考图片存储器(557)的一部分，并且可以在开始重构随后的编码图片之前重新分配新的当前图片缓冲器。
70.视频解码器(510)可以根据诸如itu-t h.265建议书的标准中的预定的视频压缩技术执行解码操作。在编码视频序列遵循视频压缩技术或标准的语法以及视频压缩技术或标准中记录的配置文件两者的意义上，编码视频序列可以符合由所使用的视频压缩技术或标准指定的语法。具体地，配置文件可以从视频压缩技术或标准中可用的所有工具中选择某些工具作为仅在该配置文件下可供使用的工具。对于合规性，还需要编码视频序列的复杂度处于由视频压缩技术或标准的级别限定的界限内。在一些情况下，级别限制最大图片大小、最大帧速率、最大重构样本率(以例如每秒百万样本为单位进行测量)、最大参考图片大小等。在一些情况下，由级别设置的限制可以通过假想参考解码器(hypothetical reference decoder，hrd)规范以及在编码视频序列中用信令通知的hrd缓冲器管理的元数据来进一步限定。
71.在实施方式中，接收器(531)可以连同编码视频一起接收附加(冗余)数据。附加数据可以被包括为(一个或多个)编码视频序列的一部分。附加数据可以由视频解码器(510)使用以对数据进行适当解码以及/或者更准确地重构原始视频数据。附加数据可以呈例如时间、空间或信噪比(signal noise ratio，snr)增强层、冗余切片、冗余图片、前向纠错码等形式。
72.图6示出了根据本公开内容的实施方式的视频编码器(603)的框图。视频编码器(603)被包括在电子装置(620)中。电子装置(620)包括传输器(640)(例如，传输电路系统)。视频编码器(603)可以代替图4的示例中的视频编码器(403)使用。
73.视频编码器(603)可以从视频源(601)(并非图6的示例中的电子装置(620)的一部分)接收视频样本，视频源(601)可以捕获要由视频编码器(603)进行编码的(一个或多个)视频图像。在另一示例中，视频源(601)是电子装置(620)的一部分。
74.视频源(601)可以提供要由视频编码器(603)进行编码的呈数字视频样本流形式
的源视频序列，该数字视频样本流可以具有任何合适的比特深度(例如：8比特、10比特、12比特
……
)、任何色彩空间(例如，bt.601y crcb、rgb
……
)和任何合适的采样结构(例如y crcb 4:2:0、y crcb4:4:4)。在媒体服务系统中，视频源(601)可以是存储先前准备的视频的存储装置。在视频会议系统中，视频源(601)可以是捕获本地图像信息作为视频序列的摄像装置。视频数据可以被提供为当按顺序观看时被赋予运动的多个单独的图片。图片本身可以被组织为空间像素阵列，其中，取决于所用的采样结构、色彩空间等，每个像素可以包括一个或更多个样本。本领域技术人员可以容易理解像素与样本之间的关系。以下描述集中于样本。
75.根据实施方式，视频编码器(603)可以实时地或者在应用所需的任何其他时间约束下将源视频序列的图片编码并压缩成编码视频序列(643)。施行适当的编码速度是控制器(650)的一个功能。在一些实施方式中，控制器(650)控制如下所述的其他功能单元并且在功能上耦接至所述其他功能单元。为简洁起见未描绘耦接。由控制器(650)设置的参数可以包括速率控制相关参数(图片跳过、量化器、率失真优化技术的λ值
……
)、图片大小、图片组(gop)布局、最大运动矢量搜索范围等。控制器(650)可以被配置成具有其他合适的功能，这些功能属于针对特定系统设计优化的视频编码器(603)。
76.在一些实施方式中，视频编码器(603)被配置成在编码环路中进行操作。作为极度简化的描述，在示例中，编码环路可以包括源编码器(630)(例如，负责基于要编码的输入图片和(一个或多个)参考图片创建符号，例如符号流)和嵌入在视频编码器(603)中的(本地)解码器(633)。解码器(633)以与(远程)解码器创建样本数据的方式类似的方式重构符号以创建样本数据(因为在所公开的主题中所考虑的视频压缩技术中，符号与编码视频比特流之间的任何压缩是无损的)。重构的样本流(样本数据)被输入到参考图片存储器(634)。由于符号流的解码产生与解码器位置(本地或远程)无关的比特精确结果，因此参考图片存储器(634)中的内容在本地编码器与远程编码器之间也是比特精确的。换句话说，编码器的预测部分将与解码器在解码期间使用预测时所“看到”的样本值完全相同的样本值“视为”参考图片样本。参考图片同步性的这种基本原理(以及在例如由于信道误差而无法维持同步性的情况下产生的偏移)也用于一些相关技术。
[0077]“本地”解码器(633)的操作可以与“远程”解码器例如已经在上面结合图5详细描述的视频解码器(510)的操作相同。然而，另外简要地参照图5，由于符号可用并且由熵编码器(645)将符号编码成编码视频序列以及由解析器(520)对符号进行解码可以是无损的，因此可以不在本地解码器(633)中完全实现视频解码器(510)的包括缓冲存储器(515)和解析器(520)的熵解码部分。
[0078]
在这点上可以做出的观察是，除了存在于解码器中的解析/熵解码之外的任何解码器技术也必然需要以基本上相同的功能形式存在于对应的编码器中。为此，所公开的主题集中于解码器操作。可以简化编码器技术的描述，因为编码器技术与全面地描述的解码器技术相反。下面仅在某些方面需要和提供更详细的描述。
[0079]
在一些示例中，在操作期间，源编码器(630)可以执行运动补偿预测编码，所述运动补偿预测编码参考来自视频序列的被指定为“参考图片”的一个或更多个先前编码图片来对输入图片进行预测性编码。以此方式，编码引擎(632)对输入图片的像素块与可以被选作该输入图片的(一个或多个)预测参考的(一个或多个)参考图片的像素块之间的差异进
行编码。
[0080]
本地视频解码器(633)可以基于由源编码器(630)创建的符号，对可以被指定为参考图片的图片的编码视频数据进行解码。编码引擎(632)的操作可以有利地为有损处理。当编码视频数据可以在视频解码器(图6中未示出)处被解码时，重构的视频序列通常可以是源视频序列的带有一些误差的副本。本地视频解码器(633)复制可以由视频解码器对参考图片执行的解码处理，并且可以使重构的参考图片存储在参考图片缓存(634)中。以此方式，视频编码器(603)可以在本地存储重构的参考图片的副本，所述副本与将由远端视频解码器获得的重构参考图片具有共同内容(不存在传输误差)。
[0081]
预测器(635)可以针对编码引擎(632)执行预测搜索。也就是说，对于要被编码的新图片，预测器(635)可以在参考图片存储器(634)中搜索可以用作针对新图片的合适预测参考的样本数据(作为候选参考像素块)或特定元数据，例如参考图片运动矢量、块形状等。预测器(635)可以在逐样本块-像素块的基础上操作，以找到合适的预测参考。在一些情况下，如由通过预测器(635)获得的搜索结果所确定的，输入图片可以具有从参考图片存储器(634)中存储的多个参考图片取得的预测参考。
[0082]
控制器(650)可以管理源编码器(630)的编码操作，包括例如设置用于对视频数据进行编码的参数和子组参数。
[0083]
所有以上提及的功能单元的输出可以在熵编码器(645)中经受熵编码。熵编码器(645)通过根据诸如霍夫曼编码、可变长度编码、算术编码等的技术对由各种功能单元生成的符号进行无损压缩来将这些符号转换为编码视频序列。
[0084]
传输器(640)可以缓冲由熵编码器(645)创建的(一个或多个)编码视频序列，从而为经由通信信道(660)进行传输做准备，该通信信道(660)可以是到存储编码视频数据的存储装置的硬件/软件链路。传输器(640)可以将来自视频编码器(603)的编码视频数据与要传输的其他数据合并，所述其他数据例如是编码音频数据和/或辅助数据流(未示出来源)。
[0085]
控制器(650)可以管理视频编码器(603)的操作。在编码期间，控制器(650)可以向每个编码图片分配某一编码图片类型，这可能影响可以应用于相应的图片的编码技术。例如，通常可以向图片分配以下图片类型之一：
[0086]
帧内图片(i图片)，其可以是可以在不将序列中的任何其他图片用作预测源的情况下进行编码和解码的图片。一些视频编解码器容许不同类型的帧内图片，包括例如独立解码器刷新(independent decoder refresh，“idr”)图片。本领域技术人员了解i图片的那些变型及其相应的应用和特征。
[0087]
预测性图片(p图片)，其可以是可以使用利用至多一个运动矢量和参考索引来预测每个块的样本值的帧间预测或帧内预测进行编码和解码的图片。
[0088]
双向预测性图片(b图片)，其可以是可以使用利用至多两个运动矢量和参考索引来预测每个块的样本值的帧间预测或帧内预测进行编码和解码的图片。类似地，多个预测性图片可以使用多于两个参考图片和相关联元数据以用于单个块的重构。
[0089]
源图片通常可以在空间上细分成多个样本块(例如，分别为4
×
4、8
×
8、4
×
8或16
×
16样本的块)，并且逐块地被编码。可以参考其他(编码的)块对这些块进行预测性编码，所述其他块是通过应用于块的相应图片的编码分配而确定的。例如，可以对i图片的块进行非预测性编码，或者可以参考同一图片的编码块对i图片的块进行预测性编码(空间预测或
帧内预测)。可以参考一个先前编码的参考图片经由空间预测或经由时间预测对p图片的像素块进行预测性编码。可以参考一个或两个先前编码的参考图片经由空间预测或经由时间预测对b图片的块进行预测性编码。
[0090]
视频编码器(603)可以根据诸如itu-t h.265建议书的预定的视频编码技术或标准执行编码操作。在其操作中，视频编码器(603)可以执行各种压缩操作，包括利用输入视频序列中的时间和空间冗余的预测性编码操作。因此，编码视频数据可以符合由所使用的视频编码技术或标准指定的语法。
[0091]
在实施方式中，传输器(640)可以连同编码视频一起传输附加数据。源编码器(630)可以包括这样的数据作为编码视频序列的一部分。附加数据可以包括时间/空间/snr增强层、其他形式的冗余数据例如冗余图片和切片、sei消息、vui参数集片段等。
[0092]
视频可以按时间序列被捕获为多个源图片(视频图片)。帧内图片预测(通常被简化为帧内预测)利用给定图片中的空间相关性，而帧间图片预测利用图片之间的(时间或其他)相关性。在示例中，正在被编码/解码的特定图片(其被称为当前图片)被分割成块。在当前图片中的块类似于视频中先前编码且又被缓冲的参考图片中的参考块的情况下，可以通过被称作运动矢量的矢量对当前图片中的块进行编码。运动矢量指向参考图片中的参考块，并且在使用多个参考图片的情况下，运动矢量可以具有标识参考图片的第三维度。
[0093]
在一些实施方式中，可以将双向预测技术用于帧间图片预测。根据双向预测技术，使用两个参考图片，例如按解码次序均在视频中的当前图片之前(但按显示次序可能分别在过去和将来)的第一参考图片和第二参考图片。可以通过指向第一参考图片中的第一参考块的第一运动矢量和指向第二参考图片中的第二参考块的第二运动矢量对当前图片中的块进行编码。可以通过第一参考块和第二参考块的组合来预测所述块。
[0094]
此外，可以在帧间图片预测中使用合并模式技术以提高编码效率。
[0095]
根据本公开内容的一些实施方式，以块为单位执行诸如帧间图片预测和帧内图片预测的预测。例如，根据hevc标准，将视频图片序列中的图片分割成编码树单元(coding tree unit，ctu)以便压缩，图片中的ctu具有相同大小，例如64
×
64像素、32
×
32像素或16
×
16像素。一般来说，ctu包括三个编码树块(coding tree block，ctb)，即一个亮度ctb和两个色度ctb。每个ctu可以被递归地以四叉树分成一个或多个编码单元(coding unit，cu)。例如，可以将64
×
64像素的ctu分成一个64
×
64像素的cu，或4个32
×
32像素的cu，或16个16
×
16像素的cu。在示例中，对每个cu进行分析以确定针对该cu的预测类型，例如帧间预测类型或帧内预测类型。取决于时间和/或空间可预测性，将cu分成一个或更多个预测单元(prediction unit，pu)。通常，每个pu包括亮度预测块(prediction block，pb)和两个色度pb。在实施方式中，以预测块为单位来执行编解码(编码/解码)中的预测操作。使用亮度预测块作为预测块的示例，预测块包括诸如8
×
8像素、16
×
16像素、8
×
16像素、16
×
8像素等的像素的值(例如，亮度值)的矩阵。
[0096]
图7示出了根据本公开内容的另一实施方式的视频编码器(703)的图。视频编码器(703)被配置成接收视频图片序列中的当前视频图片内的样本值的处理块(例如，预测块)，并且将处理块编码到作为编码视频序列的一部分的编码图片中。在示例中，视频编码器(703)代替图4的示例中的视频编码器(403)使用。
[0097]
在hevc示例中，视频编码器(703)接收处理块例如8
×
8样本的预测块等的样本值
的矩阵。视频编码器(703)使用例如率失真优化来确定是使用帧内模式、帧间模式还是双向预测模式对处理块进行最佳编码。在将以帧内模式对处理块进行编码的情况下，视频编码器(703)可以使用帧内预测技术将处理块编码到编码图片中；而在将以帧间模式或双向预测模式对处理块进行编码的情况下，视频编码器(703)可以分别使用帧间预测或双向预测技术将处理块编码到编码图片中。在某些视频编码技术中，合并模式可以是帧间图片预测子模式，其中，在不借助于一个或更多个运动矢量预测器外部的编码运动矢量分量的情况下从所述预测器得出运动矢量。在某些其他视频编码技术中，可以存在适用于对象块的运动矢量分量。在示例中，视频编码器(703)包括其他部件，例如，确定处理块的模式的模式决策模块(未示出)。
[0098]
在图7的示例中，视频编码器(703)包括如图7所示的耦接在一起的帧间编码器(730)、帧内编码器(722)、残差计算器(723)、开关(726)、残差编码器(724)、总体控制器(721)以及熵编码器(725)。
[0099]
帧间编码器(730)被配置成接收当前块(例如，处理块)的样本，将所述块与参考图片中的一个或更多个参考块(例如，先前图片和随后图片中的块)进行比较，生成帧间预测信息(例如，根据帧间编码技术的冗余信息、运动矢量、合并模式信息的描述)，以及使用任何合适的技术基于帧间预测信息计算帧间预测结果(例如，预测块)。在一些示例中，参考图片是基于编码视频信息被解码的解码参考图片。
[0100]
帧内编码器(722)被配置成：接收当前块(例如，处理块)的样本；在一些情况下将该块与同一图片中已经编码的块进行比较；在变换之后生成量化系数；以及在一些情况下还生成帧内预测信息(例如，根据一个或更多个帧内编码技术生成帧内预测方向信息)。在示例中，帧内编码器(722)还基于帧内预测信息和同一图片中的参考块计算帧内预测结果(例如，预测块)。
[0101]
总体控制器(721)被配置成确定总体控制数据并且基于总体控制数据来控制视频编码器(703)的其他部件。在示例中，总体控制器(721)确定块的模式，并且基于该模式将控制信号提供至开关(726)。例如，当所述模式是帧内模式时，总体控制器(721)控制开关(726)以选择帧内模式结果以供残差计算器(723)使用，并且控制熵编码器(725)以选择帧内预测信息并且将所述帧内预测信息包括在比特流中；以及当所述模式是帧间模式时，总体控制器(721)控制开关(726)以选择帧间预测结果以供残差计算器(723)使用，并且控制熵编码器(725)以选择帧间预测信息并且将所述帧间预测信息包括在比特流中。
[0102]
残差计算器(723)被配置成计算所接收的块与选自帧内编码器(722)或帧间编码器(730)的预测结果之间的差(残差数据)。残差编码器(724)被配置成基于残差数据进行操作，以对残差数据进行编码来生成变换系数。在示例中，残差编码器(724)被配置成将残差数据从空间域转换到频域，并且生成变换系数。然后，变换系数经受量化处理以获得量化的变换系数。在各种实施方式中，视频编码器(703)还包括残差解码器(728)。残差解码器(728)被配置成执行逆变换，并且生成解码残差数据。解码残差数据可以由帧内编码器(722)和帧间编码器(730)适当地使用。例如，帧间编码器(730)可以基于解码残差数据和帧间预测信息来生成解码块，以及帧内编码器(722)可以基于解码残差数据和帧内预测信息来生成解码块。在一些示例中，适当处理解码块以生成解码图片，并且这些解码图片可以缓冲在存储器电路(未示出)中并且用作参考图片。
[0103]
熵编码器(725)被配置成对比特流进行格式化以包括编码块。熵编码器(725)被配置成包括根据合适的标准例如hevc标准的各种信息。在示例中，熵编码器(725)被配置成在比特流中包括总体控制数据、选择的预测信息(例如，帧内预测信息或帧间预测信息)、残差信息和其他合适的信息。注意，根据所公开的主题，当在帧间模式或双向预测模式的合并子模式下对块进行编码时，不存在残差信息。
[0104]
图8示出了根据本公开内容的另一实施方式的视频解码器(810)的图。视频解码器(810)被配置成接收作为编码视频序列的一部分的编码图片，并且对编码图片进行解码以生成重构的图片。在示例中，视频解码器(810)代替图4示例中的视频解码器(410)使用。
[0105]
在图8的示例中，视频解码器(810)包括如图8所示的耦接在一起的熵解码器(871)、帧间解码器(880)、残差解码器(873)、重构模块(874)以及帧内解码器(872)。
[0106]
熵解码器(871)可以被配置成根据编码图片来重构某些符号，这些符号表示构成编码图片的语法元素。这样的符号可以包括例如对块进行编码的模式(例如，帧内模式、帧间模式、双向预测模式、后两者的合并子模式或另一子模式)、可以标识分别供帧内解码器(872)或帧间解码器(880)使用以进行预测的某些样本或元数据的预测信息(例如，帧内预测信息或帧间预测信息)、例如量化的变换系数的形式的残差信息等。在示例中，当预测模式是帧间模式或双向预测模式时，将帧间预测信息提供给帧间解码器(880)；以及当预测类型是帧内预测类型时，将帧内预测信息提供给帧内解码器(872)。残差信息可以经受逆量化并且被提供给残差解码器(873)。
[0107]
帧间解码器(880)被配置成接收帧间预测信息，并且基于帧间预测信息生成帧间预测结果。
[0108]
帧内解码器(872)被配置成接收帧内预测信息，并且基于帧内预测信息生成预测结果。
[0109]
残差解码器(873)被配置成执行逆量化以提取去量化的变换系数，并且处理所述去量化的变换系数，以将残差从频域转换到空间域。残差解码器(873)还可能需要某些控制信息(以包括量化器参数(quantizer parameter，qp))，并且所述信息可以由熵解码器(871)提供(未描绘出数据路径，因为这可能仅是少量控制信息)。
[0110]
重构模块(874)被配置成在空间域中将由残差解码器(873)输出的残差与预测结果(根据情况由帧间预测模块或帧内预测模块输出)进行组合以形成重构的块，所述重构的块可以是重构的图片的一部分，所述重构的图片又可以是重构的视频的一部分。注意，可以执行其他合适的操作例如去块操作等来改善视觉质量。
[0111]
注意，可以使用任何合适的技术来实现视频编码器(403)、(603)和(703)以及视频解码器(410)、(510)和(810)。在实施方式中，可以使用一个或更多个集成电路来实现视频编码器(403)、(603)和(703)以及视频解码器(410)、(510)和(810)。在另一实施方式中，可以使用执行软件指令的一个或更多个处理器来实现视频编码器(403)、(603)和(603)以及视频解码器(410)、(510)和(810)。本公开内容包括对最可能模式(most probable mode，mpm)列表构造的改进。itu-t vceg(q6/16)和iso/iec mpeg(jtc 1/sc 29/wg 11)在2013年(版本1)、2014年(版本2)、2015年(版本3)和2016年(版本4)公布了h.265/hevc(高效视频编码(high efficiency video coding，hevc))标准。在2015年，这两个标准组织共同形成了jvet(联合
视频探索组(joint video exploration team，jvet))，以探索开发超越hevc的下一代视频编码标准的潜力。在2018年4月，jvet正式发起了超越hevc的下一代视频编码的标准化过程。新标准被命名为多功能视频编码(versatile video coding，vvc)，并且jvet被重新命名为联合视频专家组。在2020年7月，h.266/vvc版本1完成。在2021年1月，建立了ad hoc组以研究超越vvc能力的增强压缩。为了形成mpm列表，在一个示例中，可以首先构造具有22个条目的通用mpm列表。通用mpm列表中的前6个条目可以被包括在主mpm(pmpm)列表中，而其余条目可以形成次mpm(smpm)列表。通用mpm列表中的第一条目可以是平面模式。通用mpm列表中的其余条目可以包括(i)左(l)、上(a)、左下(bl)、右上(ar)和左上(al)相邻块的帧内模式、(ii)与相邻块的前两个可用定向模式具有增加的偏移的定向模式、以及(iii)默认模式。可以在图9中示出l、a、bl、ar和al相邻块的位置。如果cu块(例如，图9中的(902))的高度不小于cu块的宽度，则相邻块的顺序可以是a、l、bl、ar和al；否则，相邻块的顺序可以是l、a、bl、ar和al。mpm条目的顺序会很重要，因为可以用截断二元对条目的索引进行编码。截断二元的后者会花费更多的比特来编码。当相邻块al、a和ar在与当前cu(例如(902))的编码树单元(ctu)不同的ctu中时，由于行缓冲器的限制，相邻块al、a和ar可以被认为不可用。因此，不可用的邻居cu的帧内模式可以不被插入到mpm列表中。传播的帧内模式也可以应用于mpm列表构造。例如，在vvc中，当邻居cu是帧间编码cu时，该邻居cu的帧内模式可以被认为是平面模式并且被插入到mpm列表中。帧内编码cu的帧内模式可以以4
×
4像素样本为单位存储在存储器中。对于应用解码侧帧内模式推导(decode side intra mode derivation，dimd)的帧内编码cu，可以将具有最高梯度直方图(histogram of gradient，hog)的基于dimd的解码器侧推导的帧内模式存储在存储器中。对于应用基于模板的帧内模式推导(template-based intra mode derivation，timd)的帧内编码cu，可以存储具有最小绝对变换差之和(sum of absolute transformed difference，satd)成本的解码器侧推导的帧内模式。对于应用基于块的增量脉冲编码调制(block-based delta pulse code modulation，bdpcm)的帧内编码cu，可以存储用信号传送的bdpcm方向。对于应用基于矩阵的帧内预测(matrix-based intra prediction，mip)或模板匹配预测(tmp)的帧内编码cu，可以存储平面模式。对于其他帧内编码cu，可以存储从mpm列表或非mpm列表推导的帧内模式。为了提高mpm列表的准确度，当相邻块被帧间编码时，可以使用运动矢量和参考图片来推导传播的帧内预测模式。对于帧间编码cu，帧内模式可以从参考区域传播到帧间编码cu。帧内模板匹配预测(也称为帧内tmp)是特殊的帧内预测模式，它从当前帧的重构部分复制最佳预测块，当前帧的l形模板与当前模板(例如，当前块的模板)匹配。针对预定义的搜索范围，编码器在当前帧的重构部分中搜索与当前模板最相似的模板，并使用对应块作为预测块，其中最相似的模版与对应块相关联，并且当前模版与当前块相关联。然后，编码器用信号传送帧内tmp模式的使用，并且可以在解码器侧执行相同的预测操作。匹配块(或对应块)(1002)可以在图10中示出，并且用作当前cu(1004)的匹配区域。如图10所示，可以通过将当前块(1004)的l形因果邻居(或l形模板)与预定义搜索
区域中的另一块进行匹配来生成预测信号。示例性预定义搜索区域可以包括r1(当前ctu)、r2(左上ctu)、r3(上ctu)和r4(左ctu)。绝对差之和(sum of absolute differences，sad)可以用作成本函数。在每个搜索区域内，解码器可以搜索相对于当前模板(例如，当前块(1004)的模板)具有最小sad的块的模板，并使用具有最小sad的块作为当前块的对应块。对应块可以进一步用作当前块(例如(1004))的预测块。可以将所有搜索区域的尺寸(例如，searchrange_w、searchrange_h)设置为与当前块的块尺寸(例如，blkw、blkh)成比例。因此，可以在每个像素中获得固定数量的sad比较。例如，搜索区域(或搜索范围)的尺寸可以在等式1和2中如下定义：searchrange_w ＝a*blkw
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式(1)searchrange_h ＝a*blkh
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
等式(2)其中，“a”是控制搜索过程的增益与复杂度之间的折衷的常数。在一个示例中，“a”等于5。可以针对特定尺寸的cu启用帧内tmp。例如，可以针对具有宽度和高度小于或等于64的尺寸的cu启用帧内tmp。帧内tmp的最大cu尺寸可以是可配置的。可以用信号传送帧内tmp模式。例如，可以通过专用标志在cu级别用信号传送帧内tmp模式。在色度的导出模式(dm)中，色度cu可以具有同位亮度cu。色度cu的同位亮度cu的帧内模式可以用作色度cu的帧内模式。当位置(x，y)指定色度cu相对于当前图片的左上样本并且色度cu包括宽度w和高度h时，色度cu的同位亮度cu的位置可以是(x+w/2，y+h/2)。当同位亮度cu未经帧内编码时，默认值(例如，dc或平面)可以用作同位亮度cu的帧内模式。如果同位亮度cu是经诸如帧内块复制(intra block copy，ibc)或调色板编码(palette coding，plt)的某些模式之一编码，则同位亮度cu的帧内模式可以被认为是dc模式。否则，同位亮度cu的帧内模式可以是包含位置(x+w/2，y+h/2)的cu的帧内模式。图11示出了包括色度cu(1104)以及与色度cu(1104)相关联的亮度区域(1102)的色度的示例性导出模式。如图11所示，色度cu(1104)可以包括对应位置(1106)。对应位置(1106)可以包括相对于色度cu(1104)上的参考点在第一轴(例如，x轴)上的第一坐标值和在第二轴(例如，y轴)上的第二坐标值。例如，参考点可以是色度cu(1104)的左下角。第一轴可以垂直于第二轴。在一些实施方式中，对应位置(1106)可以具有相对于色度cu(1104)的左下角的位置(w/2，h/2)，其中w是色度cu(1104)的宽度，h是色度cu(1104)的高度。因此，对应位置(1106)可以是色度cu(1104)的中心。图11仅是示例，并且对应位置(1106)可以位于色度cu(1104)的任何位置，并且参考点也可以位于色度cu(1104)的任何位置。色度cu(1104)的同位亮度cu可以是亮度区域(1102)中的包括对应位置(1106)的亮度cu(1108)。通用帧内模式映射可以用于以样本为单位存储帧内模式。可以存储任何帧内模式，包括用信号传送的帧内模式、解码器推导的帧内模式、默认的帧内模式或传播的帧内模式。可以隐含地预定义或明确地用信号传送样本单元。例如，编码器和解码器可以隐含地预定义4
×
4像素作为单元，或者在比特流中明确地用信号传送2
×
2或8
×
8。注意，通用帧内模式映射可以跨越cu或ctu。此外，不仅帧内或帧间cu可以存储帧内模式，而且所有cu都可以存储帧内模式。
在图12a和图12b中示出部分通用帧内模式映射的示例，其中每个方形可以表示4
×
4样本单元。在实施方式中，通用帧内模式映射在开始时可以是空的。此外，通用帧内模式映射可以存储或以其他方式包括在解码过程期间获得的用信号传送的帧内模式、解码器推导的帧内模式和/或传播的帧内模式。在另一实施方式中，默认帧内模式可以用于在开始时对通用帧内模式映射进行初始化。此外，默认帧内模式可以由在解码过程期间获得的用信号传送的帧内模式、解码器推导的帧内模式或传播的帧内模式来代替。例如，如图12a所示，默认帧内模式0(或平面)可以被存储在通用帧内模式映射(1202)的所有单元中。之后，默认帧内模式0可以被另一帧内模式代替。例如，其他帧内模式可以是用信号传送的帧内模式、解码器推导的帧内模式或传播的帧内模式。在又一实施方式中，通用帧内模式映射在开始时可以是空的。此外，通用帧内模式映射的一些空(或空白)单元可以存储在解码过程期间实现的用信号传送的帧内模式、解码器推导的帧内模式和/或传播的帧内模式。在对cu进行解码之后，可以用默认帧内模式例如帧内模式0(或平面)填充其余的空白单元。如图12b所示，通用帧内模式映射(1204)最初可以是空的，并且可以在解码过程期间用帧内模式填充一些空单元。在对cu进行解码之后，可以用默认帧内模式例如帧内模式0(或平面)填充空白单元(例如(1206)和(1208))。传播的帧内模式可以使非帧内编码cu包括传播的帧内模式，这可以使非帧内编码cu可以具有的可能的帧内模式多样化。在本公开内容中，提供对帧内模式传播的改进，包括对tmp模式和色度的导出模式的传播的改进。在实施方式中，匹配区域的帧内模式可以被传播到tmp模式的当前块。当前块(或当前cu)的匹配区域可以是使用l形模板在搜索区域中找到的匹配预测器。也可以应用具有其他形状的模板。搜索区域可以是重构区域。搜索区域和当前块可以被包括在同一帧或同一图片中。在一些实施方式中，匹配区域的l形模板和当前块的l形模板可以在搜索区域中具有最小成本值(例如，sad)。匹配区域的l形模板可以包括相邻像素，例如与匹配区域的左侧和顶侧相邻的像素。当前cu的l形模板可以包括相邻像素，例如与当前cu的左侧和顶侧相邻的像素。当前cu的对应位置(例如，correspondposition(a，b))可以用于推导传播的帧内模式。对应位置可以是当前cu内的任何位置。例如，对应位置可以位于当前cu的中心。对应位置可以包括相对于参考点例如当前块的左下角在第一轴(例如，x轴)上的第一坐标值(例如，a)和在第二轴(例如，y轴)上的第二坐标值(例如，b)，其中第一轴可以垂直于第二轴。可以在编码器和解码器两者上预定义并隐含地一致同意对应位置。可替选地，可以在带内或带外的比特流中明确地或隐含地用信号传送对应位置。在示例中，包含匹配区域内的对应位置(例如，correspondposition(a，b))的cu可以是当前块的对应cu，而不管对应cu是如何编码的。因此，匹配区域内的对应位置可以包括相对于参考点诸如匹配区域的左下角在第一轴(例如，x轴)上的第一坐标值(例如，a)和在第二轴(例如，y轴)上的第二坐标值(例如，b)。在本公开内容中，可以基于tmp模式将对应cu的帧内模式(例如，正常帧内模式、传
播的帧内方式、默认帧内方式等)的任何种类或组合传播到当前cu。传播到当前块的帧内模式可以被进一步存储并传播到即将到来的cu。图13示出了当前块(1304)的示例性对应cu(1308)。如图13所示，对应cu(1308)可以被包括在匹配区域(1306)中。匹配区域(1306)可以是图片(1302)中的重构区域。当前块1304也可以被包括在图片(1302)中。匹配区域(1306)可以具有模板，例如l形模板(1316)。如图13所示，l形模板(1316)可以包括与匹配区域的左侧和顶侧相邻的区域。当前cu(1304)可以具有模板，例如l形模板(1318)。l形模板(1318)可以包括与当前cu的左侧和顶侧相邻的区域。匹配区域的l形模板和当前块的l形模板可以在图片(1302)中的搜索区域中具有最小成本值(例如，sad)。图13仅是示例。模板(1316)和模板(1318)可以包括分别与匹配区域(1306)和当前cu(1304)相邻的具有其他形状的区域。在示例中，当前cu(1304)可以具有在当前cu(1304)的任何位置中的对应位置(1312)并且具有位置(a，b)，其中相对于当前cu(1314)上的参考点，a是第一轴(例如，x)上的第一坐标值并且b是第二轴(例如，y)上的第二坐标值。参考点可以位于当前cu(1304)的任何位置。例如，参考点可以是当前cu(1304)的左下角(1314)。对应位置可以位于当前cu(1304)的任何位置。例如，当前cu(1304)的对应位置(1312)可以位于当前cu(1304)的中心。因此，对应位置(1312)可以具有相对于当前cu(1304)的左下角的位置(w/2，h/2)，其中w和h分别是当前cu(1304)的宽度和高度。包含匹配区域(1306)中的对应位置(1310)的cu(例如(1308))可以被表示为当前cu(1304)的对应cu(1308)。匹配区域(1306)的对应位置(1310)也可以具有相对于匹配区域(1306)上的参考点(例如，左下角(1320))在第一轴和第二轴上的位置(a，b)。因此，当对应位置(1312)具有相对于当前cu(1304)的左角的位置(w/2，h/2)时，对应位置(1310)可以具有相对于匹配区域(1306)的左下角的位置(w/2，h/2)。在另一示例中，当对应位置(1312)具有相对于当前cu(1304)上的参考点例如当前cu(1304)的左角(1314)的位置(w/2，h/2)时，对应位置(1310)可以具有相对于匹配区域(1306)上的参考点例如匹配区域(1306)的左下角(1320)的位置(w’/2，h’/2)，其中w’和h’分别是匹配区域(1306)的宽度和高度。在又一示例中，对应位置(1312)可以具有相对于参考点例如当前cu(1304)的左角(1314)的位置(w/a，h/b)，并且对应位置(1310)可以具有相对于匹配区域(1306)上的参考点诸如匹配区域(1306)的左下角(1320)的位置(w’/a，h’/b)，其中a和b是正整数。在一些实施方式中，w不等于w’，并且h不等于h’。在一些实施方式中，w可以等于w’，并且h可以等于h’。因此，匹配区域(1306)的尺寸等于当前cu(1304)的尺寸。基于tmp模式，对应cu(1308)的帧内模式可以用作当前cu(1304)的帧内模式。帧内模式还可以以4
×
4像素样本为单位进行存储，并传播到即将到来的cu。在另一实施方式中，可以通过访问通用帧内模式映射中对应位置的条目(或分配的帧内模式)来实现当前cu的帧内模式。通过通用帧内模式映射实现的帧内模式可以进一步被存储并传播到即将到来的cu。例如，如图14所示，图片(1402)可以包括当前cu(1404)和当前块(1404)的匹配区域(1406)。当前cu(1404)可以包括对应位置(1414)和匹配区域(1406)内的对应cu(1408)。对应cu(1408)可以包括对应位置(1412)。对应位置(1414)可以位于当前cu(1404)的任何位置。对应位置(1414)可以具有位置(a，b)，其中相对于当前cu(1404)上的参考点，a是第一轴
(例如，x)上的第一坐标值，b是第二轴(例如，y)上的第二坐标值。当前cu(1404)上的参考点可以位于当前cu(1404)的任何位置，例如当前cu(1404)的左下角(1461)。在示例中，对应位置(1414)可以位于当前cu(1404)的中心。因此，对应位置(1414)可以具有位置(w/2，h/2)，其中w和h分别是当前cu(1404)的宽度和高度。对应位置(1412)也可以具有相对于匹配区域(1406)上的参考点的位置(a，b)。匹配区域(1406)上的参考点可以位于匹配区域(1406)的任何位置，例如匹配区域(1406)的左下角(1418)。因此，当对应位置(1414)具有相对于当前cu(1404)的左下角(1416)的位置(w/2，h/2)时，对应位置(1412)可以具有相对于匹配区域(1406)的左下角(1418)的位置(w/2，h/2)。在另一示例中，对应位置(1414)可以具有相对于当前cu(1404)的左角(1416)的位置(w/a，h/b)，并且对应位置(1412)可以具有相对于匹配区域(1406)的左下角(1418)的位置(w’/a，h’/b)。w和h分别是当前cu(1404)的宽度和高度。w’和h’分别是匹配区域(1406)的宽度和高度。在一些实施方式中，w不等于w’，并且h不等于h’。在一些实施方式中，w可以等于w’，并且h可以等于h’。此外，可以将通用映射(1410)分配给匹配区域(1406)。通用映射(1410)可以将匹配区域(1406)划分为多个子区域。可以为多个子区域中的每一个子区域分配特定的帧内模式。因此，可以将分配给包含对应位置(1412)的子区域的帧内模式(例如，帧内模式(51))传播到当前cu(1404)。在本公开内容中，当前色度cu可以具有同位亮度cu。同位亮度cu可以与当前色度cu相关联。例如，同位亮度cu和亮度cu两者可以具有对应位置(例如，correspondpositiondm(a，b))并被包括在编码树单元(ctu)中。在一些实施方式中，当前色度cu可以与同位亮度cu对准。根据色度dm模式，可以将当前色度cu的同位亮度cu的帧内模式传播到当前色度cu。当使用色度dm模式时，可以用帧内预测模式以及其他预测模式例如帧内块复制(ibc)、帧间模式、plt等对同位亮度cu进行编码。因此，对应位置(例如，correspondpositiondm(a，b))可以被应用以推导从同位亮度cu到当前色度cu传播的帧内模式。可以在编码器和解码器两者上预定义并隐含地一致同意对应位置。可替选地，可以在带内或带外的比特流中明确地或隐含地用信号传送同位位置(或对应位置)。此外，对应位置可以位于色度cu的任何位置，并且包括位置(a，b)，其中相对于当前色度cu的参考点例如当前色度cu的左下角，a是第一轴(例如，x)上的第一坐标值，以及b是第二轴(例如，y)上的第二坐标值。在实施方式中，根据色度dm模式，可以将与同位亮度cu相关联的任何类型的帧内模式(例如正常帧内模式、传播的帧内模式、默认帧内模式等)传播到当前色度cu。此外，当以诸如ibc或帧间编码的特定模式(而不是使用同位亮度cu的默认帧内模式值)对同位亮度cu进行编码时，同位亮度cu的传播的帧内模式可以被传播到当前色度cu。可以基于同位亮度cu的相邻亮度cu的帧内模式来获得同位亮度cu的传播的帧内模式。在这种情况下，当前色度cu可以具有与ibc或帧间编码同位亮度cu的默认帧内模式值不同的值。在另一实施方式中，可以通过访问通用帧内模式映射的条目(或帧内模式)来实现当前色度cu的帧内模式，该通用帧内模式映射的条目(或帧内模式)根据同位亮度cu在通用帧内模式映射中的位置被分配给同位亮度cu。通用帧内模式映射可以将同位亮度cu划分为
多个子区域。多个子区域中的每一个子区域可以根据通用帧内模式映射被分配给相应的帧内模式。分配给包含对应位置的子区域的帧内模式可以被传播到当前色度cu。图15示出了概述根据本公开内容的一些实施方式的第一示例性解码过程(1500)的流程图。图16示出了概述根据本公开内容的一些实施方式的第二示例性解码过程(1600)的流程图。图17示出了概述根据本公开内容的一些实施方式的第一示例性编码过程(1700)的流程图。图18示出了概述根据本公开内容的一些实施方式的第二示例性编码过程(1800)的流程图。所提出的过程可以单独使用或以任何顺序组合使用。此外，过程(或实施方式)、编码器和解码器中的每一个可以由处理电路系统(例如，一个或更多个处理器或者一个或更多个集成电路)实现。在一个示例中，一个或更多个处理器执行存储在非暂态计算机可读介质中的程序。在实施方式中，过程(例如(1500)、(1600)、(1700)和(1800))的任何操作可以根据需要以任何数量或顺序组合或布置。在实施方式中，可以并行执行过程(例如(1500)、(1600)、(1700)和(1800))的两个或更多个操作。过程(例如(1500)、(1600)、(1700)和(1800))可以用于块的重构和/或编码，以便为重构中的块生成预测块。在各种实施方式中，过程(例如(1500)、(1600)、(1700)和(1800))由处理电路系统诸如终端装置(210)、(220)、(230)和(240)中的处理电路系统、执行视频编码器(303)的功能的处理电路系统、执行视频解码器(310)的功能的处理电路系统、执行视频解码器(410)的功能的处理电路系统、执行视频编码器(503)的功能的处理电路系统等来执行。在一些实施方式中，过程(例如(1500)、(1600)、(1700)和(1800))被实现为软件指令，因此当处理电路系统执行软件指令时，处理电路系统执行过程(例如(1500)、(1600)、(1700)和(1800))。如图15所示，过程(1500)可以从(s1501)开始并进行至(s1510)。在(s1510)处，可以从编码视频比特流接收(i)图片的当前块和(ii)图片的重构区域的编码信息。在(s1520)处，可以在图片的重构区域中确定当前块的匹配区域。在(s1530)处，可以在当前块内确定当前块的第一对应位置。第一对应位置可以包括相对于当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。第一轴可以垂直于第二轴。在(s1540)处，可以在匹配区域中确定当前块的对应块。对应块可以包括第二对应位置，该第二对应位置具有相对于匹配区域上的第二参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。在(s1550)处，可以基于对应块确定当前块的帧内预测模式。为了确定匹配区域，可以在图片的重构区域中搜索多个候选匹配区域。可以确定当前块的模板区域与多个候选匹配区域中的每一个的相应模板区域之间的相应成本值。匹配区域可以被确定为多个候选匹配区域中的具有最小成本值的候选匹配区域。当前块的模板区域可以包括与当前块的左侧相邻的第一区域以及与当前块的顶侧相邻的第二区域。多个候选匹配区域中的每一个的相应模板区域可以包括与多个候选匹配区域中的相应一个的左侧相邻的第一区域以及与多个候选匹配区域中的相应一个的顶侧相邻的第二区域。在一些实施方式中，可以在编码信息中预定义或用信号传送当前块的第一对应位置。
在一些实施方式中，第一对应位置可以是当前块的中心。在一些实施方式中，可以将对应块的帧内预测模式确定为当前块的帧内预测模式。在一些实施方式中，可以基于通用帧内模式映射来确定当前块的帧内预测模式。通用帧内模式映射可以将匹配区域划分为多个子区域。多个子区域中的每一个子区域可以与相应帧内预测模式相关联。当前块的帧内预测模式可以是与多个子区域中的包括第二对应位置的子区域相关联的帧内预测模式。如图16所示，过程(1600)可以从(s1601)开始并进行至(s1610)。在(s1610)处，可以从编码视频比特流接收(i)色度编码单元(cu)和(ii)亮度区域的编码信息。在(s1620)处，可以在色度cu内确定色度cu的对应位置。对应位置可以包括第一轴上的第一坐标值和第二轴上的第二坐标值。第一轴可以垂直于第二轴。在(s1630)处，可以在亮度区域中确定色度cu的同位亮度cu。同位亮度cu可以包括对应位置。在(s1640)处，可以基于同位亮度cu确定色度cu的帧内预测模式。在实施方式中，响应于基于帧内预测模式对同位亮度cu进行帧内编码，可以将同位亮度cu的帧内预测模式确定为色度cu的帧内预测模式。在其他实施方式中，响应于未对同位亮度cu进行帧内编码，可以将同位亮度cu的传播的帧内模式确定为色度cu的帧内预测模式。可以基于同位亮度cu的相邻亮度cu的帧内预测模式来获得同位亮度cu的传播的帧内模式。在一些实施方式中，可以在编码信息中预定义或用信号传送色度cu的对应位置。在一些实施方式中，可以基于通用帧内模式映射来确定色度cu的帧内预测模式。通用帧内模式映射可以将亮度区域划分为多个子区域。多个子区域中的每一个子区域可以被分配有相应的帧内预测模式。色度cu的帧内预测模式可以是与多个子区域中的包括对应位置的子区域相关联的帧内预测模式。如图17所示，过程(1700)可以从(s1701)开始并进行至(s1710)。在(s1710)处，可以从图片的重构区域确定图片的当前块的匹配区域。在(s1720)处，可以在当前块内确定当前块的第一对应位置。第一对应位置可以包括相对于当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值，其中第一轴可以垂直于第二轴。在(s1730)处，可以从匹配区域确定当前块的对应块，其中对应块可以包括第二对应位置，该第二对应位置具有相对于匹配区域上的第二参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。在(s1740)处，可以基于对应块确定当前块的帧内预测模式。在(s1750)处，可以基于所确定的帧内预测模式对当前块执行帧内预测。如图18所示，过程(1800)可以从(s1801)开始并进行至(s1810)。在(s1810)处，可以在色度cu内确定色度cu的对应位置。对应位置可以包括第一轴上的第一坐标值和第二轴上的第二坐标值，其中第一轴可以垂直于第二轴。在(s1820)处，可以在亮度区域中确定色度cu的同位亮度cu，其中同位亮度cu可以包括对应位置。
在(s1830)处，可以基于同位亮度cu确定色度cu的帧内预测模式。在(s1840)处，可以基于所确定的帧内预测模式对色度cu执行帧内预测。在(s1850)处，可以生成编码视频比特流以包括(i)色度cu和(ii)亮度区域的编码信息。上述技术可以被实现为使用计算机可读指令的计算机软件，并且物理上存储在一个或更多个计算机可读介质中。例如，图19示出了适于实现所公开主题的某些实施方式的计算机系统(1900)。可以使用任何合适的机器代码或计算机语言对计算机软件进行编码，所述机器代码或计算机语言可以经受汇编、编译、链接等机制以创建包括指令的代码，所述指令可以由一个或更多个计算机中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)等直接执行或者通过解译、微代码执行等执行。指令可以在各种类型的计算机或其部件(包括例如个人计算机、平板计算机、服务器、智能电话、游戏装置、物联网装置等)上执行。图19中示出的用于计算机系统(1900)的部件本质上是示例性的，并且不旨在对实现本公开内容的实施方式的计算机软件的使用范围或功能提出任何限制。部件的配置也不应当被解释为具有与计算机系统(1900)的示例性实施方式中示出的部件中的任何一个部件或部件的组合有关的任何依赖性或要求。计算机系统(1900)可以包括某些人机接口输入装置。这样的人机接口输入装置可以对由一个或更多个人类用户通过例如触觉输入(例如：击键、滑动、数据手套移动)、音频输入(例如：语音、拍打)、视觉输入(例如：姿势)、嗅觉输入(未描绘)实现的输入作出响应。人机接口装置还可以用于捕获不一定与人的有意输入直接有关的某些介质，例如，音频(例如：语音、音乐、环境声音)、图像(例如：扫描图像、从静态图像摄像装置获得的摄影图像)、视频(例如二维视频、包括立体视频的三维视频)。输入人机接口装置可以包括以下中的一个或更多个(仅描绘每个中的一个)：键盘(1901)、鼠标(1902)、轨迹板(1903)、触摸屏(1910)、数据手套(未示出)、操纵杆(1905)、麦克风(1906)、扫描仪(1907)和摄像机(1908)。计算机系统(1900)还可以包括某些人机接口输出装置。这样的人机接口输出装置可以通过例如触觉输出、声音、光和气味/味道来刺激一个或更多个人类用户的感官。这样的人机接口输出装置可以包括：触觉输出装置(例如，通过触摸屏(1910)、数据手套(未示出)或操纵杆(1905)进行的触觉反馈，但是也可以存在不用作输入装置的触觉反馈装置)；音频输出装置(例如：扬声器(1909)、头戴式耳机(未描绘))；视觉输出装置(例如，屏幕(1910)，包括crt屏幕、lcd屏幕、等离子屏幕、oled屏幕，每个均具有或不具有触摸屏输入能力，每个均具有或不具有触觉反馈能力——其中的一些可能能够通过诸如立体图像输出的方式输出二维视觉输出或多于三维输出；虚拟现实眼镜(未描绘)；全息显示器和烟罐(未描绘))；以及打印机(未描绘)。计算机系统(1900)还可以包括人类可访问的存储装置及其相关联的介质，例如包括具有cd/dvd等介质(1921)的cd/dvd rom/rw(1920)的光学介质、拇指驱动器(1922)、可移除硬盘驱动器或固态驱动器(1923)、诸如磁带和软盘的传统磁介质(未描绘)、基于专用rom/asic/pld的装置诸如安全软件狗(未描绘)等。
本领域技术人员还应当理解，结合当前公开的主题使用的术语“计算机可读介质”不包含传输介质、载波或其他瞬时信号。计算机系统(1900)还可以包括到一个或更多个通信网络(1955)的接口(1954)。网络可以例如是无线的、有线的、光学的。网络还可以是局域网、广域网、城域网、车辆和工业网络、实时网络、延迟容忍的网络等。网络的示例包括局域网诸如以太网、无线lan，包括gsm、3g、4g、5g、lte等的蜂窝网络，包括有线电视、卫星电视和地面广播电视的电视有线或无线广域数字网络，包括canbus的车辆和工业网络等。某些网络通常需要附接至某些通用数据端口或外围总线(1949)(例如，计算机系统(1900)的usb端口)的外部网络接口适配器；其他网络通常通过附接至如下所述的系统总线集成到计算机系统(1900)的核心中(例如，通过以太网接口集成到pc计算机系统，或通过蜂窝网络接口集成到智能电话计算机系统)。计算机系统(1900)可以通过使用这些网络中的任何网络与其他实体进行通信。这样的通信可以是单向仅接收的(例如，广播电视)、单向仅发送的(例如，到某些canbus装置的canbus)、或双向的，例如到使用局域或广域数字网络的其他计算机系统。可以在如上所述的这些网络和网络接口中的每个网络和网络接口上使用特定的协议和协议栈。以上提及的人机接口装置、人类可访问存储装置和网络接口可以附接至计算机系统(1900)的核(1940)。核(1940)可以包括一个或更多个中央处理单元(cpu)(1941)、图形处理单元(gpu)(1942)、现场可编程门区域(field programmable gate area，fpga)(1943)形式的专用可编程处理单元、用于某些任务的硬件加速器(1944)、图形适配器(1950)等。这些装置以及只读存储器(read-only memory，rom)(1945)、随机存取存储器(1946)、内部大容量存储装置(1947)例如内部非用户可访问的硬盘驱动器、ssd等可以通过系统总线(1948)连接。在一些计算机系统中，可以以一个或更多个物理插头的形式访问系统总线(1948)，以通过另外的cpu、gpu等实现扩展。外围装置可以直接地或通过外围总线(1949)附接至核的系统总线(1948)。在示例中，屏幕(1910)可以连接至图形适配器(1950)。外围总线的架构包括pci、usb等。cpu(1941)、gpu(1942)、fpga(1943)和加速器(1944)可以执行某些指令，这些指令可以组合构成以上提及的计算机代码。该计算机代码可以被存储在rom(1945)或ram(1946)中。过渡数据也可以被存储在ram(1946)中，而永久数据可以被存储在例如内部大容量存储装置(1947)中。可以通过使用缓存存储器来实现对存储装置中的任何存储装置的快速存储和检索，该缓存存储器可以与一个或更多个cpu(1941)、gpu(1942)、大容量存储装置(1947)、rom(1945)、ram(1946)等紧密关联。计算机可读介质上可以具有用于执行各种计算机实现的操作的计算机代码。介质和计算机代码可以是出于本公开内容的目的而专门设计和构造的介质和计算机代码，或者介质和计算机代码可以具有计算机软件领域的技术人员公知且可用的类型。作为示例而非限制，具有架构的计算机系统(1900)特别是核(1940)可以提供作为处理器(包括cpu、gpu、fpga、加速器等)执行体现在一个或更多个有形计算机可读介质中的软件的结果而提供的功能。这样的计算机可读介质可以是与如以上所介绍的用户可访问的大容量存储装置相关联的介质，以及具有非暂态性质的核(1940)的某些存储装置，例如核内部的大容量存储装置(1947)或rom(1945)。可以将实现本公开内容的各种实施方式的软
件存储在这样的装置中并且由核(1940)执行。根据特定需求，计算机可读介质可以包括一个或更多个存储器装置或芯片。软件可以使核(1940)——特别是其中的处理器(包括cpu、gpu、fpga等)——执行本文中描述的特定处理或特定处理的特定部分，包括限定存储在ram(1946)中的数据结构以及根据由软件限定的处理修改这样的数据结构。另外地或作为替选，计算机系统可以由于硬连线或以其他方式体现在电路中(例如：加速器(1944))的逻辑而提供功能，该逻辑可以代替软件而操作或与软件一起操作以执行本文中描述的特定处理或特定处理的特定部分。在适当的情况下，提及软件可以包含逻辑，并且反之提及逻辑也可以包含软件。在适当的情况下，提及计算机可读介质可以包含存储用于执行的软件的电路(例如，集成电路(integrated circuit，ic))、实施用于执行的逻辑的电路或上述两者。本公开内容包括硬件与软件的任何合适的组合。附录a：首字母缩写词jem：联合开发模型vvc：多功能视频编码bms：基准集mv：运动矢量hevc：高效视频编解码sei：补充增强信息vui：视频可用性信息gops：图片组tus：变换单元pus：预测单元ctus：编码树单元ctbs：编码树块pbs：预测块hrd：假想参考解码器snr：信噪比cpus：中央处理单元gpus：图形处理单元crt：阴极射线管lcd：液晶显示器oled：有机发光二极管cd：致密盘dvd：数字视频光盘rom：只读存储器ram：随机存取存储器asic：专用集成电路pld：可编程逻辑装置lan：局域网gsm：全球移动通信系统
lte：长期演进canbus：控制器区域网络总线usb：通用串行总线pci：外围组件互连fpga：现场可编程门区域ssd：固态驱动器ic：集成电路cu：编码单元虽然本公开内容已经描述了若干示例性实施方式，但是存在落入本公开内容的范围内的变更、置换和各种替代等同物。因此将认识到，虽然本文中没有明确示出或描述，但是本领域技术人员能够设想实施本公开内容的原理并且因此在其精神和范围内的许多系统和方法。

技术特征：
1.一种在视频解码器中执行的视频解码方法，所述方法包括：从编码视频比特流接收(i)图片的当前块和(ii)所述图片的重构区域的编码信息；在所述图片的重构区域中确定所述当前块的匹配区域；在所述当前块内确定所述当前块的第一对应位置，所述第一对应位置包括相对于所述当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值，所述第一轴垂直于所述第二轴；在所述匹配区域中确定所述当前块的对应块，所述对应块包括第二对应位置，所述第二对应位置具有相对于所述匹配区域上的第二参考点在所述第一轴上的第一坐标值和在所述第二轴上的第二坐标值；以及基于所述对应块确定所述当前块的帧内预测模式。2.根据权利要求1所述的方法，其中，确定所述匹配区域还包括：在所述图片的重构区域中搜索多个候选匹配区域；确定所述当前块的模板区域与所述多个候选匹配区域中的每个候选匹配区域的相应模板区域之间的相应成本值；以及将所述匹配区域确定为所述多个候选匹配区域中的具有最小成本值的候选匹配区域，其中：所述当前块的模板区域包括与所述当前块的左侧相邻的第一区域以及与所述当前块的顶侧相邻的第二区域，并且所述多个候选匹配区域中的每个候选匹配区域的相应模板区域包括与所述多个候选匹配区域中的相应一个候选匹配区域的左侧相邻的第一区域以及与所述多个候选匹配区域中的相应一个候选匹配区域的顶侧相邻的第二区域。3.根据权利要求1所述的方法，其中，在所述编码信息中预定义或用信号传送所述当前块的第一对应位置。4.根据权利要求1所述的方法，其中，所述第一对应位置是所述当前块的中心。5.根据权利要求1所述的方法，其中，确定所述当前块的帧内预测模式还包括：将所述对应块的帧内预测模式确定为所述当前块的帧内预测模式。6.根据权利要求1所述的方法，其中，确定所述当前块的帧内预测模式还包括：基于通用帧内模式映射来确定所述当前块的帧内预测模式，所述通用帧内模式映射将所述匹配区域划分为多个子区域，并且所述多个子区域中的每一个子区域与相应的帧内预测模式相关联，所述当前块的帧内预测模式是与所述多个子区域中的包括所述第二对应位置的子区域相关联的帧内预测模式。7.一种在视频解码器中执行的视频解码方法，所述方法包括：从编码视频比特流接收(i)色度编码单元(cu)和(ii)亮度区域的编码信息；在所述色度cu内确定所述色度cu的对应位置，所述对应位置包括第一轴上的第一坐标值和第二轴上的第二坐标值，所述第一轴垂直于所述第二轴；在所述亮度区域中确定所述色度cu的同位亮度cu，所述同位亮度cu包括所述对应位置；以及基于所述同位亮度cu确定所述色度cu的帧内预测模式。8.根据权利要求7所述的方法，其中，确定所述色度cu的帧内预测模式还包括：
响应于基于帧内预测模式对所述同位亮度cu进行帧内编码，将所述同位亮度cu的帧内预测模式确定为所述色度cu的帧内预测模式；以及响应于未对所述同位亮度cu进行帧内编码，将所述同位亮度cu的传播的帧内模式确定为所述色度cu的帧内预测模式，所述同位亮度cu的传播的帧内模式是基于所述同位亮度cu的相邻亮度cu的帧内预测模式而获得的。9.根据权利要求7所述的方法，其中，在所述编码信息中预定义或用信号传送所述色度cu的对应位置。10.根据权利要求7所述的方法，其中，确定所述色度cu的帧内预测模式还包括：基于通用帧内模式映射来确定所述色度cu的帧内预测模式，所述通用帧内模式映射将所述亮度区域划分为多个子区域，并且所述多个子区域中的每一个子区域被分配有相应的帧内预测模式，所述色度cu的帧内预测模式是与所述多个子区域中的包括所述对应位置的子区域相关联的帧内预测模式。11.一种设备，包括：处理电路系统，所述处理电路系统被配置成：从编码视频比特流接收(i)图片的当前块和(ii)所述图片的重构区域的编码信息；在所述图片的重构区域中确定所述当前块的匹配区域；在所述当前块内确定所述当前块的第一对应位置，所述第一对应位置包括相对于所述当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值，所述第一轴垂直于所述第二轴；在所述匹配区域中确定所述当前块的对应块，所述对应块包括第二对应位置，所述第二对应位置具有相对于所述匹配区域上的第二参考点在所述第一轴上的第一坐标值和在所述第二轴上的第二坐标值；以及基于所述对应块确定所述当前块的帧内预测模式。12.根据权利要求11所述的设备，其中，所述处理电路系统被配置成：在所述图片的重构区域中搜索多个候选匹配区域；确定所述当前块的模板区域与所述多个候选匹配区域中的每个候选匹配区域的相应模板区域之间的相应成本值；以及将所述匹配区域确定为所述多个候选匹配区域中的具有最小成本值的候选匹配区域，其中：所述当前块的模板区域包括与所述当前块的左侧相邻的第一区域以及与所述当前块的顶侧相邻的第二区域，并且所述多个候选匹配区域中的每个候选匹配区域的相应模板区域包括与所述多个候选匹配区域中的相应一个候选匹配区域的左侧相邻的第一区域以及与所述多个候选匹配区域中的相应一个候选匹配区域的顶侧相邻的第二区域。13.根据权利要求11所述的设备，其中，在所述编码信息中预定义或用信号传送所述当前块的第一对应位置。14.根据权利要求11所述的设备，其中，所述第一对应位置是所述当前块的中心。15.根据权利要求11所述的设备，其中，处理电路系统被配置成：将所述对应块的帧内预测模式确定为所述当前块的帧内预测模式。
16.根据权利要求11所述的设备，其中，所述处理电路系统被配置成：基于通用帧内模式映射来确定所述当前块的帧内预测模式，所述通用帧内模式映射将所述匹配区域划分为多个子区域，并且所述多个子区域中的每一个子区域与相应的帧内预测模式相关联，所述当前块的帧内预测模式是与所述多个子区域中的包括所述第二对应位置的子区域相关联的帧内预测模式。17.一种设备，包括：处理电路系统，所述处理电路系统被配置成：从编码视频比特流接收(i)色度编码单元(cu)和(ii)亮度区域的编码信息；在所述色度cu内确定所述色度cu的对应位置，所述对应位置包括第一轴上的第一坐标值和第二轴上的第二坐标值，所述第一轴垂直于所述第二轴；在所述亮度区域中确定所述色度cu的同位亮度cu，所述同位亮度cu包括所述对应位置；以及基于所述同位亮度cu确定所述色度cu的帧内预测模式。18.根据权利要求17所述的设备，其中，所述处理电路系统被配置成：响应于基于帧内预测模式对所述同位亮度cu进行帧内编码，将所述同位亮度cu的帧内预测模式确定为所述色度cu的帧内预测模式；以及响应于未对所述同位亮度cu进行帧内编码，将所述同位亮度cu的传播的帧内模式确定为所述色度cu的帧内预测模式，所述同位亮度cu的传播的帧内模式是基于所述同位亮度cu的相邻亮度cu的帧内预测模式而获得的。19.根据权利要求17所述的设备，其中，在所述编码信息中预定义或用信号传送所述色度cu的对应位置。20.根据权利要求17所述的设备，其中，所述处理电路系统被配置成：基于通用帧内模式映射来确定所述色度cu的帧内预测模式，所述通用帧内模式映射将所述亮度区域划分为多个子区域，并且所述多个子区域中的每一个子区域被分配有相应的帧内预测模式，所述色度cu的帧内预测模式是与所述多个子区域中的包括所述对应位置的子区域相关联的帧内预测模式。

技术总结
接收(i)图片的当前块和(ii)图片的重构区域的编码信息。确定当前块在图片的重构区域中的匹配区域。在当前块内确定当前块的第一对应位置。第一对应位置包括相对于当前块上的第一参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。在匹配区域中确定当前块的对应块。对应块包括第二对应位置，第二对应位置具有相对于匹配区域上的第二参考点在第一轴上的第一坐标值和在第二轴上的第二坐标值。基于对应块确定当前块的帧内预测模式。对应块确定当前块的帧内预测模式。对应块确定当前块的帧内预测模式。


技术研发人员：李翎 李翔 刘杉
受保护的技术使用者：腾讯美国有限责任公司
技术研发日：2022.09.16
技术公布日：2023/8/24