一种基于相邻块深度的通用视频编码快速帧内预测的方法

1.本发明涉及一种基于相邻块深度的通用视频编码快速帧内预测的方法。


背景技术：

2.在进入数字时代后，数字视频更是紧随着it技术的浪潮，获得了非常迅速的发展。追求更高的清晰度，是数字视频技术领域从未停止的步伐。如今，各式各样的视频应用已经渗透到人类社会的各个领域。视频是一种数据量非常巨大的载体，例如一段每秒30帧，每像素24bits，分辨率是480x240的视频中，如果我们不做任何压缩，它的码率为82.944mbps。一个单独一小时长视频，分辨率为720p和30fps时将需要278g的存储空间。我们认识到，不对视频进行压缩是不行的。尽管近年来网络带宽和存储能力增加迅速，但是也远不能满足以海量信息为特征的视频数据的传输的存储的要求。所以视频编码技术一直是热点研究领域。
3.数字视频能进行压缩主要有两个基本条件：数据冗余和视觉冗余。视频的数据冗余，例如空间冗余、时间冗余，即图像各像素之间存在着很强的相关性，消除这些冗余并不会导致信息损失，属于无损压缩。而视觉冗余是因为人眼的一些特性比如亮度辨别阈值，视觉阈值，对亮度和色度的敏感度不同，使得在编码的时候有适度的误差也不会被察觉出来。可以利用人眼的视觉特性，以一定的客观失真换取数据压缩。为了获得较高的压缩率，视频通常采用有损压缩，即以损失一定的质量的代价获取高压缩比。此时衡量压缩算法性能优劣与两个参数有关：码率和失真。有损压缩追求的是，在质量损失一定的情况下获得最高的压缩比(最低的码率)；或者在码率一定的情况下，视频质量最好。
4.视频压缩一般通过一组对应的编解码器来实现。其中编码器的作用就是通过一定的技术降低或消除视频图像的空间冗余、时间冗余和结构冗余以及统计冗余等，从而将视频转换成压缩后的形式，以便于传输和存储。在实际应用的过程中，压缩的视频数据再通过对应的解码器被恢复为原始的视频图像，最常见的视频播放器其实质就是一组解码器，能够支持不同编码格式的视频的播放(即解码)。因此数字视频的编解码技术成为解决海量视频空间存储大与网络传输代价高的关键，尤其在数字多媒体产业快速发展、迅速普及的大趋势下，编解码技术尤显重要。视频编码在保证为用户提供满意的观看质量的前提下最大限度地去除视频信息中的冗余成分以此来达到减少数据量的目的。
5.为了使编码后的码流能够在大范围内互通和规范解码，从20世纪80年代起，国际组织开始对视频编码建立国际标准。视频编码的国际标准通常代表着同时代最先进的视频编码技术。主流视频编码标准通常是由国际电信联盟远程通信标准化组织itu-t与国际标准化组织/国际电工委员会iso/iec两大组织推出的。itu-t组织制定了h.26x系列视频编码标准，被广泛应用于宽带视频通信中。而由iso/iec动态图像专家组制定的mpeg系列视频编码标准则主要应用于广播电视、视频存储和网络传输应用等领域中。2003年，itu-t与iso/iec组织联合公布了h.264/mpeg-4先进视频编码(advanced video coding，avc)视频压缩标准。该标准是目前应用最为广泛的视频编码标准，在提高编码效率和视频编码灵活性等
方面取得了很大的成功，它的发布使得数字视频在网络和工程两方面都得以更加广泛的应用。2013年两者又合作开发了上一代视频编码标准h.265/高效视频编码(high efficiency video coding，hevc)。相比于上h.264/avc，这代标准利用更低的编码码率实现了相同的图像恢复质量，同时添加了更多新的技术，也面向了更广的应用范围。这一标准的制定大大推动了视频编码技术的发展。
6.随着计算机处理能力的提升、存储成本的降低，网络视频服务多样化的挑战以及视频编码技术的发展，数字视频产业对具有压缩率高、稳定性强和网络适应能力优越的视频编码标准的需求日益迫切，另一方面在数字视频向高帧率、高压缩率以及高分辨率不断发展的今天，目前应用最广泛的h.264标准在压缩和网络等方面的局限性日益凸显，无法满足众多视频应用的需求。因此，itu-t的vceg工作组和iso/iec的mpeg工作组再一次通力合作，于2010年初成立了联合视频工作组jct-vc开始寻求现有编解码标准的替代方案，展开了对新一代编解码标准的开发，在此背景下高效视频编码标准hevc应运而生。
7.hevc标准的出现为互联网视频的高清之路带来了新变革。根据前期的对比研究，hevc无论在功能还是性能上己经全面突破了h.264的诸多瓶颈，展现出了对h.264的巨大优势。因此在今天不断追求提高网络速度，降低带宽成本的需求下，hevc的出现成为高清视频普及和发展的助推剂。
8.2016年，itu-t和iso正式成立了联合研究组jvet，开始着手研究下一代视频编码标准h.266标准，并在2018年4月正式开始标准化工作，同时确认将下一代视频编码标准称为通用视频编码。h.266/vvc的目标是能提供比h.265/hevc更优越的编码性能，与此同时，还需要支持360
°
全景视频和hdr视频。编码标准的制定过程中，需要考察每个编码算法的性能，所以jvet提供了一个公共参考软件(vvc test model，vtm)。
9.和hevc的最近参考软件版本hm16.0相比，vtm在all intra(ai)配置下已经有了18.03％的比特率下降。对于random access(ra)配置的测试条件，vtm3.0已经有了23％的性能提升。
10.vvc以时间成本为代价获得了出色的bd速率性能。与hevc相比，编码时间增加了近10倍，而解码时间则增加了近2倍。降低复杂度是推广新标准的关键步骤，而cu划分提前终止决策算法是最大程度地减少计算量的有效果的方向之一。与hevc不同，由于vvc不仅采用四叉树，而且采用二叉树和三叉树结构，因此在块分区中允许使用非方形块。因此，由于模式判定循环中的附加搜索，cu分区更加复杂，这极大地增加了编码时间。
11.近年来，提出了许多的快速帧内预测算法，以减少计算的复杂性，同时节省更多的编码时间且减少编码失真。


技术实现要素：

13.本发明实施例是提供一种基于相邻块深度的通用视频编码快速帧内预测的方法，可以在几乎不降低视频编码质量的情况下，节省大量的编码时间。
14.本发明解决上述问题的技术方案如下：一种基于相邻块深度的通用视频编码快速帧内预测的方法，其特征在于：在通用视频编码的测试模型中引入相邻块深度，利用基于当前cu的左侧和上侧的已编码cu的深度特征来判断当前cu的纹理复杂度，判定其是否可以当前cu划分，从而节省编码时间。
15.h.266/vvc采用基于块的混合视频编码结构，但是与hevc中四叉树(qt)划分不同，其采用的是多类型(qtmt)划分结构。qtmt主要包括3种划分结构，分别是四叉树划分结构(qt)、三叉树划分结构(tt)和二叉树划分结构(bt)，其中tt和bt又分为垂直划分和水平划分两种方式。
16.vvc中根据不同划分方式的率失真代价(rd cost)的值来确定cu的最佳的划分。在所有可能的划分中rd cost最小的即为最佳的划分方式。vvc定义了一些编码参数来限制qtmt下的块划分，maxcuwidth和maxcuheight都是64，所以128
×
128的ctu必须先被qt划分。minqtsize设置为8以限制qt节点的最小大小。根据minqtsize和划分方式，一个8
×
8的cu只能被mt划分。maxbtsize和maxttsize都是32，所以一个mt节点的最大尺寸是32
×
32。改进的编码树结构可以支持更大尺寸的编码块，划分更加灵活。vvc去除了预测单元(pu)和变换单元(tu)的概念，只有编码单元(cu)。在编码树结构中，cu可以是正方形或矩形。bt将cu分割成面积相等的两个矩形子cu，tt将cu分割成面积比为1:2:1的三个矩形子cu。长宽不等的矩形块使编码块更加灵活。
18.因为同一帧图像的相邻cu在颜色、平滑度、纹理等方面具有较强的相关性，再加上ctu中的编码顺序采用“z”字形结构，使得在对当前cu进行编码时，左侧和上侧的单元已经编码完毕。因此，如果通过相邻块的深度判定当前cu的纹理复杂度小不需要继续划分可以对减少编码时间做出至关重要的贡献。针对上述问题，本发明设计了一种基于相邻块深度的cu划分提前终止算法，以降低vvc中帧内编码的复杂度。
19.编码树单元(ctu)的划分模式与块的纹理特征密切相关。纹理特征可以作为ctu划分的重要依据。在纹理复杂的区域，一般会被划分小尺寸的cu，因此cu的深度较大。而在纹理简单的区域，cu块一般尺寸比较大，因此cu的深度较小。根据cu的空间相关性，当前的cu与空间相邻的cu高度相似，相邻的cu编码深度可能不完全一致，但是都比较相近，因此，cu的空间相关性对于编码深度的确定很有帮助。
20.在vtm中，128
×
128大小的ctu块默认拆分为4个64
×
64的子cu块，因而不需要考虑128
×
128块。小尺寸cu只占用很少的编码时间，且对64
×
64的cu进行划分的提前终止容易产生比较大的质量损失。因此，本发明只对长度和宽度等于32的cu块进行快速预测，以实现计算复杂度和编码质量之间的平衡。
21.本发明是基于亮度分量的方法，所以要首先判断当前块是否为亮度模式，然后获取相邻块的深度。在一帧图像中，除了最左侧和最上侧的cu，其余cu都有与之相邻的左侧和上侧cu。然后根据相邻cu的深度推测当前cu可能的最大深度，在当前cu的深度等于或大于最大深度时，提前终止当前cu的划分。在vvc中的cu深度与hevc有所差别。在hevc中，cu都是正方形，尺寸分别为64
×
64、32
×
32、16
×
16和8
×
8，对应的cu深度分别为0、1、2和3。而在vvc中因为mt划分方式的加入，cu可能为长方形，cu的深度也分为qt深度和mt深度。cu的深度为qt深度加上mt深度。在vvc默认设置中，cu在使用mt划分方式后不能再qt划分，所以cu是先使用qt划分，当cu为32
×
32时可以开始采用mt划分。例如一个尺寸为32
×
32的cu采用二叉树划分成两个32
×
16的子cu，此时32
×
16子cu的qt深度为2，mt深度为1，它的深度为3。
22.本发明分获取左侧和上侧相邻块的深度。如果两个相邻块的深度相等，当前cu的深度很有可能与相邻块的深度相等或者比它们大1。如果两个相邻块的深度不相等且相差1，当前cu的等于左侧cu深度或上侧cu深度。如果两个相邻块的深度相差大于等于2时，当前
cu编码深度无明显特征，采取全搜索、递归式的率失真代价比较，选择最优cu划分结果。
23.本发明根据相邻cu的深度得到标志nei_flag。如果两个相邻块深度相等，则nei_flag为1。如果两个相邻块的深度不相等且相差1时，则nei_flag为0。相邻块为其他情况时nei_flag为-1。nei_flag的计算过程如下：
24.其中，left
depth
和above
depth
分别代表左侧相邻块的深度和上侧相邻块的深度。
25.本发明根据当前cu块的深度和nei_flag来得到是否应该进行提前终止划分的标志issplit。如果nei_flag为1，且当前cu的深度等于或者大于左侧相邻块深度加1，则issplit为1，提前终止当前cu继续划分。如果nei_flag为0，且当前cu的深度等于或者大于两个相邻块中深度更大的加1，则issplit为0，提前终止当前cu继续划分。否则issplit为-1，cu划分与vvc默认过程的保持一致选择最优划分结果。issplit的计算过程如下：
26.其中，cu
depth
为当前cu的深度。max(above
depth
,left
depth
)是取两个相邻块中深度更大的块的深度。
27.本发明通过与当前cu具有极大空间关联性的左侧和上侧相邻cu的深度来判断当前cu是否进行划分的提前终止，在质量损失较小的情况下能够极大地较少编码的计算复杂度和降低编码时间。
附图说明
28.图1为本发明涉及的一种基于相邻块深度的视频编码快速帧内预测的方法总流程图；
具体实施方式
43.以下结合附图并对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
44.图1为本发明涉及的一种基于相邻块深度的视频编码快速帧内预测的方法总流程图；如图1所示，一种基于相邻块深度的视频编码快速帧内预测的方法的具体步骤如下：
45.由用户提供待测试视频，测试序列为yuv序列。
46.步骤一：首先将一个视频序列以全i帧(all-intra)的配置进行编码。测试建议量化参数值为22、27、32、37。
47.步骤二：进行初步的判断，如果编码块为亮度块，则进行快速预测，若编码块为色度块，则不进行任何操作。
48.步骤三：对于帧内编码过程中得到的长度和宽度小于等于32的亮度编码块，若当前cu存在左侧和上侧相邻块，则获取其左侧相邻块深度和上侧相邻块深度。
49.步骤四：根据获取到的相邻块的深度，到标志nei_flag。如果两个相邻块深度相
等，则nei_flag为1。如果两个相邻块的深度不相等且相差1时，则nei_flag为0。相邻块为其他情况时nei_flag为-1。
50.步骤五：根据当前cu块的深度和nei_flag来得到是否应该进行提前终止划分的标志issplit。如果nei_flag为1，且当前cu的深度等于或者大于左侧相邻块深度加1，则issplit为1，提前终止当前cu继续划分。如果nei_flag为0，且当前cu的深度等于或者大于两个相邻块中深度更大的加1，则issplit为0，提前终止当前cu继续划分。否则issplit为-1，cu划分与vvc默认过程的保持一致选择最优划分结果。
51.以上所述仅为本发明的较佳实施例子，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于相邻块深度的通用视频编码帧内快速预测的方法，其特征在于：在通用视频编码的测试模型中引入相邻块深度，利用基于当前cu的左侧和上侧的已编码cu的深度特征来判断当前cu的纹理复杂度，判定其是否可以当前cu划分，从而节省编码时间。h.266/vvc采用基于块的混合视频编码结构，但是与hevc中只有方形块的四叉树(qt)划分不同，其采用的是多类型(qtmt)划分结构。qtmt主要包括3种划分结构，分别是四叉树划分结构(qt)、三叉树划分结构(tt)和二叉树划分结构(bt)，其中tt和bt又分为垂直划分和水平划分两种方式。vvc中根据不同划分方式的率失真代价(rd cost)的值来确定cu的最佳的划分。在所有可能的划分中rd cost最小的即为最佳的划分方式。vvc定义了一些编码参数来限制qtmt下的块划分，maxcuwidth和maxcuheight都是64，所以128
×
128的ctu必须先被qt划分。minqtsize设置为8以限制qt节点的最小大小。根据minqtsize和划分方式，一个8
×
8的cu只能被mt划分。maxbtsize和maxttsize都是32，所以一个mt节点的最大尺寸是32
×
32。改进的编码树结构可以支持更大尺寸的编码块，划分更加灵活。vvc去除了预测单元(pu)和变换单元(tu)的概念，只有编码单元(cu)。在编码树结构中，cu可以是正方形或矩形。bt将cu分割成面积相等的两个矩形子cu，tt将cu分割成面积比为1:2:1的三个矩形子cu。长宽不等的矩形块使编码块更加灵活。因为同一帧图像的相邻cu在颜色、平滑度、纹理等方面具有较强的相关性，再加上ctu中的编码顺序采用“z”字形结构，使得在对当前cu进行编码时，左侧和上侧的单元已经编码完毕。因此，如果通过相邻块的深度判定当前cu的纹理复杂度小不需要继续划分可以对减少编码时间做出至关重要的贡献。针对上述问题，本发明设计了一种基于相邻块深度的cu划分提前终止算法，以降低vvc中帧内编码的复杂度。编码树单元(ctu)的划分模式与块的纹理特征密切相关。纹理特征可以作为ctu划分的重要依据。在纹理复杂的区域，一般会被划分小尺寸的cu，因此cu的深度较大。而在纹理简单的区域，cu块一般尺寸比较大，因此cu的深度较小。根据cu的空间相关性，当前的cu与空间相邻的cu高度相似，相邻的cu编码深度可能不完全一致，但是都比较相近，因此，cu的空间相关性对于编码深度的确定很有帮助。在vtm中，128
×
128大小的ctu块默认拆分为4个64
×
64的子cu块，因而不需要考虑128
×
128块。小尺寸cu只占用很少的编码时间，且对64
×
64的cu进行划分的提前终止容易产生比较大的质量损失。因此，本发明只对长度和宽度等于32的cu块进行快速预测，以实现计算复杂度和编码质量之间的平衡。在一帧图像中，除了最左侧和最上侧的cu，其余cu都有与之相邻的左侧和上侧cu。然后根据相邻cu的深度推测当前cu可能的最大深度，在当前cu的深度等于或大于最大深度时，提前终止当前cu的划分。在vvc中的cu深度与hevc有所差别。在hevc中，cu都是正方形，尺寸分别为64
×
64、32
×
32、16
×
16和8
×
8，对应的cu深度分别为0、1、2和3。而在vvc中因为mt划分方式的加入，cu可能为长方形，cu的深度也分为qt深度和mt深度。cu的深度为qt深度加上mt深度。在vvc默认设置中，cu在使用mt划分方式后不能再qt划分，所以cu是先使用qt划分，当cu为32
×
32时可以开始采用mt划分。例如一个尺寸为32
×
32的cu采用二叉树划分成两个32
×
16的子cu，此时32
×
16子cu的qt深度为2，mt深度为1，它的深度为3。本发明分获取左侧和上侧相邻块的深度。如果两个相邻块的深度相等，当前cu的深度
很有可能与相邻块的深度相等或者比它们大1。如果两个相邻块的深度不相等且相差1，当前cu的等于左侧cu深度或上侧cu深度。如果两个相邻块的深度相差大于等于2时，当前cu编码深度无明显特征，采取全搜索、递归式的率失真代价比较，选择最优cu划分结果。本发明是基于亮度分量的方法，所以要首先判断当前块是否为亮度模式，然后基于当前cu的左侧和上侧的已编码cu的深度特征来判断当前cu的纹理复杂度，判定其是否可以当前cu划分，从而节省编码时间。2.根据权利要求1所述的基于相邻块深度的通用视频编码帧内快速预测的方法，根据相邻cu的深度得到标志nei_flag。如果两个相邻块深度相等，则nei_flag为1。如果两个相邻块的深度不相等且相差1时，则nei_flag为0。相邻块为其他情况时nei_flag为-1。nei_flag的计算过程如下：其中，left
depth
和above
depth
分别代表左侧相邻块的深度和上侧相邻块的深度。本发明根据当前cu块的深度和nei_flag来得到是否应该进行提前终止划分的标志issplit。如果nei_flag为1，且当前cu的深度等于或者大于左侧相邻块深度加1，则issplit为1，提前终止当前cu继续划分。如果nei_flag为0，且当前cu的深度等于或者大于两个相邻块中深度更大的加1，则issplit为0，提前终止当前cu继续划分。否则issplit为-1，cu划分与vvc默认过程的保持一致选择最优划分结果。issplit的计算过程如下：其中，cu
depth
为当前cu的深度。max(above
depth
,left
depth
)是取两个相邻块中深度更大的块的深度。本发明通过与当前cu具有极大空间关联性的左侧和上侧相邻cu的深度来判断当前cu是否进行划分的提前终止，在质量损失较小的情况下能够极大地较少编码的计算复杂度和降低编码时间。

技术总结
本发明涉及一种基于相邻块深度的通用视频编码帧内快速预测方法，包括下列步骤：1)判断当前帧中划分块是否为亮度块，若是则执行快速预测；2)对视频中每个内部画面帧(I帧)图像中帧内预测时划分的块大小进行判断，对于尺寸小于等于32的块，进行下一步处理；3)根据获取到的相邻块的深度，到标志nei_flag。如果两个左侧相邻块和上侧相邻块深度相等，则nei_flag为1。如果两个相邻块的深度不相等且相差1时，则nei_flag为0。相邻块为其他情况时nei_flag为-1；4)根据当前CU块的深度和nei_flag来得到是否应该进行提前终止划分的标志isSplit。如果nei_flag为1，且当前CU的深度等于或者大于左侧相邻块深度加1，则isSplit为1，提前终止当前CU继续划分。如果nei_flag为0，且当前CU的深度等于或者大于两个相邻块中深度更大的加1，则isSplit为0，提前终止当前CU继续划分。否则isSplit为-1，CU划分与VVC默认过程的保持一致选择最优划分结果。选择最优划分结果。


技术研发人员：宋云 文舟
受保护的技术使用者：长沙理工大学
技术研发日：2022.03.04
技术公布日：2023/9/13