视频解码方法、视频编码方法及比特流的传输方法

视频解码方法、视频编码方法及比特流的传输方法
1.本技术是国际申请日为2017年03月17日、申请号为201780017936.7的发明专利申请“基于帧内预测的视频信号处理方法及装置”的分案申请。
技术领域
2.本发明涉及视频解码方法、视频编码方法及比特流的传输方法。


背景技术：

3.近来各种应用领域对hd(high definition)影像及uhd(ultra high definition)影像之类的高分辨率高品质影像的需求日益增加中。影像数据越具备高分辨率高品质，其数据量相比于现有的影像数据也会越来越多，因此利用现有的有线无线宽带线路之类的媒体传输影像数据或者利用现有的保存媒体保存时将大幅提高传输成本与保存成本。为了解决随着影像数据高分辨率高品质化而发生的这些问题，可以运用高效率的影像压缩技术，
4.影像压缩技术包括诸如从当前图像的之前或之后图像预测当前图像所含画素值的画面间预测技术、利用当前图像内的画素信息预测当前图像所含画素值的画面内预测技术、为出现频率较高的值指定较短的代码而出现频率较低的值则指定较长代码的熵符号化技术等多种技术，能利用该影像压缩技术有效地压缩影像数据后予以传输或保存。
5.另一方面，由于人们对高分辨率影像的需求增加而使得立体影像内容作为新影像服务日益受到青睐。能以高效提供高分辨率及超高分辨率立体影像内容的视频压缩技术也日益受到关注。


技术实现要素：

6.本发明的目的是提供一种在进行视频信号编码/解码时用于高速帧内预测编码的方法及装置。
7.本发明的另一个目的是提供一种在进行视频信号编码/解码时基于滤波器的帧内预测执行方法及装置。
8.本发明需要解决的技术课题不限于前述技术课题，本发明所属领域中具备通常知识者可以在下面的记载中明确地了解到前面没有提到的其它课题。
9.本发明的视频解码方法包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤
波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零，所述预设的值根据所述当前块的大小来确定。
10.本发明的视频编码方法包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且当所述当前块的内部预测模式是非指向性模式时，所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零；及所述预设的值根据所述当前块的大小来确定。
11.本发明的比特流的传输方法中，比特流通过视频编码方法生成，所述视频编码方法包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且当所述当前块的内部预测模式是非指向性模式时，所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零；及所述预设的值根据所述当前块的大小来确定。
12.根据本发明，能进行高速帧内预测编码/解码。
13.根据本发明，能凭借滤波器高效率地执行帧内预测。
14.本发明能得到的效果不限于前述效果，本发明所属技术领域中具备通常知识者可以在下面的记载中明确地了解到前面没有提到的其它效果。
附图说明
15.图1是示出本发明一个实施例的影像符号化装置的块图。
16.图2是示出本发明一个实施例的影像复号化装置的块图。
17.图3是适用了本发明的一个实施例，示出了基于帧内预测的影像复号化方法。
18.图4是用来说明目标样本的第一预测值推导过程的例示图。
19.图5与图6用来说明对当前块执行第二帧内预测的例子。
20.图7用来说明根据当前块的帧内预测模式的帧内预测顺序。
具体实施方式
21.本发明可以实现多样化的修改，也能具有各种实施例，本说明书将以附图图示特定实施例并予以详细说明。然而，这不能把本发明局限在特定实施形态，在本发明的技术思想范畴内，可以执行各种置换、变形及修改，这对于本领域技术人员来说是非常明显的，因此该置换、变形及修改属于本发明权利要求书的均等范围是理所当然的。在说明各附图时，相似的构成要素使用了相似的图形符号。
22.第一、第二之类的术语可以在说明各种构成要素时使用，但不得把所述构成要素局限于所述术语。所述术语的使用目的仅在于使构成要素与其它构成要素区分开来。例如，在本发明的权利要求范围内，第一构成要素可以被命名为第二构成要素，与此相似地，第二构成要素也可以被命名为第一构成要素。术语“及/或”包括多个相关的记载项目的组合或多个相关的记载项目中的某一项目。
23.某一构成要素被记载为“连接”或“接入”其它构成要素时，虽然可以被理解为直接连接或接入该其它构成要素，也可以被理解为中间存在着其它的构成要素。与此相反的是，某一构成要素被记载为“直接连接”或“直接接入”其它构成要素时，应该被理解为中间不存在其它的构成要素。
24.本技术中使用的术语仅为说明特定实施例而使用，不得因此局限本发明。除非在句子的脉理中可以明显地加以区分，否则单数表现方式也包括复数的情形。本技术的“包括”或“具有”等术语只是指定说明书上记载的特征、数字、步骤、运动、构成要素、零件或它们的组合的存在，不得视为事先排除了一个或一个以上的其它特征、数字、步骤、运动、构成要素、零件或它们的组合的存在或附加可能性的存在。
25.下面结合附图详细说明本发明的优选实施例。下面对于附图中的同一构成要素将使用同一图形符号，同一构成要素将不予重复说明。
26.图1是示出本发明一个实施例的影像符号化装置的块图。
27.请参阅图1，影像符号化装置100包括图像分割部110、预测部120、125、变换部130、量化部135、重排序部160、熵符号化单元165、逆量化部140、逆变换部145、滤波部150及内存155。
28.图1所示各部件是为了在影像符号化装置指示相异的特征功能而独立地图示的，并不表示各部件由分离的硬件或一个软件单位构成。亦即，为了说明方便起见而让各部件以各个部件罗列的方式予以包含，各部件中的至少两个部件可以结合后构成一个部件或者一个部件分成多个部件地发挥功能，这些各部件的统合实施例及分离实施例在没有脱离本发明的本质的情形下也包含在本发明的权利范围。
29.而且，一部分构成要素并不是本发明执行本质功能时必备的构成要素而仅仅是提高性能的选择性构成要素。本发明能以排除仅仅用于提高性能的构成要素而以实现本发明的本质时必备的部件实现，排除了仅仅用于提高性能的选择性构成要素后仅包括必需的构成要素的结构也包含在本发明的权利范围。
30.图像分割部110能把所输入的图像分割成至少一个处理单元。此时，处理单元可以是预测单元(prediction unit:pu)，也可以是变换单元(transform unit:tu)，也可以是符
号化单元(coding unit:cu)。在图像分割部110对一个图像以多个符号化单元、预测单元及变换单元的组合予以分割并且以预设的基准(例如费用函数)选择一个符号化单元、预测单元及变换单元组合后把图像予以符号化。
31.例如，一个图像能分割成多个符号化单元。可以为了在图像分割符号化单元而使用四叉树结构(quad tree structure)之类的递归树结构，以一个影像或最大的符号化单元(largest coding unit)作为根(root)分割成其它符号化单元的符号化块能以具备下列子节点数量的方式分割，该子节点数量等于所分割的符号化单元的数量。由于受到一定限制而无法进一步分割的符号化单元则成为叶节点(leaf node)。亦即，假设对于一个编码块只能进行正方形分割的话，一个符号化单元最多能分割成4个不同的符号化单元。
32.在下面的本发明实施例中，符号化单元可以作为执行符号化的单位的意义使用，也可以作为执行复号化的单位的意义使用。
33.预测单元可以是在一个符号化单元内以相同大小的至少一个正方形或长方形之类的形态分割而成的，也可以是在一个符号化单元内分割的预测单元中的某一个预测单元和另一个预测单元具备不同形态及/或大小地分割而成的。
34.以符号化单元为基础生成执行帧内预测的预测单元时如果不是最小符号化单元的话，可以不分割成多个预测单元nxn而执行帧内预测。
35.预测部120、125能包括执行帧间预测的帧间预测部120与执行帧内预测的帧内预测部125。可以决定对预测单元使用帧间预测还是执行帧内预测并且决定各预测方法的具体信息(例如帧内预测模式、运动向量、参考图像等)。此时，执行预测的处理单元和确定预测方法及具体内容的处理单元可能会不同。例如，预测方法与预测模式等由预测单元决定，预测的执行则可以由变换单元执行。所生成的预测块与原始块之间的残差值(残差块)可以输入变换部130。而且，为了预测而使用的预测模式信息、运动向量信息等可以和残差值一起在熵符号化单元165进行符号化后传输到复号化器。使用特定符号化模式时，也可以不通过预测部120、125生成预测块而把原始块直接符号化后传输到复号化部。
36.帧间预测部120能以当前图像的之前图像或之后图像中的至少一个图像的信息为基础对预测单元进行预测，也可以视情况而以当前图像内的完成了符号化的一部分领域的信息为基础对预测单元进行预测。帧间预测部120可以包括参考图像插值部、运动预测部、动作补偿部。
37.参考图像插值部可以从内存155接收参考图像信息后在参考图像生成整数画素以下的画素信息。如果是辉度画素的话，为了以1/4画素单元生成整数画素以下的画素信息而使用滤波系数不同的基于dct的8阶插值滤波器(dct-based interpolation filter)。如果是色差信号的话，可以为了以1/8画素单元生成整数画素以下的画素信息而使用滤波系数不同的基于dct的4阶插值滤波器(dct-based interpolation filter)。
38.运动预测部能以参考图像插值部所插值的参考图像为基础执行运动预测。算出运动向量的方法可以使用诸如fbma(full search-based block matching algorithm)、tss(three step search)、nts(new three-step search algorithm)之类的各种方法。运动向量能以插值的画素为基础具备1/2或1/4画素单元的运动向量值。运动预测部能以不同的运动预测方法预测当前预测单元。运动预测方法可以使用诸如跳过(skip)法、融合(merge)法、amvp(advanced motion vector prediction)法、帧内块复制(intra block copy)法之
类的各种方法。
39.帧内预测部125能以作为当前图像内的画素信息的当前块周边的参考像素信息为基础生成预测单元。由于当前预测单元的周边块是执行了帧间预测的块，因此如果参考像素是执行了帧间预测的像素的话能以周边的执行了帧内预测的块的参考像素信息替代执行了帧间预测的块所含参考像素后使用。亦即，参考像素不可用时，能以可用的参考像素中的至少一个参考像素替代不可用的参考像素信息后使用。
40.在帧内预测中，预测模式可以包括根据预测方向使用参考像素信息的指向性预测模式和执行预测时不使用指向性信息的非指向性模式。上述指向性预测模式的数量可以和hevc标准所定义的33个相同或者为其以上，作为一例，可以扩展到60至70范围内的数量。用于预测辉度信息的模式和用于预测色差信息的模式可能不同，为了预测色差信息，可以利用为了预测辉度信息而使用的帧内预测模式信息或预测到的辉度信号信息。
41.执行帧内预测时预测单元的大小与变换单元的大小相同的话，能以位于预测单元的左侧的像素、位于左侧上端的像素、位于上端的像素为基础对预测单元执行帧内预测。但执行帧内预测时预测单元的大小与变换单元的大小不同的话，则能利用以变换单元为基础的参考像素执行帧内预测。而且，可以使用只针对最小符号化单元使用nxn分割的帧内预测。
42.帧内预测方法可以根据预测模式对参考画素适用ais(adaptive intra smoothing)滤波器后生成预测块。适用于参考画素的ais滤波器的种类可以不同。为了执行帧内预测方法，当前预测单元的帧内预测模式可以根据存在于当前预测单元的周边的预测单元的帧内预测模式予以预测。利用根据周边预测单元预测的模式信息预测当前预测单元的预测模式时，如果当前预测单元与周边预测单元的帧内预测模式相同的话能利用预设的标记(flag)信息把表明当前预测单元与周边预测单元的预测模式相同的信息予以传输，如果当前预测单元与周边预测单元的预测模式不同的话，可以执行熵符号化而把当前块的预测模式信息予以符号化。
43.而且，可以生成包含残差值(residual)信息的残差块，该残差值是以预测部120、125所生成的预测单元为基础执行了预测的预测单元和预测单元的原始块之间的差异值。所生成的残差块可输入变换部130。
44.变换部130能使用dct(discrete cosine transform)、dst(discrete sine transform)、klt之类的变换方法把包含原始块和通过预测部120、125生成的预测单元的残差值(residual)信息的残差块予以变换。至于变换残差块时适用dct或适用dst或适用klt，能以为了生成残差块而使用的预测单元的帧内预测模式信息为基础予以决定。
45.量化部135能把在变换部130变换成频域的值予以量化。量化系数可以根据块或根据影像的重要性而变化。量化部135算出来的值可供应给逆量化部140和重排序部160。
46.重排序部160能针对量化的残差值执行系数值的重排序。
47.重排序部160能通过系数扫描(coefficient scanning)方法把二维的块形态系数改成一维的向量形态。例如，重排序部160能利用曲折掃描(zig-zag scan)方法从dc系数到高频域的系数为止进行扫描而改成一维向量形态。根据变换单元的大小及帧内预测模式，也可以不使用曲折掃描而使用以列方向扫描二维块形态系数的垂直扫描、以行方向扫描二维块形态系数的水平扫描。亦即，可以根据变换单元的大小及帧内预测模式决定使用曲折
binary arithmetic coding)之类的各种方法。
61.熵复号化单元210能把关于符号化器所执行的帧内预测及帧间预测的信息予以复号化。
62.对于由熵复号化单元210予以熵复号化的比特流，重排序部215能以符号化部重排序的方法为基础执行重排序。可以把以一维向量形态表现的系数重构成二维的块形态的系数后重排序。重排序部215接收有关符号化部所执行的系数扫描的信息后能通过以该符号化部所执行的扫描顺序为基础逆扫描的方法执行重排序。
63.逆量化部220能以符号化器所提供的量化参数与重排序的块的系数值为基础执行逆量化。
64.对于影像符号化器所执行的量化结果，逆变换部225能对变换部所执行的变换进行逆变换，亦即，对dct、dst及klt执行逆dct、逆dst及逆klt。逆变换能以影像符号化器所决定的传输单元为基础执行。影像复号化器的逆变换部225能根据预测方法、当前块的大小及预测方向之类的多个信息选择性地执行变换方法(例如dct、dst、klt)。
65.预测部230、235能以熵复号化单元210所提供的关于预测块的生成的信息与内存245所提供的之前复号化的块或图像信息为基础生成预测块。
66.如前所述，和影像符号化器里的动作相同地执行帧内预测时，预测单元的大小与变换单元的大小相同的话，以位于预测单元的左侧的像素、位于左侧上端的像素、位于上端的像素为基础对预测单元执行帧内预测，但是执行帧内预测时预测单元的大小与变换单元的大小不同的话，能利用以变换单元为基础的参考像素执行帧内预测。而且，也可以使用只对最小符号化单元使用nxn分割的帧内预测。
67.预测部230、235可以包括预测单元判别部、帧间预测部及帧内预测部。预测单元判别部接收熵复号化单元210输入的预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测的相关信息之类的各种信息后在当前符号化单元区分预测单元，可以判别预测单元执行帧间预测还是执行帧内预测。帧间预测部230利用影像符号化器所提供的当前预测单元的帧间预测所需信息以包含当前预测单元的当前图像的之前图像或之后图像中的至少一个图像所含信息为基础对当前预测单元执行帧间预测。或者，也可以在在包含当前预测单元的当前图像内以已重构的一部分领域的信息为基础执行帧间预测。
68.为了执行帧间预测，以符号化单元为基准判断相应的符号化单元所含预测单元的运动预测方法为跳过模式(skip mode)、融合模式(merge模式)、amvp模式(amvp mode)，帧内块复制模式中的哪一个方法。
69.帧内预测部(235)能以当前图像内的画素信息为基础生成预测块。如果预测单元是执行了帧内预测的预测单元的话，能以影像符号化器所提供的预测单元的帧内预测模式信息为基础执行帧内预测。帧内预测部(235)可包括ais(adaptive intra smoothing)滤波器、参考画素插值部、dc滤波器。ais滤波器对当前块的参考画素执行滤波，可以根据当前预测单元的预测模式决定是否适用滤波器后予以适用。可以利用影像符号化器所提供的预测单元的预测模式及ais滤波器信息对当前块的参考画素执行ais滤波。如果当前块的预测模式为不执行ais滤波的模式的话，也可以不适用ais滤波器。
70.如果是预测单元的预测模式以插值了参考画素的画素值为基础执行帧内预测的预测单元的话，参考画素插值部可以插值参考画素生成整数值以下的画素单元的参考画
素。如果当前预测单元的预测模式是不插值参考画素地生成预测块的预测模式的话，参考画素可以不插值。dc滤波器在当前块的预测模式为dc模式时能通过滤波生成预测块。
71.重构的块或图像可以提供给滤波部240。滤波部240可以包括去块滤波器、偏移校正部、alf。
72.可以从影像符号化器得到下列信息，亦即，是否对相应块或图像适用了去块滤波器、适用了去块滤波器时是适用强滤波器还是适用弱滤波器。影像复号化器的去块滤波器接收影像符号化器所提供的去块滤波器相关信息后可以在影像复号化器对相应块执行去块滤波。
73.偏移校正部能以符号化时适用于影像的偏移校正的种类及偏移值信息等为基础对重构的影像执行偏移校正。
74.alf能以符号化器所提供的alf适用与否信息、alf系数信息等为基础适用于符号化单元。该alf信息可以被包含在特定参数组(set)地提供。
75.内存245保存重构的图像或块以便作为参考图像或参考块使用，还能把重构的图像提供给输出单元。
76.如前所述，下面的本发明的实施例为了说明方便起见编码块(coding unit)使用术语符号化单元，但其可以是不仅执行符号化还执行复号化的单位。
77.图3是适用了本发明的一个实施例，示出了基于帧内预测的影像复号化方法。
78.为了说明方便起见，下面以hevc所定义的35个帧内预测模式为基础说明实施例。但即使使用35个以上的帧内预测模式(亦即，扩展的帧内预测模式)，后述的实施例也能被应用后适用。与此同时，后述的实施例把构成图形(image)的最小单位的点称为画素、像素或样本等。
79.请参阅图3，如果当前块是以帧内模式符号化的块的话，可以决定对当前块的帧内预测模式(步骤s310)。
80.对当前块的帧内预测模式可以参考当前块邻接的相邻块的帧内预测模式后决定。作为一例，可以为了决定当前块的帧内预测模式而参考和当前块相邻的相邻块的帧内预测模式后生成候补模式清单。之后，以指示候补模式清单所含帧内预测模式中的某一个索引(index)(例如，mpm(most probable mode)索引)为基础决定当前块的帧内预测模式或者把没有包含在候补模式清单的帧内预测模式决定为当前块的帧内预测模式。
81.决定了当前块的帧内预测模式时，能以当前块周边的参考像素信息为基础执行第一帧内预测(步骤s320)。在此，当前块邻接的周边块所含至少一个像素可以作为用于当前块的帧内预测的参考像素使用。
82.上述周边块可以包括和上述当前块的左侧下端、左侧、上端左侧、上端、上端右侧、右侧或下端邻接的块中的至少一个。如果参考像素不可用，则能以可用的参考像素的信息替代不可用的参考像素的信息。参考像素的可用性能以包含参考像素的相邻块是否在当前块之前被复号化、包含参考像素的相邻块是否是以帧间模式被符号化的块、参考像素是否被包含在和当前块相同的条带(slice)或矩形块(tile)等之类的因素为基础予以决定。
83.可以通过第一帧内预测推导当前块的第一预测样本。下面假设当前块的帧内预测模式为平面(planar)模式说明推导当前块的第一预测样本的过程。
84.当前块的帧内预测模式为平面(planar)模式时，当前块所含目标样本的第一预测
值(亦即，第一预测样本的值)可以利用随着目标样本的位置可变地决定的第一参考像素与不受目标样本的位置影响地固定的第二参考像素中的至少一个予以推导。在此，上述第一参考像素可以包括和目标样本位于同一水平线上的参考像素(亦即，和目标样本具备同一x坐标值的参考像素)或和目标样本位于同一垂直线上的参考像素(亦即，和目标样本具备同一y坐标值的参考像素)中的至少一个。上述第二参考像素可以包括位于当前块角部的对角线方向的参考像素(例如，右侧上端参考像素及左侧下端参考像素)中的至少一个。或者上述第二参考像素可以包括当前块的上端境界邻接的多个相邻像素中位于最右侧的像素、当前块的左侧境界邻接的多个相邻像素中位于最下端的像素或当前块的上端右侧角部邻接的相邻像素中的至少一个。
85.图4是用来说明目标样本的第一预测值推导过程的例示图。在图4所示例子中，以粗线图示的8x8块表示当前块，粗线外面的样本则假设为当前块的相邻参考像素。为了说明方便起见，位于当前块的右侧上端角部的对角线方向的参考像素称为右侧上端参考像素，位于当前块的左侧下端角部的对角线方向的参考像素称为左侧下端参考像素。
86.请参阅图4，把当前块的左侧上端样本的坐标定义为(0、0)时，位于当前块的(3,3)坐标的目标样本的第一预测样本能以和目标样本位于同一水平线上的参考像素(亦即，位于(-1，3)坐标的参考像素)、左侧下端参考像素(亦即，位于(-1，8)坐标的参考像素)、和目标样本位于同一垂直线上的参考像素(亦即，位于(3，-1)坐标的参考像素)及右侧上端参考像素(亦即，位于(8，-1)坐标的参考像素)基础予以推导。
87.以数学式表示目标样本的第一预测值推导方法时，能以下述数学式1例示。
88.【数学式1】
89.horpred(x，y)＝(nt-1-x)
×
p(-1，y)+(x+1)
×
p(nt，-1)
90.verpred(x,y)＝(nt-1-y)
×
p(x,-1)+(y+1)
×
p(-1，nt)
91.predsamples(x，y)＝(horpred(x，y)+verpred(x，y)+nt)＞＞(log2(nt)+1)
92.在上述数学式1中，nt表示当前块的大小或横/纵长度，p(-1，y)及p(x，-1)表示参考像素的像素值。如同数学式1所规定者，目标样本的第一预测值(predsample(x，y))能以下列水平预测值与垂直预测值之和为基础予以推导，上述水平预测值是以和目标样本具有同一x轴坐标的上端参考像素及左侧下端参考像素为基础的水平预测值(horpred(x,y))，上述垂直预测值是以和目标样本具有同一y轴坐标的左侧参考像素及右侧上端参考像素为基础的垂直预测值(verpred(x,y))。
93.此时，当前块的边界样本的第一预测值可以不利用第二参考像素的值而利用第二参考像素相邻的参考像素的值予以推导。在此，当前块的边界样本所指者可以是当前块的样本中和当前块的境界(boundary)相接的样本。例如，边界样本可以是位于当前块的最右侧列(most right column)及/或最下端行(most bottom row)的样本。
94.作为一例，根据上述数学式1，当前块的右侧边界样本(亦即，(7，y)样本)的水平预测值可以如数学式2所示地只利用右侧上端参考像素予以推导。
95.【数学式2】
96.horpred(7，y)＝(8-1-7)
×
p(-1，y)+(7+1)
×
p(8，-1)＝8p(8，-1)
97.但是，在位于当前块的最右侧列的边界样本(以下简称“最右侧样本”)相似性方面，其与和最右侧样本位于同一x轴的参考像素(亦即，(7，-1))的相似性大于与和当前块的
右侧上端邻接的参考像素(亦即，(8，-1))的相似性的概率比较大。
98.因此，可以不利用当前块的右侧上端参考像素而利用和最右侧样本位于同一垂直线上的参考像素(亦即，(7,-1))推导最右侧样本的水平预测值。
99.更进一步，可以不以左侧下端参考像素为基础而以左侧下端参考像素相邻的参考像素(亦即，和当前块的最下端行具备同一y坐标的参考像素(-1,7))的值为基础推导最右侧样本的垂直预测值。
100.同样地，位于当前块的最下端行的边界样本(以下简称“最下端样本”)的垂直预测值可以不利用左侧下端参考像素而利用和最下端样本位于同一水平线上的参考像素(亦即，和当前块的最右侧列具备同一x坐标的参考像素(-1,7))予以推导。
101.更进一步，也能不以右侧上端参考像素为基础而以右侧下端参考像素相邻的参考像素(亦即，和当前块的最右侧列具备同一x坐标的参考像素(-1,7))的值为基础推导最下端样本的水平预测值。
102.当前块的边界样本以外的剩余样本的第一预测值也能利用和最右侧样本具备同一x轴坐标的上端参考像素的值或和最下端样本具备同一y轴坐标的左侧参考像素的值进行推导。
103.作为另一例，当前块的帧内预测模式为平面模式时，利用左侧下端参考像素及右侧上端参考像素执行当前块的第一帧内预测，但是可以把左侧下端参考像素及右侧上端参考像素的值设定成具有与其各自相邻的参考像素的值。作为一例，即使左侧下端参考像素处于可用状态，也可以把左侧下端参考像素的值设定成具有与其相邻的参考样本(亦即，和当前块的最下端行具备同一y坐标的参考样本)的值。同样地，即使右侧上端参考像素处于可用状态，也可以把右侧上端参考像素的值设定成具有与其相邻的参考样本(亦即，和当前块的最右侧列具备同一x坐标的参考样本)的值。
104.在上述例示中，第一帧内预测的执行例举出了当前块的帧内预测模式为平面模式的情形，但是当前块的帧内预测模式为dc模式或指向性预测模式时也能适用后述的实施例。
105.针对当前块执行了第一帧内预测后，可以执行基于滤波器的第二帧内预测(步骤s330)。
106.第二帧内预测能以当前块邻接的参考像素及第一帧内预测所推导的第一预测样本为基础执行。此时，能根据当前块的帧内预测模式、当前块的大小、当前块的分割形态等因素决定是否执行第二帧内预测。作为一例，可以只在当前块的帧内预测模式为平面模式时执行第二帧内预测，但本发明并不限定于此。
107.本发明的第二帧内预测可以视为下列过程，亦即，对于通过第一帧内预测生成的第一预测样本适用加权滤波器(weighting filter)生成第二预测样本。
108.在此，加权滤波器用来在第一预测样本加上或减去预设的补偿系数或者对第一预测样本与参考像素适用预设的加权值。上述补偿系数可以根据当前块的第一预测样本与参考像素之间的画素值变化量及/或参考像素之间的画素值变化量执行推导。预设的加权值可以是解码器上已定义的固定常数值，也可以是根据第一预测样本与参考像素之间的空间距离推导的变量。
109.加权滤波器可适用于当前块的整个领域，也可以根据当前块的帧内预测模式选择
性地适用于一部分领域。作为一例，加权滤波器的适用范围可适用于当前块的边界样本。在此，边界样本可以是位于当前块的最左侧列(most left column)及/或最上端行(most top row)的样本。作为另一例，加权滤波器还能适用于边界样本及边界样本邻接的第一预测样本。或者，加权滤波器也能只适用于当前块的一部分行及/或一部分列。
110.加权滤波器所利用的参考像素的范围可随着第一预测样本的位置而改变，也可以不受第一预测样本的位置影响地固定。下面将如下假设，亦即，在后述图5与图6的实施例中加权滤波器所利用的参考像素的范围随着第一预测样本的位置而变化。下面结合附图详细说明适用加权滤波器推导当前块的第二预测样本的实施例。此时，假设当前块的第二帧内预测以上端参考像素及左侧参考像素为基础执行。
111.图5与图6用来说明对当前块执行第二帧内预测的例子。图5示出了针对当前块的第一预测样本中位于参考像素邻接的境界的一部分执行第二帧内预测的例子，图6示出了针对参考像素不邻接的第一预测样本执行第二帧内预测的例子。
112.以具备预设角度的当前块的对角线为基准，位于对角线的右侧的样本能以上端参考像素为基础执行第二帧内预测，位于对角线的下侧的样本能以左侧参考像素为基础执行第二帧内预测。位于当前块的对角线的样本则能利用上端参考像素及左侧参考像素执行第二帧内预测。预设角度为45度时，x轴坐标的值与y轴坐标的值相同的样本相当于位于当前块的对角线的样本。下面将把位于当前块的对角线的样本称为对角线样本。
113.作为一例，请参阅图5，以当前块的左侧上端样本(亦即，(0、0)位置的对角线样本)为基准，位于左侧上端样本的右侧的上端边界样本可利用上端参考像素执行第二帧内预测，位于左侧上端样本的下侧的左侧边界样本则可利用左侧参考像素执行第二帧内预测。位于对角线的左侧上端样本则能利用上端参考像素及左侧参考像素执行第二帧内预测。
114.当前块的最左侧列及最上端行以外的剩余行或列所含样本也能适用滤波器。作为一例，以当前块的对角线样本为基准，位于右侧的样本可利用上端参考像素执行第二帧内预测，位于下端的样本可利用左侧参考像素执行第二帧内预测。对角线样本可以利用上端参考像素及左侧参考像素执行第二帧内预测。
115.作为一例，请参阅图6，以x轴坐标值及y轴坐标值为1的对角线样本(亦即，(1,1)位置的样本)为基准，和对角线样本包含在同一行并且以对角线样本为基准位于右侧的样本利用上端参考像素执行第二帧内预测，和对角线样本包含在同一列并且以对角线样本为基准位于下端的样本可以利用左侧参考像素执行第二帧内预测。
116.虽然图5与图6没有图示，但x坐标及y坐标中的某一个为3以上的样本也能适用加权滤波器。或者，能以当前块的大小、当前块的分割形态、用于第一帧内预测的预测模式等为基础可变地决定适用加权滤波器的样本的范围。
117.与此同时，针对当前块执行第二帧内预测时，也可以利用左侧上端参考像素。作为一例，当前块的对角线样本的第二预测值能以左侧参考像素、上端参考像素及左侧上端参考像素为基础进行推导。
118.在图5与图6所示例子中，以当前块邻接的上端参考像素及左侧参考像素为基础执行第二帧内预测。也可以和图示例子不同地，只利用当前块邻接的上端参考像素及左侧参考像素中的某一个执行第二帧内预测。
119.此时，可以根据当前块的帧内预测模式、当前块的大小或当前块的分割形态等因
素决定用于第二帧内预测的参考像素的范围。
120.作为一例，当前块的帧内预测模式为非指向性模式(例如平面模式)时，如图5与图6所例示者，可以根据目标样本的位置利用左侧参考像素及上端参考像素中的至少一个执行第二帧内预测。与此相反地，当前块的帧内预测模式为指向性模式(例如垂直方向模式或水平方向模式)时，也可以不受目标样本的位置影响地只利用左侧参考像素或上端参考像素执行第二帧内预测。
121.用于第二帧内预测的加权滤波器用于赋予加权值，亦即，相比当前块邻接的参考像素，为由第一帧内预测推导的第一预测样本的值赋予加权值。此时，适用于各样本的滤波器的滤波系数可以是固定常数，也可以是随着第一预测样本的位置而改变的变量。
122.作为一例，加权滤波器的系数可以是和第一预测样本与参考像素之间的距离成比例地增加或减少的变量。
123.下述数学式3例示了用来推导当前块的最上端行(亦即，当前块的第一行(row))及最左侧列(亦即，当前块的第一列(column))所含样本的第二预测值(亦即，第二预测样本的值)的数学式。
124.【数学式3】
125.predsamples(0,0)＝(p(-1，0)+p(0，-1)+2p(0，0)+2)＞＞2
126.predsamples(x,0)＝(p(x，-1)+3p(x，0)+2)＞＞2；x＞0
127.predsamples(o,y)＝(p(-1，y)+3p(0,y)+2)＞＞2；y＞0
128.在上述数学式3中，对于位于当前块的最上端行与最左侧行重叠的左侧上端的样本(亦即，最上端行的最左侧样本或最左侧列的最上端样本)的滤波系数例示为[1，2，1]，对于左侧上端的对角线样本以外的当前块的最左侧列所含样本的滤波系数例示为[3，1]，对于左侧上端的对角线样本以外的当前块的最上端行所含样本的滤波系数例示为[3，1]。
[0129]
下述数学式4示出了当前块的2行或2列所含样本的第二预测值的推导例。
[0130]
【数学式4】
[0131]
predsamples(1，1)＝(p(-1，0)+p(0，-1)+3p(0，0)+2)＞＞2
[0132]
predsamples(x,1)＝(p(x，-1)+4p(x，0)+2)》2；x＞1
[0133]
predsamples(1，y,)＝(p(-1，y)+4p(0，y)+2)＞＞2；y＞1
[0134]
在上述数学式4中，对于(1，1)坐标的对角线样本的滤波系数例示为[1，3，1]，对于位于对角线样本的右侧的当前块的2行所含样本的滤波系数例示为[4，1]，对于位于对角线样本的下侧的当前块的2列所含样本的滤波系数则例示为[4，1]。
[0135]
如数学式3及数学式4所例示，对于位于对角线样本的右侧(或上侧)的样本，和上端参考像素的距离越远越能增加对于样本的第一预测值的加权值。对于位于对角线样本的左侧(或下侧)的样本，和左侧参考像素的距离越远越能增加对于样本的第一预测值的加权值。
[0136]
当前块内适用滤波器的范围也可以限定于当前块的一部分行或一部分列。作为一例，可以只对当前块的第一行及第一列适用滤波器，或者从当前块的第一行到第n行为止适用滤波器，或者从第一列到第m列为止适用滤波器。
[0137]
此时，可以根据当前块的帧内预测模式、当前块的大小或当前块的分割形态等因素决定滤波器的适用范围。
[0138]
作为一例，当前块的预测模式为非指向性模式(例如为平面模式)的话，只在当前块的第一行及第一列适用滤波器，当前块的预测模式为指向性模式的话，可以在当前块的第一行到第n行为止适用滤波器，或者也可以在第一列到第m列适用滤波器。
[0139]
滤波器仅仅适用于当前块的一部分的话，不适用滤波器的第二预测样本的值(亦即，第二预测值)可以设定成和第一预测样本的值(亦即，第一预测值)相同。
[0140]
当前块包含多个子块时，上述第一帧内预测及上述第二帧内预测能以子块单位执行。此时，上述第一帧内预测及上述第二帧内预测的执行顺序可以互相相同，也可以互相不同。
[0141]
以子块单位执行第一帧内预测及第二帧内预测时，第一帧内预测及第二帧内预测中的至少一个可以按照预设的顺序执行。
[0142]
上述第一帧内预测及上述第二帧内预测中的至少一个执行顺序可以根据当前块的帧内预测模式决定。下面结合图7详细说明。
[0143]
图7用来说明根据当前块的帧内预测模式的帧内预测顺序。为了说明方便起见，假设第一帧内预测及第二帧内预测按照同一顺序执行。
[0144]
如果当前块的帧内预测模式为非指向性模式或者相当于水平方向模式到垂直方向模式中的某一个的话(例如帧内预测模式相当于10-26的话)，当前块的帧内预测如图7(a)所示地能从左侧上端子块开始以“z”形态的顺序执行。
[0145]
如果当前块的帧内预测模式为指向性模式而帧内预测模式具有小于水平方向模式的号码的话(例如帧内预测模式为2-9的话)，当前块的帧内预测如图7(b)所示地能从左侧下端子块开始以逆向(reverse)z的顺序执行。
[0146]
如果当前块的帧内预测模式为指向性模式而帧内预测模式具有大于垂直方向模式的号码的话(例如帧内预测模式为27-34的话)，当前块的帧内预测如图7(c)所示地能从右侧上端子块开始以逆向z的顺序执行。
[0147]
请参阅图3，通过第一帧内预测及第二帧内预测推导了当前块的第二预测样本的话，可以在第二预测样本加上残差样本后推导当前块的重构样本(reconstruction sample)(步骤s340)。
[0148]
可以针对得自比特流的当前块的变换系数(transform coefficients)(或残差系数)选择性地执行逆量化或逆变换中的至少一个而推导出残差样本。此时，用于逆变换的变换形式可以利用dct、dst、klt等。此时，可以考虑当前块的预测模式、当前块(例如pu、tu)的大小、辉度/色差分量等因素后选择性地利用上述变换形式中的某一个。
[0149]
可以在对第二预测样本及残差样本进行加法运算后推导出来的重构样本上适用环路滤波器(步骤s350)。环路滤波器可以包括去块滤波器、sao(sample adaptive offset)滤波器及alf(adaptive loop filter)中的至少一个。
[0150]
通过前述本发明实施例记载的诸多构成要素(components)能由dsp(digital signal processor)、处理器(processor)、控制器(controller)、asic(application specific integrated circuit)、fpga(field programmable gate array)之类的可编程逻辑元件(programmable logic element)、其它电子器件及其组合中的至少一个实现。
[0151]
或者，通过前面所述本发明实施例说明的至少一个功能或诸多处理(process)能由软件实现并且能把软件记录到记录媒体。记录媒体包括诸如：硬盘、软盘及磁带之类的磁
媒体；cd-rom、dvd之类的光记录媒体；光磁软盘(floptical disk)之类的磁光媒体(magneto-optical media)；及rom、ram、闪存等保存并执行程序命令语的特殊硬件装置。程序命令语包括诸如由编译器制作的机器语言代码、使用解释器等工具让电脑执行的高级语言代码。上述硬件装置能为了执行本发明所要求的处理(process)作业而由一个以上的软件模块运作地构成，其相反操作也一样。通过本发明的实施例说明的构成要素、功能及处理(process)等也可以通过硬件与软件的组合实现。
[0152]
前文虽然只通过具体构成要素之类的特定事项和有限的实施例及附图说明了本发明，但其仅仅是为了有助于整体性地理解本发明而提供的，本发明并不局限于上述实施例，在本领域中具有通常知识者可以从上述记载内容执行各种变形与修改。
[0153]
因此本发明的精神不能局限于前面所说明的实施例，本发明的精神思想范畴不仅包括权利要求书，还应包括和该权利要求书均等或者等值变形的一切。
[0154]
产业上的用途
[0155]
本发明可适用于影像的符号化/复号化。

技术特征：
1.一种视频解码方法，其特征在于，包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零，所述预设的值根据所述当前块的大小来确定。2.根据权利要求1所述的视频解码方法，其特征在于，基于所述当前块的所述帧内预测模式决定是否对所述预测像素进行滤波。3.根据权利要求1所述的视频解码方法，其特征在于，所述左侧参考像素的所述第二加权值基于所述预测像素与所述左侧参考像素之间的距离而推导出，所述上端参考像素的所述第一加权值根据所述预测像素与所述上端参考像素之间的距离而推导出。4.根据权利要求1所述的视频解码方法，其特征在于，所述左侧参考像素和所述上端参考像素被包括于所述相邻像素。5.一种视频编码方法，其特征在于，包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且当所述当前块的内部预测模式是非指向性模式时，所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零；及所述预设的值根据所述当前块的大小来确定。
6.根据权利要求5所述的视频编码方法，其特征在于，基于所述当前块的所述帧内预测模式决定是否对所述预测像素进行滤波。7.根据权利要求5所述的视频编码方法，其特征在于，所述左侧参考像素的所述第二加权值基于所述预测像素与所述左侧参考像素之间的距离而推导出，所述上端参考像素的所述第一加权值根据所述预测像素与所述上端参考像素之间的距离而推导出。8.根据权利要求5所述的视频编码方法，其特征在于，所述左侧参考像素和所述上端参考像素被包括于所述相邻像素。9.一种比特流的传输方法，所述比特流通过视频编码方法生成，所述视频编码方法包括下列步骤：从帧内模式、内部模式和帧内块复制模式中确定当前块的预测模式；当所述当前块的预测模式是所述帧内模式时，确定所述当前块的帧内预测模式；当所述帧内预测模式为直流模式时，基于与所述当前块的至少一个相邻像素，通过对所述当前块执行直流帧内预测而在所述当前块中生成预测像素；及应用加权滤波器对所述当前块的所述预测像素进行滤波，其中，通过所述加权滤波器滤波的所述预测像素基于上端参考像素、左侧参考像素和所述预测像素加权和来确定，并且当所述当前块的内部预测模式是非指向性模式时，所述预测像素的所述左侧参考像素被包括在与所述预测像素相同的行中，并且所述预测像素的所述上端参考像素被包括在与所述预测像素相同的列中，在所述上端参考像素的第一加权值和所述左侧参考像素的第二加权值中的至少一个大于零时，所述预测像素被所述加权滤波器滤波，当与所述上端参考像素之间的距离大于预设的值时，所述第一加权值被确定为零，且当与所述左侧参考像素之间的距离大于预设的值时，所述第二加权值被确定为零；及所述预设的值根据所述当前块的大小来确定。

技术总结
本发明涉及视频解码方法、视频编码方法及比特流的传输方法的视频信号处理方法按照预设的扫描顺序从比特流获取当前块的变换系数，以变换系数为基础决定当前块的帧内预测模式，利用帧内预测模式及当前块邻接的相邻样本对当前块执行帧内预测。当前块执行帧内预测。当前块执行帧内预测。


技术研发人员：李英烈 金南煜
受保护的技术使用者：世宗大学校产学协力团
技术研发日：2017.03.17
技术公布日：2023/8/31