基于多种编码器的视频编码方法和装置与流程

1.本技术涉及视频编码领域，具体涉及一种基于多种编码器的视频编码方法和装置。


背景技术：

2.为了实现更高的编码效率，视频编码器通常会对视频信号进行两次甚至是多次编码。在这样的两次或多次编码方案中，最后第一编码产生最终的输出码流，而在此之前的编码是为了预先分析视频内容，以便为最后第一编码选择最优编码参数。
3.图1为根据现有技术的两次编码方案的示意图。如图1所示，在第一编码的过程中，会产生当前帧的一些信息，例如编码每个64*64块像素的平均值，方差，整体的像素值分布图，sad，satd等统计信息。第二编码会晚于第一编码若干帧以确保有足够的第一编码信息来帮助选择最优的第二编码参数。
4.当前常见的第二或多次编码方案中，每一次的编码过程采用的都是同一种编码标准。比如对于一个hevc的编码器，第一编码，第二编码以及多次编码，均都采用相同的hevc编码标准，最终的编码质效率受限于当前编码器所支持的编码工具组合。
5.因此，需要提供一种能够改进现有第二编码或多次编码的编码效率的视频编码方法。


技术实现要素：

6.鉴于此，本技术提供了一种基于多种编码器的视频编码方法和装置，以用于解决现有技术中的上述技术问题。
7.根据本技术的一个方面，提供了一种基于多种编码器的视频编码方法，多种编码器包括第一编码器和第二编码器，该方法包括：s1，通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息；s2，利用编码信息，通过第二编码器对视频信号进行编码，以产生经编码的视频码流，其中，第一编码器的编码标准与第二编码器的编码标准不同。
8.根据本技术的一些实施例，第一编码器使用的编码工具与第二编码器使用的编码工具不同。
9.根据本技术的一些实施例，第一编码器包括根据不同编码标准的多个编码器。
10.根据本技术的一些实施例，第一编码器包括av1编码器，第二编码器为h.264或hevc编码器。
11.根据本技术的一些实施例，第一编码器使用的编码工具包括屏幕内容编码工具，编码信息包括屏幕内容判断信息。
12.根据本技术的一些实施例，第一编码器使用的编码工具包括复合楔形预测工具，编码信息包括帧内帧间复合预测信息。
13.根据本技术的一些实施例，第一编码器使用的编码工具包括的cdef滤波工具，编码信息包括视频信号的块边界信息。
14.根据本技术的一些实施例，第一编码器包括hevc或av1编码器，第二编码器为h.264编码器。
15.根据本技术的一些实施例，第一编码器使用的编码工具包括块划分工具，编码信息包括块划分信息。
16.根据本技术的一个方面，提供了一种基于多种编码器的视频编码装置，视频编码装置包括：第一编码器，用于通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息；第二编码器，用于根据编码信息，对视频信号进行编码，以产生经编码的视频码流，其中，第一编码器的编码标准与第二编码器的编码标准不同。
17.根据本技术的一个方面，提供了一种电子设备，电子设备包括：一个或多个处理器；存储器，其用于存储可执行指令；一个或多个处理器被配置为根据可执行指令来以上描述的方法。
18.根据本技术的一个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使处理器执行以上描述的方法。
19.根据本技术的又一个方面，提供了一种电子设备，包括：一个或多个处理器以及存储器，其中，存储器用于存储可执行指令；一个或多个处理器被配置为经由可执行指令来实现上述的方法。
20.从以上技术方案可以看出，本技术所提供的技术方案至少存在以下优点：在通过第二编码器对视频进行编码时，利用了第二编码器所不支持的编码工具提供的编码信息，从而提高了第二编码器对视频信号的编码效率。
附图说明
21.附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，但并不构成对本技术技术方案的限制。
22.图1示出了根据现有技术的两次编码方案的示意图；图2示出了本技术示例性实施例所提供的基于多种编码器的视频编码方法的流程图；图3示出了本技术示例性实施例所提供的基于多种编码器的视频编码方法的示意图；图4示出了本技术示例性实施例所提供的基于多种编码器的视频编码装置的结构框图；图5示出了本技术示例性实施例所提供的电子设备的结构框图。
具体实施方式
23.下面将参照附图来详细描述本技术的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，并不作为对本技术及其应用或使用的任何限制。本技术可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本技术透彻且完整，并且向本领域技术人员充分表达本技术的范围。
24.除非上下文另外明确地表明，如果未特意限定要素的数量，则该要素可以是一个也可以是多个。如本说明书使用的，术语“多个/若干/这些”意指两个或更多，并且术语“基于/根据”应解释为“至少部分地基于/根据”。此外，术语“和/或”以及
“…
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
25.图2示出了本技术示例性实施例所提供的基于多种编码器的视频编码方法的流程图。如图2所示，根据本技术示例性实施例的基于多种编码器的视频编码方法包括:s1，通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息；s2，利用编码信息，通过第二编码器对视频信号进行编码，以产生经编码的视频码流，其中，第一编码器的编码标准与第二编码器的编码标准不同。
26.在本实施例中，多种编码器包括第一编码器和第二编码器。具体地，多种编码器可以包括采用不同编码标准的编码器，例如av1编码器、h.264编码器和hevc编码器。
27.在步骤s1中，通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息。不同编码标准的编码器提供不同的编码工具。步骤s1的目的在于获得视频信号的编码信息，因此并不需要实际产生经编码的视频码流。
28.在一些实施例中，第一编码器可以仅包括一个编码器，并且在步骤s1中，使用该编码器中的一个或多个编码工具对待编码的视频信号进行处理，从而生成对应于编码工具的一条或多条编码信息。在另一些实施例中，第一编码器可以包括多个不同编码标准的编码器，并且在不同s1中，每个编码器都通过一个或多个编码工具对待编码的视频信号进行处理，从而生成对应于编码工具的一条或多条编码信息。在第一编码器可以包括多个不同编码标准的编码器的情况下，每个第一编码器对视频信号的处理可以并行执行，也可按照任意顺序执行，本技术对此不作限定。
29.s2，利用编码信息，通过第二编码器对视频信号进行编码，以产生经编码的视频码流。
30.由于第二编码器的编码标准与第一编码器的编码标准不同，第二编码器不具有第一编码器的部分编码工具。因此，利用第一编码器的编码工具产生的编码信息是第二编码器无法通过其自身的编码工具获得的。第二编码器的编码工具在编码的过程中采用第一编码器获得的额外的辅助信息对视频进行编码，从而能够提高了编码效率。
31.图3为本技术示例性实施例所提供的方法示意图。
32.在图3的上半部分示出了第一编码器对视频进行处理的过程（对应于步骤s1），主要包括块划分、预测编码、变换、量化、反量化、反变换、去块滤波以及熵编码等处理，每个过程都需要使用编码器提供相应的的编码工具执行。在编码工具执行相应的过程中，编码工具产生相应的编码信息，例如包括块划分信息、预测模式、变换信息、量化信息、码流信息以及滤波信息等。第一编码器对视频进行处理的目的是为了产生编码信息，并不需要实际输
出经编码的视频码流，因此输出的经编码的视频码流是可选的，并不是必需的。
33.在图3的下半部分示出了第二编码器对视频进行处理的过程（对应于步骤s2），主要包括块划分、预测编码、变换、量化、反量化、反变换、去块滤波以及熵编码等过程，每个过程都需要使用编码器提供相应的的编码工具执行。由于第一编码器产生的包括块划分信息、预测模式、变换信息、量化信息、码流信息以及滤波信息等的编码信息被传递给第二编码器，在第二编码器的编码过程中，执行块划分、预测编码、变换、量化、反量化、反变换、去块滤波以及熵编码等处理的编码工具可以利用块划分信息执行块划分快速决策，利用预测模式信息执行预测模式快速决策，利用变换信息执行变换选择，利用量化信息执行量化参数控制，利用码流信息执行码率控制、利用滤波信息执行滤波控制，从而提高了第二编码器的编码效率。
34.在本技术的实施例中，第一编码器与第二编码器采用不同的编码标准，从而使第一编码器能够利用第二编码器所不具有的编码工具对视频进信号进行处理，以产生供第二编码器使用的额外的辅助信息。
35.根据本技术的一些实施例，第一编码器包括av1编码器，第二编码器是不同于av1编码器的其他编码标准的编码器，例如hevc编码器或h.264编码器。av1编码器的编码工具可以提供以下编码信息：-大到128x128，小到4x4大小块的划分信息；-多达56个方向的预测信息；-包括“垂直”、“水平”、“垂直/水平结合”共三种smooth预测模式；-屏幕内容编码（scc）工具palettemode、intrablockcopy；-从灰度预测色度工具cfl；-帧内帧间复合预测模式信息；-环内滤波可以提供去方块滤波、限制性方向性增强滤波信息；-多达4种变换编码方式，并且纵向变换与横向变换可以采用不同的变换编码方式。
36.第二编码器（例如hevc编码器或h.264编码器）可以利用第一编码器（av1编码器）的编码工具提供的上述信息对视频信号进行编码，从而提高第二编码器的编码效率。
37.例如，在h.264和hevc标准中不包括对屏幕内容检测的工具，而av1编码器的屏幕内容编码（scc）在对视频信号进行处理时可以向第二编码器提供当前帧是否是屏幕内容的判断信息。由于屏幕内容和普通摄像机拍摄内容在视频性质上存在很大的区别，所以针对屏幕内容和普通摄像机拍摄内容的最优的编码策略也很不一样。有了是否是屏幕内容这个信息，第二编码器（例如h.264或hevc编码器）在编码过程中可以更有针对性地优化编码选择，比如预测编码时，对于低频区域，优先使用帧内预测，而对于高频区域，优先使用帧间预测。
38.例如，在h.264标准中的环路滤波只是简单去块效应滤波，而在更新的hevc和av1标准中添加了sao、cdef等更为复杂的滤波模块。如果第一编码器（av1编码器）先通过av1的cdef滤波工具来判断出块边界是有强边，则第二编码器（h.264编码器）可以此为根据来动态调整h.264的去块效应滤波强度，以达到更好的编码质量。若第一编码器中cdef滤波器没有被禁用，则第二编码器（hevc编码器）则可更大概率地打开sao滤波器。若第一编码器中对
于某些编码块没有启用deblocking滤波，则第二编码器对于对应块也可以直接不启用deblocking滤波从而提高编码效率。
39.例如，第一编码器（av1编码器）的复合楔形预测工具可以向第二编码器（例如hevc编码器）提供帧内帧间复合预测信息，用于指导第二编码器的预测模式的方向选择。还例如，第一编码器（av1编码器）的cdef滤波工具可以向第二编码器（例如h.264或hevc编码器）提供的块边界信息，第二编码器可以根据块边界信息调整块边界。
40.根据本技术的一些实施例，第一编码器包括hevc编码器，第二编码器是不同于av1编码器的其他编码标准的编码器，例如av1编码器。hevc编码器的编码工具可以提供以下编码信息：-大到64x64，小到4x4大小块的划分信息；-多达33个方向预测信息；-帧内dc模式和帧内planar模式信息；-帧间merge预测模式，帧间amvp预测模式；-变换编码dct与dst的选择。
41.第二编码器（例如av1编码器）可以利用第一编码器（hevc编码器）的编码工具提供的上述信息对视频信号进行编码，从而提高第二编码器的编码效率。
42.例如，第一编码器（hevc编码器）的块划分工具可以向第二编码器（例如av1编码器）提供的块划分信息，第二编码器可以根据块划分信息调整块划分。若第一编码器（hevc编码器）对于块划分处于64x64的最大块情况，那么第二编码器（av1编码器）可以升级到更大的128x128的块划分大小，若第一编码器的块划分比64x64要小，则第二编码器没有必要去尝试128x128块划分，直接从64x64块划分开始编码。
43.例如，对于第一编码器（hevc编码器）选中的编码方向，第二编码器（av1编码器）可以在该编码方向的周边方向更细致地划分，而对于非第一编码器选中的编码方向，第二编码器可以对该编码方向进行裁剪。
44.例如，若第一编码器（hevc编码器）的帧内预测编码直接选中dc模式或者planar模式，则第二编码器（av1编码器）可优先选用第一编码器所选中的模式。
45.图4是本技术示例性实施例所提供的基于多种编码器的视频编码装置的结构框图。如图4所示，该装置20包括：第一编码器201，用于通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息；第二编码器202，用于根据编码信息，对视频信号进行编码，以产生经编码的视频码流，其中，第一编码器的编码标准与第二编码器的编码标准不同。
46.应当理解，图4中所示的基于多种编码器的视频编码装置的各个模块可以与参考图1描述的基于多种编码器的视频编码的方法中的各个步骤相对应。由此，上面针对基于多种编码器的视频编码方法描述的操作、特征和优点同样适用于基于多种编码器的视频编码装置及其包括的模块。为了简洁起见，某些操作、特征和优点在此不再赘述。
47.虽然上面参考特定模块讨论了特定功能，但是应当注意，本文讨论的各个模块的功能可以分为多个模块，和/或多个模块的至少一些功能可以组合成单个模块。本文讨论的
特定模块执行动作包括该特定模块本身执行该动作，或者替换地该特定模块调用或以其他方式访问执行该动作（或结合该特定模块一起执行该动作）的另一个组件或模块。因此，执行动作的特定模块可以包括执行动作的该特定模块本身和/或该特定模块调用或以其他方式访问的、执行动作的另一模块。
48.还应当理解，本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。上面关于图4描述的各个模块可以在硬件中或在结合软件和/或固件的硬件中实现。例如，这些模块可以被实现为计算机程序代码/指令，该计算机程序代码/指令被配置为在一个或多个处理器中执行并存储在计算机可读存储介质中。可替换地，这些模块可以被实现为硬件逻辑/电路。例如，在一些实施例中，图2描述的各个模块中的一个或多个可以一起被实现在片上系统（system on chip，soc）中。soc可以包括集成电路芯片、存储器、一个或多个通信接口、和/或其他电路中的一个或多个部件，并且可以可选地执行所接收的程序代码和/或包括嵌入式固件以执行功能，其中集成电路芯片包括处理器，例如中央处理单元（central processing unit，cpu）、微控制器、微处理器、数字信号处理器（digital signal processor，dsp）等。
49.除上述技术方案外，本技术还提供了一种电子设备，该电子设备包括一个或多个处理器以及用于存储可执行指令存储器。其中，该一个或多个处理器被配置为经由可执行指令来实现上述方法。
50.本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行上述方法。
51.在本说明书的以下部分，将结合图5来描述前述电子设备、非暂态计算机可读存储介质和计算机程序产品的说明性示例。
52.图5示出了本技术示例性实施例所提供的电子设备的结构框图。本技术技术方案所提供的系统也可以全部或至少部分地由电子设备300或类似设备或系统实现。
53.电子设备300可以是各种不同类型的设备。电子设备300的示例包括但不限于：台式计算机、服务器计算机、笔记本电脑或上网本计算机、移动设备、可穿戴设备、娱乐设备、电视或其他显示设备、汽车计算机等。
54.电子设备300可以包括能够诸如通过系统总线311或其他适当的连接彼此通信的至少一个处理器302、存储器304、（多个）通信接口309、显示设备301、其他输入/输出（i/o）设备310以及一个或更多大容量存储设备303。
55.处理器302可以是单个处理单元或多个处理单元，所有处理单元可以包括单个或多个计算单元或者多个核心。处理器302可以被实施成一个或更多微处理器、微型计算机、微控制器、数字信号处理器、中央处理单元、状态机、逻辑电路和/或基于操作指令来操纵信号的任何设备。除了其他能力之外，处理器302可以被配置成获取并且执行存储在存储器304、大容量存储设备303或者其他计算机可读介质中的计算机可读指令，诸如操作系统305的程序代码、应用程序306的程序代码、其他程序307的程序代码等。
56.存储器304和大容量存储设备303是用于存储指令的计算机可读存储介质的示例，指令由处理器302执行来实施前面所描述的各种功能。举例来说，存储器304一般可以包括易失性存储器和非易失性存储器。此外，大容量存储设备303一般可以包括硬盘驱动器、固态驱动器、可移除介质等。存储器304和大容量存储设备303在本技术中都可以被统称为存
储器或计算机可读存储介质，并且可以是能够把计算机可读、处理器可执行程序指令存储为计算机程序代码的非暂态介质，计算机程序代码可以由处理器302作为被配置成实施在本技术的示例中所描述的操作和功能的特定机器来执行。
57.多个程序可以存储在大容量存储设备303上。这些程序包括操作系统305、一个或多个应用程序306、其他程序307和程序数据308，并且它们可以被加载至存储器304以供执行。这样的应用程序或程序模块的示例可以包括例如用于实现以下部件/功能的计算机程序逻辑（例如，计算机程序代码或指令）：本技术所提供的方法（包括该方法的任何合适的步骤）和/或本技术描述的另外的实施例。
58.虽然在图5中被图示成存储在电子设备300的存储器304中，但是操作系统305、一个或多个应用程序306、其他程序307和程序数据308或者其部分可以使用可由电子设备300访问的任何形式的计算机可读介质来实施。在此，计算机可读介质可以是可供计算机访问的任意可用的计算机可读存储介质或通信介质。
59.通信介质包括例如计算机可读指令、数据结构、程序模块或其他数据的通信信号被从一个系统传送到另一系统的介质。通信介质可包括有导的传输介质，以及能传播能量波的无线介质。计算机可读指令、数据结构、程序模块或其他数据可被体现为例如无线介质中的已调制数据信号。调制可以是模拟的、数字的或混合调制技术。
60.作为示例性说明，计算机可读存储介质可包括以用于存储例如计算机可读指令、数据结构、程序模块或其它数据的信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动的介质。例如，计算机可读存储介质包括但不限于，易失性存储器，例如随机存储器；以及非易失性存储器，例如闪存、各种只读存储器、磁性和铁磁/铁电存储器；以及磁性和光学存储设备；或其它已知的介质或今后开发的能够存储供计算机系统使用的计算机可读信息/数据。
61.一个或更多通信接口309用于诸如通过网络、直接连接等与其他设备交换数据。这样的通信接口可以是以下各项中的一个或多个：任何类型的网络接口、有线或无线接口、wi-max接口、以太网接口、通用串行总线接口、蜂窝网络接口、bluetooth接口、nfc接口等。通信接口309可以促进在多种网络和协议类型内的通信，其中包括有线网络和无线网络、因特网等。通信接口309还可以提供与诸如存储阵列、网络附属存储、存储区域网等中的外部存储设备（图中未示出）的通信。
62.在一些示例中，可以包括诸如监视器之类的显示设备301，以用于向用户显示信息和图像。其他i/o设备310可以是接收来自用户的各种输入并且向用户提供各种输出的设备，并且可以包括触摸输入设备、手势输入设备、摄影机、键盘、遥控器、鼠标、打印机、音频输入/输出设备等。本技术描述的技术方案可以由电子设备300的这些各种配置来支持，并且不限于本技术所描述的技术方案的具体示例。
63.虽然在附图和前面的描述中已经详细地说明和描述了本技术，但是这样的说明和描述应当被认为是说明性的和示意性的，而非限制性的；对于本领域技术人员而言，显然本技术不限于上述示范性实施例的细节，而且在不背离本技术的精神或基本特征的情况下，能够以其他的具体形式实现本技术。
64.因此，本技术所要求保护的范围由权利要求而非上述说明限定，落在权利要求的等同要件的含义和范围内的所有变化均涵盖在本技术的保护范围内。不应将权利要求中的
任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。

技术特征：
1.一种基于多种编码器的视频编码方法，所述多种编码器包括第一编码器和第二编码器，其特征在于，所述方法包括：s1，通过所述第一编码器的编码工具对视频信号进行处理，获得所述视频信号的编码信息；s2，利用所述编码信息，通过所述第二编码器对所述视频信号进行编码，以产生经编码的视频码流，其中，所述第一编码器的编码标准与所述第二编码器的编码标准不同。2.根据权利要求1所述的视频编码方法，其特征在于，所述第一编码器使用的编码工具与所述第二编码器使用的编码工具不同。3.根据权利要求1所述的的视频编码方法，其特征在于，所述第一编码器包括根据不同编码标准的多个编码器。4.根据权利要求1所述的视频编码方法，其特征在于，所述第一编码器包括av1编码器，所述第二编码器为h.264或hevc编码器。5.根据权利要求4所述的视频编码方法，其特征在于，所述第一编码器使用的编码工具包括屏幕内容编码工具，所述编码信息包括屏幕内容判断信息。6.根据权利要求4所述的视频编码方法，其特征在于，所述第一编码器使用的编码工具包括复合楔形预测工具，所述编码信息包括帧内帧间复合预测信息。7.根据权利要求4所述的视频编码方法，其特征在于，所述第一编码器使用的编码工具包括的cdef滤波工具，所述编码信息包括视频信号的块边界信息。8.根据权利要求1所述的视频编码方法，其特征在于，所述第一编码器包括hevc或av1编码器，所述第二编码器为h.264编码器。9.根据权利要求8所述的视频编码方法，其特征在于，所述第一编码器使用的编码工具包括块划分工具，所述编码信息包括块划分信息。10.一种基于多种编码器的视频编码装置，其特征在于，所述视频编码装置包括：第一编码器，用于通过所述第一编码器的编码工具对视频信号进行处理，获得所述视频信号的编码信息；第二编码器，用于根据所述编码信息，对所述视频信号进行编码，以产生经编码的视频码流，其中，所述第一编码器的编码标准与所述第二编码器的编码标准不同。11.一种电子设备，其特征在于，所述电子设备包括：一个或多个处理器；存储器，其用于存储可执行指令；所述一个或多个处理器被配置为经由所述可执行指令来实现权利要求1至9中任一项所述的方法。12.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使所述处理器执行权利要求1至9中任一项所述的方法。

技术总结
本申请提供了一种基于多种编码器的视频编码方法和装置，该方法包括：S1，通过第一编码器的编码工具对视频信号进行处理，获得视频信号的编码信息；S2，利用编码信息，通过第二编码器对视频信号进行编码，以产生经编码的视频码流，其中，第一编码器的编码标准与第二编码器的编码标准不同。本申请所提供的技术方案在通过第二编码器对视频进行编码时，利用了第二编码器所不支持的编码工具提供的编码信息，从而提高了第二编码器对视频信号的编码效率。提高了第二编码器对视频信号的编码效率。提高了第二编码器对视频信号的编码效率。


技术研发人员：李想 邵明凯 舒晓 殷婷
受保护的技术使用者：瀚博半导体（上海）有限公司
技术研发日：2023.06.05
技术公布日：2023/7/7