一种编码方法、解码方法、装置、介质及计算设备与流程

1.本说明书多个实施例涉及数据压缩技术领域，尤其涉及一种编码方法、解码方法、装置、介质及计算设备。


背景技术：

2.为了达到降低网络传输压力的目的，原始数据(例如原始图像)可以在编码端经过压缩(即编码)后得到码流，将码流传输至解码端，由解码端对码流进行解码，以得到原始数据。
3.在编码(或解码)过程中，需要使用由自回归模型和熵编码(或解码)器组成的编码(或解码)单元对原始数据对应的隐空间进行编码(或解码)，而由于自回归模型的计算复杂度与熵编码器的计算复杂度差异较大，因此导致编码(或解码)单元的执行效率比较低，编解码速度比较慢。


技术实现要素：

4.根据本说明书的多个实施例的第一方面，提出了一种编码方法，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述方法包括：
5.将待编码的原始数据输入自编解码模型进行自编码，输出隐空间，其中，所述隐空间包括若干隐含层变量；以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；
6.将所述隐空间输入第一编码单元，输出第一码流；其中，所述第一编码单元包括所述自回归模型和第一熵编码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
7.将所述原始数据和所述预测数据输入第二编码单元，输出第二码流；其中，所述第二编码单元包括第二熵编码器；
8.将所述第一码流与所述第二码流传输给解码端。
9.根据本说明书的多个实施例的第二方面，提出了一种解码方法，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述方法包括：
10.获取第一码流和第二码流；
11.将所述第一码流输入第一解码单元，输出原始数据对应的隐空间；其中，所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
12.将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数
据；
13.将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据；其中，所述第二解码单元包括第二熵解码器。
14.根据本说明书多个实施例的第三方面，提出了一种编码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：
15.自编解码模块，用于将待编码的原始数据输入自编解码模型进行自编码，输出隐空间，其中，所述隐空间包括若干隐含层变量；以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；
16.第一熵编码模块，用于将所述隐空间输入第一编码单元，输出第一码流；其中，所述第一编码单元包括所述自回归模型和第一熵编码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
17.第二熵编码模块，用于将所述原始数据和所述预测数据输入第二编码单元，输出第二码流；其中，所述第二编码单元包括第二熵编码器；
18.传输模块，将所述第一码流与所述第二码流传输给解码端。
19.根据本说明书多个实施例的第四方面，提出了一种解码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：
20.获取模块，获取第一码流和第二码流；
21.第一熵解码模块，用于将所述第一码流输入第一解码单元，输出原始数据对应的隐空间；其中，所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
22.自编解码模块，用于将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；
23.第二熵解码模块，用于将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据；其中，所述第二解码单元包括第二熵解码器。
24.根据本说明书多个实施例的第五方面，提出了一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现第一方面或第二方面所述方法。
25.根据本说明书多个实施例的第六方面，提出了一种计算机可读存储介质，该介质上存储有计算机程序，所述程序被处理器执行时实现第一方面或第二方面所述方法。
26.在本公开提供的技术方案中，对编解码过程中自回归模型对隐含层变量进行预测的方式进行调整，自回归模型不再实时计算隐含层变量的预测概率分布，而是通过查表方式获取隐含层变量的预测概率分布。自回归模型所查询的表是预先构建的预测概率分布表，预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数。也就是说，由于隐含层变量类别是有限的，因此，可以预先穷尽隐含层变量的所有可能的预测概率分布，形成预测概率分布
表，自回归模型通过查询预测概率分布表，能获取到当前所针对的隐含层变量的预测概率分布。
27.通过上述技术方案，可以显著降低自回归模型的计算复杂度(查表方式的计算复杂度显著低于实时计算)，自回归模型的计算复杂度与第一熵编码器(或第一熵解码器)的计算复杂度相一致，从而使得由自回归模型与第一熵编码器(或第一熵解码器)组成的第一编码单元(或第一解码单元)的计算效率较高，进而提升了编解码速度。
附图说明
28.图1示例性提供编码端的编码过程的示意图。
29.图2示例性提供解码端的解码过程的示意图。
30.图3示例性提供一种编码方法的流程示意图。
31.图4示例性提供一种解码方法的流程示意图。
32.图5是本公开提供的一种计算设备的结构示意图。
33.在附图中，相同或对应的标号表示相同或对应的部分。附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
具体实施方式
34.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
35.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
36.目前的数据(例如图像)压缩方法涉及的编解码过程中，更多的采用深度神经网络模型。这里的深度神经网络模型主要包括自编解码模型与自回归模型。
37.自编解码模型，又称自编码器auto-encoder，是一种无监督式学习模型。它基于反向传播算法与最优化方法(如梯度下降法)，利用输入数据本身作为监督，来指导神经网络尝试学习一个映射关系，从而得到一个重构输出。自编解码模型包含两个主要的部分：自编码模型与自解码模型。自编解码模型在编码端的作用主要有两方面，一方面是是将待编码的原始数据进行自编码，得到隐空间；另一方面是将隐空间进行自解码，得到原始数据对应的预测数据。自编解码模型在解码端的作用主要是，对隐空间进行自解码，得到原始数据对应的预测数据。
38.上述的隐空间(latent space)，是压缩数据的一个特征表示。隐空间的作用是为了找到模式(pattern)而学习数据特征并且简化数据特征表示。隐空间包括多个隐含层变量。
39.图1示例性提供编码端的编码过程的示意图。在编码端，一方面需要将隐空间输入自编解码模型进行自解码，输出原始数据对应的预测数据，进而将原始数据和预测数据输入包括熵编码器(称为第二熵编码器)的编码单元(称为第二编码单元)，输出第二码流。另一方面需要将隐空间输入由自回归模型和熵编码器(称为第一熵编码器)组成的编码单元(称为第一编码单元)，输出第一码流。需要将第一码流和第二码流传输给解码端，由解码端通过一系列解码相关操作，重建得到原始数据。
40.图2示例性提供解码端的解码过程的示意图。在解码端，一方面需要将第一码流输入第一解码单元(包括自回归模型与第一熵解码器)，输出原始数据对应的隐空间，然后将隐空间输入自编解码模型进行自解码，输出原始数据对应的预测数据。另一方面需要将第二码流和预测数据输入第二解码单元(包括第二熵解码器)，输出重建得到的原始数据。
41.需要说明，自编解码模型可以实现对数据的转换、预测、量化等操作，其有助于提升数据的压缩率。常见的自编解码模型例如可以是确定性自编码器(deterministic autoencoder，da)，这样的自编码器虽然可以实现较高的数据压缩率，但是会存在量化操作导致的梯度消失，以及，隐空间中各个隐含层变量的相关性会降低压缩率。为了降低各个隐含层变量的相关性以保证压缩率，在编解码过程中还需要引入自回归模型，由自回归模型与第一熵编码器组成第一编码单元，用于对隐空间进行熵编码，得到第一码流；由自回归模型与第一熵解码器组成第一解码单元，用于对第一码流进行熵解码，得到隐空间。
42.然而，在第一编码单元与第一解码单元中，自回归模型的计算复杂度与熵编码器的计算复杂度差异较大，这导致第一编码单元的计算效率比较低，进而导致编解码速度比较慢。
43.以第一编码单元举例来说，自回归模型对隐空间中的各个隐含层变量是串行进行处理的。自回归模型会针对隐空间中的每个隐含层变量，计算该隐含层变量的预测概率分布，然后，由第一熵编码器该隐含层变量本身与该隐含层变量的预测概率分布，进行熵编码。如果自回归模型的计算复杂度显著高于第一熵编码器，则意味着第一熵编码器的执行节奏会被自回归模型的执行节奏所拖累，导致第一编码单元整体的执行效率比较低，编码速度比较慢。
44.以第一解码单元举例来说，自回归模型对隐空间中的各个隐含层变量是串行进行处理的。将第一码流输入给自回归模型，自回归模型会针对隐空间中的每个隐含层变量对应的编码，计算该隐含层变量的预测概率分布的编码，然后，由第一熵解码器将该隐含层变量的预测概率分布的编码进行熵解码，得到该隐含层变量。如果自回归模型的计算复杂度显著高于第一熵解码器，则意味着第一熵解码器的执行节奏会被自回归模型的执行节奏所拖累，导致第一编码单元整体的执行效率比较低，解码速度比较慢。
45.为了解决上述问题，考虑降低自回归模型在对隐含层变量进行确定时的计算复杂度，使得自回归模型的计算复杂度与第一熵编码器(以及第一熵解码器)的计算复杂度相一致，从而，第一熵编码器(以及第一熵解码器)的执行节奏不会被自回归模型的执行节奏所拖累，保证第一编码单元与第一解码单元的执行效率，从而提升了编解码速度。
46.具体而言，本公开提供了一种在保证较高数据压缩率的前提下，编解码速度更快的编解码方案。对编解码过程中自回归模型对隐含层变量进行预测的方式进行调整，自回归模型不再实时计算隐含层变量的预测概率分布，而是通过查表方式获取隐含层变量的预
测概率分布。自回归模型所查询的表是预先构建的预测概率分布表，预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数。也就是说，由于隐含层变量类别是有限的，因此，可以预先穷尽隐含层变量的所有可能的预测概率分布，形成预测概率分布表，自回归模型通过查询预测概率分布表，能获取到当前所针对的隐含层变量的预测概率分布。
47.通过上述技术方案，可以显著降低自回归模型的计算复杂度(查表方式的计算复杂度显著低于实时计算)，自回归模型的计算复杂度与第一熵编码器(或第一熵解码器)的计算复杂度相一致，从而使得由自回归模型与第一熵编码器(或第一熵解码器)组成的第一编码单元(或第一解码单元)的计算效率较高，进而提升了编解码速度。
48.以下结合附图，详细说明本公开提供的技术方案。
49.图3示例性提供一种编码方法的流程示意图，包括以下步骤：
50.s300：将待编码的原始数据输入自编解码模型进行自编码，输出隐空间，以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据。
51.图3所示方法应用于编码端。需要说明，隐空间包括若干隐含层变量。可以预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数。
52.容易理解，由于自回归模型的输入是隐空间变量，而离散化的隐空间变量的类别的数量是有限的，因此，可以穷尽隐空间变量的每个类别的所有可能的预测概率分布，形成预测概率分布表。
53.自回归模型基于马尔可夫原理，根据当前的隐含层变量的前n个隐含层变量，确定当前的隐含层变量的预测概率分布。
54.对于一阶马尔可夫的情况，可以预先构建包括c个c维向量的第一类先验概率参数矩阵，每个c维向量表示一个预测概率分布；基于所述第一类先验概率参数矩阵，得到关联于自回归模型的预测概率分布表。
55.对于二阶马尔可夫的情况，可以预先构建两个包括c个l维向量的第二类先验概率参数矩阵；对这两个第二类先验概率参数矩阵进行聚合，得到包括c2个c维向量的第三类先验概率参数矩阵，每个c维向量表示一个预测概率分布；基于所述第三类先验概率参数矩阵，得到关联于自回归模型的预测概率分布表。这里的聚合算法可以采用简单加和、张量分析、多层感知机等等。其中，对于l和c的大小关系不做限定。
56.s302：将所述隐空间输入第一编码单元，输出第一码流。
57.第一编码单元包括所述自回归模型和第一熵编码器。这里的关键是，不论是在编解码模型(主要是自编解码模型、自回归模型)的训练阶段还是应用阶段，自回归模型都是通过查询所述预测概率分布表来获取每个隐含层变量的预测概率分布，而不是进行实时计算以得到每个隐含变量的预测概率分布。
58.具体而言，自回归模型可以根据当前的隐含层变量的前n个隐含层变量的真实取值，确定当前的隐含层变量的预测概率分布在预测概率分布表中的位置，从这个位置读取相应的预测概率分布。通常而言，会预先设置每个当前的隐含层变量的前n个隐含层变量的真实取值，与这个当前的隐含层变量的预测概率分布在预测概率分布表中的位置之间的关
系。
59.s304：将所述原始数据和所述预测数据输入第二编码单元，输出第二码流。
60.第二编码单元通常仅包括第二熵编码器。需要说明，第一熵编码器与第二熵编码器可以是相同算法的不同熵编码器。
61.s306：将所述第一码流与所述第二码流传输给解码端。
62.此外，自编解码模型中的量化算子用于将隐空间中的隐含层变量进行离散化，然而这容易带来模型训练困难的问题，因为隐含层变量是离散的情况下，无法传递导数。
63.为了解决上述问题，可以结合已有的两种自编解码方法(vqvae和relaxed vqvae各自的优势)，开发一种新的自编解码方法，形成新的自编解码模型。这种新的自编解码模型的量化算子采用vqvae的量化算子，但是量化结果进行求导时，采用relaxed vqvae的求导方法(引入基于离散分布采样过程)。
64.具体来说，自编解码模型中的量化算子包括：
65.y＝hardmax(-d(i(x)))；其中，hardmax表示量化计算，d(i(x))表示码本和隐含层变量之间的距离。
66.y对应的求导方法包括：其中，gs表示gumbel softmax采样过程。
67.如此，既可以实现快速码本优化(vqvae的码本优化比较慢)，又可以避免relaxed vqvae带来的预测结果不准确的问题。
68.在编解码模型的训练过程中所采用的损失函数，与采用vqvae作为自编解码模型的实施例中所采用的损失函数相同，但是量化算子采用上述的新的量化算子。
69.这样一来，可以通过优化自编解码模型，提升对自编解码模型进行自解码所得到的原始数据的预测数据的准确性，从而提升压缩率。
70.图4示例性提供一种解码方法的流程示意图，包括以下步骤：
71.s400：获取第一码流和第二码流。
72.图4所示方法可以应用在解码端。
73.s402：将所述第一码流输入第一解码单元，输出原始数据对应的隐空间。
74.所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布。
75.s404：将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据。
76.s406：将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据。
77.第二解码单元包括第二熵解码器。
78.解码端执行的解码相关操作，可以视为是编码端执行的编码相关操作的逆操作，因此，相关说明可以参见前文对于编码相关操作的记载，不再赘述。
79.本公开还提供一种编码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：
80.自编解码模块，用于将待编码的原始数据输入自编解码模型进行自编码，输出隐
空间，其中，所述隐空间包括若干隐含层变量；以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；
81.第一熵编码模块，用于将所述隐空间输入第一编码单元，输出第一码流；其中，所述第一编码单元包括所述自回归模型和第一熵编码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
82.第二熵编码模块，用于将所述原始数据和所述预测数据输入第二编码单元，输出第二码流；其中，所述第二编码单元包括第二熵编码器；
83.传输模块，将所述第一码流与所述第二码流传输给解码端。
84.本公开还提供一种解码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括cn个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：
85.获取模块，获取第一码流和第二码流；
86.第一熵解码模块，用于将所述第一码流输入第一解码单元，输出原始数据对应的隐空间；其中，所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；
87.自编解码模块，用于将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；
88.第二熵解码模块，用于将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据；其中，所述第二解码单元包括第二熵解码器。
89.本公开还提供一种计算机程序产品，所述计算机程序产品在运行时执行本公开实施例的方法。
90.本公开还提供一种计算机可读存储介质，该介质上存储有计算机程序，所述程序被处理器执行时实现本公开实施例的方法。
91.本公开还提供一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现本公开实施例的方法。
92.图5是本公开提供的一种计算设备的结构示意图，该计算设备15可以包括但不限于：处理器151、存储器152、连接不同系统组件(包括存储器152和处理器151)的总线153。
93.其中，存储器152存储有计算机指令，该计算机指令可以被处理器151执行，使得处理器151能够执行本公开任一实施例的方法。存储器152可以包括随机存取存储单元ram1521、高速缓存存储单元1522和/或只读存储单元rom1523。该存储器152还可以包括：具有一组程序模块1524的程序工具1525，该程序模块1524包括但不限于：操作系统、一个或多个应用程序、其他程序模块和程序数据，这些程序模块一种或多种组合可以包含网络环境的实现。
94.总线153例如可以包括数据总线、地址总线和控制总线等。该计算设备15还可以通过i/o接口154与外部设备155通信，该外部设备155例如可以是键盘、蓝牙设备等。该计算设备150还可以通过网络适配器156与一个或多个网络通信，例如，该网络可以是局域网、广域网、公共网络等。如图所示，该网络适配器156还可以通过总线153与计算设备15的其他模块进行通信。
95.此外，尽管在附图中以特定顺序描述了本公开方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。
96.虽然已经参考若干具体实施方式描述了本公开的精神和原理，但是应该理解，本公开并不限于所公开的具体实施方式，对各方面的划分也不意味着这些方面中的特征不能组合以进行受益，这种划分仅是为了表述的方便。本公开旨在涵盖所附权利要求的精神和范围内所包括的各种修改和等同布置。
97.上述实施例阐明的方法，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
98.为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本说明书时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
99.本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
100.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
101.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
102.在本说明书多个实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书多个实施例。在本说明书多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
103.应当理解，尽管在本说明书多个实施例可能采用术语第一、第二、第三等来描述各
种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书多个实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
104.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于方法实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的方法实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
105.以上所述仅为本说明书多个实施例的较佳实施例而已，并不用以限制本说明书多个实施例，凡在本说明书多个实施例的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本说明书多个实施例保护的范围之内。

技术特征：
1.一种编码方法，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括c
n
个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量的预测概率分布进行确定时所采用的马尔可夫阶数，所述方法包括：将待编码的原始数据输入自编解码模型进行自编码，输出隐空间，其中，所述隐空间包括若干隐含层变量；以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；将所述隐空间输入第一编码单元，输出第一码流；其中，所述第一编码单元包括所述自回归模型和第一熵编码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；将所述原始数据和所述预测数据输入第二编码单元，输出第二码流；其中，所述第二编码单元包括第二熵编码器；将所述第一码流与所述第二码流传输给解码端。2.如权利要求1所述方法，其中，所述原始数据为图像。3.如权利要求1所述方法，在n为1的情况下，预先构建关联于自回归模型的预测概率分布表，包括：预先构建包括c个c维向量的第一类先验概率参数矩阵，每个c维向量表示一个预测概率分布；基于所述第一类先验概率参数矩阵，得到关联于自回归模型的预测概率分布表。4.如权利要求1所述方法，在n为2的情况下，预先构建关联于自回归模型的预测概率分布表，包括：预先构建两个包括c个l维向量的第二类先验概率参数矩阵；对这两个第二类先验概率参数矩阵进行聚合，得到包括c2个c维向量的第三类先验概率参数矩阵，每个c维向量表示一个预测概率分布；基于所述第三类先验概率参数矩阵，得到关联于自回归模型的预测概率分布表。5.如权利要求1所述方法，其中，所述自编解码模型中的量化算子包括：y＝hardmax(-d(i(x)))；其中，hardmax表示量化计算，d(i(x))表示码本和隐含层变量之间的距离；y对应的求导方法包括：其中，gs表示gumbel softmax采样过程。6.一种解码方法，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括c
n
个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述方法包括：获取第一码流和第二码流；将所述第一码流输入第一解码单元，输出原始数据对应的隐空间；其中，所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据；其中，所述第
二解码单元包括第二熵解码器。7.一种编码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括c
n
个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：自编解码模块，用于将待编码的原始数据输入自编解码模型进行自编码，输出隐空间，其中，所述隐空间包括若干隐含层变量；以及，将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；第一熵编码模块，用于将所述隐空间输入第一编码单元，输出第一码流；其中，所述第一编码单元包括所述自回归模型和第一熵编码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；第二熵编码模块，用于将所述原始数据和所述预测数据输入第二编码单元，输出第二码流；其中，所述第二编码单元包括第二熵编码器；传输模块，将所述第一码流与所述第二码流传输给解码端。8.一种解码装置，其中，预先构建关联于自回归模型的预测概率分布表，所述预测概率分布表中包括c
n
个预测概率分布，c为隐含层变量类别的数量，n为所述自回归模型对隐含层变量进行确定时所采用的马尔可夫阶数，所述装置包括：获取模块，获取第一码流和第二码流；第一熵解码模块，用于将所述第一码流输入第一解码单元，输出原始数据对应的隐空间；其中，所述第一解码单元包括所述自回归模型和第一熵解码器，所述自回归模型通过查询所述预测概率分布表，获取每个隐含层变量的预测概率分布；自编解码模块，用于将所述隐空间输入自编解码模型进行自解码，输出所述原始数据对应的预测数据；第二熵解码模块，用于将所述第二码流与所述预测数据输入第二解码单元，输出所述原始数据；其中，所述第二解码单元包括第二熵解码器。9.一种计算机可读存储介质，该介质上存储有计算机程序，所述程序被处理器执行时实现权利要求1-6中任一项所述方法。10.一种计算设备，包括存储器、处理器；所述存储器用于存储可在处理器上运行的计算机指令，所述处理器用于在执行所述计算机指令时实现权利要求1-6中任一项所述方法。

技术总结
本说明书披露的多个实施例提供了一种编码方法、解码方法、装置、介质及计算设备。自回归模型对隐含层变量进行预测的方式进行调整，自回归模型不再实时计算隐含层变量的预测概率分布，而是通过查表方式获取隐含层变量的预测概率分布。自回归模型所查询的表是预先构建的预测概率分布表，预测概率分布表中包括C


技术研发人员：张羽丰 余航 李建国
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2023.06.21
技术公布日：2023/9/7