神经网络特征图量化方法和装置与流程

1.本公开内容涉及神经网络特征图的量化方法和装置。具体地，本公开内容涉及使用神经网络结构的神经网络特征图量化方法和装置。此外，本公开内容涉及使用特征图分类的神经网络特征图量化方法和装置。


背景技术：

2.可以通过去除时间和空间冗余和视图间冗余对视频图像进行压缩和编码，视频图像可以通过通信线路传送或以适合于存储介质的形式存储。


技术实现要素：

3.技术问题
4.本公开内容是通过高效的神经网络特征图量化来提高视频信号的编码效率。
5.技术解决方案
6.根据本公开内容的基于神经网络的信号处理方法和装置可以通过使用包括多个神经网络的多神经网络来生成特征图，并对特征图执行量化。
7.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以基于特征图的属性或多神经网络的结构来执行量化。
8.在根据本公开内容的基于神经网络的信号处理方法和装置中，特征图的属性可以包括特征图中的样本值的分布类型。
9.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以通过映射到分布类型的量化方法来执行量化。
10.在根据本发明的基于神经网络的信号处理方法和装置中，分布类型可以包括均匀分布、高斯分布或拉普拉斯分布中的至少一种。
11.在根据本公开内容的基于神经网络的信号处理方法和装置中，执行量化可以包括通过映射到分布类型的归一化方法对特征图中的样本值执行归一化。
12.在根据本公开内容的基于神经网络的信号处理方法和装置中，多神经网络的结构可以包括多神经网络是否串联连接、多神经网络是否并联连接、多神经网络是否串联和并联连接或与生成特征图的当前层相邻的层的类型中的至少一个。
13.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以通过映射到相邻层的类型的量化方法执行量化，并且层的类型可以包括批归一化层或求和层中的至少一个。
14.在根据本公开内容的基于神经网络的信号处理方法和装置中，还可以包括将特征图分类成多个类别，并且特征图的属性可以包括特征图的类别。
15.在根据本公开内容的基于神经网络的信号处理方法和装置中，特征图可以包括多个通道。
16.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以基于多个通道
之间的相似性将特征图分类成包括至少一个通道的多个类别。
17.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以基于输入图像的空间相似性对特征图进行空间分类。
18.技术效果
19.根据本公开内容的实施方式，可以提高视频信号的编码效率。此外，根据本公开内容的实施方式，可以使用神经网络结构通过神经网络特征图量化提高视频信号编码效率。此外，根据本公开内容的实施方式，可以使用特征图分类通过神经网络特征图量化提高视频信号编码效率。
附图说明
20.图1是示出根据本公开内容的实施方式的多神经网络的层结构的图。
21.图2是示出根据本公开内容的实施方式的神经网络层结构的示例的图。
22.图3是示出作为本公开内容的实施方式的特征图的特性是均匀分布的情况的图。
23.图4是示出作为本公开内容的实施方式的特征图的特性是高斯分布的情况的图。
24.图5是示出作为本公开内容的实施方式的特征图的特性是拉普拉斯分布的情况的图。
25.图6示出了作为本公开内容的实施方式的对神经网络的特征图进行编码的神经网络特征图编码单元。
26.图7是示出根据本公开内容的实施方式的特征图的量化流程图的图。
27.图8是示出根据本公开内容的实施方式的特征图的量化流程图的图。
28.图9是示出根据本公开内容的实施方式的特征图的量化流程图的图。
29.图10是示出根据本公开内容的实施方式的特征图的量化流程图的图。
30.图11是示出作为本公开内容的实施方式的均匀分布量化过程的图。
31.图12是示出作为本公开内容的实施方式的高斯分布量化过程的图。
32.图13是示出作为本公开内容的实施方式的拉普拉斯分布量化过程的图。
33.图14示出了作为本公开内容的实施方式的对神经网络的特征图进行解码的神经网络特征图解码单元。
34.图15是示出根据本公开内容的实施方式的特征图的去量化的流程图的图。
35.图16是示出根据本公开内容的实施方式的特征图的去量化的流程图的图。
36.图17是示出根据本公开内容的实施方式的特征图的去量化的流程图的图。
37.图18是示出根据本公开内容的实施方式的特征图的去量化的流程图的图。
38.图19是示出作为本公开内容的实施方式的均匀分布去量化过程的图。
39.图20是示出作为本公开内容的实施方式的高斯分布去量化过程的图。
40.图21是示出作为本公开内容的实施方式的拉普拉斯分布去量化过程的图。
41.图22是用于描述通过作为本公开内容的实施方式的神经网络结构特征提取单元提取的神经网络结构的图。
42.图23是概念性地示出神经网络结构被用作神经网络结构特征提取单元的输入并通过作为本公开内容的实施方式的神经网络结构特征提取单元将神经网络结构输出的各种信息的示例的图。
43.图24是示出对作为本公开内容的实施方式的神经网络的特征图进行编码的神经网络特征图编码单元的图。
44.图25是示出根据本公开内容的实施方式的特征图分类单元的图。
45.图26是示出根据应用于本公开内容的实施方式的特征图分类单元的图。
46.图27是示出根据应用于本公开内容的实施方式的特征图分类单元的图。
47.图28是示出根据本公开内容的实施方式的特征图的量化流程图的图。
48.图29是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
49.图30是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
50.图31是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
51.图32示出了根据本公开内容的实施方式的神经网络特征图解码单元的框图。
52.图33是示出根据本公开内容的实施方式的特征图的去量化的流程图的图。
具体实施方式
53.根据本公开内容的基于神经网络的信号处理方法和装置可以通过使用包括多个神经网络的多神经网络来生成特征图，并对特征图执行量化。
54.在根据本公开内容的基于神经网络的信号处理方法和装置中，量化可以基于特征图的属性或多神经网络的结构来执行。
55.在根据本公开内容的基于神经网络的信号处理方法和装置中，特征图的属性可以包括特征图中样本值的分布类型。
56.在根据本公开内容的基于神经网络的信号处理方法和装置中，量化可以通过映射到分布类型的量化方法来执行。
57.在根据本公开内容的基于神经网络的信号处理方法和装置中，分布类型可以包括均匀分布、高斯分布或拉普拉斯分布中的至少一个。
58.在根据本公开内容的基于神经网络的信号处理方法和装置中，执行量化可以包括通过映射到分布类型的归一化方法对特征图中的样本值执行归一化。
59.在根据本公开内容的基于神经网络的信号处理方法和装置中，多神经网络的结构可以包括多神经网络是否串联连接、多神经网络是否并联连接、多神经网络是否串联和并联连接或与生成特征图的当前层相邻的层的类型中的至少一个。
60.在根据本公开内容的基于神经网络的信号处理方法和装置中，量化可以通过映射到相邻的层的类型的量化方法来执行，并且层的类型可以包括批归一化层或求和层中的至少一个。
61.在根据本公开内容的基于神经网络的信号处理方法和装置中，还可以包括将特征图分类成多个类别，并且特征图的属性可以包括特征图的类别。
62.在根据本公开内容的基于神经网络的信号处理方法和装置中，特征图可以包括多个通道。
63.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以基于多个通道之间的相似性将特征图分类成包括至少一个通道的多个类别。
64.在根据本公开内容的基于神经网络的信号处理方法和装置中，可以基于输入图像的空间相似性对特征图进行空间分类。
65.[模式]
[0066]
将详细描述本公开内容的实施方式，使得本领域技术人员可以参照本说明书所附的图来容易地实现实施方式。然而，本公开内容可以以不同形式来实现，并且本公开内容不限于本文所描述的实施方式。并且，与描述无关的一部分被省略，以在图中清楚地描述本公开内容，并且遍及本说明书，类似的附图标记被附至类似的部分。
[0067]
遍及本说明书，当一部分被称为“连接”至其他部分时，其可以包括其间存在其他元件的电连接以及直接连接。
[0068]
此外，当一部分在本说明书中被称为“包括”部件时，这意味着还可以包括其他部件而不排除其他部件，除非另有相反说明。
[0069]
此外，诸如第一、第二等术语可以用于描述各种部件，但部件不应当被术语限制。仅使用术语来将一个部件与其他部件区分。
[0070]
此外，对于本说明书中所描述的关于装置和方法的实施方式，装置的一些配置或方法的一些步骤可以被省略。此外，装置的一些配置或方法的一些步骤的顺序可以被改变。此外，其他配置或其他步骤可以插入到装置的一些配置或方法的一些步骤中。
[0071]
此外，本公开内容的第一实施方式的一些配置或一些步骤可以被添加至本公开内容的第二实施方式，或者可以替代第二实施方式的一些配置或一些步骤。
[0072]
此外，在本公开内容的实施方式中所示的构造单元被独立地示出以表示不同特性功能，并且不同特性功能不意味着每个构造单元被配置有分离的硬件或一个软件构造单元。换言之，通过被列举为便于描述的每个构造单元来描述每个构造单元，并且每个构造单元中的至少两个构造单元可以被组合以形成一个构造单元，或者一个构造单元可以被划分成多个构造单元以执行功能。每个构造单元的集成实施方式和分开实施方式也被包括在本公开内容的权利的范围中，除非其背离本公开内容的精神。
[0073]
首先，可以如下简要描述本技术中使用的术语。
[0074]
稍后要描述的解码装置(视频解码设备)可以是服务器终端诸如民用安全摄像装置、民用安全系统、军用安全摄像装置、军用安全系统、个人电脑(pc)、笔记本电脑、便携式多媒体播放器(pmp)、无线通信终端、智能手机、tv应用服务器和服务服务器等中包括的装置，并且其可以指配备有包括各种的装备的用户终端、用于与有线/无线通信网络通信的包括通信调制解调器等的通信装置、用于存储用于对图像解码或执行解码的帧内或帧间预测的各种程序和数据的存储器、用于执行程序并执行操作和控制的微处理器以及其他。
[0075]
此外，通过编码器编码为比特流的图像可以通过各种通信接口诸如线缆、通用串行总线(usb)等，或者通过诸如互联网、无线局域网、无线lan网、wi-bro网络、移动通信网络等的有线或无线通信网络等被实时或非实时地传送至图像解码装置、被解码并重构以及作为图像再现。可替选地，通过编码器生成的比特流可以被存储在存储器中。存储器可以包括易失性存储器和非易失性存储器二者。在本说明书中，存储器可以被表示为存储比特流的重新编码介质。
[0076]
通常，视频可以配置有一系列图片，并且每个图片可以划分成编码单元，例如块。此外，本实施方式所涉及的本领域普通技术人员可以理解，可以通过用具有与图像、帧等相同含义的其他术语代替来使用下面输入的图片的术语。并且，本实施方式所涉及的领域的普通技术人员可以理解，可以通过用具有与单元块、块等相同含义的其他术语代替来使用
编码单元的术语。
[0077]
在下文中，参照附图，对本公开内容的实施方式进行更详细描述。在描述本公开内容时，对相同部件省略重复描述。
[0078]
本公开内容的实施方式提出了对作为神经网络的结果(或中间结果)的特征图进行压缩的方法和装置，并且更详细地，在压缩特征图时使用神经网络结构的信息的方法和装置。
[0079]
作为本公开内容的实施方式，在通过使用神经网络结构的信息压缩特征图时，提供了使用多个不同量化器的方法和装置。
[0080]
此外，作为本公开内容的实施方式，在压缩特征图时，提供了分析神经网络的结构特征并根据分析的特征选择性地使用不同量化器或去量化器以提高压缩性能的编码和解码方法和装置。
[0081]
可以通过使用本公开内容中提出的量化方法或去量化方法来考虑特征图的特性。通过分析/反映特征图的特性并选择性地使用适合于对应特性的量化和去量化方法，与使用单一量化方法相比，可以减少量化误差并提高量化效率。
[0082]
图1是示出根据本公开内容的实施方式的多个神经网络的层结构的图。
[0083]
参照图1，根据本实施方式的神经网络可以具有配置有多神经网络(即，多个神经网络)的神经网络结构。并且，多神经网络中的每个神经网络可以包括多神经网络层。
[0084]
作为实施方式，在一个神经网络和与其相邻的神经网络之间，可以传送以各种形式表示的数据诸如标量值、矢量、张量、图像、视频、比特流等。例如，数据可以在相邻的神经网络之间以张量、三维数据的形式传送。
[0085]
如图1中所示，多神经网络中的每个神经网络可以被配置有用于执行神经网络的功能的多个层。在本说明书中，神经网络可以指所有包括多个神经网络的多神经网络，多神经网络的一个神经网络，或者神经网络中包括的神经网络层的所有神经网络层或部分神经网络层。
[0086]
图2是示出根据本公开内容的实施方式的神经网络层结构的示例的图。
[0087]
参照图2，一个神经网络层可以包括过滤层、偏移求和层、第一采样层、批归一化层、非线性映射层、求和层、第二采样层中的至少一个层。对于图2中所示的神经网络层，作为示例，层的顺序可以与图中的顺序不同。
[0088]
作为实施方式，可以在过滤层中执行卷积操作。在这种情况下，用于卷积的过滤器可以是具有各种维度(诸如一维、二维、三维等)的大小的过滤器。此外，预定偏移值可以在偏移求和层中被求和。在这种情况下，可以对与过滤层中使用的过滤器的数目相同数目的偏移值求和。可替选地，数据可以在没有偏移求和层的情况下被传送至下一优先层。
[0089]
此外，可以对第一采样层中的偏移求和数据以预定采样比率执行采样。可以对卷积和偏移被求和的所有数据执行采样，并且为了降低计算的复杂性，可以首先对卷积和偏移被求和的数据的位置进行采样，并且可以仅在对应的位置处执行卷积和偏移求和。随后，可以在批归一化层中执行批归一化。批归一化可以通过使用平均和/或方差值对特征图归一化。在这种情况下，平均和/或方差值可以是在学习过程中学习的值。
[0090]
此外，可以在非线性映射层中通过非线性映射函数对特征图进行映射。例如，各种非线性函数诸如relu(整流线性单元)、leak relu(渗漏relu)、sigmoid、tanh(双曲切线)等
可以被用作非线性映射函数。在求和层中，可以对当前或前一层中生成的特征图和预定的其他特征图进行求和。在这种情况下，其他特征图可以是之前生成的特征图之一。此外，求和可以指相加。可替选地，求和可以指在特定维度上连接数据的组合。
[0091]
此外，可以在第二采样层中对当前特征图进行空间下采样。在这种情况下，各种下采样方法诸如以特定范围内的最大值执行采样的最大池化、以平均值执行采样的平均池化、以中值执行采样的中池化、使用dct的dct池化等可以被用作下采样方法。
[0092]
图3是示出作为本公开内容的实施方式的特征图的特性是均匀分布的情况的图。
[0093]
根据本公开内容的实施方式，可以通过考虑特征图的特性来执行特征图的量化。特征图可以是神经网络层或神经网络的输出。特征图的特性可以是特征图的值的分布特性。值可以是像素的值、样本或特征图的系数。可以预定义与特征图的特性对应的量化方法。
[0094]
参照图3，从多神经网络的层之中的任一层(被称为第n层)输出的特征图的值的分布可以是均匀分布。当特征图的分布是均匀分布时，可以是如下情况：当前神经网络的函数执行生成或预测均匀分布的噪声的功能。
[0095]
作为实施方式，对于特征图的量化，当特征图的特性是均匀分布时，可以应用适合于均匀分布的量化。在这种情况下，当适合于均匀分布的量化被应用于对应的特征图时，适合于均匀分布的去量化也可以同样被应用于对其进行去量化。
[0096]
图4是示出作为本公开内容的实施方式的特征图的特性是高斯分布的情况的图。
[0097]
参照图4，多神经网络的层之中的第n层中输出的特征图的值的分布可以是高斯分布。这是示出平均为μ以及方差为σ的高斯分布的图作为实施方式。通常，当用大量的数据进行学习时，特征图的分布与数据的分布相似并且一般数据可能大多遵循高斯分布。
[0098]
作为实施方式，对于特征图的量化，当特征图的特性是高斯分布时，适合于高斯分布的量化可以被应用。在这种情况下，当适合于高斯分布的量化被应用于对应的特征图时，适合于高斯分布的去量化也可以同样被应用于对其进行去量化。
[0099]
图5是示出作为本公开内容的实施方式的特征图的特性是拉普拉斯分布的情况的图。
[0100]
参照图5，多神经网络的层之中的第n层中输出的特征图的值的分布可以是拉普拉斯分布。
[0101]
特别地，当下一层是求和层时，特征图的分布可以是拉普拉斯分布。通常，当下一层是求和层时，当前层中生成的特征图可以是前一层中生成的特征图的高频分量信号、差分信号或细节信号中的至少一种。信号一般可以示出具有平均为0的拉普拉斯分布。换言之，当下一层是求和层时，当前生成的特征图一般可以是拉普拉斯分布。
[0102]
作为实施方式，对于特征图的量化，当特征图的特性是拉普拉斯分布时，可以应用适合于拉普拉斯分布的量化。在这种情况下，当适合于拉普拉斯分布的量化被应用于对应的特征图时，适合于拉普拉斯分布的去量化也可以同样被应用于对其进行去量化。
[0103]
图6示出了作为本公开内容的实施方式的对神经网络的特征图进行编码的神经网络特征图编码单元。
[0104]
参照图6，神经网络特征图编码单元可以对从多神经网络生成的神经网络的特征图进行编码。作为示例，神经网络特征图编码单元可以包括量化单元、变换量化单元(或变
换单元)、熵编码单元、神经网络结构特征提取单元、神经网络结构编码单元。作为示例，图6中所示的神经网络特征图编码单元的配置可以被实现成省略一些配置或者还包括其他配置。
[0105]
多神经网络可以配置有多个神经网络并且每个神经网络可以串联或并联连接。可替选地，对于一个数据，多神经网络结构中的一些神经网络可以串联连接，并且其他可以并联连接。在连续神经网络连接中可以生成特征图、中间结果(或输出)。
[0106]
当神经网络串联连接时，可以生成一个特征图。以及，当神经网络并联连接时，可以生成一个或更多个特征图。多个特征图可以分别具有相同大小或不同大小。
[0107]
作为实施方式，可以通过神经网络特征编码单元压缩多神经网络的至少一个特征图、结果(或中间结果)，并将多神经网络的至少一个特征图、结果(或中间结果)传送至解码单元或存储在存储装置中。量化单元可以对输入特征图进行量化。例如，特征图(或特征图中的像素值)可以是被表示为浮点的值。在这种情况下，特征图(或特征图中的像素值)可以被变换成整数，该整数可以被表示为由编码单元支持的位深度。在特征图的值是整数类型的情况下，特征图的值可以被映射到可以被表示为由编码单元支持的位深度的范围。
[0108]
在执行量化的过程中，可以从神经网络结构特征提取单元接收生成特征图的神经网络的结构特征，并可以根据特征选择性地或自适应地使用不同量化方法。并且，经量化的特征图可以被输入至变换量化单元。变换量化单元可以被称为变换单元。神经网络结构特征提取单元可以分析多神经网络的结构，提取特征并将特征传送至量化单元。
[0109]
在这种情况下，特征可以是生成当前要编码的特征图的神经网络层和下一神经网络层的类型。可替选地，特征可以是层的位置，例如生成当前神经网络的神经网络层在所有多神经网络之中的顺序。可替选地，当神经网络并联连接时，特征可以是并联连接的索引信息以及并联连接的顺序的位置。
[0110]
变换量化单元可以对用于编码的输入特征图进行变换并将其传送至熵编码单元。在这种情况下，对于变换，可以执行用于将空间上的高维数据变换成低维数据的空间变换。此处，变换量化中的量化可以指用于速率控制的量化。
[0111]
通常，特征图可以是三维数据，并且沿着每个维度的轴的长度可以被表示为宽度、高度、深度或通道。可替选地，可以通过将特征图的所有通道连接成一个通道将特征图变换成二维数据例如图像。并且，可以通过对现有的图像或视频进行编码的方法对变换的二维数据进行变换和量化。可替选地，可以对特征图执行频率变换(诸如dct、dst)，以及可以在频域中执行根据频率的量化。
[0112]
神经网络结构编码单元可以执行符号化，以接收关于来自多神经网络的神经网络结构的所有或部分信息并对关于来自多神经网络的神经网络结构的所有或部分信息进行编码，并且符号化的神经网络结构可以被传送至熵编码单元。熵编码单元可以接收输入的变换量化特征图和神经网络结构并对输入的变换量化特征图和神经网络结构进行熵编码，以生成比特流。
[0113]
图7是示出根据本公开内容的实施方式的特征图的量化流程图的图。
[0114]
参照图7所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，可以在上面图6中所描述的神经网络特征图编码单元的量化单元中执行该实施方式。
[0115]
根据本公开内容的实施方式，量化单元可以使用特征图的所有值来提取(或获取)
直方图(或特征)。量化单元可以确认提取的直方图的分布是否是高斯分布。此处，可以通过熵编码单元将关于提取的直方图的分布是否是高斯分布的信息传送至解码器。
[0116]
在确认是否遵循高斯分布时，可以测量与通过特征图的平均和方差获得的高斯函数的相似性，以用该相似性做决定。在遵循高斯分布的情况下，可以执行高斯分布量化。否则，量化单元可以确认是否遵循拉普拉斯分布。
[0117]
并且，可以通过熵编码单元将关于是否遵循拉普拉斯分布的信息传送至解码器。此处，当确认是否遵循拉普拉斯分布时，可以测量特征图的分布与通过使用特征图的平均和方差制成的拉普拉斯函数之间的相似性，以基于该相似性做决定。在确定遵循拉普拉斯分布的情况下，可以执行拉普拉斯分布量化，并且对于相反的情况，可以执行均匀分布量化。
[0118]
图8是示出根据本公开内容的实施方式的特征图的量化流程图的图。
[0119]
参照图8所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，可以在上面图6中所描述的神经网络特征图编码单元的量化单元中执行该实施方式。
[0120]
量化单元可以通过从神经网络结构特征提取单元传送的神经网络特征确认下一层是否为求和层。对于求和层，可以执行拉普拉斯分布量化。相反地，对于除求和层之外的层，可以执行高斯分布量化。
[0121]
图9是示出根据本公开内容的实施方式的特征图的量化流程图的图。
[0122]
参照图9所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，可以在上面图6中所描述的神经网络特征图编码单元的量化单元中执行该实施方式。
[0123]
根据本公开内容的实施方式，量化单元可以通过从神经网络结构特征提取单元传送的神经网络特征确认前一层是否为批归一化层。此处，前一层可以指生成当前要编码的特征图的层。当前一层是批归一化层时，可以执行高斯分布量化。
[0124]
通常，批归一化层通过在学习过程中在批单元中学习平均和方差来执行归一化，因此批归一化之后的特征图可能遵循高斯分布。因此，当前一层是批归一化层时，量化单元可以立即执行高斯分布量化。
[0125]
当前一层不是批归一化层时，可以确认下一层是否为求和层。在下一层是求和层的情况下，可以执行拉普拉斯分布量化。对于除求和层之外的层，可以执行高斯分布量化。
[0126]
图10是示出根据本公开内容的实施方式的特征图的量化流程图的图。
[0127]
参照图10所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，可以在上面图6中所描述的神经网络特征图编码单元的量化单元中执行该实施方式。
[0128]
根据本公开内容的实施方式，量化单元可以首先确认是否使用均匀分布量化。在这种情况下，可以由用户的输入或编码单元和解码单元的约定来确定是否使用均匀分布量化。可替选地，可以根据特定的层索引来确定是否使用均匀分布量化。可以通过熵编码单元将关于是否使用均匀分布量化的确定信息传送至解码器。
[0129]
量化单元可以通过从神经网络结构特征提取单元传送的神经网络特征来确认前一层是否为批归一化层。当使用均匀分布量化时，均匀分布量化可以被执行。否则，量化单元可以确认前一层是否为批归一化层。
[0130]
当前一层是批归一化层时，可以执行高斯分布量化。当前一层不是批归一化层时，量化单元可以确认下一层是否为求和层。在下一层是求和层的情况下，可以执行拉普拉斯
分布量化。当下一层是除求和层之外的层时，可以执行高斯分布量化。
[0131]
图11是示出作为本公开内容的实施方式的均匀分布量化过程的图。
[0132]
参照图11，当执行均匀分布量化时，量化单元(或编码装置、编码单元)可以执行均匀分布归一化、均匀分布量化、位深度裁剪。可以改变图11中所示步骤的顺序，并且可以省略一些步骤，或者可以增加其他步骤。
[0133]
作为实施方式，可以如以下等式1中执行均匀分布归一化。
[0134]
[等式1]
[0135][0136]
此处，f、f
min
、f
max
、f
norm
可以分别表示特征图值、特征图的最小值、特征图的最大值、归一化的特征图值。换言之，在当前的特征图遵循均匀分布时，量化单元可以通过将特征图的最小值映射成0以及将最大值映射成(1《《bitdepth)-1来线性地执行归一化。
[0137]
随后，可以通过以下等式2对归一化的特征图进行均匀分布量化。
[0138]
[等式2]
[0139][0140]
此处，q
step
、level可以分别表示量化大小、量化的特征图值。此外，floor(_)可以表示下舍入运算(或函数)。在这种情况下，offsetu可以是四舍五入的偏移。可替选地，上述变量可以是关于适合于分布的量化持续时间边界的信息。例如，当f
norm
被量化为3，并且q
step
为1，以及offset为0.5时，量化持续时间可以是[2.5，3.5)并且2.5、3.5可以是量化持续时间边界。换言之，量化持续时间可以由[f
norm
–
offset，f
norm
+offset-1]确定。
[0141]
接下来，可以通过以下等式3执行位深度裁剪。
[0142]
[等式3]
[0143]
levelc＝clip3(0，(1＜＜bitdepth)-1，level)
[0144]
此处，clip3(min，max，value)函数表示以下函数，其接收最小值、最大值、用于裁剪的输入值作为输入并输出输入值，或者在输入值小于最小值的情况下，其输出最小值，以及在输入值大于最大值的情况下，其输出最大值。
[0145]
图12是示出作为本公开内容的实施方式的高斯分布量化过程的图。
[0146]
参照图12，当执行高斯分布量化时，量化单元(或编码装置、编码单元)可以执行高斯分布归一化、高斯分布量化、位深度裁剪。可以改变图12中所示的步骤的顺序，并且可以省略一些步骤，或者可以添加其他步骤。
[0147]
作为实施方式，可以如以以下等式4执行高斯分布归一化。
[0148]
[等式4]
[0149][0150]
此处，f、μ、σ,、f
norm
可以分别表示特征图值、特征图平均、特征图方差、归一化的特征图值。
[0151]
随后，可通过以下等式5对归一化的特征图进行高斯分布量化。
[0152]
[等式5]
[0153][0154]
此处，q
step
、offsetg、level可以分别指量化值、四舍五入的偏移、量化的特征图值。floor(_)可以表示下舍入运算(或函数)。以及，offsetg可以是四舍五入的偏移。可替选地，上述变量可以是关于适合于分布的量化持续时间边界的信息。
[0155]
接下来，可以执行位深度裁剪。例如，可以通过上述等式3执行位深度裁剪。
[0156]
图13是示出作为本公开内容的实施方式的拉普拉斯分布量化过程的图。
[0157]
参照图13，当执行拉普拉斯分布量化时，量化单元(或编码装置、编码单元)可以执行拉普拉斯分布归一化、拉普拉斯分布量化、位深度裁剪。可以改变图13中所示的步骤的顺序，并且可以省略一些步骤，或者可以添加其他步骤。
[0158]
作为实施方式，可以如以以下等式6执行拉普拉斯分布归一化。
[0159]
[等式6]
[0160][0161]
此处，f、scale、f
norm
可以分别指特征图值、特征图比例值、归一化的特征图值。
[0162]
随后，可以通过以下等式7对归一化的特征图进行拉普拉斯分布量化。
[0163]
[等式7]
[0164][0165]
此处，qstep、level可以分别指量化大小、量化的特征图值。此外，floor(_)可以指下舍入运算(或函数)。offsetg可以是四舍五入的偏移。可替选地，上述变量可以是关于适合于分布的量化持续时间边界的信息。
[0166]
接下来，可以执行位深度裁剪。例如，可以通过上述等式3执行位深度裁剪。
[0167]
图14示出了作为本公开内容的实施方式的对神经网络的特征图进行解码的神经网络特征图解码单元。
[0168]
参照图14，神经网络特征图解码单元可以对神经网络的特征图进行解码。作为示例，神经网络特征图解码单元可以包括熵解码单元、逆变换量化单元(或逆变换单元)、去量化单元、神经网络结构解码单元、神经网络结构特征提取单元。作为示例，图14中所示的神经网络特征图解码单元的配置可以被实现成省略一些配置或者还包括其他配置。
[0169]
作为实施方式，神经网络特征图解码单元可以通过对从编码单元传送的比特流解码来重构特征图和/或神经网络。在这种情况下，重构的神经网络可以是整个多神经网络或部分神经网络。可替选地，重构的神经网络可以是生成传送的特征图的层之后的整个神经网络。
[0170]
熵解码单元可以对输入比特流进行解码，以生成变换量化的特征图，并将变换量化的特征图传送至逆变换量化单元。以及，符号化的神经网络结构可以被重构并传送至神经网络结构解码单元。逆变换量化单元可以对变换量化的特征图进行去量化和逆变换，并将其传送至去量化单元。
[0171]
神经网络结构解码单元可以对从熵解码单元传送的符号化神经网络结构进行解码，以重构神经网络结构。重构的神经网络结构可以被传送至神经网络结构特征提取步骤，
并且神经网络结构特征提取步骤可以与神经网络特征图编码单元中包括的步骤相同。
[0172]
神经网络结构特征提取单元可以从重构的神经网络结构中提取各种信息(诸如整个神经网络结构、层的顺序、层的索引、当前特征图之前或之后的类型等)，并且将其传送至去量化单元。去量化单元可以通过传送的逆变换量化(或逆变换)特征图和神经网络结构的特征自适应地或选择性地执行去量化。此处，去量化步骤可以根据随后在神经网络中使用的数据的形式变换特征图的数据形式。
[0173]
在神经网络基于整数类型运算的情况下，神经网络可以在去量化单元中被重构成整数类型，以及在神经网络是基于浮点的神经网络的情况下，神经网络可以基于浮点被重构。重构的特征图可以是神经网络的输入。
[0174]
图15是示出根据本公开内容的实施方式的特征图的去量化流程图的图。
[0175]
参照图15所描述的这个实施方式可以是在去量化单元中执行的过程的示例。例如，该实施方式可以在上面图14中所描述的神经网络特征图解码单元的去量化单元中被执行。
[0176]
作为实施方式，去量化单元可以从熵解码单元接收关于当前特征图的分布是否遵循高斯分布或拉普拉斯分布的信息。在当前特征图的分布遵循高斯分布时，可以执行高斯分布去量化。否则，去量化单元可以另外确认当前特征图的分布是否遵循拉普拉斯分布。
[0177]
在当前特征图的分布遵循拉普拉斯分布时，可以执行拉普拉斯分布量化，并且否则，可以执行均匀分布量化。
[0178]
图16是示出根据本公开内容的实施方式的特征图的去量化流程图的图。
[0179]
参照图16所描述的这个实施方式可以是在去量化单元中执行的过程的示例。例如，该实施方式可以在上面图14中所描述的神经网络特征图解码单元的去量化单元中被执行。
[0180]
作为实施方式，去量化单元可以通过从神经网络结构特征提取单元传送的神经网络特征确认下一层是否为求和层。当下一层是求和层时，可以执行拉普拉斯分布去量化。对于除求和层之外的层，可以执行高斯分布去量化。
[0181]
图17是示出根据本公开内容的实施方式的特征图的去量化流程图的图。
[0182]
参照图17所描述的这个实施方式可以是在去量化单元中执行的过程的示例。例如，该实施方式可以在上面图14中所描述的神经网络特征图解码单元的去量化单元中被执行。
[0183]
作为实施方式，去量化单元可以通过神经网络结构特征提取单元传送的神经网络特征确认前一层是否为批归一化层。此处，前一层可以指生成当前要编码的特征图的层。当前一层是批归一化层时，可以执行高斯分布去量化。
[0184]
当前一层不是批归一化层时，去量化单元可以确认下一层是否为求和层。对于求和层，可以执行拉普拉斯分布去量化。对于除求和层之外的层，可以执行高斯分布去量化。
[0185]
图18是示出根据本公开内容的实施方式的特征图的去量化流程图的图。
[0186]
参照图18所描述的这个实施方式可以是在去量化单元中执行的过程的示例。例如，这个实施方式可以在上面图14中所描述的神经网络特征图解码单元的去量化单元中被执行。
[0187]
作为实施方式，去量化单元可以首先确认是否使用均匀分布去量化。在这种情况
下，可以通过熵解码单元传送是否使用均匀分布量化。可替选地，可以通过编码单元和解码单元的约定确定是否使用均匀分布去量化。
[0188]
可替选地，可以根据特定的层索引确定是否使用均匀分布去量化。
[0189]
去量化单元可以通过从神经网络结构特征提取单元传送的神经网络特征确认前一层是否为批归一化层。当使用均匀分布去量化时，均匀分布去量化可以被执行，以及否则，去量化单元可以确认前一层是否为批归一化层。
[0190]
当前一层是批归一化层时，可以执行高斯分布去量化。当前一层不是批归一化层时，去量化单元可以确认下一层是否是求和层。对于求和层，可以执行拉普拉斯分布去量化。对于除求和层之外的层，可以执行高斯分布去量化。
[0191]
图19是示出作为本公开内容的实施方式的均匀分布去量化过程的图。
[0192]
参照图19，当执行均匀分布去量化时，去量化单元(或解码装置、解码单元)可以执行量化大小缩放、位深度裁剪、均匀分布去归一化的过程。可以改变图19中所示的步骤的顺序，并且可以省略一些步骤，或者可以添加其他步骤。
[0193]
作为实施方式，可以通过以下等式8执行量化大小缩放。
[0194]
[等式8]
[0195]fdq
＝level
×
qstep
[0196]
此处，level、q
step
、f
dq
可以分别指量化的特征值、量化大小、去量化的特征值。
[0197]
对于去量化的特征值，可以通过以下等式9应用位深度裁剪。
[0198]
[等式9]
[0199]f′
dq
＝clip3(0，(1＜＜vitdepth)-1，f
dq
)
[0200]
对于裁剪的特征值，可以通过以下等式10应用均匀分布去归一化。
[0201]
[等式10]
[0202][0203]
此处，f、f
min
、f
max
可以分别指重构的特征图值、特征图的最小值、特征图的最大值。在这种情况下，f
min
、f
max
可以从编码单元通过熵解码单元被传送。
[0204]
图20是示出作为本公开内容的实施方式的高斯分布去量化过程的图。
[0205]
参照图20，当执行高斯分布去量化时，去量化单元(或解码装置、解码单元)可以执行量化大小缩放、位深度裁剪、高斯分布去归一化的过程。可以改变图20中所示的步骤的顺序，并且可以省略一些步骤，或者可以添加其他步骤。
[0206]
作为实施方式，可以通过以下等式11执行量化大小缩放。
[0207]
[等式11]
[0208]fdq
＝level
×
qstep
[0209]
此处，level、q
step
、f
dq
可以分别指量化的特征值、量化大小、去量化的特征值。
[0210]
对于去量化的特征值，可以通过以下等式12应用位深度裁剪。
[0211]
[等式12]
[0212]f′
dq
＝clip3(0，(1＜＜bitdepth)-1，f
dq
)
[0213]
对于裁剪的特征值，可通过以下等式13应用均匀分布去归一化。
[0214]
[等式13]
[0215][0216]
f、μ、σ可以分别指重构的特征图值、特征图平均、特征图方差值。在这种情况下，μ、σ可以从编码单元通过熵解码单元被传送。
[0217]
图21是示出作为本公开内容的实施方式的拉普拉斯分布去量化过程的图。
[0218]
参照图21，当执行拉普拉斯分布去量化时，去量化单元(或解码装置、解码单元)可以执行量化大小缩放、位深度裁剪、拉普拉斯分布去归一化的过程。可以改变图21中所示的步骤的顺序，并且可以省略一些步骤，或者添加其他步骤。
[0219]
作为实施方式，可以通过以下等式14执行量化大小缩放。
[0220]
[等式14]
[0221]fdq
＝level
×
qstep
[0222]
此处，level、q
step
、f
dq
可以分别指量化的特征值、量化大小、去量化的特征值。
[0223]
并且，对于去量化的特征值，可以通过以下等式15应用位深度裁剪。
[0224]
[等式15]
[0225]f′
dq
＝clip3(0，(1＜＜bitdepth)-1，f
dq
)
[0226]
随后，裁剪的特征值可以通过以下等式16进行均匀分布去归一化。
[0227]
[等式16]
[0228][0229]
此处，f、scale可以分别指重构的特征图值、特征图比例值。在这种情况下，比例可以从编码单元通过熵解码单元被传送。
[0230]
图22是用于描述通过作为本公开内容的实施方式的神经网络结构特征提取单元提取的神经网络结构的图。
[0231]
在本公开内容的实施方式中，神经网络结构特征提取单元可以是图6和图14中所描述的神经网络结构特征提取单元。如上所述，可以通过神经网络结构特征提取单元提取神经网络结构，并且提取的特征可以被用于特征图编码过程。
[0232]
作为实施方式，神经网络可以具有n层，并且当输入数据时，可以在不包括最后一层的所有层中生成特征图。在这种情况下，可以生成n-1个特征图或更少。每个层可以是不同的类型。此外，特定类型模式中的层可以被连续连接。例如，卷积层、偏移求和层和激活层可以被重复连接。此处，层的类型可以是卷积层、偏移求和层、采样层、批归一化层、激活层、求和层、池化层中的至少一个。
[0233]
图23是概念性地示出神经网络结构被用作神经网络结构特征提取单元的输入并通过作为本公开内容的实施方式的神经网络结构特征提取单元将神经网络结构输出的各种信息的示例的图。
[0234]
在该实施方式中，神经网络结构可以是上面图22中所描述的神经网络结构。神经网络结构特征提取单元可以是图6和图14中所描述的神经网络结构特征提取单元。对于输入神经网络结构，神经网络结构提取单元可以提取当前特征图被输出的第n层或当前特征图被输入的第n+1层的类型。
[0235]
并且，神经网络结构提取单元可以确认第n层的类型是否为批归一化层。当第n层的类型是批归一化层时，编码单元可以将用于批归一化的参数传送至量化层。可替选地，解码单元可以将批归一化参数传送至去量化器。
[0236]
神经网络结构提取单元可以确认n+1层的类型是否为求和层。当n+1层的类型是求和层时，关于n+1层的类型是否是求和层的信息可以被传送至量化单元或去量化单元。此外，可以将求和类型和用于要求和的层的顺序的层索引传送至量化单元。例如，求和层可以是加法层或级联层中的至少一个。
[0237]
在本公开内容的实施方式中，提出了通过用于神经网络的特征图的高效压缩的特征图分析对特征图进行自适应量化的方法和装置。更详细地，提出了确定用于高效的特征图压缩的特征图通道的重要性并根据重要性应用量化大小的方法和装置。
[0238]
神经网络的特征图、中间结果，可以指每个通道的不同特征。此外，每个特征也可能对通过神经网络预测的最终预测具有不同影响。因此，特征图的通道被分类成具有对最终预测有大影响的通道和具有小影响的通道，并且通过使用分类结果对每个通道自适应调整量化大小，以提高特征图压缩的编码效率。
[0239]
图24是示出对作为本公开内容的实施方式的神经网络的特征图进行编码的神经网络特征图编码单元的图。
[0240]
参照图24，神经网络特征图编码单元可以对从多神经网络生成的神经网络的特征图进行编码。作为示例，神经网络特征图编码单元可以包括特征图分类单元、量化单元、变换量化单元(或变换单元)、熵编码单元、神经网络结构特征提取单元、神经网络结构编码单元。作为示例，图24中所示的神经网络特征图编码单元的配置可以被实现成省略一些配置或还包括其他配置。在描述该实施方式时，省略了与图6中的描述重复的部分。
[0241]
多神经网络可以配置有多个神经网络，并且每个神经网络可以串联连接或并联连接。可替选地，对于一个数据，多神经网络结构中的一些神经网络结构可以串联连接，并且其他可以并联连接。在连续的神经网络连接中可以生成特征图、中间结果(或输出)。
[0242]
当神经网络串联连接时，可以生成一个特征图。以及，当神经网络并联连接时，可以生成一个或更多个特征图。多个特征图可以分别具有相同大小或不同大小。
[0243]
作为实施方式，多神经网络的至少一个特征图、结果(或中间结果)可以通过神经网络特征图编码单元被压缩，并被传送至解码单元或被存储在存储装置中。特征图分类单元可以对输入特征图进行分类，并将分类后的特征图传送至量化单元。并且，在特征图分类单元中生成的分类信息可以通过熵编码单元被传送至解码器。
[0244]
此处，分类信息可以是根据特征图的通道的分类索引、根据空间位置的分类索引、空间掩码的分类索引等。在特征图分类单元中分类的特征图可以被传送至量化单元。量化单元可以根据分类索引对输入分类特征图进行单独量化，并生成量化后的特征图。生成的量化特征图可以被传送至变换量化单元。
[0245]
变换量化单元可以执行变换量化(或变换)，以对传送的量化特征图进行编码。此处，变换量化中的量化可以指用于速率控制的量化。变换量化单元可以对每个分类索引重新配置特征图，以将其变换成二维数据，或者将形式变换成一维数据。可替选地，可以应用用于一般图像或视频编码的频域变换。用于变换成频域之后的速率控制的系数量化可以被传送至熵编码单元。
[0246]
图25是示出根据本公开内容的实施方式的特征图分类单元的图。
[0247]
参照图25，特征图可以具有(宽度h、高度w、通道c)的大小。这样的特征图可以由特征图分类单元分类成n个类别。特征图分类单元可以是上面图24中所描述的配置。此外，特征图分类单元可以以列表的形式存储并管理每个类的原始张量的通道索引。此外，通道索引信息可以通过熵编码单元被传送至解码器，以用于量化和去量化。
[0248]
作为实施方式，特征图分类单元可以通过使用将每个通道的特征图分类时的通道间相似性对特征图进行分类。由于大多数特征图在保持输入图像的空间和结构特征的同时提取特征值，可能存在每个通道的特征值的大小不同，但通道间的相似度性高的一组通道。
[0249]
因此，特征图分类单元可以通过使用基于深度学习的分类方法或基于机器学习的分类方法(诸如使用通道间相似性的k-means算法)对通道进行分类。在这种情况下，根据所使用的算法，分类的数目可以相等。可替选地，每个类别可以具有不同数目，并且在这种情况下，每个列表的数目信息可以被传送至解码器。
[0250]
图26是示出根据应用于本公开内容的实施方式的特征图分类单元的图。
[0251]
参照图26，可以通过对特定的空间区域进行分类将具有(宽度、高度、通道)的大小的特征图分类为某个类别。分类的位置信息可以通过熵编码以像类索引图一样的形式被传送至解码器。特征图分类单元可以在输入图像或视频中执行分类，将分类结果反映在特征上，并将分类结果应用于相同位置。
[0252]
此外，由于输入图像和特征图的空间分辨率可以不同，特征图分类单元可以通过重采样改变成相同分辨率反映分辨率差异。可替选地，特征图可以在具有特定大小的块的单元中被分类。当以块为单元进行分类时，块的划分信息、划分深度、类别索引等可以通过熵编码单元被传送至解码器。
[0253]
图27是示出根据应用于本公开内容的实施方式的特征图分类单元的图。
[0254]
参照图27，可以通过对特定的空间区域进行分类而将具有(宽度、高度、通道)的大小的特征图分类为某个类别。分类的位置信息可以通过熵编码以像类索引图一样的形式被传送至解码器。特征图分类单元可以在输入图像或视频中执行分类，将分类结果反映在特征上，并将分类结果应用于相同位置。
[0255]
特征图分类单元可以在空间上将特征图划分成块，并通过对每个块的类索引进行映射对特征图进行分类。对于块划分，可以将划分执行成4、2或3个部分。此外，还可以执行对角线划分，并且对角线划分的结果也可以被称为一个块。可替选地，可以以各种方向对特征图进行划分，包括将三维数据本身划分成8个部分、4个部分等。块划分可以被划分成多层。块的划分信息、划分深度、类别索引等可以通过熵编码单元被传送至解码器。
[0256]
图28是示出根据本公开内容的实施方式的特征图的量化流程图的图。
[0257]
参照图28所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，该实施方式可以在上面图24中所描述的神经网络特征图编码单元的量化单元中被执行。
[0258]
根据本公开内容的实施方式，量化单元可以根据确定结果来确定是否执行部分量化并执行完全量化或部分量化。作为示例，关于是否执行部分量化的确定可以是来自用户的输入。可替选地，量化单元可以根据神经网络的函数来确定是否执行部分量化。例如，当神经网络的函数具有对图像或视频进行划分的功能时，量化单元可以执行部分量化。可替选地，当神经网络的函数具有预测图像或视频中对象的位置的功能时，可以执行部分量化。
[0259]
可替选地，当神经网络的函数具有跟踪视频中的对象的功能时，可以执行部分量化。关于是否执行部分量化的信息可以通过熵编码单元被传送至解码器。可替选地，当关于神经网络的功能的信息被传送时，可以通过编码器和解码器中的神经网络功能信息分别作出确定。可替选地，可以根据神经网络的功能在编码器和解码器中预定义量化方法。
[0260]
图29是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
[0261]
参照图29所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，该实施方式可以在上面图24中所描述的神经网络特征图编码单元的量化单元中被执行。
[0262]
作为实施方式，量化单元可以确认是否执行通道量化。关于是否执行的信息可以是来自编码器用户的输入。可替选地，关于是否执行的信息可以由在更高的步骤中确定的信息来确定。此处，关于是否执行信道量化的信息可以通过熵编码单元被传送至解码器。
[0263]
作为实施方式，当执行通道量化时，可以执行通道特征提取。在通道特征提取步骤中，量化单元可以提取特征图的通道间特征。在这种情况下，通道间特征可以是通道中包括的值的平均值。可替选地，通道间特征可以是方差值。可替选地，通道间特征可以是通过其他神经网络提取的特征。可替选地，通道间特征可以是结构复杂性。提取的特征可以被传送至特征图通道分类步骤。
[0264]
作为实施方式，可以通过使用从特征图通道分类步骤传送的特征对通道进行分类。分类的类别的数目可以等于或小于现有特征图的通道的数目。在特征图通道分类步骤中，可以基于每个通道的特征的相似性对特征图通道进行分类。每个通道提取的至少一个特征可以被组合成一维向量，并且可以通过分类算法(诸如基于通道特征向量之间的相似性的k-means算法)被分类成k个类别。并且，分类的通道信息可以被传送至通道合并和划分步骤。
[0265]
在通道合并和划分步骤中，当一个类别中包括的通道的数目太小时，编码效率可能降低，因此至少一个类别可以与其他类合并以配置一个类别。可替选地，当一个类别中包括太多通道时，可以执行通道划分。
[0266]
每个类的最终配置的通道信息可以被传送至通道量化步骤。在通道量化步骤中，可以通过根据步骤中分类的类别应用不同量化方法来执行特征图量化。在这种情况下，不同量化方法可以表示量化步骤不同。可替选地，不同量化方法可以表示量化值的位深度不同。可替选地，不同量化方法可以表示不同非线性映射函数用于量化。当在确认是否执行通道量化的步骤中确定不执行通道量化时，可以确认是否执行区域量化。
[0267]
关于是否执行区域量化的信息可以是来自编码器用户的输入。可替选地，关于是否执行区域量化的信息可以由更高的步骤中确定的信息确定。此处，关于是否执行通道量化的信息可以通过熵编码单元被传送至解码器。
[0268]
当确定执行区域量化时，区域特征提取步骤可以被执行。当确定不执行区域量化时，可以针对块量化执行块特征提取步骤。在区域特征提取步骤中，量化单元可以从输入特征图中提取每个空间位置的特征，并将提取的特征传送至区域特征分类步骤。在区域特征分类步骤中，量化单元可以基于输入空间特征对区域进行分类。在这种情况下，分类后的区域可以被共享并在特征图的所有通道中被使用。并且，分类后的区域可以被传送至区域合并和划分步骤。
[0269]
作为实施方式，在区域合并和划分步骤中，可以基于类别的数目、区域的大小、宽
度或高度、像素的数目等对划分的区域执行合并和划分，并且可以确定最终区域。最终确定的区域可以被传送至区域量化步骤。此外，在区域量化步骤中，可以根据传送的分类区域应用不同量化方法。在块特征提取步骤中，可以从传送的特征图中以特定块大小为单元提取特征。在这种情况下，块可以指立方体、三维空间中的数据，并且可以被称为张量。换言之，块可以是通过将特征图划分成更小的单元而获得的单元数据。
[0270]
接下来，提取的特征可以被传送至块特征分类步骤。在块特征分类步骤中，量化单元可以通过使用传送的单位块的特征对块进行分类。可以通过使用分类的类别来执行将块合并和划分成具有不同宽度、高度和深度的块。此处，合并和划分的块的划分信息可以通过熵编码单元被传送至解码器。在这种情况下，划分信息可以分层存在，并且可以被划分成各种树结构诸如8个划分、4个划分、2个划分等。
[0271]
可替选地，合并和划分的块的类别信息可以通过熵编码单元以分类图的形式被传送至解码器。在这种情况下，分类图的值可以指类别的索引。以及，对于熵编码，量化单元可以使用当前块的周围块来对预测值与当前块之间的索引差进行编码，并将其传送至熵编码单元。
[0272]
最后，可以通过使用具有各种大小的块的单元中的类别信息来应用不同量化方法。此处，不同量化方法可以表示量化大小不同。可替选地，可以对每个类应用各种方法诸如偏移值、比例值、矢量量化、标量量化等。与每个类别的量化方法有关的信息可以通过熵编码单元被传送至解码器。
[0273]
图30是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
[0274]
参照图30所描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，该实施方式可以在上面图24中所描述的神经网络特征图编码单元的量化单元中被执行。上面在图28和图29中所描述的方法可以应用于该实施方式，并且相关的重复描述被省略。
[0275]
作为实施方式，量化单元可以对输入特征图进行分类，并使用分类后的特征图来提取关于量化方法的一个或更多个信息。此处，关于是否执行部分量化的信息可以被包括在提取的信息中。当不使用部分量化时，可以执行完全量化。否则，可以执行部分量化。部分量化有关的信息可以通过熵编码单元被传送至解码器。
[0276]
图31是示出根据本公开内容的实施方式的特征图的部分量化流程图的图。
[0277]
参照图31描述的这个实施方式可以是在量化单元中执行的过程的示例。例如，该实施方式可以在上面图24中所描述的神经网络特征图编码单元的量化单元中被执行。上面在图28至图30中所描述的方法可以应用于该实施方式，并且相关的重复描述被省略。
[0278]
作为实施方式，可以对输入特征图进行分类，并且分类后的特征图可以用于提取关于量化方法的一个或更多个信息。此处，关于是否执行通道量化的信息可以被包括在提取的信息中。当包括关于通道量化的信息时，每个通道的特征可以被另外包括。
[0279]
此外，关于是否执行区域量化的信息可以被包括在提取的信息中。在执行区域量化的情况下，关于空间区域的特征的信息可以被包括。量化单元可以通过使用区域的特征来执行区域合并和划分。
[0280]
此外，当不执行区域量化时，块的单元中的特征可以被包括，并且可以通过使用块的单元中的特征来执行块合并和划分。关于块划分的信息可以通过熵编码单元被传送至解码器。
[0281]
图32示出了根据本公开内容的实施方式的神经网络特征图解码单元的框图。
[0282]
参照图32，神经网络特征图解码单元可以对神经网络的特征图进行解码。作为示例，神经网络特征图解码单元可以包括熵解码单元、逆变换量化单元(或逆变换单元)、特征图划分单元、去量化单元。作为示例，图32中所示的神经网络特征图解码单元的配置可以被实现成省略一些配置或还包括其他配置。
[0283]
作为实施方式，神经网络特征图解码单元可以对从编码器传送的比特流进行解码，以生成重构的特征图。此处，神经网络可以是由编码器与解码器之间的约定使用的神经网络。可替选地，神经网络可以是通过编码器/解码器重构的神经网络的全部或一部分。
[0284]
熵解码单元可以对输入比特流进行解码，对变换量化的特征图进行重构，并将其传送至逆变换量化单元。此外，熵解码单元可以对特征图分类信息进行重构，并将其传送至逆变换量化单元和去量化单元。逆变换量化单元可以对变换量化的特征图进行去量化和逆变换，并将其传送至去量化单元。
[0285]
去量化单元可以通过从熵解码单元传送的分类信息根据分类执行单个去量化。量化的特征图最终可以被传送至神经网络。
[0286]
图33是示出根据本公开内容的实施方式的特征图的去量化流程图的图。
[0287]
参照图33所描述的这个实施方式可以是在去量化单元中执行的过程的示例。例如，该实施方式可以在上面图32中所描述的神经网络特征图解码单元的去量化单元中被执行。
[0288]
作为实施方式，去量化单元可以从熵解码器接收与传送的特征图和去量化方法有关的信息。在这种情况下，去量化相关的信息可以包括关于是否执行完全去量化的信息。此外，去量化相关的信息可以包括关于是否执行通道去量化的信息。在这种情况下，当包括关于是否执行通道去量化的信息时，去量化相关的信息可以另外包括另外与每个通道的特征图分类有关的信息，并且在这种情况下，去量化相关的信息可以包括与用于去量化的量化步骤、偏移等有关的信息。
[0289]
此外，去量化相关的信息可以包括关于是否执行区域去量化的信息。在这种情况下，当包括关于是否执行区域去量化的信息时，可以另外包括另外用于区域划分的信息。例如，去量化相关的信息可以通过熵解码器从编码单元以分类图的形式被传送。此外，与用于去量化的量化步骤、偏移等有关的信息可以被包括。
[0290]
首先，去量化单元可以确认是否执行完全去量化。当确定执行完全去量化时，完全去量化可以被执行。完全去量化可以针对所有特征图执行相同的去量化方法。在这种情况下，可以从熵解码器传送去量化所需的量化步骤、偏移、缩放值等。可替选地，可以根据从熵解码器传送的值来使用预定集合。
[0291]
在确定不执行完全去量化的情况下，去量化相关的信息可以确认是否执行通道去量化。当确定执行通道去量化时，特征图可以被传送至特征图通道划分步骤。在特征图通道分割步骤中，去量化单元可以通过传送的通道划分信息对通道进行划分，并将划分的特征图传送至通道去量化步骤。
[0292]
当确定不执行通道去量化时，去量化单元可以确认是否执行区域去量化。当确定执行区域去量化时，传送的特征图可以被传送至特征图区域划分步骤。在特征图区域划分步骤中，去量化单元可以通过使用传送的特征图和从熵编码单元传送的区域划分信息将特
征图划分成多个区域。并且，划分后的特征图可以被传送至区域去量化步骤。
[0293]
此外，在区域去量化步骤中，去量化单元可以对每个区域执行不同量化方法。当确定不执行区域去量化时，特征图块划分步骤可以被执行。在特征图块划分步骤中，去量化单元可以通过从熵解码单元传送的块划分信息将特征图划分成各种大小和形式，并接收每个块的类别信息，以根据类别应用量化方法。
[0294]
上面所描述的实施方式可以是本公开内容的部件和特征以预定形式的组合。除非另有明确说明，否则每个部件或特征应当被视为选择性的。每个部件或特征可以以不与其他部件或特征组合的形式来实现。此外，一些部件和/或特征可以被组合以配置本公开内容的实施方式。可以改变本公开内容的实施方式中所描述的操作的顺序。实施方式的一些配置或特征可以被包括在其他实施方式中，或者可以用与其他实施方式对应的配置或特征代替。明显的是，在权利要求的范围中没有明确引证关系的权利要求可以被组合以配置实施方式，或者可以在申请之后通过修改作为新的权利要求被包括。
[0295]
根据本公开内容的实施方式可以通过各种方式例如，硬件、固件、软件或其组合等来实现。对于通过硬件的实现方式，本公开内容的实施方式可以通过一个或更多个asic(专用集成电路)、dsp(数字信号处理器)、dspd(数字信号处理装置)、pld(可编程逻辑装置)、fpga(现场可编程门阵列)、处理器、控制器、微控制器、微处理器等来实现。
[0296]
此外，对于通过固件或软件的实现方式，本公开内容的实施方式可以以执行上述功能或操作的模块、程序、函数等的形式来实现，并且可以通过各种计算机装置记录在可读重新编码介质中。此处，记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。记录在记录介质中的程序指令可以是针对本公开内容特别设计和配置的程序指令，或者通过通知给计算机软件技术人员而可用的程序指令。例如，记录介质包括诸如硬盘、软盘和磁带的磁介质、诸如cd-rom(致密盘只读存储器)和dvd(数字视频盘)的光学介质、磁光介质(诸如软盘和专门配置成存储并执行程序指令的硬件装置诸如rom、ram、闪存等)。程序指令的示例可以包括由计算机通过使用解释器等执行的高级语言代码以及像由编译器制作的机器语言代码。这样的硬件装置可以被配置成作为至少一个软件模块来操作以执行本公开内容的操作，并且反之亦然。
[0297]
此外，根据本公开内容的装置或终端可以由命令驱动，该命令使至少一个处理器执行上述功能和过程。例如，这样的命令可以包括例如，像脚本命令(诸如javascript或ecmascript命令等)一样的解释命令，或可读或可执行代码的计算机可读介质中存储的其他命令。此外，根据本公开内容的装置可以以分布式的方式跨网络(诸如服务器群)来实现，或者可以在单个计算机装置中来实现。
[0298]
此外，根据本公开内容的装置附带的并执行根据本公开内容的方法的计算机程序(也被称为程序、软件、软件应用、脚本或代码)可以以包括编译或解释语言或先验或程序语言的编程语言的任何形式编写，并且可以以包括独立的程序、模块、部件或子例程或适合于在计算机环境中使用的其他单元的任何形式部署。计算机程序不一定对应于文件系统的文件。程序可以被存储在针对所请求的程序提供的单个文件中，或存储在多个交互文件中(例如，存储至少一个模块、子程序或代码的一部分的文件)，或存储在拥有其他程序或数据的文件的一部分(例如，标记语言文件中存储的至少一个脚本)中。计算机程序可以位于一个站点中或跨多个站点分布，并且可以被部署在一台计算机或通过通信网络互连的多台计算
机上执行。
[0299]
对本领域技术人员来说，明显的是，在不背离本公开内容的基本特征的情况下，本公开内容可以以其他具体形式来实现。因此，上述详细描述不应当在所有方面进行限制性地解释，而应当被视为说明性的。本公开内容的范围应当通过对所附权利要求的合理解释来确定，并且本公开内容的等同范围内的所有改变被包括在本公开内容的范围内。
[0300]
[工业可用性]。
[0301]
本公开内容可以用于基于神经网络的量化方法和装置。

技术特征：
1.一种基于神经网络的信号处理方法，所述方法包括：通过使用包括多个神经网络的多神经网络生成特征图；以及对所述特征图执行量化，其中，所述量化基于所述特征图的属性或所述多神经网络的结构来执行。2.根据权利要求1所述的方法，其中，所述特征图的所述属性包括所述特征图中的样本值的分布类型，以及其中，所述量化通过映射到所述分布类型的量化方法来执行。3.根据权利要求2所述的方法，其中，所述分布类型包括均匀分布、高斯分布或拉普拉斯分布中的至少一种。4.根据权利要求2所述的方法，其中，执行所述量化包括：通过映射到所述分布类型的归一化方法对所述特征图中的样本值执行归一化。5.根据权利要求1所述的方法，其中，所述多神经网络的结构包括所述多神经网络是否串联连接、所述多神经网络是否并联连接、所述多神经网络是否串联和并联连接或与生成所述特征图的当前层相邻的层的类型中的至少一个。6.根据权利要求5所述的方法，其中，所述量化通过映射到所述相邻的层的类型的量化方法来执行，以及其中，所述层的类型包括批归一化层或求和层中的至少一个。7.根据权利要求1所述的方法，其中，还包括将所述特征图分类成多个类别，以及其中，所述特征图的所述属性包括所述特征图的类别。8.根据权利要求7所述的方法，其中，所述特征图包括多个通道，以及其中，基于所述多个通道之间的相似性将所述特征图分类成包括至少一个通道的所述多个类别。9.根据权利要求7所述的方法，其中，基于输入图像的空间相似性对所述特征图进行空间分类。10.一种基于神经网络的信号处理装置，所述装置包括：处理器，所述处理器控制所述信号处理装置；以及存储器，所述存储器与所述处理器组合并存储数据，其中，所述处理器被配置成：通过使用包括多个神经网络的多神经网络来生成特征图，以及对所述特征图执行量化，其中，所述量化基于所述特征图的属性或所述多神经网络的结构来执行。

技术总结
根据本发明的基于神经网络的信号处理方法和装置借助于包括多个神经网络的多层神经网络生成特征图，并对特征图执行量化，量化基于多层神经网络的结构或特征图的属性来执行。于多层神经网络的结构或特征图的属性来执行。于多层神经网络的结构或特征图的属性来执行。


技术研发人员：安镕照 李锺石
受保护的技术使用者：英迪股份有限公司
技术研发日：2021.11.18
技术公布日：2023/9/13