用于神经网络均衡器的迭代剪枝快速迁移学习方法及装置

1.本发明涉及光通信技术领域，尤其是指一种用于神经网络均衡器的迭代剪枝快速迁移学习方法及装置。


背景技术：

2.随着5g移动通信、物联网、虚拟现实、自动驾驶和工业互联网等关键应用的到来，云计算和边缘计算快速增长，导致互联网中数据流量呈指数型增长。为了支撑数据流量的持续快速增长，光通信系统的容量也面临着巨大的压力。传统的光通信系统在承载大量数据流量时，往往会面临带宽瓶颈、网络拥塞等问题，限制了数据的传输速度和质量。因此，为了满足用户对于高速、可靠、低延迟数据传输的需求，光通信系统必须不断升级其容量和性能。大容量的需求给光通信系统带来更为严重的非线性失真。为了缓解非线性失真，基于数字信号处理(digital signal processing，dsp)的非线性均衡器由于具有灵活、适应性强等优点被广泛应用于各个通信系统。但是，传统的非线性均衡器的性能不足以满足大容量光通信系统的需求。近年来，基于神经网络的均衡器(neural network equalizer，nne)应运而生，其性能可以满足大容量的需求。但是链路场景的变化会导致nne性能下降，需要重新训练nne来适应新的链路。因此，研究快速收敛、低复杂度的高效nne对于大容量光通信系统有着非常重要的意义。
3.迁移学习能够识别并应用在之前任务中学习到的知识到目标任务中，其在一定程度上相对于不使用迁移学习技术的神经网络来说，训练时间变少，所需要的数据也变少。但是传统迁移学习的重点是减少在目标任务上的训练时间，忽略了神经网络中有许多冗余的连接，这些冗余连接既增加了复杂度又使得网络在训练时难以收敛，致使网络收敛速度变慢。


技术实现要素：

4.为此，本发明所要解决的技术问题在于克服现有技术存在的技术缺陷，而提出一种用于神经网络均衡器的迭代剪枝快速迁移学习方法及装置，其能够有效加快神经网络均衡器的收敛速度，降低神经网络复杂度，从而提供快速收敛、低复杂度的高效神经网络均衡器来适应大容量光通信系统。
5.为解决上述技术问题，本发明提供了一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其应用于光传输系统，所述光传输系统包括源链路和目标链路，方法包括：
6.在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为均衡器的输出，x为均衡器的输入，w为均衡器的权重矩阵；
7.使用源链路上接收到的信号xs训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；
8.将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；
9.对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。
10.在本发明的一个实施例中，所述源链路上接收到的信号xs经过调制处理、滤波处理、数模转换处理、模数转换处理以及匹配滤波处理。
11.在本发明的一个实施例中，在每次神经网络均衡器更新之后，按照预设的剪枝阈值对权重矩阵w内的每一个权重参数w进行更新。
12.在本发明的一个实施例中，使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新。
13.在本发明的一个实施例中，所述剪枝判别函数为：
[0014][0015]
其中，w为权重参数，t为剪枝阈值。
[0016]
此外，本发明还提供一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其应用于光传输系统，所述光传输系统包括源链路和目标链路，其特征在于：装置包括：
[0017]
链路部署模块，其用于在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为均衡器的输出，x为均衡器的输入，w为均衡器的权重矩阵；
[0018]
源链路均衡器训练模块，其用于使用源链路上接收到的信号xs训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；
[0019]
参数迁移模块，其用于将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；
[0020]
迭代剪枝模块，其用于对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。
[0021]
在本发明的一个实施例中，所述链路部署模块还用于在所述源链路和目标链路上部署调制器、滤波器、数模转换器、模数转换器以及匹配滤波器，所述源链路上接收到的信号xs依次经过调制器、滤波器、数模转换器、模数转换器以及匹配滤波器。
[0022]
在本发明的一个实施例中，所述迭代剪枝模块还用于在每次神经网络均衡器更新之后，按照预设的剪枝阈值对权重矩阵w内的每一个权重参数w进行更新。
[0023]
在本发明的一个实施例中，所述迭代剪枝模块还用于使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新。
[0024]
在本发明的一个实施例中，所述剪枝判别函数为：
[0025][0026]
其中，w为权重参数，t为剪枝阈值。
[0027]
本发明的上述技术方案相比现有技术具有以下优点：
[0028]
本发明所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法及装置，其通过剪枝技术能够使网络规模变小，将冗余连接去除，使网络的剩余连接都是重要的，促使
网络更新的方向正确且迅速，能够有效加快神经网络均衡器的收敛速度，降低神经网络复杂度，从而提供快速收敛、低复杂度的高效神经网络均衡器来适应大容量光通信系统。
附图说明
[0029]
为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中
[0030]
图1是本发明实施例提出的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法的流程示意图。
[0031]
图2是本发明光传输系统的框图。
具体实施方式
[0032]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。
[0033]
参照图1和图2所示，本发明实施例提供一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其应用于光传输系统，所述光传输系统包括源链路和目标链路，方法包括以下步骤：
[0034]
步骤s1：在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为神经网络均衡器的输出，x为神经网络均衡器的输入，w为神经网络均衡器的权重矩阵；
[0035]
步骤s2：使用源链路上接收到的信号xs训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；
[0036]
步骤s3：将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；
[0037]
步骤s4：对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。
[0038]
其中，在步骤s2中，所述源链路上接收到的信号xs经过调制处理、滤波处理、数模转换处理、模数转换处理以及匹配滤波处理。具体地，在数字域上产生数字调制信号；将调制之后的信号滤波，以使信号边沿平缓；将数字信号转换成模拟信号后经过光纤信道；将接收到的光信号转换成数字信号；将接收到的数字信号做接收端相同的滤波匹配，然后输入神经网络均衡器。
[0039]
其中，在步骤s2中，神经网络均衡器训练是不停的给神经网络均衡器输入x，得到输出值y，将输出值y和真实的y做比较，并通过比较的结果不断的更新w，来使神经网络均衡器趋于稳定，即收敛。
[0040]
其中，在步骤s4中，在每次神经网络均衡器更新之后，按照预设的剪枝阈值，使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新，其中，所述剪枝判别函数为：
[0041][0042]
其中，w为权重参数，t为剪枝阈值。
[0043]
本发明所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其通过剪枝技术能够使网络规模变小，将冗余连接去除，使网络的剩余连接都是重要的，促使网络更新的方向正确且迅速，能够有效加快神经网络均衡器的收敛速度，降低神经网络复杂度，从而提供快速收敛、低复杂度的高效神经网络均衡器来适应大容量光通信系统。
[0044]
下面对本发明实施例公开的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置进行介绍，下文描述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置与上文描述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法可相互对应参照。
[0045]
本发明还提供一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其应用于光传输系统，所述光传输系统包括源链路和目标链路，装置包括：
[0046]
链路部署模块，其用于在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为均衡器的输出，x为均衡器的输入，w为均衡器的权重矩阵；
[0047]
源链路均衡器训练模块，其用于使用源链路上接收到的信号xs训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；
[0048]
参数迁移模块，其用于将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；
[0049]
迭代剪枝模块，其用于对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。
[0050]
在本发明的一个实施例中，所述链路部署模块还用于在所述源链路和目标链路上部署调制器、滤波器、数模转换器、模数转换器以及匹配滤波器，所述源链路上接收到的信号xs依次经过调制器、滤波器、数模转换器、模数转换器以及匹配滤波器。
[0051]
在本发明的一个实施例中，所述迭代剪枝模块还用于在每次神经网络均衡器更新之后，按照预设的剪枝阈值对权重矩阵w内的每一个权重参数w进行更新。
[0052]
在本发明的一个实施例中，所述迭代剪枝模块还用于使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新。
[0053]
在本发明的一个实施例中，所述剪枝判别函数为：
[0054][0055]
其中，w为权重参数，t为剪枝阈值。
[0056]
本发明所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其通过剪枝技术能够使网络规模变小，将冗余连接去除，使网络的剩余连接都是重要的，促使网络更新的方向正确且迅速，能够有效加快神经网络均衡器的收敛速度，降低神经网络复杂度，从而提供快速收敛、低复杂度的高效神经网络均衡器来适应大容量光通信系统。
[0057]
本实施例的用于神经网络均衡器的迭代剪枝快速迁移学习装置用于实现前述的用于神经网络均衡器的迭代剪枝快速迁移学习方法，因此该装置的具体实施方式可见前文中的用于神经网络均衡器的迭代剪枝快速迁移学习方法的实施例部分，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
[0058]
另外，由于本实施例的用于神经网络均衡器的迭代剪枝快速迁移学习装置用于实
现前述的用于神经网络均衡器的迭代剪枝快速迁移学习方法，因此其作用与上述方法的作用相对应，这里不再赘述。
[0059]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0060]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0061]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0062]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0063]
显然，上述实施例仅仅是为清楚地说明所作的举例，并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

技术特征：
1.一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其应用于光传输系统，所述光传输系统包括源链路和目标链路，其特征在于：方法包括：在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为均衡器的输出，x为均衡器的输入，w为均衡器的权重矩阵；使用源链路上接收到的信号x
s
训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。2.根据权利要求1所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其特征在于：所述源链路上接收到的信号x
s
经过调制处理、滤波处理、数模转换处理、模数转换处理以及匹配滤波处理。3.根据权利要求1或2所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其特征在于：在每次神经网络均衡器更新之后，按照预设的剪枝阈值对权重矩阵w内的每一个权重参数w进行更新。4.根据权利要求3所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其特征在于：使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新。5.根据权利要求4所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习方法，其特征在于：所述剪枝判别函数为：其中，w为权重参数，t为剪枝阈值。6.一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其应用于光传输系统，所述光传输系统包括源链路和目标链路，其特征在于：装置包括：链路部署模块，其用于在所述源链路和目标链路上分别部署神经网络均衡器，定义神经网络均衡器为y＝f(x，w)，其中，y为均衡器的输出，x为均衡器的输入，w为均衡器的权重矩阵；源链路均衡器训练模块，其用于使用源链路上接收到的信号x
s
训练部署于所述源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；参数迁移模块，其用于将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；迭代剪枝模块，其用于对部署于所述目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵w内的每一个权重参数w进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定，其中，w∈w。7.根据权利要求6所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其特征在于：所述链路部署模块还用于在所述源链路和目标链路上部署调制器、滤波器、数模转换器、模数转换器以及匹配滤波器，所述源链路上接收到的信号x
s
依次经过调制器、滤波
器、数模转换器、模数转换器以及匹配滤波器。8.根据权利要求6或7所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其特征在于：所述迭代剪枝模块还用于在每次神经网络均衡器更新之后，按照预设的剪枝阈值对权重矩阵w内的每一个权重参数w进行更新。9.根据权利要求8所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其特征在于：所述迭代剪枝模块还用于使用剪枝判别函数对权重矩阵w内的每一个权重参数w进行更新。10.根据权利要求9所述的一种用于神经网络均衡器的迭代剪枝快速迁移学习装置，其特征在于：所述剪枝判别函数为：其中，w为权重参数，t为剪枝阈值。

技术总结
本发明涉及一种用于神经网络均衡器的迭代剪枝快速迁移学习方法及装置，方法包括在源链路和目标链路上分别部署神经网络均衡器；使用源链路上接收到的信号训练部署于源链路上的神经网络均衡器，得到趋于稳定的神经网络均衡器；将源链路上的趋于稳定的神经网络均衡器的参数迁移到目标链路上的神经网络均衡器中；对部署于目标链路上的迁移后的神经网络均衡器进行训练，训练时，在每次神经网络均衡器更新之后，对权重矩阵内的每一个权重参数进行更新，直至目标链路上的神经网络均衡器的各个参数趋于稳定。本发明能够有效加快神经网络均衡器的收敛速度，降低神经网络复杂度，从而提供快速收敛、低复杂度的高效神经网络均衡器来适应大容量光通信系统。应大容量光通信系统。应大容量光通信系统。


技术研发人员：孙林 刘宁 肖家旺
受保护的技术使用者：苏州大学
技术研发日：2023.05.24
技术公布日：2023/9/6