抗入射信号误差的鲁棒性光学神经网络设计方法及装置

1.本技术涉及光学神经网络技术领域，特别涉及一种抗入射信号误差的鲁棒性光学神经网络设计方法及装置。


背景技术：

2.光具有物理空间最快的传播速度以及多维多尺度的优势，用光子代替电子，用光路代替电路，光学计算芯片具有高速、并行、低功耗等颠覆性优势。尤其随着人工智能算法的深度发展，光在介质中受限传播的物理过程在数学上的表达与深度神经网络算法具有高度的相似性，采用光学芯片实现神经网络计算有望突破传统电子芯片的能效瓶颈。
3.光学神经网络芯片的输入信号通常需要将电信号通过调制器、相移器等器件加载到光信号的幅度相位偏振等物理特性，信号的加载和转换过程中不可避免地会来误差，无法保证光学神经网络芯片在推理过程中得到与模型训练时一致的精准度。
4.相关技术通常在芯片制造完成后采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，但校准时间长难度大，每个芯片逐一校准的技术路线无法满足未来大规模量产的需求。


技术实现要素：

5.本技术提供一种抗入射信号误差的鲁棒性光学神经网络设计方法、装置、电子设备及存储介质，以解决相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。
6.本技术第一方面实施例提供一种抗入射信号误差的鲁棒性光学神经网络设计方法，包括以下步骤：获取电学输入信号加载与转换过程带来的入射信号误差；根据所述入射信号误差确定具有目标大小范围和概率分布的随机噪声，将所述随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；利用所述基于随机噪声的光学输入信号生成训练集，利用所述训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。
7.可选地，在本技术的一个实施例中，所述随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。
8.可选地，在本技术的一个实施例中，在得到具有抗入射信号误差的鲁棒性光学神经网络之后，还包括：根据所述具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于所述网络权重参数确定光学神经网络芯片的加工参数，利用所述加工参数加工所述光学神经网络芯片。
9.可选地，在本技术的一个实施例中，所述光学神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的任意一种。
10.本技术第二方面实施例提供一种抗入射信号误差的鲁棒性光学神经网络设计装置，包括：获取模块，用于获取电学输入信号加载与转换过程带来的入射信号误差；第一确
定模块，用于根据所述入射信号误差确定具有目标大小范围和概率分布的随机噪声，将所述随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；训练模块，用于基于所述基于随机噪声的光学输入信号生成训练集，利用所述训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。
11.可选地，在本技术的一个实施例中，所述随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。
12.可选地，在本技术的一个实施例中，还包括：第二确定模块，用于在得到具有抗入射信号误差的鲁棒性光学神经网络之后，根据所述具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于所述网络权重参数确定光学神经网络芯片的加工参数，利用所述加工参数加工所述光学神经网络芯片。
13.可选地，在本技术的一个实施例中，所述光学神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的任意一种。
14.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的抗入射信号误差的鲁棒性光学神经网络设计方法。
15.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的抗入射信号误差的鲁棒性光学神经网络设计方法。
16.由此，本技术至少具有如下有益效果：
17.本技术实施例可以通过电学输入信号加载与转换过程带来的入射信号误差确定随机噪声的目标大小范围和概率分布，在获取神经网络权重参数的训练过程中给训练集中输入光场信号加上适当的随机噪声，能够模拟信号加载和转换过程中带来的误差，通过在网络模型设计阶段就将信号加载误差加入到模型训练中，降低了信号加载和转换带来的性能影响，提高了光学神经网络芯片的鲁棒性。由此，解决了相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。
18.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
19.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
20.图1为根据本技术实施例提供的一种抗入射信号误差的鲁棒性光学神经网络设计方法的流程图；
21.图2为根据本技术实施例提供的不同训练方法之间训练效果对比示意图；
22.图3为根据本技术实施例提供的光学神经网络芯片计算推理流程示意图；
23.图4为根据本技术实施例提供的一种抗入射信号误差的鲁棒性光学神经网络设计装置的方框示意图；
24.图5为根据本技术实施例的电子设备的结构示意图。
具体实施方式
25.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
26.下面参考附图描述本技术实施例的抗入射信号误差的鲁棒性光学神经网络设计方法、装置、电子设备及存储介质。针对上述背景技术中提到的问题，本技术提供了一种抗入射信号误差的鲁棒性光学神经网络设计方法，在该方法中，通过电学输入信号加载与转换过程带来的入射信号误差确定随机噪声的目标大小范围和概率分布，在获取神经网络权重参数的训练过程中给训练集中输入光场信号加上适当的随机噪声，能够模拟信号加载和转换过程中带来的误差，通过在网络模型设计阶段就将信号加载误差加入到模型训练中，降低了信号加载和转换带来的性能影响，提高了光学神经网络芯片的鲁棒性。由此，解决了相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。
27.具体而言，图1为本技术实施例所提供的一种抗入射信号误差的鲁棒性光学神经网络设计方法的流程示意图。
28.如图1所示，该抗入射信号误差的鲁棒性光学神经网络设计方法包括以下步骤：
29.在步骤s101中，获取电学输入信号加载与转换过程带来的入射信号误差。
30.可以理解的是，光学神经网络芯片的输入信号的加载和转换过程会存在误差，无法保证光学神经网络芯片在推理过程中得到与模型训练时一致的精准度，本技术实施例通过获取电学输入信号加载与转换过程带来的入射信号误差，在网络模型设计阶段就将信号加载误差加入到模型训练中，以降低信号加载和转换带来的性能影响。
31.在步骤s102中，根据入射信号误差确定具有目标大小范围和概率分布的随机噪声，将随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号。
32.在本技术的一个实施例中，随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差，可以为相位、幅度等，不做具体限定。
33.可以理解的是，本技术实施例的随机噪声能够模拟信号加载和转换过程中带来的误差，从而消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。
34.在步骤s103中，利用基于随机噪声的光学输入信号生成训练集，利用训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。
35.光学神经网络在设计过程中需要通过训练得到光学网络结构的参数，如图2所示，传统方法训练集是按照理想情况下的输入光场分布进行训练，得到该训练集下满足精度要求的神经网络模型。而本技术实施例是将光学神经网络模型的训练集输入光场加上随机噪声，随机噪声的大小范围和概率分布由信号加载和转换过程带来的误差确定。基于改进后的训练集，得到相应的满足精度要求的神经网络模型。
36.综上，本技术实施例在基于网络模型完成芯片加工进行推理计算的一般工作流程如图3所示，本技术实施例提前在网络模型训练阶段给输入信号加上随机噪声进行训练得到优化的光学神经网络模型，能够消除信号转换和加载部分引入的随机误差对在光学神经网络芯片在推理计算过程中准确率的影响，通过网络模型设计与训练实现了光学神经网络
鲁棒性的提升。
37.需要说明的是，本技术实施例的光学神经网络鲁棒性增强的训练方法适用于不同的神经网络实现方式，包括但不限于衍射神经网络、干涉神经网络、散射神经网络。
38.可选地，在本技术的一个实施例中，在得到具有抗入射信号误差的鲁棒性光学神经网络之后，还包括：根据具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于网络权重参数确定光学神经网络芯片的加工参数，利用加工参数加工光学神经网络芯片。
39.本技术实施例的具有抗入射信号误差的鲁棒性光学神经网络可以保证光学神经网络芯片在推理过程中得到与模型训练时一致的精准度，通过具有抗入射信号误差的鲁棒性光学神经网络确定光学神经网络芯片的加工参数，以实现对光学神经网络芯片的加工，可以使得光学神经网络芯片在实际运算的过程中鲁棒性大幅提升。
40.根据本技术实施例提出的抗入射信号误差的鲁棒性光学神经网络设计方法，通过电学输入信号加载与转换过程带来的入射信号误差确定随机噪声的目标大小范围和概率分布，在获取神经网络权重参数的训练过程中给训练集中输入光场信号加上适当的随机噪声，能够模拟信号加载和转换过程中带来的误差，通过在网络模型设计阶段就将信号加载误差加入到模型训练中，降低了信号加载和转换带来的性能影响，提高了光学神经网络芯片的鲁棒性。由此，解决了相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。
41.其次参照附图描述根据本技术实施例提出的一种抗入射信号误差的鲁棒性光学神经网络设计装置。
42.图4是本技术实施例的一种抗入射信号误差的鲁棒性光学神经网络设计装置的方框示意图。
43.如图4所示，该抗入射信号误差的鲁棒性光学神经网络设计装置10包括：获取模块100、第一确定模块200和训练模块300。
44.其中，获取模块100用于获取电学输入信号加载与转换过程带来的入射信号误差；第一确定模块200用于根据入射信号误差确定具有目标大小范围和概率分布的随机噪声，将随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；训练模块300用于利用基于随机噪声的光学输入信号生成训练集，利用训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。
45.在本技术的一个实施例中，随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。
46.在本技术的一个实施例中，本技术实施例的装置10还包括：第二确定模块。
47.其中，第二确定模块用于在得到具有抗入射信号误差的鲁棒性光学神经网络之后，根据具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于网络权重参数确定光学神经网络芯片的加工参数，利用加工参数加工光学神经网络芯片。
48.在本技术的一个实施例中，光学神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的任意一种。
49.需要说明的是，前述对抗入射信号误差的鲁棒性光学神经网络设计方法实施例的解释说明也适用于该实施例的抗入射信号误差的鲁棒性光学神经网络设计装置，此处不再
赘述。
50.根据本技术实施例提出的抗入射信号误差的鲁棒性光学神经网络设计装置，通过电学输入信号加载与转换过程带来的入射信号误差确定随机噪声的目标大小范围和概率分布，在获取神经网络权重参数的训练过程中给训练集中输入光场信号加上适当的随机噪声，能够模拟信号加载和转换过程中带来的误差，通过在网络模型设计阶段就将信号加载误差加入到模型训练中，降低了信号加载和转换带来的性能影响，提高了光学神经网络芯片的鲁棒性。由此，解决了相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。
51.图5为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
52.存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。
53.处理器502执行程序时实现上述实施例中提供的抗入射信号误差的鲁棒性光学神经网络设计方法。
54.进一步地，电子设备还包括：
55.通信接口503，用于存储器501和处理器502之间的通信。
56.存储器501，用于存放可在处理器502上运行的计算机程序。
57.存储器501可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
58.如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
59.可选的，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。
60.处理器502可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
61.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的抗入射信号误差的鲁棒性光学神经网络设计方法。
62.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
63.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性
或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
64.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
65.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
66.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
67.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种抗入射信号误差的鲁棒性光学神经网络设计方法，其特征在于，包括以下步骤：获取电学输入信号加载与转换过程带来的入射信号误差；根据所述入射信号误差确定具有目标大小范围和概率分布的随机噪声，将所述随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；利用所述基于随机噪声的光学输入信号生成训练集，利用所述训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。2.根据权利要求1所述的方法，其特征在于，所述随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。3.根据权利要求1所述的方法，其特征在于，在得到具有抗入射信号误差的鲁棒性光学神经网络之后，还包括：根据所述具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于所述网络权重参数确定光学神经网络芯片的加工参数，利用所述加工参数加工所述光学神经网络芯片。4.根据权利要求1-3任意一项所述的方法，其特征在于，所述光学神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的任意一种。5.一种抗入射信号误差的鲁棒性光学神经网络设计装置，其特征在于，包括：获取模块，用于获取电学输入信号加载与转换过程带来的入射信号误差；第一确定模块，用于根据所述入射信号误差确定具有目标大小范围和概率分布的随机噪声，将所述随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；训练模块，用于基于所述基于随机噪声的光学输入信号生成训练集，利用所述训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。6.根据权利要求5所述的装置，其特征在于，所述随机噪声为光的一种或多种物理特性的组合模型，用于消除光学神经网络芯片计算推理过程中因信号转换和加载带来的误差。7.根据权利要求5所述的装置，其特征在于，还包括：第二确定模块，用于在得到具有抗入射信号误差的鲁棒性光学神经网络之后，根据所述具有抗入射信号误差的鲁棒性光学神经网络确定网络权重参数；基于所述网络权重参数确定光学神经网络芯片的加工参数，利用所述加工参数加工所述光学神经网络芯片。8.根据权利要求5-7任意一项所述的装置，其特征在于，所述光学神经网络包括衍射神经网络、干涉神经网络和散射神经网络中的任意一种。9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-4任一项所述的抗入射信号误差的鲁棒性光学神经网络设计方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-4任一项所述的抗入射信号误差的鲁棒性光学神经网络设计方法。

技术总结
本申请涉及光学神经网络技术领域，特别涉及一种抗入射信号误差的鲁棒性光学神经网络设计方法及装置，其中，方法包括：获取电学输入信号加载与转换过程带来的入射信号误差；根据入射信号误差确定具有目标大小范围和概率分布的随机噪声，将随机噪声叠加到原始光学输入信号上得到基于随机噪声的光学输入信号；利用基于随机噪声的光学输入信号生成训练集，利用训练集训练光学神经网络，直到训练结束，得到具有抗入射信号误差的鲁棒性光学神经网络。由此，解决了相关技术在采用外围光路和电路并结合误差校准算法对光的相位和幅度等误差进行补偿，存在校准时间长，难度大等问题。难度大等问题。难度大等问题。


技术研发人员：邓辰辰 郑纪元 郭雨晨 方璐 范静涛 吴嘉敏 戴琼海
受保护的技术使用者：清华大学
技术研发日：2023.03.29
技术公布日：2023/8/4