利用振荡神经网络的特征识别的制作方法

利用振荡神经网络的特征识别


背景技术：

1.本发明一般涉及神经网络和神经网络设备，并且更具体地，涉及用于使得能够高效使用振荡神经网络进行特征识别的电子电路。
2.持续的数据增长是企业it(信息技术)的发展趋势之一。为了生成有意义的结果，企业it组织通过持续地更好的分析，积极地越来越密集地使用无论如何可用的和新收集的数据。然而，经典的数据分析技术可能不再足以分析大量的非结构化(或半结构化)数据。随着超高速网络、更多网络和互联网连接设备的激增，世界正在生成需要以快速、高效和“智能”方式处理的呈指数级增长的数据量。


技术实现要素：

3.根据一些实施例，可以提供一种用于使得能够高效地使用振荡神经网络进行特征识别的电子电路。该电子电路包括耦合的压控振荡器的网络以及有源输出电路，在该网络中，该压控振荡器中的每一个压控振荡器被适配为接收边沿输入信号，该边沿输入信号根据分配给该压控振荡器中的相应一个压控振荡器的模拟输入信号的信号强度而相移该压控振荡器的周期长度的一部分。该有源输出电路包括连接到该压控振荡器中的所选择的压控振荡器的输入端子、用于将输入端子处存在的输入信号相加的加法器部分以及非线性放大器，该非线性放大器的输入线连接到加法器部分的输出线，由此高效地使用振荡神经网络。
4.根据某些实施方式，可以提供包括多个如上所述的电子电路的神经网络设备。
5.所提出的用于使得能够高效地使用振荡神经网络进行特征识别的电子电路可以提供多个优点、技术效果、贡献和/或改进。
6.所提出的概念的有益特征之一是可以在模拟振荡神经网络的相同滤波器单元内实现多个特征提取功能，该有益特征传统上通常使用数字神经网络来实现。所提出的神经网络的层可以以直接方式级联，以便在分级结构中应用多个滤波器。然而，同样在这种设计中，每个层可以在一个步骤中识别多个特征。
7.使用或多或少直接方式的振荡神经网络，有源输出电路可以高效地使用振荡神经网络的结果。有源输出电路(一个或多个)被适配有非常有限数量的模拟电子组件，以确定给定输入矩阵中的预定义模式。此外，有源输出电路在组件方面相当轻便。
8.因此，这里提出的概念支持使用模拟ai(人工智能)核心的工业策略，从而允许任何种类的极快的模式识别。另外，与传统的替代数字操作硬件加速器相比，模拟电路可以能够实现非常低的功耗。在信号的相位中编码例如数字图像的颜色通道的信息可以允许非常低电压的操作。
9.此外，所提出的实施例还可以允许使用电阻式存储器，该电阻式存储器可以用作突触权重。此外，可以使用hebbian学习算法来容易地离线训练振荡神经网络。
10.此外，由于其功能，有源输出电路还可以充当大多数输出同相信号的门，该门的大多数输入信号具有不同的相位。
11.根据实施例，电子电路还可以包括多个有源输出电路，其中多个有源输出电路中的每一个的输入端子可以连接到振荡器的组，其中每个组可以表示所接收的输入信号的不同的预定义模式。因此，如果矩阵输入信号的相同元素总是被馈送到相同的振荡器，则振荡器的每个组合(即，每组振荡器)可以表示特定的模式。
12.根据电子电路的另一实施方式，当被相移地激活时，所选择的振荡器表示接收到的输入信号的预定义模式。在3
×
3输入矩阵中，多个不同模式可以以这种方式被识别(例如，下降对角线、中间水平线、轮廓的上升管芯、垂直中线和/或l形模式、或单点模式)。使用振荡神经网络，可以使用模式特定的有源输出电路来确定每个不同的模式。应当理解，所提及的模式仅是示例，并且其它模式是可确定的(例如，拐角或边沿模式)。
13.根据实施例，电子电路可以被适配为处理一个颜色通道的信号。因此，通过实现与颜色通道一样多的电子电路并且并行地操作它们，所有颜色通道的信息可以一起处理。这也可以独立于所使用的颜色模型和并行颜色通道的数量。
14.根据实施例，电子电路可以表示串联连接的多个电子电路，其中，电子电路中的每一个表示预定义滤波器。因此，电子电路之一的输出可用作由下一个电子电路表示的下一层的输入。因此，级联滤波器可以在更深的神经网络中实现。因此，深度神经网络可能不再是限于传统人工神经网络的域。
15.根据电子电路的优选实施例，有源输出电路的加法器部分的每个输入端子可以分别经由单独的电阻器连接到线性放大器的输入。因此，它们可以具有例如全部相同的电阻值，使得输入信号(也将输入信号的相位彼此反映)可以以直接的方式相加。
16.根据电子电路的实施例，非线性放大器可以是差分运算放大器(即，电压反馈opamp)。它可以具有半导体二极管和在其反馈回路中的正向方向。有源输出电路的该第二部件可以被解释为表示传统神经网络核心的sigmoid或relu函数。
17.根据电子电路的实施例，网络中的每个振荡器可以经由电阻器/电容器耦合电路连接到每个其它振荡器。因此，可以实现全连接的网络。然而，可替换地，网络不需要完全连接。所提出的概念也可以与不同振荡器之间的更有限的连接一起工作。
18.根据电子电路的另一实施例，周期的一部分(特别是针对“0”和“1”输入信号的经时移的信号)可以是振荡器的振荡频率的周期的一半。因此，可以假设所有振荡器基本上以相同的频率振荡。已经证明如果与每个振荡器的周期相比，周期的部分至少大于120
°
是有用的。有利地，该部分可以是180
°
。使用“0”和“1”信号之间的这种相移(或时移)可以显示出最佳效果，从而可以以非常高的可靠性执行特定模式的可检测性。
19.根据电子电路的实施例，有源输出电路可以集成到半导体单元中。此外，多个有源输出电路可以集成到一个半导体器件中。例如，给定输入矩阵的所有可能的模式所需的所有有源输出电路可以集成到一个半导体器件中。此外，振荡神经网络也可以集成在相同的半导体器件内。在甚至增强的实施例中，所有颜色通道所需的完整电子器件(即，多个onn以及相关的有源输出电路)可以集成到单个集成单元(即，单个专用半导体管芯)中，并且因此作为高性能模拟神经网络芯片。
20.根据电子电路的实施例，有源输出电路的非线性放大器的输出的相移可以与接收到的比特输入信号的大部分对准。也就是说，如果接收到更多的“0”，则电子电路的输出处的相位可以与接收到的“0”的相位一致。如果接收到更多的“1”，则电子电路的输出处的相
位可以与接收到的“1”的相位一致。因此，可以实现后续层的不同阶段之间的容易的同步。例如，在3
×
3矩阵示例中，如果5个子方格是黑色的(例如，对应于逻辑“1”)，则所提出的电子电路的输出信号的相位可以与“1”的相位对准，反之亦然。
21.根据实施例，边沿输入信号可以根据从模拟输入信号的信号强度导出的移位时间从逻辑“0”改变到逻辑“1”。因此，如果准模拟灰度值被测量，则该准模拟值不被直接用作相应振荡器的输入值，而是可以首先将其传递到时移单元(或相移单元)，该时移单元被适配为生成用于该单元的数字输出信号的时移，其中，时移值对应于准模拟灰度。因此，根据某些实施例，边沿输入信号可以根据从模拟输入信号的信号强度导出的移位时间从逻辑“0”改变到逻辑“1”。
22.根据实施例，每一个振荡器可以以相同的频率振荡。这可以使多个振荡器和实现反馈回路的网络组件之间的依赖性成为用于仿真(并且实际上也是)的可控数学问题，而不是难以作为振荡神经网络训练的难以管理的复杂的依赖性集合。
23.上述发明内容并非旨在描述本公开的每个所示实施例或每种实施方式。
附图说明
24.本技术中包括的附图被并入说明书中并形成说明书的一部分。它们示出了本公开的实施例，并且与说明书一起解释了本公开的原理。附图仅说明某些实施例，而不限制本公开。
25.应当注意，参考不同的主题描述了实施例。特别地，一些实施例是参考方法类型权利要求来描述的，而其它实施例是参考装置类型权利要求来描述的。然而，本领域技术人员将从以上和以下描述中了解到，除非另外指出，除了属于一种类型的主题的特征的任何组合之外，与不同主题相关的特征之间的任何组合，特别是方法类型权利要求的特征与装置类型权利要求的特征之间的任何组合，也被认为是在本文件内公开的。
26.从下文描述的示例中，以上定义的方面以及本实施例的其它方面是显而易见的，并且将参考实施例的示例进行解释，但是这些示例不应被解释为限制性的。
27.图1示出了用于使得能够高效地使用振荡神经网络进行特征识别的电子电路的实施例的框图。
28.图2涉及在其中可以使用根据图1的电子电路的所提出的系统的技术背景。
29.图3a示出了数字模式的示例。
30.图3b示出了更复杂的数字模式的示例。
31.图4示出具有耦合的压控振荡器的3
×
3网络的实施例的电气布线图。
32.图5示出了有源输出电路的实施例。
33.图6示出了电子电路的时间相关输出信号以及作为下降对角线的一个采样的参考信号。
34.图7示出了来自mnist数据库的输入图像和所得到的边沿检测图像的结果。
35.图8示出了利用根据图1的电子电路或用于多于1个颜色通道的相关设备作为用于处理图像数据的协处理器的计算系统。
具体实施方式
36.科学和企业it组织越来越多地使用人工智能(ai)技术来更好地理解大量数据并从中生成价值。然而，传统的van-neumann计算架构可能不再足以处理不断增长的数据量、数据移动和相关计算需求。
37.特别地，ai方法和技术可能需要对输入数据进行许多数学运算，例如，以矩阵-矩阵乘法的形式，其经常用于例如频域中的图像识别/分类、自主导航以及音频分析。这种数据越来越多地(与语音数据、其它声音数据以及以文本文档或文本和图像的混合的形式输入一起)属于传统数据中心以及云数据中心中的输入数据流。结果是持续需要处理持续呈指数级增长的数据量和不断增加的处理速度，消耗越来越多的电力。
38.然而，使用传统神经网络形式的ai系统也并不总是足够的，因为基于利用数字形式的权重值的仿真的数字数据处理的经典神经系统可以更好地被看作模拟值，并且它们可能仍然需要太多的计算能力。这可能主要是因为大量的矩阵/向量乘法，其可能需要太多的电功率。这在iot(物联网)环境中可能成为问题，在iot环境中，可以执行输入数据(例如，作为来自相机的图像)的预处理，而不是首先将数据传送到中央位置，然后集中处理所测量的数据。
39.因此，可能希望实现低功率、高速数据处理设备，其可以作为例如传统计算系统的协处理器来操作，这可能需要比传统计算架构少得多的功率。
40.某些方法已经尝试使用电子模拟技术以便成功地解决功率方面。为此，振荡神经网络(onn)已经被用作采用耦合的振荡器的网络的人工神经网络。由此，振荡器可以对应于神经网络的神经元(使用生物脑模型作为参考)，并且新神经元对(即，振荡器对)之间的突触权重可以由振荡器之间的耦合的形式和强度来仿真。通过处理网络中的训练样本并调整网络权重矩阵，这种网络可以被训练以执行相关任务，例如，图像分类和/或语音识别，从而网络“学习”或检索要检测的特定相关性。对于onn，已经提出了很少的硬件实现。这些网络通常依赖于权重矩阵的例如经由hebbian学习算法进行的数学预训练。
41.某些所提出的技术仍然缺乏对振荡神经网络和神经网络的不同层之间的耦合的有效使用。因此，需要核心振荡神经网络的更好的输出信号处理。
42.在本说明书的上下文中，可以使用以下惯例、术语和/或表达：
43.术语“电子电路”可以表示包括电子和电气组件和/或选择性地电连接的器件的电路，使得电势可以沿着所使用的导线传播和/或使得电子电流可以从电子和电气组件中的至少一个通过导线流到另一个。电子组件可以包括诸如晶体管或二极管的有源半导体器件，而电子组件可以包括导线和诸如电阻器和电容器的无源组件。
44.术语“振荡神经网络”(onn)可以表示选择性地互连(直接或间接地)的振荡器。它可以是全对全连接的网络或选择性连接的网络。因此，振荡器可以被看作是耦合的。这种振荡神经网络可以被认为是人工神经网络。振荡器可对应于人工神经网络的神经元(如果参考生物脑模型)，并且新神经元对(即振荡器对)之间的突触权重可由振荡器之间的耦合组件的形式和强度来仿真。通过处理网络中的训练样本并调整网络权重矩阵(即耦合元件)这种网络可以被训练以执行相关任务，例如，模式识别、图像分类和/或语音识别，从而训练网络被训练以在推断阶段确定特定相关性。作为用于调整振荡器之间的耦合因子的训练方法，可以使用hebbian学习算法。
45.术语“特征识别”可以表示一种模式识别。这可以涉及从例如图像识别中获知的任务。然而，该原理也可成功地用于语音识别和其它类型的数字可用信号模式。待识别的特征和图像可以包括水平线、垂直线、上升线、下降线、拐角等。通常，仅包括少量像素的较大图像的一部分被用作未来识别系统的输入。
46.术语“耦合的压控振荡器”可以表示其相位可以由输入电压控制和偏移的电子振荡器。另外，多个振荡器可以被耦合，使得振荡器的相应输出彼此影响。它可以是将每个振荡器连接到网络中的每个振荡器的全连接网络，或者它可以是选择性连接的网络。用于在振荡器之间耦合组件的示例可以是rc(电阻器/电容器)滤波器。然而，也可以使用其它类型的耦合组件，例如，也包括半导体组件的有源耦合元件。
47.术语“边沿输入信号”可以表示由振荡器接收的输入信号边沿。所选择的输入信号的边沿可以被时移，即，即使各个比特源自相同的源(例如，数字图像上的滑动窗口)，它们也可能不在相同的时间到达，在这个意义上，例如，对应于弱灰度值的信号可能比与暗灰度值相关的边沿更早地到达所选择的振荡器。这种效应也可以被注意为相对于摆动振荡器的周期长度的相移。
48.术语“有源输出电路”可以表示被适配为解释多个振荡器的组合的输出信号的电子电路，特别是这里提出的完整电子电路的一部分。有源输出电路基本上被适配为确定可与参考信号相比较的相关信号，以便识别或辨认如水平线、垂直线、上升线或下降线的预定义模式。
49.术语“加法器部分”可以表示包括电阻器所连接到的线性放大器的有源输出电路的部分组件。线性放大器由此被适配为将在电阻器的输入侧接收的时间相关电压信号相加。
50.术语“非线性放大器”可以表示这种放大器：其输出曲线不线性地依赖于输入信号，但是如果与输入信号相比，在超过阈值之后，可以生成并且超过成比例放大的开路信号。这种行为可以与sigmoid函数或传统神经网络的relu单元的行为进行比较。
51.术语“颜色通道”可以表示彩色数字图像的像素信息层。在本文的上下文中，没有一种已知的颜色模型是优选的。可以使用rgb(红/绿/蓝)颜色模型以及cymk(青/品红/黄/黑部分)。一个颜色通道中的每个像素可以由用于所选择的颜色通道中的相应灰度级的一个比特或多个比特来表示。
52.下面，将给出附图的详细描述。图中的所有说明都是示意性的。首先，给出了本发明的用于使得能够高效使用振荡神经网络进行特征识别的电子电路的实施例的框图，该电子电路包括用于使得能够高效使用振荡神经网络进行特征识别的电子电路。
53.图1示出了用于使得能够高效使用振荡神经网络进行特征识别的电子电路100的实施例的框图。该电子电路包括耦合的压控振荡器的网络102。每个振荡器被适配用于接收例如矩阵或矢量的边沿输入信号104，该边沿输入信号根据分配给各个振荡器的模拟输入信号的信号强度相移该压控振荡器的周期长度的一部分，例如180
°
。例如，时移可以在750ns的范围内。
54.边沿输入信号104也由在边沿输入信号104上方示出的0/1边沿信号来表征。水平双箭头表征边沿出现的时间点的时间偏移，其取决于例如测量的或接收的灰度值，例如，在较大数字图像上滑动的卷积窗口的像素的模拟值。
55.电子电路100包括至少一个有源输出电路114，其包括连接到振荡器中的被选择的振荡器的输入端子106、用于将输入端子106处存在的输入信号相加的加法器部分108、以及其输入线连接到加法器部分的输出线的非线性放大器110，从而有效地使用振荡神经网络。可以将输出端子112处的时间相关信号与已知的参考模式进行比较，以便确定预定义的识别特征。
56.图2示出了振荡神经网络(onn)200的技术背景或概念图，其中可以使用根据图1的电子电路的所提出的系统。卷积神经网络可以使用多个过滤器来检测特征和图像(例如，边沿检测、色斑检测等)。通常，对于每个特征，使用不同的滤波器，通常使用数字逻辑电路。此外，过滤器可以顺序地应用或者可能需要多个计算核心。相反，本实施例的电子电路能够在一个单个单元中同时执行多特征检测。该概念基于时间编码的模拟输入信号，使得输出分类信号可以从相位信号导出。
57.通常，卷积(神经)网络使用跨输入层滑动的小滤波器。输入层可以示例性地是数字图像。典型的滤波器尺寸是3
×3×
3、4
×4×
3、...、7
×7×
3。因此，最后一个数字表示颜色通道的数量，例如rgb。然而，也可以使用其它颜色模型。如果例如使用cmyk颜色模型，则最后的数字优选地可以是4。
58.包括32
×
32
×
3像素信息(当最后的数字指示颜色通道的数量时)的矩阵202可以表示数字图像(或者，数字图像的子集)。3维矩阵202的子集204可以由图2左下部所示的矩阵表示，其中7
×
7矩阵206中的每一个可以指示(例如3个)色彩通道之一。在卷积操作中，在应用了滤波器w0和w1之后，在7
×
7矩阵206的每一个上移动3
×
3窗口208，得到图2的下部的第二列，示出两个结果矩阵。可以注意到，矩阵的细节不是关键的。卷积网络的一般原理是已知的，并且被用作解释背景以用于进一步解释。
59.另外，框210可以指示包括例如按顺序应用的五个滤波器212的神经网络。
60.使用示例性3
×
3矩阵(如上所述)，根据矩阵单元中的数字灰度值可以识别不同的模式。可识别模式的示例302在图3a中示出。图3b中示出了3
×
3矩阵的扩展模式集304。然而，对于描述的后续部分，可以记住根据图3a的模式。可以提及的是，尽管原始3
×
3矩阵像素包括灰度值，但识别模式是黑白的(用于边沿检测)，即“1”和“0”。
61.出于理解的原因，每个白色子方格可以表示逻辑“0”，而每个黑色子方格可以表示逻辑“1”。因此，例如，可指示四种不同的基本模式：下降对角线(“fall”)、水平线(“hor”)、上升对角线(“rise”)和垂直线(“vert”)。所提出的电子电路能够区分这四种基本模式。为了在振荡神经网络的推理阶段期间对根据图3b的另一示例性模式进行分类，有源输出电路的输入端子需要被接线到振荡器中的相应的其它振荡器的输出。因此，示例性滤波器窗口的九个子方格与九个振荡器相关。用于子方格的编号方案可以是(缩写形式)：左上＝1，中上＝2，右上＝3，...，右下＝9。子方格的这种编号方案可以用作振荡器的索引。
62.图4示出了耦合压控振荡器的3
×
3网络的实施例的电气接线图400，即振荡神经网络的核心。图4的上部示出了振荡器x1、...、x9的输入线和地之间的延迟-经编码的边沿输入信号402(边沿)-它们中的仅一个用参考数字来引用。输入边沿信号由包括
“‑”
符号和“+”符号的圆圈表示。面向比特的输入电压的
“‑”
端连接到地(用三角形表示)。输入边沿电压v1、...、v9被馈送到振荡器x1、...、x9。振荡器x1、...、x9的输出信号表示为v01、...、v09。这些象征着到电路的连接点，其在以下附图中示出。它们的相移是0
°
或180
°
(即，最大移位
值)。因此，该偏移可以被解释为“0”和“1”，并且在经过onn之后，该黑色或白色方格在3
×
3矩阵内。
63.图4中振荡器x1、...、x9以下的部分示出了振荡器之间的网络。在九个振荡器的该示例中，示出了交叉连接xc
ij
，其中i和j表示相关的振荡器。因此，作为示例，xc12指示振荡器x1和振荡器x2之间的耦合元件。作为另一示例，交叉连接网络的中间的耦合元件或耦合电路被表示为xc48，其指示振荡器x4和振荡器x8之间的耦合电路。这样，每个振荡器经由相应的耦合电路xc
ij
连接到每个其它振荡器。因此，所示网络是全连接网络。然而，在其它实施方式中，不需要实现所有的xc
ij
连接(即，部分连接的网络)。
64.另外，交叉连接xc
ij
表示为“rci rco”。这表明在这里提出的实施例中使用了rc耦合元件。然而，也可以使用其它类型的耦合电路或耦合元件(包括包含半导体器件的有源耦合元件)。此外，可以使用更少或更多数量的振荡器。然而，尤其对于神经网络中的卷积，具有与卷积矩阵的矩阵元素一样多的振荡器是有用的，即对于具有九个矩阵元素的3
×
3矩阵，具有九个振荡器是有用的，对于具有16个矩阵元素的4
×
4矩阵，具有16个振荡器是有用的，等等。
65.为了在图2的上下文中引入onn 200，将讨论滑动3
×
3窗口(比较图2)和九个振荡器x1至x9之间的连接。来自用于颜色通道之一的滑动3
×
3窗口的像素的“准模拟”输入信号作为经时移的边沿信号被馈送到九个振荡器x1、x2、...、x9的输入线vin。因此，图像像素值被编码为测量的(灰度)电压值的时间延迟δt，并被传递到v1至v9。
66.由此，对于白色子方格，δt＝0ns，并且，例如对于黑色子方格，δt＝750ns。因此，比特边沿输入信号被相移周期长度的一部分，有用的值可以是振荡器的频率的周期的一半，例如180
°
或π。因此，振荡器x1到x9的输出v01、...、v09以相对于参考的相位φ隔离，其中对于白色，φ＝0，对于黑色，φ＝π。还值得提及的是，振荡器需要几个周期(例如，5个)，直到振荡器的输出值与(反馈)网络一起在振荡器x1、
…
、x9的输出端子v01、
…
v09处建立能量最小值，使得这些信号的相位为0或180
°
。这是onn 200的训练和耦合组件(即rc电路)中的相应训练突触权重的结果。
67.出于完整性原因，还提及使用例如hebbian学习来训练rc耦合元件以表示振荡器之间的权重(即突触权重)，该振荡器表示核心或节点(或神经元)。
68.作为下一步骤，需要基于振荡器的输出值和相位来确定振荡器的输入值的对应模式。为此，有源输出电路是仪器设备的并且将使用下一附图来描述。
69.如图5所示，有源输出电路502被示出为包括输入端子v01、v05、v09、加法器单元504和非线性放大器506。另外，图5示出了由附图标记508、510和512表示的有源输出电路502的副本，其中唯一的差别基本上在于输入端子的附图标记，因此在接收到的输入信号中：对于有源输出电路508，这些是v03、v05、v06；对于有源输出电路510，这些是v03、v05、v07；对于有源输出电路508，这些是v02、v05、v08。其余组件在功能上与有源输出电路502相同。
70.有源输出电路的输入端子v01、v05、v09连接到根据图4的振荡神经网络的振荡器x1、x5、x9的输出端子v01、v05、v09，因此，振荡器的输出值和相位可以用于确定根据图2的模式“fall”、“hor”、“rise”和“vert”之一。这里，已经发生了从灰度级到黑和白的转换。
71.为此，有源输出电路502的输入端子v01、v05、v09经由电阻器r1、r2、r3(所有的电
阻值相等，例如100千欧姆)连接到线性放大器u1的输入线。例如，它可以以通常的方式配备有1000千欧姆的反馈电阻器。所构建的单元表示加法器单元504。加法器单元504的输出(表示为test11)被馈送到非线性放大器506的输入。非线性放大器506由放大器u2和放大器u2的反馈线中的二极管d2实现，放大器u2还具有经由r5到地的连接。作为放大器u1和u2，可以使用工业标准差分放大器。
72.基本上，非线性放大器506表示传统神经网络的sigmoid或relu函数。非线性放大器506的输出test12是所提出的电子电路100的输出。可以注意到，线路test13、振荡器x10、电阻器r12和线路/连接test14表示神经网络的下一个后续层的组件，即下一个滤波器。
73.因此，通过在有源输出电路502的输入端子v01、v05、v09处检测振荡器x1、x5和x9的同步输出，可以确定相应3
×
3矩阵中的“fall”线。
74.类似的或相当的功能分别适用于水平线“hor”、上升线“rise”和垂直线“vert”的有源输出电路508、510、512。
75.如果可以检测到更多的模式(例如，图3b的模式)，则需要将相关振荡器中的相应相关振荡器用作相应有源输出单元的输入。
76.图6示出了有源输出电路(如图5所示的示例性有源输出电路502)的输出处的信号时序图600以及针对一个样本(这里是下降的对角线)的参考信号。虚线表示参考信号，其具有对应的峰，该峰对于3
×
3矩阵(例如，滑动窗口)输入中的下降的对角线来说是期望的。实线表示电子电路的实际可测量的输出信号。可以看出，各峰具有相同的相位。因此，下降的线被确定。
77.可以观察到通过这里提出的用于其它模式的电子电路在可测量信号和生成信号之间的可比较的相关性。
78.作为概念的证据，图7示出了来自已知mnist(修改的国家(us)标准和技术研究所)数据库的左侧702的灰度级输入图像的结果，以及使用这里提出的具有根据图3a的有限四个简单模式的电子电路得到的黑白边沿检测图像704。结果令人惊讶地良好且令人信服。
79.图8示出了计算系统800，其使用根据图1的这里提出的电子电路或用于多于1个颜色通道的相关设备中的至少一个作为用于处理图像数据的协处理单元。然而，本发明的实施例可以与几乎任何类型的计算机一起实现，而不管平台是否适于存储和/或执行程序代码。
80.计算系统800仅是合适的计算机系统的一个示例，并且不旨在对本文描述的实施例的使用范围或功能提出任何限制，无论计算机系统800是否能够被实现和/或执行上文阐述的任何功能。在计算机系统800中，存在可与众多其它通用或专用计算系统环境或配置一起操作的组件。适合与计算机系统/服务器800一起使用的公知的计算系统、环境和/或配置的示例包括但不限于个人计算机系统、服务器计算机系统、瘦客户端、胖客户端、手持式或膝上型设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费电子产品、网络pc、小型计算机系统、大型计算机系统、以及包括任何上述系统或设备的分布式云计算环境等。计算机系统/服务器800可以在计算机系统可执行指令的一般上下文中描述，诸如由计算机系统800执行的程序模块。通常，程序模块可以包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。计算机系统/服务器800可以在分布式云计算环境中实践，其中任务由通过通信网络链接的远程处理设备执行。在分布式云计算环境中，
程序模块可以位于本地和远程计算机系统存储介质中，包括存储器存储设备。
81.如图所示，计算机系统/服务器800以通用计算设备的形式示出。计算机系统/服务器800的组件可以包括但不限于一个或多个处理器或处理单元802、系统存储器804以及将包括系统存储器804在内的各种系统组件耦合到处理单元802的总线806。总线806表示若干类型的总线结构中的任何一种的一个或多个，包括存储器总线或存储器控制器、外围总线、加速图形端口、以及使用各种总线体系结构中的任何一种的处理器或局部总线。作为示例而非限制，这些体系结构包括工业标准体系结构(isa)总线、微通道体系结构(mca)总线、增强型isa(eisa)总线、视频电子技术标准协会(vesa)局部总线和外围组件互连(pci)总线。计算机系统/服务器800通常包括各种计算机系统可读介质。这样的介质可以是可由计算机系统/服务器800访问的任何可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质两者。
82.系统存储器804可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)808和/或高速缓冲存储器810。计算机系统/服务器800还可以包括其它可移动/不可移动、易失性/非易失性计算机系统存储介质。仅作为示例，存储系统812可被提供用于从不可移动、非易失性磁介质(未示出，并且通常被称为“硬盘驱动器”)读取和向其写入。尽管未示出，但是可以提供用于从可移动、非易失性磁盘(例如，“软盘”)读取和向其写入的磁盘驱动器，以及用于从诸如cd-rom、dvd-rom或其它光学介质的可移动、非易失性光盘读取或向其写入的光盘驱动器。在这样的实例中，每个可以通过一个或多个数据介质接口连接到总线806。如下面将进一步描绘和描述的，存储器804可以包括至少一个程序产品，该程序产品具有一组(例如，至少一个)程序模块，该程序模块被配置成执行本发明的实施例的功能。
83.具有一组(至少一个)程序模块816的程序/实用程序，以及操作系统、一个或多个应用程序、其它程序模块和程序数据，可作为示例而非限制地存储在存储器804中。操作系统、一个或多个应用程序、其它程序模块和程序数据或其某种组合中的每一个可包括联网环境的实施方式。程序模块816一般执行如本文所述的本发明的实施例的功能和/或方法。
84.计算机系统/服务器800还可以与以下设备通信：诸如键盘、定点设备、显示器820之类的一个或多个外部设备818、使得用户能够与计算机系统/服务器800交互的一个或多个设备、和/或使计算机系统/服务器800能够与一个或多个其它计算设备通信的任何设备(例如，网卡、调制解调器等)。这种通信可以经由输入/输出(i/o)接口814发生。此外，计算机系统/服务器800可以经由网络适配器822与诸如局域网(lan)、通用广域网(wan)和/或公共网络(例如，互联网)之类的一个或多个网络通信。如所描绘的，网络适配器822可以经由总线806与计算机系统/服务器800的其它组件通信。应当理解，尽管未示出，但是其它硬件和/或软件组件可以与计算机系统/服务器800结合使用。实例包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动器阵列、raid系统、磁带驱动器和数据档案存储系统等。
85.另外，电子电路100(例如，具有相应的总线接口)可以附接到总线806。一组驱动程序和编程库可以方便地将这里提出的电子电路和/或相应的设备巧妙地集成到传统的计算系统中。
86.已经出于说明的目的呈现了对各种实施例的描述，但是不旨在是穷举的或限于所
公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其它普通技术人员能够理解本文所公开的实施例。
87.本发明的实施例可以体现为系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质(或多个介质)，所述计算机可读程序指令用于使处理器执行本发明的各方面。
88.该介质可以是用于传播介质的电子、磁、光、电磁、红外或半导体系统。计算机可读介质的示例可以包括半导体或固态存储器、磁带、可移动计算机磁盘、随机存取存储器(ram)、只读存储器(rom)、硬磁盘和光盘。光盘的当前例子包括光盘只读存储器(cd-rom)、光盘读/写(cd-r/w)、dvd和蓝光盘。
89.计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码装置，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其它自由传播的电磁波、通过波导或其它传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
90.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如互联网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边沿服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
91.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器相关指令、微代码、固件指令、状态设置数据，或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言(例如smalltalk、c++等)以及常规的过程式编程语言(例如“c”编程语言或类似的编程语言)。计算机可读程序指令可以完全在用户的计算机上执行，部分地在用户的计算机上作为独立软件包执行，部分地在用户的计算机上并且部分地在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。在一些实施例中，为了执行本发明的各方面，包括例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
92.本文参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/
或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
93.这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器以产生机器，使得经由计算机或其它可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其它设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
94.计算机可读程序指令还可以被加载到计算机、其它可编程数据处理装置或另一设备上，使得在计算机、其它可编程装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其它可编程装置或另一设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
95.附图中的流程图和/或框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方案中，框中所提及的功能可不按图中所提及的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
96.本文所用的术语仅是为了描述特定实施例的目的，而不是要限制本发明。如本文所用，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有明确指示。还将理解，术语“包括”和/或“包含”在本说明书中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或组件的存在，但不排除一个或多个其它特征、整数、步骤、操作、元件、组件和/或其群组的存在或添加。
97.在以下权利要求中的所有装置或步骤加上功能元件的对应结构、材料、动作和等同物旨在包括用于与如具体要求保护的其它要求保护的元件组合执行功能的任何结构、材料或动作。已经出于说明和描述的目的给出了本发明的描述，但是该描述不是穷举的或者将本发明限制为所公开的形式。在不脱离本发明范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择和描述实施例是为了最好地解释本发明的原理和实际应用，并且使本领域的其它普通技术人员能够理解本发明的具有各种修改的各种实施例，如适合于预期的特定使用。
98.已经出于说明的目的呈现了对各种实施例的描述，并且不旨在是穷举的或限于所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域的普通技术人员将是显而易见的。选择本文所使用的术语以最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或使本领域的其它普通技术人员能够理解本文所公开的实施例。

技术特征：
1.一种用于利用振荡神经网络进行特征识别的电子电路，所述电子电路包括：耦合的压控振荡器的网络，其中所述压控振荡器中的每一个压控振荡器被适配为接收边沿输入信号，所述边沿输入信号根据分配给所述压控振荡器中的相应一个压控振荡器的模拟输入信号的信号强度而相移所述压控振荡器的周期长度的一部分，以及有源输出电路，包括：连接到所述压控振荡器中的所选择的压控振荡器的输入端子，用于将所述输入端子处存在的输入信号相加的加法器部分，以及非线性放大器，所述非线性放大器的输入线连接到所述加法器部分的输出线。2.根据权利要求1所述的电子电路，还包括多个有源输出电路，其中所述多个有源输出电路中的每一个有源输出电路的输入端子连接到所述压控振荡器的组，其中每个组表示接收到的输入信号的不同的预定义模式。3.根据权利要求2所述的电子电路，其中所选择的压控振荡器在被相移地激活时表示所述接收到的输入信号的预定义模式。4.根据前述权利要求中任一项所述的电子电路，其中所述电子电路被适配为处理一个颜色通道的信号。5.根据前述权利要求中任一项所述的电子电路，其中所述电子电路表示串联连接的多个所述电子电路，其中所述电子电路中的每一个表示预定义的滤波器。6.根据前述权利要求中任一项所述的电子电路，其中所述输入端子中的每一个输入端子分别经由单独的电阻器连接到线性放大器的输入端。7.根据前述权利要求中任一项所述的电子电路，其中所述非线性放大器是在其反馈回路中具有二极管的差分放大器。8.根据前述权利要求中任一项所述的电子电路，其中所述网络中的所述压控振荡器中的每一个压控振荡器通过电阻器/电容器耦合电路彼此连接。9.根据前述权利要求中任一项所述的电子电路，其中所述周期的所述一部分是所述压控振荡器的振荡频率的周期的一半。10.根据权利要求9所述的电子电路，其中所述周期的所述一部分大于120度。11.根据权利要求10所述的电子电路，其中所述周期的所述一部分是180度。12.根据权利要求1所述的电子电路，其中所述有源输出电路被集成到半导体单元中。13.根据权利要求1所述的电子电路，其中所述电子电路被集成到一个半导体单元中。14.根据权利要求1所述的电子电路，其中所述有源输出电路的所述非线性放大器的输出的相移与到所述有源输出电路的接收到的比特输入信号的大部分对准。15.根据权利要求1所述的电子电路，其中所述边沿输入信号根据从所述模拟输入信号的信号强度导出的移位时间从逻辑“0”变为逻辑“1”。16.根据权利要求1所述的电子电路，其中所述压控振荡器中的每一个压控振荡器以相同频率振荡。17.一种神经网络设备，包括：多个电子电路，所述电子电路中的每一个电子电路包括：耦合的压控振荡器的网络，其中所述压控振荡器中的每一个压控振荡器被适配为接收边沿输入信号，所述边沿输入信号根据分配给所述压控振荡器中的相应一个压控振荡器的
模拟输入信号的信号强度而相移所述压控振荡器的周期长度的一部分，以及有源输出电路，包括：连接到所述压控振荡器中的所选择的压控振荡器的输入端子，用于将所述输入端子处存在的输入信号相加的加法器部分，以及非线性放大器，所述非线性放大器的输入线连接到所述加法器部分的输出线。18.根据权利要求17所述的神经网络设备，还包括多个有源输出电路，其中所述多个有源输出电路中的每一个有源输出电路的输入端子连接到所述压控振荡器的组，其中每个组表示接收到的输入信号的不同的预定义模式。19.根据权利要求18所述的神经网络设备，其中所选择的压控振荡器在被相移地激活时表示接收到的输入信号的预定义模式。20.根据权利要求18所述的神经网络设备，其中所述电子电路被适配为处理一个颜色通道的信号。

技术总结
一种用于使得能够高效使用振荡神经网络进行特征识别的电子电路包括耦合的压控振荡器的网络和有源输出电路，其中所述压控振荡器中的每一个压控振荡器被适配为接收边沿输入信号，所述边沿输入信号根据分配给所述压控振荡器中的相应一个压控振荡器的模拟输入信号的信号强度而相移所述压控振荡器的周期长度的一部分。该有源输出电路包括连接到所述压控振荡器中的所选择的压控振荡器的输入端子、用于将所述输入端子处存在的输入信号相加的加法器部分以及非线性放大器，该非线性放大器的输入线连接到所述加法器部分的输出线，由此高效的使用振荡神经网络。效的使用振荡神经网络。效的使用振荡神经网络。


技术研发人员：S
受保护的技术使用者：国际商业机器公司
技术研发日：2021.10.26
技术公布日：2023/8/1