神经元电路制造技术

描述了一种信号处理中的自同步(或自振荡)调制器，其与ΣΔ调制器类似，在基于这样的调制器的神经网络的设计中具有特定应用。多个自同步调制器和支承结构的系统可以被配置成与数字实现方式相比以较低的电力和较小的尺寸来执行与模拟计算机(例如，神经网络)的计算类似的计算。使用本方法构建的这样的系统不需要顺序解决方案，而是在一个步骤中收敛于解；与典型的现有技术不同，这样的系统因此不需要时钟，并且以与常规模拟计算机类似的方式异步地操作。自同步调制器可以用作神经网络中的神经元，其接收乘积和信号并且生成与ΣΔ调制器的输出流类似的表示该乘积和的输出流，并且潜在地还包括激活功能和偏移。

【技术实现步骤摘要】
神经元电路本申请要求于2019年3月12日提交的临时申请第62/817,395号的优先权，其全部内容通过引用并入本文中。
本专利技术总体上涉及西格玛德尔塔(ΣΔ)调制器，并且更具体地涉及西格玛德尔塔调制器作为自同步(self-clocking)电路的使用。特别地，本专利技术涉及作为模拟神经元的自同步调制器。
技术介绍
数字计算机是可配置的，并且因此可以被编程以执行神经网络计算。在数字芯片上集成数千个乘法器和加法器(对于乘法器和累加器统称为MAC)的能力可以实现语音识别、手写分析等的成本有效的实现方式。数字计算机同步地操作，即数字计算机的状态变量在时钟的控制下不时地进行，该时钟是由计算机的所有元件共享的数字信号，以确保状态变量以锁步方式前进。在该同步环境中，对状态变量执行的算法引起对期望输出的创建，这通常需要多个时钟周期来完成。因此，数字计算机通常通过时钟周期的有限序列进行，以实现由算法确定的编程目标。创建数字计算机的最耗时和最困难的方面之一是配置对时钟信号到需要时钟信号的计算机的所有部件的分发。将时钟路由到数字计算机的必须保持彼此锁步的所有元件消耗了相当大的电力。在已知技术中，这样的时钟设计由专门出于该目的而创建的工具支持；例如，时钟“树”用于保持时间同步，时钟“门控”用于节省电力，并且芯片构造之后的定时分析是成功制造需要时钟信号的硅芯片的关键步骤。相比之下，模拟计算机异步地操作；模拟计算机的状态变量是网络中的电压和电流。一种模拟网络——其具有被设计成提供对问题的期望解决方案的配置——收敛于由该配置确定的结果，因为该网络受基尔霍夫电流定律约束，使得其仅一致的状态是要解决的问题的模拟。在模拟计算机内，通常不存在时钟或任何类似于时钟的事物，也不存在向解决方案发展的任何中间状态。模拟计算机中的解决方案在单个事件中出现；虽然模拟计算机可以具有瞬态响应，但是该瞬态响应是从初始状态到最终解决方案的。神经网络是计算范例。神经网络是有趣的，因为它们可以以类似于人工智能(AI)的方式解决问题。实现AI的神经网络可以被训练，即，可以被调整，使得网络解决问题。神经网络计算范例可以被编码到在数字计算机上执行的算法中，或者也可以被嵌入到模拟计算机中。神经网络的模拟计算机实现方式通常具有优于数字实现方式的一些优点，其中至少之一是没有时钟。模拟实现方式通常也更快并且消耗更少的电力。然而，模拟计算机可能不能方便地被编程。此外，对于模拟计算机，不存在可用于数字电路设计的一些自动化构造工具，例如Verilog硬件描述语言和布局布线工具。期望能够将模拟计算机实现方式的一些方面(例如，低电力和没有时钟)与数字神经网络的可编程性相结合。
技术实现思路
本申请描述了将自同步调制器用作神经网络中使用的模拟神经元的设备。一个实施方式描述了一种在神经网络中使用的神经元电路，该神经元电路包括：加权电路，其被配置成接收多个输入信号，并且通过对输入信号中的每一个进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及自同步电路，其被配置成接收所述乘积和信号并且产生表示乘积和信号的量化输出信号。附图说明图1是现有技术中已知的西格玛德尔塔调制器的图。图2是根据一个实施方式的自同步调制器的图。图3是根据另一实施方式的自同步调制器的图。图4是根据一个实施方式的可以在神经网络中使用的神经元的图。图5是根据另一实施方式的可以在神经网络中使用的神经元的图。图6是根据一个实施方式的与图5中示出的神经元类似的神经元的实现的示意图。具体实施方式本文中描述了自计时(或自振荡)调制器在信号处理中的使用，类似于西格玛德尔塔(ΣΔ)调制器，尤其在基于这样的调制器的神经网络的设计中的应用。多个自同步调制器和支承结构的系统可以被配置成以与数字实现相比的低功率和小尺寸执行与模拟计算机例如神经网络的计算类似的计算。使用本方法构造的此类系统不需要序列解，而是在一个步骤中收敛于一个解；与典型的现有技术不同，它因此不需要时钟并且以与常规模拟计算机类似的方式异步地操作。本文中的描述使用神经网络作为示例，但是本方法不限于这样的使用情况。在本方法中，自同步调制器可以用作神经网络中的神经元；它接收乘积和信号并生成类似于ΣΔ调制器的输出流的表示该乘积和的输出流，潜在地还包括激活功能和偏移。ΣΔ调制器的特征在于在少至一个比特上表达的一组离散的输出量，其中信号被施加到离散的输出上。ΣΔ调制器有时被称为“噪声整形”装置，因为离散量的输出序列可以被认为具有添加到信号的噪声。在这个分析中噪声是必须被添加到模拟量以使输出占据离散电平之一的量。(ΣΔ调制器有时被称为德尔塔-西格玛(ΔΣ)调制器；在一些地方，它们也可以被称为德尔塔(Δ)调制器，尽管在许多地方，诸如美国，德尔塔调制器被认为具有稍微不同的功能。)例如，单个比特ΣΔ调制器接受在-1至1范围内的标称连续输入，并且输出可以表示为-1或1的两个状态的经量化信号。-1或1出现的次数为使得输出的平均值表示输入信号的值。在该示例中，如果输入信号是0，则输出是：-11-11-11。将看出，这是平均值等于输入信号即0的经量化值的序列。然而，由于不存在0输出，因此将为1或-1的“噪声”添加到输入以产生每个输出值。在另一示例中也可以看到ΣΔ调制器的这个“噪声整形函数”。如果上述单个比特ΣΔ调制器用于对0.5的输入进行编码，则输出序列可以是：-1111-1111-1111等。将看出，该序列具有0.5的平均值，即从-1到1范围的3/4，该从-1到1范围的3/4是0.5并且等于输入。此外，已经将“噪声”依次添加到该输入，即，将-1.5、0.5、0.5、0.5等的值依次添加到0.5的输入值，以得到来自ΣΔ调制器的离散输出序列。以这种方式考虑ΣΔ调制器即作为以生成离散输出的序列的方式将噪声添加到连续信号的装置，可以分析噪声的频域特性。此类分析在本领域中是已知的。本领域技术人员通常参考频域中的噪声形状的“阶数”。一阶ΣΔ调制器或“一阶噪声整形器”具有增加每倍频6分贝(db)(或等效地，每十倍频20db或该数量级)的噪声。二阶噪声整形器具有以每倍频12db等增加的噪声的区域。一些形式的ΣΔ调制器在噪声中具有零，即，它们具有在特定频率处名义上趋于零的噪声频谱。除了ΣΔ调制器的离散输出幅度所需的幅度上的量化之外，还存在时间上的隐含量化。经量化输出的元素在离散且通常可预测的时间处改变。在现有技术中，如在典型的数字系统中，通过使用时钟信号、在特定时间的数字事件来实现ΣΔ调制器的时间上的量化，在该特定时间处，ΣΔ调制器在离散输出电平之间进行转换。本领域技术人员将理解，使用ΣΔ调制器的系统可以具有物理上更少的互连，因为西格玛德尔塔编码的信号可以仅用一条线来传送。此外，在ΣΔ信号域内某些数学运算是方便的；具体地，乘法需要很少的资源并且可以容易地实现求和。这些观察提供了使用ΣΔ本文档来自技高网...

【技术保护点】
1.一种用于神经网络中的神经元电路，所述神经元电路包括：/n加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每一个进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及/n自同步电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的量化输出信号。/n

【技术特征摘要】
20190312 US 62/817,395;20200311 US 16/815,2231.一种用于神经网络中的神经元电路，所述神经元电路包括：
加权电路，其被配置成接收多个输入信号，并且通过对所述输入信号中的每一个进行加权并将经加权的输入信号加在一起来产生乘积和信号；以及
自同步电路，其被配置成接收所述乘积和信号并且产生表示所述乘积和信号的量化输出信号。


2.根据权利要求1所述的神经元电路，其中，所述自同步电路还包括：差分元件，其被配置成确定所述乘积和信号与所述量化输出信号之间的差；
滤波器，其被配置成对所述乘积和信号与所述量化输出信号之间的所述差进行滤波；
高增益放大器，其被配置成放大所述乘积和信号与所述量化输出信号之间的所滤波的差，由此生成所述量化输出信号。


3.根据权利要求1所述的神经元电路，其中，所述自同步电路还包括：
差分元件，其被配置成确定所述乘积和信号与所述量化输出信号之间的差；
滤波器，其被配置成对所述乘积和信号与所述量化输出信号之间的所述差进行滤波；
加法器，其被配置成将所述乘积和信号与所述量化输出信号之间的所滤波的差与放大的量化输出信号相加；
第一放大器，其被配置成放大所述乘积和信号与所述量化输出信号之间的所滤波的差的和，由此生成所述量化输出信号；以及
第二放大器，其被配置成放大所述量化输出信号。


4.根据权利要求3所述的神经元电路，其中，所述第一放大器是高增益、有限输出放大器。


5.根据权利要求1所述的神经元电路，其中，所述自同步电路还包括：
第一反相器，其被配置成使所述乘积和信号、电容性反馈、电阻性反馈与电容性接地之和反相，由此产生第一反相信号；
第二反相器，其被配置成使所述第一反相信号反相，由此产生第二反相信号；
第一电容器，其在第一端处耦合至所述第二反相信号并且在第二端处耦合至所述乘积和信号，由此生成所述电容性反馈；
第三反相器，其被配置成使所述第二反相信号反相，由此生成所述量化输出信号；
电阻器，其在第一端处耦合至所述量化输出信号并且在第二端处耦合至所述乘积和信号，由此生成所述电阻性反馈；以及
第二电容器，其在第一端处耦合至所述乘积和信号并且在第二端处耦合至地，由此生成所述电容性接地。


6.根据权利要求1所述的神经元电路，其中，所述自同步电路还包括：
第一反相器，其被配置成使所述乘积和信号、电容性反馈、电阻性反馈与电容性接地之和反相，由此产生第一反相信号；
第二反相器，其被配置成使所述第一反相信号反相，由此产生第二反相信号；
第一电容器，其在第一端处耦合至所述第二反相信...

【专利技术属性】
技术研发人员：A·马丁·马林森，克里斯蒂安·莱特·彼得森，
申请(专利权)人：硅谷介入有限公司，
类型：发明
国别省市：加拿大;CA