具有基于电阻的学习规则电路的电子神经网络电路制造技术

描述了一种装置。所述装置包括半导体芯片。所述半导体芯片包括脉冲神经网络电路系统。所述脉冲神经网络电路系统包括学习规则电路。所述学习规则电路包括电阻元件。所述电阻元件的电阻用于确定所述脉冲神经网络电路系统的神经元之间的突触的权重变化。

【技术实现步骤摘要】
【国外来华专利技术】具有基于电阻的学习规则电路的电子神经网络电路
本专利技术的领域总体上涉及电子领域，并且更具体地涉及一种具有基于电阻的学习规则电路的电子神经网络电路。
技术介绍
在计算科学领域中，人工神经网络可以用于实现各种形式的认知科学，比如，机器学习和人工智能。实质上，人工神经网络是具有以类似于人脑的方式构造并且被表征为具有通过突触互连的多个神经元的设计的自适应信息处理网络。附图说明可以结合以下附图根据以下详细说明获得对本专利技术的更好理解，在附图中：图1示出了神经网络；图2a和图2b示出了抑制学习规则和激发学习规则；图3示出了磁性隧穿结器件的作为所施加电压或电流的函数的电阻；图4示出了用于实现电子神经网络的电路；图5示出了学习规则电路的第一实施例；图6示出了学习规则电路的第二实施例；图7a示出了作为所施加电压或电流的函数的不同电阻/学习规则曲线；图7b示出了用于实现图7a的不同电阻/学习规则曲线的电路系统；图8示出了流经同一磁性隧穿结器件的执行路径和学习路径；图9示出了计算系统。具体实施方式图1示出了对神经网络100的简化描绘。如在图1中所观察到的，所述网络包括通过多个突触102互连的多个神经元101。在操作中，神经元101通过突触102在彼此之间交换消息。突触102中的每一个都具有其自身的可以基于经验调整的特定数值权重。因此，神经网络100是自适应的并且能够进行学习。被称为“脉冲(spiking)”神经网络的一类神经网络具有采用脉冲形式的突触消息。在此，如果神经元的状态达到特定值，则所述神经元向与其连接的神经元“发射(fire)”脉冲/消息。简单地说，神经元的状态值将随着所述神经元从其他神经元处接收到脉冲/消息而发生变化。如果所接收到的脉冲活动的幅度达到某一强度，则接收神经元的状态可以改变为使所述神经元进行发射的水平。突触的权重影响其传输的消息的幅度。脉冲时间依赖可塑性(SpikeTimingDependentPlasticity，STDP)是用于响应于突触的任一端上的脉冲时间差而改变脉冲神经网络中的突触的权重的学习函数。总体上存在两种类型的STDP学习函数：抑制学习函数和激发学习函数。抑制学习函数用于其消息往往减少消息接收神经元的发射活动的突触。相比而言，激发学习函数用于其消息往往促进消息接收神经元的发射活动的突触。通过对学习函数的应用，突触的权重将鉴于所观察到的前神经元发射和后神经元发射而发生变化，这进而对应于所述网络的学习活动。图2a示出了STDP抑制学习函数并且图2b示出了STDP激发学习函数。对于两种函数，Δt对应于突触的任一侧上的神经元之间的发射时间差，而Δz对应于突触权重变化。实际脉冲神经网络的实施方式和构造的问题是突触的绝对数量。在此，从图1注意到，由于单个神经元可以连接至许多其他神经元，所以突触的数量可能大大超过神经元的数量。考虑到某个临界质量的智能水平通常需要大量神经元，因此实现实际脉冲神经网络所需的突触数量可能是极大的(例如，神经元数量的一百或一千倍)。因此，对其组成电路系统被设计用于实现脉冲神经网络的半导体芯片的制造面临这样一种挑战：试图使用减小数量的有源器件来实现突触，以便减小其整体大小和制造复杂度。在
技术介绍
中所描述的问题的一种解决方案是构造具有磁性隧穿结(magnetictunnelingjunction，MTJ)器件的突触电路。磁性隧穿器件根据器件内的两个磁矩的相对取向而展现出高电阻或低电阻。在此，根据一种类型的MTJ实施方式，当所述器件的第一磁层(例如，固定层)的磁矩与所述器件的第二磁层(例如，自由层)指向相同方向时，所述器件具有低电阻(RL)。相比而言，参照图3，当第一磁层的磁矩与第二磁层指向相反方向时，MTJ器件具有高电阻(RH)。在各种实施方式中，固定层的磁矩不改变方向，而自由层的磁矩确实改变方向。如在图3中所观察到的，MTJ器件的高电阻状态将把电阻变化展现为所施加电压或者电流的函数，所述函数与图2a的抑制STDP学习函数的形状非常类似。因此，如果施加到高电阻状态MTJ器件上的电压或电流表示神经网络中的神经元之间的时间差，则MTJ器件的电阻可以用于建立所述神经元之间的突触的权重变化。也就是说，MTJ器件可以用于实现抑制学习规则。图4示出了具有实现第一和第二神经元的第一和第二电路401、402的一般神经网络电路400。在各个实施例中，神经元电路包括用于维持某种状态(例如，寄存器、触发器、电容器等等)的电路系统以及用于在所述状态达到某一水平的情况下发射消息的电路系统。时序测量电路403测量这两个神经元电路401、402的发射时间之差，并且生成在幅度和极性方面表示发射时间差的输出信号(例如，数字信号、电压或电流)。具体地，如果后神经元在前神经元401之后进行发射402(其中，脉冲/消息沿着执行路径从前神经元401传播至后神经元402)，则Δt为正并且时间电路403将生成第一极性(例如，正)的信号，所述信号的幅度表示时间差。然后，所述信号被施加到具有处于高电阻状态的MTJ器件405的学习电路404上。由学习规则电路404以使得表示信号被施加到MTJ器件405上的方式来处理来自时序测量电路404的输入信号，并且测量所述器件的电阻。例如，如果跨MTJ器件的端子施加了表示Δt的电压，则测量流经MTJ器件的合成电流以便确定MTJ器件的电阻。同样，如果表示Δt的电流被驱动通过MTJ器件，则测量跨MTJ器件的合成电压以便确定所述器件的电阻。然后，所测量的电阻用于生成权重电路406的输入信号。在此，回顾一下，MTJ器件的所测量的电阻表示这两个神经元401、402之间的突触的权重变化。响应于从学习规则电路404处接收到的输入信号，权重电路406计算突触的新权重值。然后，消息可以继续沿着执行路径从前神经元开始通过权重电路406到达后神经元，以便将新权重应用到消息上。因此，每当时序测量电路沿着学习路径发送新信号时，都可以对突触应用新的权重。在各个实施例中，学习规则电路404可以根据被提供为来自寄存器(未示出)的值的输入控制信号来实现抑制或激发规则。在此，寄存器中的值可以被加载为神经网络电路的配置的一部分。图5示出了学习规则电路504的实施例。在此，简要地返回参照图2a和图2b，注意，图2b的激发函数可以被视为图2a的抑制函数，但是做出了颠倒正时间差的极性的轻微修改。也就是说，沿着横轴在原点的左侧，图2a和图2b的规则是相同的。相比而言，沿着横轴在原点的右侧，图2b的规则的幅度与图2a相同，但是极性相反。参照图5，电路系统501实现了学习规则电路504的抑制突触，而电路系统502实现了学习规则电路504的激发突触。也就是说，如果学习规则电路504用于实现抑制学习规则，则多路复用器509选择通道501。相比而言，如果学习规则电路504用于实现激发学习规则，则多路复用器509选择通道502。回顾一下，例如寄存器中的值可以建立合适的学习规则并且向学习规则电路提供输入信号以便指示将应用哪种学习规则。根据图5的学习规则电路，通过以下方式来测量MTJ器件503的电阻：驱动电流通过器件503、利用A/D转换器507来测量跨器件503的电压并且利用逻辑电路508来将所测量的电压除以所测量的电流(其他实施例可本文档来自技高网...

【技术保护点】
一种装置，包括：半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括学习规则电路，所述学习规则电路包括电阻元件，所述电阻元件的电阻用于确定所述脉冲神经网络电路系统的神经元之间的突触的权重变化。

【技术特征摘要】
【国外来华专利技术】2015.09.23 US 14/863,1381.一种装置，包括：半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括学习规则电路，所述学习规则电路包括电阻元件，所述电阻元件的电阻用于确定所述脉冲神经网络电路系统的神经元之间的突触的权重变化。2.如权利要求1所述的装置，其中，所述学习规则电路用于实现以下各项中的至少一项：抑制规则；激发规则。3.如权利要求2所述的装置，其中，所述学习规则电路是混合信号电路。4.如权利要求2所述的装置，其中，所述学习规则电路是模拟电路。5.如权利要求1所述的装置，进一步包括耦合至所述电阻元件的一个或多个可编程电阻。6.如权利要求1所述的装置，其中，所述电阻元件是磁性隧穿结器件。7.如权利要求1所述的装置，其中，学习路径和执行路径流经所述电阻元件。8.一种计算系统，包括：一个或多个处理器；存储器控制器，所述存储器控制器耦合至系统存储器；传感器，所述传感器包括半导体芯片，所述半导体芯片包括脉冲神经网络电路系统，所述脉冲神经网络电路系统包括学习规则电路，所述学习规则电路包括电阻元件，所述电阻元件的电阻用于确定所述脉冲神经网络电路系统的神经元之间的突触的权重变化。9.如权利要求8所述的计算系统，其中，所述学习规则电路用于实现以下各项中的至少一项：抑制规则；激发规则。10.如权...

【专利技术属性】
技术研发人员：C·奥古斯丁，S·保尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US