用于具有全局部存储的基于模拟存储器的神经网络的流水线制造技术

提供了具有全局部存储的基于模拟存储器的神经网络的流水线。隐藏层中的第一突触阵列在前馈操作期间从先前层接收输入阵列。由第一突触阵列在前馈操作期间存储输入阵列。由隐藏层中的第二突触阵列在前馈操作期间接收输入阵列。第二突触阵列在前馈操作期间基于第二突触阵列的权重来计算来自输入阵列的输出。存储的输入阵列在反向传播操作期间从第一突触阵列提供给第二突触阵列。由第二突触阵列在反向传播操作期间接收校正值。基于校正值和所存储的输入阵列，更新第二突触阵列的权重。更新第二突触阵列的权重。更新第二突触阵列的权重。

【技术实现步骤摘要】
【国外来华专利技术】用于具有全局部存储的基于模拟存储器的神经网络的流水线

技术介绍

[0001]本公开的实施例涉及神经网络电路，并且更具体地涉及用于具有全局部存储的基于模拟存储器的神经网络的流水线(pipelining)。

技术实现思路

[0002]根据本公开的实施例，提供了人工神经网络。在各个实施例中，人工神经网络包括多个突触阵列。多个突触阵列中的每个突触阵列包括多个有序输入线、多个有序输出线以及多个突触。每个突触可操作地耦合到多个输入线之一和多个输出线之一。多个突触中的每个突触包括被配置为存储权重的电阻元件。该多个突触阵列被配置在多个层中，该多个层包括至少一个输入层、一个隐藏层、以及一个输出层。至少一个隐藏层中的至少一个突触阵列中的第一突触阵列被配置为在前馈操作期间接收并存储来自先前层的输入阵列。至少一个隐藏层中的至少一个突触阵列中的第二突触阵列被配置为从前层接收输入阵列，并且在前馈操作期间基于第二突触阵列的权重来计算来自至少一个隐藏层的输出。至少一个突触阵列中的第一突触阵列被配置为在反向传播操作期间向至少一个突触阵列中的第二突触阵列提供所存储的输入阵列。至少一个突触阵列中的第二突触阵列被配置为在反向传播操作期间接收校正值，并且基于校正值和所存储的输入阵列，更新其权重。
[0003]根据本公开的实施例，提供了包括第一和第二突触阵列的设备。第一和第二突触阵列中的每个突触阵列包括多个有序输入线、多个有序输出线以及多个突触。多个突触中的每个突触操作性地耦合到多个输入线中的一者和多个输出线中的一者。多个突触中的每个突触包括被配置为存储权重的电阻元件。第一突触阵列被配置为在前馈操作期间接收并存储来自人工神经网络的先前层的输入阵列。第二突触阵列被配置为从先前层接收输入阵列，并在前馈操作期间基于第二突触阵列的权重来计算输出。第一突触阵列被配置为在反向传播操作期间将所存储的输入阵列提供给第二突触阵列。第二突触阵列被配置为在反向传播操作期间接收校正值，并且基于校正值和所存储的输入阵列，更新其权重。
[0004]根据本公开的实施例，提供了用于操作神经网络电路的方法和计算机程序产品。在前馈操作期间，通过隐藏层中的第一突触阵列从先前层接收输入阵列。在前馈操作期间由第一突触阵列存储输入阵列。在前馈操作期间通过隐藏层中的第二突触阵列接收输入阵列。第二突触阵列在前馈操作期间基于第二突触阵列的权重来计算来自输入阵列的输出。在反向传播操作期间将存储的输入阵列从第一突触阵列提供给第二突触阵列。在反向传播操作期间通过第二突触阵列接收校正值。基于校正值和所存储的输入阵列，更新第二突触阵列的权重。
附图说明
[0005]图1示出了根据本公开的实施例的示例性的基于非易失性存储器的交叉式(crossbar)阵列或交叉式存储器。
[0006]图2示出了根据本公开的实施例的神经网络内的示例性突触。
[0007]图3示出了根据本公开的实施例的示例性神经核阵列。
[0008]图4示出了根据本公开的实施例的示例性神经网络。
[0009]图5A
‑
E示出了根据本公开的实施例的前向传播的步骤。
[0010]图6A
‑
E示出了根据本公开的实施例的后向传播的步骤。
[0011]图7A
‑
E示出了根据本公开的实施例的用于向前和向后传播的同时步骤。
[0012]图8示出了根据本公开的实施例的操作神经网络的方法。
[0013]图9示出了根据本公开的实施例的计算节点。
具体实施方式
[0014]人工神经网络(ANN)是分布式计算系统，其包括通过被称为突触的连接点互连的多个神经元。每个突触编码一个神经元的输出与另一神经元的输入之间的连接的强度。每个神经元的输出是由从连接到该神经元的其他神经元接收到的聚集输入来确定的。由此，给定神经元的输出基于来自前一层的连接神经元的输出以及由突触权重确定的连接强度。ANN被训练以通过调整突触的权重以使得特定类别的输入产生期望的输出来解决特定问题(例如，模式识别)。
[0015]ANN可以在不同类型的硬件上实现，包括交叉式阵列，也称为交叉点阵列或交叉线阵列。基本交叉式阵列配置包括一组导电行线和一组导电列线，该组导电列线被形成为与该组导电行线相交。两组线之间的交叉点由交叉点设备分开。交叉点设备用作ANN在神经元之间的加权连接。
[0016]在不同实施例中，提供了基于非易失性存储器的交叉式阵列或交叉式存储器。由行线与列线交叉形成多个结点。电阻式存储器元件(例如非易失性存储器)与在行线中的一者与列线中的一者之间耦合的结中的每一者处的选择器串联。选择器可以是易失性开关或晶体管，各种类型的易失性开关或晶体管在本领域中是已知的。将理解，各种电阻式存储器元件适用于如本文中所描述的使用，包括忆阻器、相变存储器、导电桥接RAM、以及自旋转移矩RAM。
[0017]可以在核上提供固定数量的突触，并且然后连接多个核以提供完整的神经网络。在该实施例中，提供核之间的互连性，以例如经由分组交换或电路交换网络将一个核上的神经元的输出传递到另一核。在分组交换网络中，由于需要传输、读取和作用于地址位，可以以功率和速度成本实现互连的更大的灵活性。在电路交换网络中，不需要地址比特，因此必须通过其他手段来实现灵活性和重新可配置性。
[0018]在不同示例性网络中，多个核被布置在芯片上的阵列中。在该实施例中，核的相对位置可以由基本方向(北、南、东、西)指代。由神经信号携带的数据可以使用适合于缓冲的数字电压电平或其他形式的数字信号恢复在由每条线携带的脉冲持续时间中进行编码。
[0019]路由的一种方法是在每个核的输出边缘处提供模拟到数字转换器，模拟到数字转换器与用于快速路由分组至任何其他核的芯片上数字网络配对，并且在每个核的输入边缘处提供数字到模拟转换器。
[0020]深度神经网络(DNN)的训练涉及三个不同的步骤：1)通过整个网络将训练示例前向推断到输出；2)基于该训练示例的猜测输出与已知真值(ground
‑
truth)输出之间的差异来反向传播增量(delta)或校正；以及3)通过将与刚好在突触权重上游的神经元相关联的
原始前向激励(x)与刚好在突触权重下游的神经元相关联的反向传播的增量相组合来对网络中的每个权重进行权重更新。
[0021]由于对权重更新所需的这两条数据是在大幅不同的时间处产生的事实，该训练过程的流水线化是复杂的。在前向传递期间产生传入的激励值(x向量)，而直到整个前向传递完成且反向传递已返回到同一神经网络层为止不产生传入的增量值(增量向量)。对于位于神经网络早期的层，这意味着必须同时存储稍后将需要的x向量数据，并且必须存储以及稍后取得的该向量的数量可能是非常大的。
[0022]具体地，为了在层q进行权重更新，需要与在某个时间步t产生的输入m(例如，图像)相对应的激励。此外，需要层q的增量，其在时间步长t+2l之前不可用，其中，l是在q和网络的输出之间的层的数量。
[0023]同本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人工神经网络，包括多个突触阵列，其中：所述多个突触阵列中的每个突触阵列包括多个有序输入线、多个有序输出线以及多个突触；所述突触中的每个突触操作地耦合到所述多个输入线中的一个输入线和所述多个输出线中的一个输出线；所述多个突触中的每个突触包括被配置为存储权重的电阻元件；所述多个突触阵列被配置在多个层中，所述多个层包括至少一个输入层、一个隐藏层、以及一个输出层；所述至少一个隐藏层中的至少一个突触阵列中的第一突触阵列被配置为在前馈操作期间接收并存储来自先前层的输入阵列；所述至少一个隐藏层中的所述至少一个突触阵列中的第二突触阵列被配置为从所述先前层接收所述输入阵列，并且在所述前馈操作期间基于所述第二突触阵列的权重来计算来自所述至少一个隐藏层的输出；所述至少一个突触阵列中的所述第一突触阵列被配置为在反向传播操作期间将所存储的输入阵列提供给所述至少一个突触阵列中的所述第二突触阵列；以及所述至少一个突触阵列中的所述第二突触阵列被配置为在所述反向传播操作期间接收校正值，并且基于所述校正值和所存储的输入阵列，更新其权重。2.根据权利要求1所述的人工神经网络，其中，所述前馈操作是流水线式的。3.根据权利要求1所述的人工神经网络，其中，所述反向传播操作是流水线式的。4.根据权利要求1所述的人工神经网络，其中，所述前馈操作和所述反向传播操作是并发执行的。5.根据权利要求1所述的人工神经网络，其中，所述至少一个突触阵列中的所述第一突触阵列被配置为每列存储一个输入阵列。6.根据权利要求1所述的人工神经网络，其中，所述多个突触中的每个突触包括存储器元件。7.根据权利要求1所述的人工神经网络，其中，所述多个突触中的每个突触包括NVM或3T1C。8.一种设备，包括：第一和第二突触阵列，所述第一和第二突触阵列中的每个突触阵列包括多个有序输入线、多个有序输出线以及多个突触，其中，所述多个突触中的每个突触操作地耦合到所述多个输入线中的一个输入线和所述多个输出线中的一个输出线；所述多个突触中的每个突触包括被配置为存储权重的电阻元件；所述第一突触阵列被配置为在前馈操作期间接收并存储来自人工神经网络的先前层的输入阵列；所...

【专利技术属性】
技术研发人员：G，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：