用于更新模拟交叉型阵列的稀疏可修改比特长度确定性STIC脉冲生成制造技术

提供了用于更新模拟交叉型阵列的计算机实现的方法、系统和计算机程序产品的实施例。实施例包括接收在矩阵乘法中被使用的数目以表示使用针对交叉型阵列的脉冲生成，以及接收第一比特长度以表示该数目，其中该比特长度是可修改的比特长度。实施例还包括选择具有第一比特长度的脉冲序列中的脉冲位置以表示该数目，使用该脉冲序列中所选择的脉冲位置来执行计算，以及使用该计算来更新交叉型阵列。以及使用该计算来更新交叉型阵列。以及使用该计算来更新交叉型阵列。

【技术实现步骤摘要】
【国外来华专利技术】用于更新模拟交叉型阵列的稀疏可修改比特长度确定性STIC脉冲生成

技术介绍

[0001]本专利技术一般涉及实现神经网络的交叉型阵列(crossbar arrays)，更具体地涉及使用稀疏可修改的比特长度确定性脉冲生成来训练神经网络以用于更新模拟交叉型阵列。
[0002]人工神经网络(ANN)，也称为神经形态和突触电子(synaptronic)系统，是允许电子系统基本上以类似于诸如人脑的生物神经系统的方式起作用的计算系统。在本详细描述中，对ANN的任何引用在最广泛的意义上用于覆盖模拟生物神经网络的广泛范围的计算机和电子系统，包括但不限于脉冲神经网络(PNN)。ANN的一些实现通常不利用操纵0和1的传统数字模型。相反，ANN的一些实现在处理元件之间创建连接，这些处理元件在功能上大致等同于生物脑的神经元。
[0003]ANN通常被实现为具有许多简单处理器和许多互连的相对大的并行计算系统。使用ANN(或PNN)对生物神经系统建模可以有助于更好地理解生物功能。许多ANN模型试图使用一些被认为在人脑中使用的“组织”原理。当代的计算机硬件技术(例如VLSI和光学元件)已经使得这种建模可行。ANN包含来自各种学科的知识，包括神经生理学、认知科学/心理学、物理学(统计力学)、控制理论、计算机科学、人工智能、统计/数学、模式识别、计算机视觉、并行处理和硬件(例如，数字/模拟/VLSI/元件)。
[0004]现代ANN包括人工神经元(也称为“节点”)的网络。这些节点被彼此连接，并且它们彼此连接的强度被分配值。例如，连接可以被标识为表现出抑制(最大抑制为负1.0)或激发(最大激发为正1.0)。如果连接的幅度值高，则这表示强连接。在每个节点的设计中，还内置了传递函数。在典型的ANN中有三种类型的神经元，即输入节点、隐藏节点和输出节点。
[0005]输入节点接收可以用数字表示的信息。该信息被表示为激活值，其中每个节点被给予一个数目，并且具有较高幅度的数目导致较大的激活。然后，该信息通过网络传递。基于连接强度(权重)、抑制(或激励)和传递函数，激活值从节点传递到节点。每个节点对其接收的激活值求和。然后，每个节点基于其传递函数修改该值。激活流经输入节点和隐藏层直到其到达输出节点。输出节点以有意义的方式将输入反映到外部世界。
[0006]有许多类型的神经网络，但是两种最广泛的类别是前馈和反馈网络。前馈网络是具有输入、输出和隐藏层的非循环网络。信号只能在一个方向上传播。输入数据被传递到执行计算的处理元件层。每个处理元件基于其输入的加权和进行其计算。然后，新的计算值变成馈送到下一层的新的输入值。该过程继续，直到它已经通过所有层并确定输出。有时使用阈值传递函数来量化输出层中神经元的输出。
[0007]反馈网络包括反馈路径，这意味着它们的信号可以使用环路在两个方向上传播。允许神经元之间的所有可能的连接。因为在这种类型的网络中存在环路，所以在某些操作下，它可以变成连续变化直到它达到平衡状态的非线性动态系统。反馈网络通常用在关联存储器和优化问题中，其中网络寻找互连因子的最佳排列。
[0008]在ANN中，尖峰生成函数可以由通常被称为时间编码器或尖峰生成器的组件来建模。因此，获得先前描述的生物神经系统的更多知识的能力取决于模拟如何在尖峰时间编
码器的循环网络中编码神经信息的ANN的开发。时间编码器通过异步地积分所接收的信号并产生后续的异步脉冲信号组来提供对信息的数字和模拟编码的替换。时间编码器网络的某些配置允许从网络输出的多组脉冲或尖峰信号中提取关于输入到网络的多组信号的信息。

技术实现思路

[0009]本专利技术的实施例涉及一种用于更新交叉型阵列的可修改比特长度脉冲生成的计算机实现的方法。计算机实现的方法的非限制性示例包括：接收在矩阵乘法中被使用的数字以表示使用针对交叉型阵列的脉冲生成；以及接收第一比特长度以表示该数目，其中该比特长度是可修改的比特长度。该计算机实现的方法包括：选择具有第一比特长度的脉冲序列中的脉冲位置以表示该数目；由处理器使用该脉冲序列中所选择的脉冲位置来执行计算；以及由处理器使用该计算来更新交叉型阵列。
[0010]本专利技术的实施例针对用于更新交叉型阵列的可修改比特长度脉冲生成的系统。该系统的非限制性示例包括具有一个或多个忆阻设备和处理器的交叉型阵列。该处理器被配置为接收在矩阵乘法中被使用的数目以表示使用针对交叉型阵列的脉冲生成，并且接收比特长度以表示该数目，其中比特长度是可修改的比特长度。该处理器还被配置为选择具有比特长度的脉冲序列中的脉冲位置以表示该数目，使用脉冲序列中的所选择的脉冲位置来执行计算；以及使用该计算来更新交叉型阵列，其中更新交叉型阵列改变一个或多个忆阻器的权重。
[0011]本专利技术的实施例涉及一种用于更新交叉型阵列的可修改的比特长度脉冲生成的计算机程序产品，该计算机程序产品包括具有包含在其中的程序指令的计算机可读存储介质。该程序指令由处理器可执行以使处理器执行一种方法。该方法的非限制性示例包括：接收在矩阵乘法中被使用的数以表示使用针对交叉型阵列的脉冲生成；以及接收第一比特长度以表示该数目，其中该比特长度是可修改的比特长度。该方法包括：选择具有第一比特长度的脉冲序列中的脉冲位置以表示该数目；由处理器使用该脉冲序列中的所选择的脉冲位置来执行计算；以及由处理器使用该计算来更新交叉型阵列。
[0012]通过本专利技术的技术实现附加技术特征和益处。本专利技术的实施例和方面在此详细描述，并且被认为是所要求保护的主题的一部分。为了更好地理解，参考详细描述和附图。
附图说明
[0013]在说明书结束时的权利要求书中特别指出并清楚地要求了本文所述的专有权的细节。从以下结合附图的详细描述中，本专利技术的实施例的前述和其他特征和优点是显而易见的，在附图中：
[0014]图1描绘了使用本专利技术的实施例建模的生物神经元的输入和输出连接的示图；
[0015]图2描述了能够结合本专利技术的实施例使用的图1所示的生物神经元的模型；
[0016]图3描述了结合了图2所示的生物神经元模型的ANN的模型；
[0017]图4描绘了能够结合本专利技术的实施例使用的已知权重更新方法的框图；
[0018]图5描绘了能够在本专利技术的一个或多个实施例中使用的计算方法的框图；
[0019]图6描绘了控制能够结合本专利技术的实施例使用的无源双端忆阻器的操作的已知等
式；
[0020]图7示出了已知双端忆阻器的切换特性与能够结合本专利技术的实施例使用的双端RPU的非线性切换特性之间的图形比较；
[0021]图8示出了根据本专利技术实施例的双端非线性RPU器件的交叉型阵列，以及示出了RPU的操作的电压序列；
[0022]图9描绘了根据本专利技术的一个或多个实施例的示例2
×
2交叉型阵列和权重矩阵；
[0023]图10描绘了根据本专利技术的一个或多个实施例的与脉冲重合相乘以更新神经网络的权重；
[0024]图11描述了根据本专利技术的一个或多个实施例的乘法图和乘法表；本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于更新模拟交叉型阵列的脉冲生成的计算机实现的方法，所述计算机实现的方法包括：由处理器接收在矩阵乘法中被使用的数目以表示使用针对交叉型阵列的脉冲生成；由所述处理器接收第一比特长度以表示所述数目，其中所述比特长度是可修改的比特长度；由所述处理器选择具有所述第一比特长度的脉冲序列中的脉冲位置以表示所述数目；由所述处理器使用所述脉冲序列中的所选择的所述脉冲位置来执行计算；以及由所述处理器使用所述计算来更新所述交叉型阵列。2.根据权利要求1所述的计算机实现的方法，还包括：选择第二比特长度，其中所述第二比特长度不同于所述第一比特长度；选择针对具有所述第二比特长度的更新的脉冲序列的脉冲位置以表示所述数目；使用所述更新的脉冲序列中所选择的所述脉冲位置执行后续计算；以及使用所述后续计算来更新所述交叉型阵列，其中更新所述交叉型阵列包括至少部分地基于所述计算和所述后续计算来更新所述交叉型阵列的一个或多个忆阻设备的电导值。3.根据权利要求1所述的计算机实现的方法，还包括在神经网络的训练阶段期间将所述第一比特长度修改为所述第二比特长度。4.根据权利要求1所述的计算机实现的方法，其中所述计算包括：利用所述矩阵乘法中被使用的所述数目和所述矩阵乘法中被使用的第二数目来执行外积运算。5.根据权利要求1所述的计算机实现的方法，还包括生成热图，其中所生成的所述热图至少部分地基于第一脉冲序列和第二脉冲序列之间的脉冲重合，其中所述第一脉冲序列或所述第二脉冲序列中的至少一个脉冲序列包括所选择的所述脉冲位置，其中至少一个第一脉冲序列对应于所述数目，并且所述第二脉冲序列对应于第二数目。6.根据权利要求5所述的计算机实现的方法，还包括使用所选择的所述脉冲位置将真实乘法图与所生成的所述热图进行比较，其中所述真实乘法图针对每个元素执行逐元素乘法。7.根据权利要求1所述的计算机实现的方法，还包括：确定所述真实乘法图与所生成的所述热图之间的误差；以及显示所述真实乘法图与所生成的所述热图之间的所述误差。8.一种用于实现用于更新交叉型阵列的脉冲生成的系统，所述系统包括：交叉型阵列，所述交叉型阵列包括一个或多个忆阻设备；处理器，被配置为：接收在矩阵乘法中被使用的数目以表示使用针对所述交叉型阵列的脉冲生成；接收比特长度以表示所述数目，其中所述比特长度是可修改的比特长度；选择具有所述比特长度的脉冲序列中的脉冲位置以表示所述数目；使用所述脉冲序列中的所选择的所述脉冲位置执行计算；以及使用所述计算来更新所述交叉型阵列，其中更新所述交叉型阵列改变所述一个或多个忆阻设备的权重。9.根据权利要求8所述的系统，其中所述处理器被配置为：选择第二比特长度，其中所述第二比特长度不同于所述第一比特长度；
选择针对具有所述第二比特长度的更新的脉冲序列的脉冲位置以表示所述数目；使用所述更新的脉冲序列中的所选择的所述脉冲位置来执行后续计算；以及使用所述后续计算来更新所述交叉型阵列，其中更新所述交叉型阵列包括至少部分地基于所述计算和所述后续计算来更新所述交叉型阵列的所述一个或多个忆阻设备的电导值。10.根据权利要求8所述的系统，其中所述处理器被配置为在神经网络的训练阶段...

【专利技术属性】
技术研发人员：金世荣，O，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：