用于神经网络训练的具有迟滞更新的电阻处理单元制造技术

一种技术涉及电阻处理单元(RPU)阵列。一组导电列线被配置为在该组导电列线和一组导电行线之间的交汇处形成交叉点。多个双端子RPU是迟滞的，使得所述双端子RPU各自具有由迟滞定义的电导状态，其中所述多个双端子RPU的双端子RPU位于每个交叉点处。

Resistance processing unit with hysteresis update for neural network training

【技术实现步骤摘要】
【国外来华专利技术】用于神经网络训练的具有迟滞更新的电阻处理单元专利技术人或共同专利技术人关于在先内容披露的声明根据35U.S.C.102(b)(1)(A)提交以下的内容披露：内容披露：《使用电阻交叉点装置加速深度神经网络训练：设计考虑因素》(AccelerationofDeepNeuralNetworkTrainingwithResistiveCross-PointDevices:DesignConsiderations)，作者TayfunGokmen和YuriiVlasov，2016年7月21日发表于Front.Neurosci.10:333，第1-13页，其通过引用并入本文。
本专利技术一般涉及计算系统，更具体地涉及用于神经网络训练的具有迟滞更新的电阻处理单元(RPU)设备。
技术介绍
“机器学习”被用于大体上描述从数据中学习的电子系统的主要功能。在机器学习和认知科学中，人工神经网络(ANN)或深度神经网络(DNN)是一系列统计学习模型，其灵感来自动物的生物神经网络，特别是大脑。人工神经网络可用于估计或近似依赖于大量输入且通常未知的系统和功能。人工神经网络由双端子RPU的交叉阵列(crossbararrays)形成。交叉阵列是高密度、低成本的电路架构，用于形成各种电子电路和器件，包括ANN架构、神经形态微芯片和超高密度非易失性存储器。基本的交叉阵列配置包括一组导电行线和一组形成为与该组导电行线相交的导电列线。两组导线之间的交汇处由所谓的交叉点装置分隔，所述交叉点装置可以由薄膜材料形成。
技术实现思路
按照一个或多个实施例，提供了一种电阻处理单元(RPU)阵列。所述RPU阵列包括一组导电行线，以及一组导电列线，其被配置为在该组导电行线和该组导电列线之间的交汇处形成多个交叉点。所述多个双端子RPU是迟滞的，使得所述多个双端子RPU各自具有由迟滞限定的电导状态。所述多个双端子RPU中的双端子RPU位于所述多个交叉点中的每一个处。按照一个或多个实施例，提供了一种形成电阻处理单元(RPU)阵列的方法。该方法提供一组导电行线，并提供一组导电列线，其被配置为在该组导电行线和该组导电列线之间的交汇处形成多个交叉点。该方法包括提供多个双端子RPU，所述多个双端子是迟滞的，使得所述多个双端子RPU各自具有由迟滞限定的电导状态。所述多个双端子RPU中的双端子RPU位于所述多个交叉点中的每一个处。按照一个或多个实施例，提供了一种用于迟滞操作的方法。该方法包括使更新脉冲由至少一个迟滞电阻处理单元(RPU)接收，并使所述至少一个迟滞RPU响应于所述更新脉冲而具有电导状态的变化。所述电导状态的变化具有预定量的更新脉冲的延迟。附图说明现在将仅通过示例的方式参考附图描述本专利技术的实施例，附图中：图1A是在每个交叉点处执行的方程式(1)的原始权重更新规则的示意图。图1B是按照一个或多个实施例的在每个交叉点处使用简单的“与”运算的方程式(2)的随机更新规则的示意图。图1C是按照一个或多个实施例的脉冲方案，其使得能够通过RPU器件实现用于向上传导变化的随机更新规则。图1D是按照一个或多个实施例的脉冲方案，其使得能够通过RPU器件实现用于向下传导变化的随机更新规则。图2A是按照一个或多个实施例的方程式(2)的测试误差的曲线图。图2B是按照一个或多个实施例的方程式(2)的测试误差的曲线图。图2C示出了按照一个或多个实施例的RPU器件的各种非线性响应。图3A是按照一个或多个实施例的测试误差的曲线图。图3B是按照一个或多个实施例的测试误差的曲线图。图3C是按照一个或多个实施例的测试错误的曲线图。图3D是按照一个或多个实施例的测试误差的曲线图。图3E是按照一个或多个实施例的测试误差的曲线图。图3F是按照一个或多个实施例的测试误差的曲线图。图3G是按照一个或多个实施例的测试错误的曲线图。图3H是按照一个或多个实施例的测试误差的曲线图。图3I是按照一个或多个实施例的测试误差的曲线图。图4A是按照一个或多个实施例的图3C-3I中的应力测试的雷达图。图4B示出了按照一个或多个实施例当效果多于一个参数时的训练结果。图5A是示出按照一个或多个实施例的在前向(或后向)周期期间单列(或行)的操作的示意图。图5B是按照一个或多个实施例的图4B中的模型3的网络的测试误差的曲线图。图5C是按照一个或多个实施例的加速器RPU芯片的架构的示意图。图5D是按照一个或多个实施例的RPU器件上的各种开/关比的可接受的噪声水平的曲线图。图6是按照一个或多个实施例的总结各种RPU系统设计与现有技术的比较的表。图7是概述按照一个或多个实施例的RPU器件规范的表。图8描绘了按照一个或多个实施例的具有迟滞的不平衡RPU器件与不具有迟滞的不平衡设备RPU器件的电导变化。图9描绘了按照一个或多个实施例的迟滞模型，其示出了迟滞量与更新脉冲的数量之间的关系。图10A是示出按照一个或多个实施例的具有不同迟滞程度的训练结果的测试误差的曲线图。图10B是示出按照一个或多个实施例的具有不同迟滞程度的训练结果的测试误差的曲线图。图11是示出按照一个或多个实施例的迟滞脉冲的数量的测试误差的曲线图。图12是示出按照一个或多个实施例的迟滞重新归一化不平衡因子的曲线图。图13是按照一个或多个器件形成电阻处理单元阵列的方法的流程图。图14是按照一个或多个实施例的用于迟滞操作的方法的流程图。图15是按照一个或多个实施例的示例RPU阵列。具体实施方式ANN或深度神经网络(DNN)通常体现为互连的处理器元件的所谓“神经形态”系统，处理器元件充当模拟“神经元”并以电子信号的形式在彼此之间交换“消息”。类似于在生物神经元之间传递信息的突触神经递质连接的所谓“可塑性”，在模拟神经元之间携带电子消息的ANN中的连接(connections)，被提供有对应于给定连接的强度或弱点的数字权重。可以根据经验调整和调谐权重，使人工神经网络适应输入并且能够学习。例如，用于手写识别的ANN由一组输入神经元定义，输入神经元可以由输入图像的像素激活。在通过由网络设计者确定的函数进行加权和变换之后，这些输入神经元的激活然后被传递到其他下游神经元，下游神经元通常被称为“隐藏”神经元。重复该过程直到激活输出神经元。激活的输出神经元确定读取了哪个字符。交叉阵列，也称为交叉点(cross-point)阵列或交叉线(crosswire)阵列，是用于形成各种电子电路和设备的高密度、低成本电路架构，包括ANN架构、神经形态微芯片和超高密度非易失性存储器。基本交叉阵列配置包括一组导电行线和一组形成为与该组导电行线相交的导电列线。两组导线之间的交叉点由所谓的交叉点装置(cross-pointdevices)分隔，所述交叉点装置可以由薄膜材料形成。交叉点装置实际上起着ANN的在神经元之间的加权的连接的作用。纳米级双端器件，例如具有“理想的”电导状态转换特性的忆阻器，通常用作交叉点装置，以便以高能效模拟突触可塑性。可以通过控制施加在行和列线的各个线之间的电压来改变理想的忆阻器材料的电导状态(例如，电阻的倒数)。可以通过改变交汇处的忆阻器材料的电导状态以实现高导通状态或低导通状态，来存储数字数据。忆阻器材料还可以被编程，以通过选择性地设定材料的电导状态来维持两个或更多个不同的电导状态。可以通过本文档来自技高网...

【技术保护点】
1.一种电阻处理单元(RPU)阵列，包括：一组导电行线；一组导电列线，被配置为在所述一组导电行线和所述一组导电列线之间的交汇处形成多个交叉点；和多个双端子RPU，所述多个双端子RPU是迟滞的，使得所述多个双端子RPU各自具有由迟滞限定的电导状态，其中所述多个双端子RPU的双端子RPU位于所述多个交叉点的每个交叉点。

【技术特征摘要】
【国外来华专利技术】2017.03.01 US 15/446,2641.一种电阻处理单元(RPU)阵列，包括：一组导电行线；一组导电列线，被配置为在所述一组导电行线和所述一组导电列线之间的交汇处形成多个交叉点；和多个双端子RPU，所述多个双端子RPU是迟滞的，使得所述多个双端子RPU各自具有由迟滞限定的电导状态，其中所述多个双端子RPU的双端子RPU位于所述多个交叉点的每个交叉点。2.如权利要求1所述的RPU阵列，其中所述多个双端子RPU的迟滞被配置为使得所述电导状态的变化具有预定量的脉冲的延迟。3.如权利要求2所述的RPU阵列，其中所述预定量的脉冲是多个更新脉冲。4.如权利要求3所述的RPU阵列，其中所述更新脉冲被配置为施加到所述一组导电行线和所述一组导电列线。5.如权利要求2所述的RPU阵列，其中所述电导状态的变化被定义为所述电导状态从第一方向到第二方向的切换或者所述电导状态从第二方向到第一方向的切换。6.如权利要求5所述的RPU阵列，其中，所述延迟对于所述电导状态从第一方向到第二方向的切换以及所述电导状态从第二方向到第一方向的切换是相等的。7.如权利要求5所述的RPU阵列，其中所述更新脉冲在正脉冲和负脉冲之间切换。8.如权利要求7所述的RPU阵列，其中所述正脉冲引起所述电导状态的第一方向，所述负脉冲引起所述电导状态的第二方向。9.如权利要求1所述的RPU阵列，其中：所述多个双端子RPU是不平衡器件，其具有所述导电状态在第一方向和第二方向的斜率之间的不平衡；和所述多个双端子RPU中的迟滞减小了不平衡。10.一种形成电阻处理单元(RPU)阵列的方法，该方法包括：提供一组导电行线；提供一组导电列线，其被配置为在所述一组导电行线和所述一组...

【专利技术属性】
技术研发人员：T戈克曼，RM特朗普，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国,US