具有单独权重更新和干扰电路的电阻式处理单元架构制造技术

提供了用于在电阻处理单元(RPU)系统中执行权重更新操作以更新包括可调谐电阻器件的RPU器件的权重值的系统和方法。针对给定RPU器件的权重更新操作包括：维持RPU器件的权重更新累积值，响应于检测到施加在连接至RPU器件的更新行和更新列控制线上的输入向量的随机比特流的重合，将权重更新累积值调整一个单位更新值；响应于累积权重值达到预定义阈值，生成权重更新控制信号；以及，响应于权重更新控制信号，将可调谐电阻器件的电导水平调整一个单位电导值，其中，所述一个单位电导值对应于RPU器件的一个单位权重值。

【技术实现步骤摘要】
【国外来华专利技术】具有单独权重更新和干扰电路的电阻式处理单元架构
本公开总体上涉及电阻式处理单元(RPU)架构，具体地涉及更新和读取存储在RPU存储单元中的权重值的技术。
技术介绍
近年来，基于深度神经网络(DNN)的模型由于大型标记的数据集的可用和计算资源的连续改进而取得了显著的进步。DNN被用于不同应用，包括例如对象/语音识别、语言翻译、模式提取和图像处理。DNN模型的质量取决于对大量训练数据的处理以及越来越复杂的神经网络。就这一点而言，训练复杂DNN模型是耗时且计算密集的任务，其可能需要许多天或星期使用具有许多计算节点(例如，数据中心规模的计算资源)的并行且分布式计算架构来执行以完成DNN模型的训练。为了减少训练时间，在常规CMOS技术中或通过使用新兴的非易失性存储器(NVM)技术来追求处理DNN工作负荷的硬件加速技术。然而，已经发现，与传统的硬件加速技术相比，RPU加速器设备具有将DNN训练加速几个数量级、同时使用更少功率的潜力。DNN训练一般依赖于后向传播算法，其包括三个重复循环：前向、后向和权重更新。已确定，基于RPU存储单元的二维(2D)交叉式阵列的RPU加速器器件可经配置以并行地执行后向传播算法的所有三个循环，因此与使用中央处理单元(CPU)和图形处理单元(GPU)的现有技术实施例相比，潜在地在DNN训练中以较低功率和减少的计算资源提供显著加速。RPU加速器可以本地存储和更新权重值，从而使训练过程期间的数据移动最小化并且充分利用DNN训练过程的局部性和并行性。包括RPU单元阵列的随机训练的DNN可以具有使用不同类型的可调谐电阻器件(包括例如忆阻式器件、电容器/读取晶体管等)实现的突触权重。为了正确地训练DNN并实现高精确度，可调谐电阻器件的操作特性应当满足给定DNN算法可以容忍而没有显著误差损失的可接受的RPU器件参数的一组严格的规格。这些规格包括：例如RPU器件切换特性的变化，诸如由于单个重合事件引起的最小增量电导变化(±Δgmin)、上下电导变化的不对称性、电导值的可调谐范围等。具体地，DNN训练的一个重要规范是，RPU单元应具有可调谐电导，其分辨率(或动态范围)至少是至少1000个电导水平(或步长)，其中，电导水平可以(通过1ns脉冲)以模拟和对称增量方式从最小电导状态切换到最大电导状态(最大和最小电导状态之间具有至少一个数量级的电导差异(开/关比))(经由1-ns脉冲)。为了实现RPU单元中最小单位权重值的上/下变化(±Δwmin)的对称性，RPU单元的相关电导水平的每次递增(逐步升高，)和递减(逐步降低，)应为相同量或不超过5％错配误差内的类似量)。换言之，本质上是模拟的可调谐电阻式RPU器件，当被提供相同但相反的脉冲刺激时，应当对称地响应以上下电导变化。然而，尽管有这些要求，可调谐电阻器件可能展现出有限的动态范围、分辨率和调谐/编程特性的可变性，这使得RPU架构的硬件实现并非无关紧要。
技术实现思路
本专利技术的实施例包括用于在RPU单元中执行权重更新和读取操作的RPU单元架构和方法，其中利用单独的矩阵来在包含可调谐电阻器件的RPU单元的交叉式阵列内独立地执行单独的权重更新累积和推断(权重读取)操作。一个实施例包括RPU器件，其包括：权重更新累积电路，其具有连接到更新行控制线的第一输入和连接到更新列控制线的第二输入；连接至权重更新累积电路的输出的权重更新控制电路；以及可调谐电阻器件，其耦合到权重更新控制电路，并且连接到读取行控制线和读取列控制线。权重更新累积电路被配置成用于(i)维持权重更新累积值hij并响应于每个检测到的在更新行和更新列控制线上施加的输入向量的随机比特流的重合而将权重更新累积值hij调整一个单位更新值Δh，和(ii)响应于累积权重值hij达到预定义阈值而向权重更新控制电路输出权重更新控制信号。权重更新控制电路被配置为响应于从权重更新累积电路输出的权重更新控制信号而将可调谐电阻器件的电导水平调整一个单位电导值Δg，其中，所述一个单位电导值Δg对应于RPU器件的一个单位权重值Δw。另一个实施例包括一种用于执行权重更新操作以更新包括可调谐电阻器件的RPU器件的权重值的方法。所述权重更新操作包括：维持RPU器件的权重更新累积值hij；响应于检测到的在连接到RPU单元的更新行和更新列控制线上施加的输入向量的随机比特流的重合而将权重更新累积值hij调整一个单位更新值Δh；响应于累积权重值hij达到预定义阈值而生成权重更新控制信号；响应于权重更新控制信号而将可调谐电阻器件的电导水平调整一个单位电导值Δg，其中，所述一个单位电导值Δg对应于RPU器件的一个单位权重值Δw。在以下实施例的详细描述中将描述其他实施例，这些实施例将结合附图来阅读。附图说明图1示意性地示出了根据本专利技术实施例可以用RPU单元架构来实现的RPU系统。图2A示意性地展示了后向传播过程的前向传递操作，该后向传播过程可以使用图1的RPU系统来执行。图2B示意性地展示了后向传播过程的后向传递操作，该后向传递操作可以使用图1的RPU系统来执行。图2C示意性地展示了后向传播过程的权重更新操作，该后向传播过程可以使用图1的RPU系统来执行。图3是根据本专利技术实施例的RPU单元架构的高级示意图，在该RPU单元架构中实施了单独的权重矩阵以独立地执行单独的权重更新累积和推断(权重读取)操作。图4示意性地展示了根据本专利技术的另一个实施例的RPU单元架构，在该RPU单元架构中实施了单独的权重矩阵以独立地执行单独的权重更新累积和推断操作。图5示意性示出了根据本专利技术的实施例的图4的RPU单元的操作模式。图6示意性地示出了根据本专利技术的另一个实施例的RPU系统的RPU单元阵列，其中每个RPU单元实施了单独的权重矩阵以独立地执行单独的权重更新累积和推断操作。图7示意性地展示了根据本专利技术的另一个实施例的RPU单元架构，在该RPU单元架构中实施了单独的权重矩阵以独立地执行单独的权重更新累积和推断操作。具体实施方式现在将关于RPU单元架构和方法更详细地讨论本专利技术的实施例，在这些RPU单元架构和方法中利用单独的矩阵来在包含可调谐电阻器件的RPU单元的交叉式阵列内独立地执行单独的权重更新累积和推断(权重读取)操作。应注意，在整个附图中使用相同或相似的附图标记来表示相同或相似的特征、元件或结构，并且因此，将不会针对每个附图重复对相同或相似的特征、元件或结构的详细说明。图1示意性地示出了根据本专利技术实施例可以用RPU单元架构来实现的RPU系统100。RPU系统100包括布置在多个行R1、R2、R3、…、Rm和多个列C1、C2、C3、…、Cn中的RPU单元110的二维(2D)交叉式阵列。每行R1、R2、R3、…、Rm中的RPU单元110共同连接至相应的行控制线RL1、RL2、RL3、…、RLm(统称为行控制线RL)。每个列C1、C2、C3、…、Cn中的RPU单元110共同连接至对应的列控制线CL1、CL2、CL3、…、CLn(统称为列控制线本文档来自技高网...

【技术保护点】
1.一种电阻处理单元(RPU)器件，包括：/n权重更新累积电路，具有连接至更新行控制线的第一输入和连接至更新列控制线的第二输入；/n权重更新控制电路，其连接至该权重更新累积电路的输出；和/n可调谐电阻器件，其耦合到权重更新控制电路，并且连接到读取行控制线和读取列控制线；/n其中，权重更新累积电路被配置得用于：(i)维持权重更新累积值h

【技术特征摘要】
【国外来华专利技术】20180416 US 15/954,1701.一种电阻处理单元(RPU)器件，包括：
权重更新累积电路，具有连接至更新行控制线的第一输入和连接至更新列控制线的第二输入；
权重更新控制电路，其连接至该权重更新累积电路的输出；和
可调谐电阻器件，其耦合到权重更新控制电路，并且连接到读取行控制线和读取列控制线；
其中，权重更新累积电路被配置得用于：(i)维持权重更新累积值hij并响应于每个检测到的在更新行和更新列控制线上施加的输入向量的随机比特流的重合而将权重更新累积值hij调整一个单位更新值Δh，和(ii)响应于累积权重值hij达到预定义阈值而向权重更新控制电路输出权重更新控制信号；和
其中，权重更新控制电路被配置得用于响应于从权重更新累积电路输出的权重更新控制信号而将可调谐电阻器件的电导水平调整一个单位电导值Δg，其中，该一个单位电导值Δg对应于RPU器件的一个单位权重值Δw。


2.如权利要求1所述的RPU器件，其中，权重更新累积电路被配置成用于与读取操作并发地执行累积权重更新操作，在读取操作中，通过在连接至可调谐电阻器件的读取行和读取列控制线上施加读取控制电压来感测所述RPU器件的权重值wij。


3.如权利要求1所述的RPU器件，其中，权重更新累积电路系统和权重更新控制电路系统被配置成接收编程极性控制信号，并且根据编程极性控制信号的极性，通过(i)递增和(ii)递减权重更新累积值和电导水平之一来调整可调谐电阻器件的权重更新累积值和电导水平。


4.如权利要求1所述的RPU器件，其中，权重更新累积电路包括：
重合检测器，具有连接到更新行和更新列控制线的输入端；和
双向数字计数器，具有连接到重合检测器的输出端的数据输入端口；
其中，重合检测器被配置得用于响应于在更新行和更新列控制线上施加的输入向量的随机比特流的每个检测到的重合而向双向数字计数器的数据输入端口输出检测信号；和
其中，双向数字计数器被配置得用于(i)响应于向数据输入端口输入的检测信号来调整一个计数值，和(ii)响应于该计数值达到预定义计数值而向权重更新控制电路系统输出权重更新控制信号。


5.如权利要求4所述的RPU器件，其中，权重更新控制电路包括脉冲发生器电路，其被配置得用于生成编程电压脉冲以将可调谐电阻器件的电导水平调整一个单位电导值Δg。


6.如权利要求5所述的RPU器件，其中，脉冲发生器电路被配置得用于生成重置控制信号，其被输入到双向数字计数器的重置控制端口以便在调节可调谐电阻器件的电导水平之后将双向数字计数器的计数值重置到预定义的初始化计数值。


7.如权利要求4所述的RPU器件，其中，所述预定义的计数值包括双向数字计数器的最小计数值和最大计数值之一。


8.如权利要求4所述的RPU器件，其中，重合检测器包括“与”逻辑电路。


9.如权利要求1所述的RPU器件，其中，权重更新控制电路包括脉冲发生器电路，并且其中，可调谐电阻器件包括可调谐忆阻器件，其中，脉冲发生器电路被配置得用于跨可调谐忆阻器件施加编程电压脉冲，以将调谐忆阻器件的电导水平调整一个单位电导值Δg。


10.如权利要求9所述的RPU器件，其中，权重更新控制电路包括第一开关和第二开关，其中，第一开关和第二开关响应于路径选通控制信号以选择性地跨脉冲发生器电路的第一输出端子和第二输出端子连接可调谐忆阻器件以执行权重更新过程，以及选择性地将可调谐忆阻器件连接到读取行和读取列控制线以执行权重读取操作。


11.如权利要求9所述的RPU器件，其中，脉冲发生器电路包括位于RPU器件的覆盖区域内的本地专用脉冲发...

【专利技术属性】
技术研发人员：金世荣，T·格克曼，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US