用于忆阻器阵列的权重更新方法和处理单元技术

一种用于忆阻器阵列的权重更新方法和处理单元，该忆阻器阵列设置为用于映射神经网络的网络层的权重矩阵，且忆阻器阵列包括阵列排布的多个忆阻器单元，且多个忆阻器单元的每个包括用于形成差分单元的两个忆阻器，该权重更新方法包括：获取权重矩阵中每个权重的权重更新方向；根据在先更新模式历史，选择用于忆阻器阵列的权重更新操作模式，并根据每个权重的权重更新方向改变忆阻器阵列中对应的忆阻器单元中至少一个忆阻器的电导值。该权重更新方法能够提高处理单元的权重表示范围，解决单向操作造成忆阻器电导饱和的问题，有效降低系统的能耗开销，简化系统设计的复杂度。简化系统设计的复杂度。简化系统设计的复杂度。

【技术实现步骤摘要】
用于忆阻器阵列的权重更新方法和处理单元


[0001]本公开的实施例涉及一种用于忆阻器阵列的权重更新方法和处理单元。

技术介绍

[0002]当前，以深度神经网络为代表的人工智能技术在图形识别、自然语言处理等任务中表现优异，已被广泛用于消费类电子产品、自动驾驶汽车等各种智能设备中。支持深度神经网络在线训练的计算硬件可以使智能设备具有动态适应环境变化的能力。然而，基于冯
·
诺依曼架构的传统计算硬件无法满足深度神经网络在线训练的能效和算力需求。因为在这种传统计算硬件中存储与计算是分离的，大量数据的频繁搬移造成了巨大开销，成为阻碍系统性能提升的一大瓶颈。
[0003]忆阻器是一种可以通过施加外部激励，调节其电导状态的非易失型器件。根据基尔霍夫电流定律和欧姆定律，由忆阻器构成的阵列可以并行地完成乘累加计算，且存储和计算都发生在忆阻器阵列中。基于这种计算架构，可以实现不需要大量数据搬移的存算一体计算。因此，忆阻器存算一体技术有望大幅提升提计算硬件的能效和算力，进而使智能设备具有在线训练能力。

技术实现思路

[0004]本公开一些实施例提供了一种用于忆阻器阵列的权重更新方法，所述忆阻器阵列设置为用于映射神经网络的网络层的权重矩阵，且所述忆阻器阵列包括阵列排布的多个忆阻器单元，且多个所述忆阻器单元的每个包括用于形成差分单元的两个忆阻器，所述权重更新方法包括：获取所述权重矩阵中每个权重的权重更新方向；根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，并根据所述每个权重的权重更新方向改变所述忆阻器阵列中对应的所述忆阻器单元中至少一个忆阻器的电导值。
[0005]例如，在本公开一些实施例提供的一种权重更新方法中，所述权重更新操作模式包括置位操作模式和复位操作模式。
[0006]例如，在本公开一些实施例提供的一种权重更新方法中，根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，包括：当所述在先更新模式为所述置位操作模式时，将所述权重更新操作模式切换到所述复位操作模式；或者当所述在先更新模式为所述复位操作模式时，将所述权重更新操作模式切换到所述置位操作模式。
[0007]例如，本公开一些实施例提供的一种权重更新方法还包括：初始化所述权重更新操作模式为所述置位操作模式或所述复位操作模式。
[0008]例如，在本公开一些实施例提供的一种权重更新方法中，根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，包括：响应于连续进行了m次置位操作模式，将所述权重更新操作模式切换到所述复位操作模式；或者，响应于连续进行了n次复位操作模式，将所述权重更新操作模式切换到所述置位操作模式，m和n为大于1的整数。
[0009]例如，在本公开一些实施例提供的一种权重更新方法中，所述置位操作模式包括
增大对应所述权重的所述忆阻器单元中至少一个忆阻器的电导值；或者，所述复位操作模式包括减小对应所述权重的所述忆阻器单元中至少一个忆阻器的电导值。
[0010]例如，在本公开一些实施例提供的一种权重更新方法中，根据所述每个权重的权重更新方向改变所述忆阻器阵列中对应的所述忆阻器单元中至少一个忆阻器的电导值，包括：当所述权重的权重更新方向为正时，采用所述置位操作模式对所述忆阻器阵列中对应所述权重的所述忆阻器单元中至少一个忆阻器进行置位操作，以增加两个忆阻器之间的电导差值，或者，采用所述复位操作模式对所述忆阻器阵列中对应所述权重的所述忆阻器单元中的至少一个忆阻器进行复位操作，以增加两个忆阻器之间的电导差值；当所述权重的权重更新方向为负时，采用所述置位操作模式对所述忆阻器阵列中对应所述权重的所述忆阻器单元中的至少一个忆阻器进行置位操作，以减小两个忆阻器之间的电导差值，或者，采用所述复位操作模式对所述忆阻器阵列中对应所述权重的所述忆阻器单元中的至少一个忆阻器进行复位操作，以减小两个忆阻器之间的电导差值。
[0011]例如，在本公开一些实施例提供的一种权重更新方法中，所述忆阻器单元包括1T1R结构或2T2R结构的忆阻器子单元。
[0012]本公开一些实施例还提供了一种处理单元，该处理单元包括：忆阻器阵列，配置为被映射为用于神经网络的网络层的权重矩阵，且所述忆阻器阵列包括阵列排布的多个忆阻器单元，且多个所述忆阻器单元的每个包括用于形成差分单元的两个忆阻器；更新方向计算模块，配置为获取权重矩阵中每个权重的权重更新方向；更新策略控制模块，配置为根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，并根据所述每个权重的权重更新方向改变所述忆阻器阵列中对应的所述忆阻器单元中至少一个忆阻器的电导值。
[0013]例如，本公开一些实施例提供的一种处理单元还包括：阵列驱动模块，配置为响应控制信号，对所述忆阻器阵列施加作为所述输入信号的电压信号，或从所述忆阻器阵列接收作为所述输出信号的电流信号；输入模块，配置为接收输入数据并将所述输入数据转换为输入信号以输入到所述忆阻器阵列中；输出模块，配置为接收所述忆阻器阵列对所述输入信号进行计算处理后得到的输出信号，并将所述输出信号转换为输出数据；处理单元控制模块，配置为切换和调度所述处理单元的工作模式。
附图说明
[0014]为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
[0015]图1是一种神经网络的网络层的权重矩阵与忆阻器阵列映射关系的示意图；
[0016]图2是一种忆阻器阵列的结构的示意图；
[0017]图3是一种正负权重的映射方法的示意图；
[0018]图4A是一种具有1T1R结构的忆阻器子单元的示意图；
[0019]图4B是一种具有2T2R结构的忆阻器子单元的示意图；
[0020]图4C是另一种具有2T2R结构的忆阻器子单元的示意图；
[0021]图5为本公开至少一实施例提供的一种1T1R结构的忆阻器阵列的示意图；
[0022]图6A为本公开至少一实施例提供的一种2T2R结构的忆阻器阵列的示意图；
[0023]图6B为本公开至少一实施例提供的另一种2T2R结构的忆阻器阵列的示意图；
[0024]图7为本公开至少一实施例提出的一种权重更新方法的示意图；
[0025]图8为本公开至少一实施例提出的一种权重更新操作模式的示意图；
[0026]图9为本公开至少一实施例提出的一种权重更新方法的流程图；
[0027]图10为本公开至少一实施例提出的一种处理单元的结构示意图；以及
[0028]图11为本公开至少一实施例提出的一种处理单元的更新状态的示意图。
具体实施方式
[0029]为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于忆阻器阵列的权重更新方法，所述忆阻器阵列设置为用于映射神经网络的网络层的权重矩阵，且所述忆阻器阵列包括阵列排布的多个忆阻器单元，且多个所述忆阻器单元的每个包括用于形成差分单元的两个忆阻器，所述权重更新方法包括：获取所述权重矩阵中每个权重的权重更新方向；根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，并根据所述每个权重的权重更新方向改变所述忆阻器阵列中对应的所述忆阻器单元中至少一个忆阻器的电导值。2.根据权利要求1所述的权重更新方法，其中，所述权重更新操作模式包括置位操作模式和复位操作模式。3.根据权利要求2所述的权重更新方法，其中，根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，包括：当所述在先更新模式为所述置位操作模式时，将所述权重更新操作模式切换到所述复位操作模式；或者当所述在先更新模式为所述复位操作模式时，将所述权重更新操作模式切换到所述置位操作模式。4.根据权利要求2所述的权重更新方法，还包括：初始化所述权重更新操作模式为所述置位操作模式或所述复位操作模式。5.根据权利要求2所述的权重更新方法，其中，根据在先更新模式历史，选择用于所述忆阻器阵列的权重更新操作模式，包括：响应于连续进行了m次置位操作模式，将所述权重更新操作模式切换到所述复位操作模式；或者响应于连续进行了n次复位操作模式，将所述权重更新操作模式切换到所述置位操作模式，其中，m和n为大于1的整数。6.根据权利要求2所述的权重更新方法，其中，所述置位操作模式包括增大对应所述权重的所述忆阻器单元中至少一个忆阻器的电导值；或者所述复位操作模式包括减小对应所述权重的所述忆阻器单元中至少一个忆阻器的电导值。7.根据权利要求2所述的权重更新方法，其中，根据所述每个权重的权重更新方向改变所述忆阻器阵列中对应的所述忆阻器单元中至少一个忆阻器的电导值，包括：当所述权重的权重更新方向为正时，采...

【专利技术属性】
技术研发人员：吴华强，张文彬，高滨，姚鹏，唐建石，钱鹤，
申请(专利权)人：清华大学，
类型：发明
国别省市：