用于基于注意力的推断的能量有效存储器刷新技术制造技术

技术编号:42475331 阅读:18 留言:0更新日期:2024-08-21 12:58
本申请案涉及用于基于注意力的推断的能量有效存储器刷新技术。一种用于计算实施人工神经网络中的注意力机制的注意力矩阵的设备具有:多个存储器区域;及控制器,其经配置以接收注意力模型的键值对,识别所述键值对的多个子集以将所述多个子集分别存储在所述多个存储器区域中,及根据存储在所述多个子集中的键与值的代表性零对一位比率以多个刷新速率刷新所述多个存储器区域。

【技术实现步骤摘要】

本文中公开的至少一些实施例大体上涉及减少计算中的能量使用,且更特定来说但不限于减少注意力分数计算中的能量使用。


技术介绍

1、已开发了许多技术来加速乘法及累加的计算。例如,多组逻辑电路可被配置为阵列,以并行地执行乘法及累加以加速乘法及累加运算。例如,已开发光子加速器以使用光域中的现象来获得对应于乘法及累加的计算结果。例如,存储器子系统可使用忆阻器交叉开关或阵列来加速电域中的乘法及累加运算。

2、存储器子系统可包含存储数据的一或多个存储器装置。存储器装置可为例如非易失性存储器装置及易失性存储器装置。一般来说,主机系统可利用存储器子系统以将数据存储在存储器装置处且从所述存储器装置检索数据。


技术实现思路

1、根据本申请案的方面,提供一种设备。所述设备包括:存储器,其包含:第一区域,其经配置以存储注意力模型的键值对的第一子集;及第二区域,其经配置以存储所述注意力模型的所述键值对的第二子集;及控制器,其经配置以按第一速率刷新所述第一区域且按与所述第一速率不同的第二速率刷新所述第二区域。

2、根本文档来自技高网...

【技术保护点】

1.一种设备,其包括:

2.根据权利要求1所述的设备,其进一步包括:

3.根据权利要求2所述的设备,其中所述控制器经配置以确定键值对中具有值0的位的数目与所述键值对中具有值1的位的数目之间的位比率且基于所述位比率与相关联于所述第一区域及所述第二区域的代表性零对一位比率的比较将所述键值对指派给所述第一子集。

4.根据权利要求3所述的设备,其中所述第一速率高于所述第二速率;且由所述控制器指派到所述第一子集中的第一键值对的零对一位比率低于由所述控制器指派到所述第二子集中的第二键值对的零对一位比率。

5.根据权利要求3所述的设备,其中所述存储器是动...

【技术特征摘要】

1.一种设备,其包括:

2.根据权利要求1所述的设备,其进一步包括:

3.根据权利要求2所述的设备,其中所述控制器经配置以确定键值对中具有值0的位的数目与所述键值对中具有值1的位的数目之间的位比率且基于所述位比率与相关联于所述第一区域及所述第二区域的代表性零对一位比率的比较将所述键值对指派给所述第一子集。

4.根据权利要求3所述的设备,其中所述第一速率高于所述第二速率;且由所述控制器指派到所述第一子集中的第一键值对的零对一位比率低于由所述控制器指派到所述第二子集中的第二键值对的零对一位比率。

5....

【专利技术属性】
技术研发人员:S·蒂库P·卡利
申请(专利权)人:美光科技公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1