存储权重矩阵的方法、推断系统和计算机可读存储介质技术方案

一种在包括一系列集群的电路中存储用于被训练的人工神经网络的稀疏权重矩阵的方法。所述方法包括将稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区块。所述第一子区块仅包括零值权重且所述第二子区块包括非零值权重。所述方法还包括将所述至少一个第二子区块中的非零值权重指派给电路的所述一系列集群中的至少一个集群。所述电路被配置成在利用人工神经网络进行的推断过程期间执行所述至少一个第二子区块的非零值权重与输入向量之间的矩阵‑向量乘法(MVM)。对所包含的所有元素均为零元素的子区块进行电力门控，从而降低用于推断的总能量消耗。也提供一种推断系统和一种计算机可读存储介质。

【技术实现步骤摘要】
存储权重矩阵的方法、推断系统和计算机可读存储介质[相关申请的交叉参考]本申请主张2019年1月17日提出申请的美国临时申请第62/793,731号以及2019年5月10日提出申请的序列号为16/409,487的美国非临时专利申请的优先权及权益，所述美国临时申请及美国非临时专利申请的全部内容并入本申请供参考。
本公开大体来说涉及存储用于稀疏人工神经网络的神经元突触的权重的方法。
技术介绍
人工神经网络(artificialneuralnetwork，ANN)被用于各种各样的任务，包括图像识别、自然语言处理以及各种图案匹配及分类任务。大体来说，人工神经网络包括输入层、输出层及一个或多个隐藏层，所述输入层、输出层及一个或多个隐藏层各自包括一系列神经元。每一层的神经元的输出连接到下一层的所有神经元输入。神经元之间的每一连接均具有与所述连接相关联的“权重”。每一神经元的激活是通过执行神经元的输入的加权和并使用传递函数将加权输入的线性组合传递到阈值激活函数(thresholdingactivationfunction)中来计算的。因此，人工本文档来自技高网...

【技术保护点】
1.一种在包括多个集群的电路中存储用于被训练的人工神经网络的稀疏权重矩阵的方法，所述方法包括：/n将所述稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区块，所述至少一个第一子区块仅包括零值权重且所述至少一个第二子区块包括非零值权重；以及/n将所述至少一个第二子区块中的所述非零值权重指派给所述电路的所述多个集群中的至少一个集群，/n其中所述电路被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量之间的矩阵-向量乘法。/n

【技术特征摘要】
20190117 US 62/793,731;20190510 US 16/409,4871.一种在包括多个集群的电路中存储用于被训练的人工神经网络的稀疏权重矩阵的方法，所述方法包括：
将所述稀疏权重矩阵分割成至少一个第一子区块及至少一个第二子区块，所述至少一个第一子区块仅包括零值权重且所述至少一个第二子区块包括非零值权重；以及
将所述至少一个第二子区块中的所述非零值权重指派给所述电路的所述多个集群中的至少一个集群，
其中所述电路被配置成执行所述至少一个第二子区块的所述非零值权重与输入向量之间的矩阵-向量乘法。


2.根据权利要求1所述的方法，还包括：识别所述多个集群中在指派所述非零值权重期间未被指派至少一个非零值权重的集群。


3.根据权利要求2所述的方法，还包括：完全切断未被指派至少一个非零值权重的所述集群的电力。


4.根据权利要求1所述的方法，其中所述多个集群中的每一集群包括忆阻器的阵列。


5.根据权利要求4所述的方法，其中所述忆阻器选自由电阻式随机存取存储器、导电桥接随机存取存储器、相变存储器、铁电场效应晶体管、自旋转移力矩随机存取存储器、及其组合所组成的群组。


6.根据权利要求4所述的方法，其中指派所述非零值权重包括利用与所述忆阻器串联连接的多个选择器设定所述忆阻器中的每一者的电阻。


7.根据权利要求1所述的方法，其中：
所述稀疏权重矩阵具有512×512的大小，
所述至少一个第一子区块具有256×256的大小，且
所述至少一个第二子区块具有选自由128×128、64×64及32×32组成的群组的大小。


8.根据权利要求1所述的方法，其中分割所述稀疏权重矩阵包括以递归方式将所述至少一个第二子区块的大小与所述多个集群中的最小集群的大小进行比较。


9.根据权利要求8所述的方法，其中，如果所述至少一个第二子区块的所述大小等于所述最小集群的所述大小，则所述方法还包括：
计算利用包括未被闭锁元件缓冲器及至少一个数字算术逻辑单元的未被闭锁元件集群处理所述非零值权重的第一能量成本；
计算使用所述最小集群处理所述非零值权重的第二能量成本；
确定所述第一能量成本及所述第二能量成本中的较低的能量成本；以及
根据所述较低的能量成本，将所述非零值权重指派给所述未被闭锁元件集群或所述最小集群。


10.根据权利要求8所述的方法，其中，如果所述至少一个第二子区块的所述大小大于所述最小集群的所述大小，则所述方法还包括：
将所述至少一个第二子区块进一步分割成多个子区，所述多个子区具有与所述多个集群中的第一多个集群的大小匹配的大小；
计算使用所述第一多个集群处理所述多个子区中的每一者的所述非零值权重的第一总能量成本；
计算使用与所述至少一个第二子区块的每一者具有相同的大小的单个集群处理所述至少一个第二子区块的所述每一者的所述非零值权重的第二总能量成本；
确定所述第一总能量成本及所述第二总能量成本中的较低的总能量成本；以及
根据所述较低的总能量成本，将所述多个子区的所述非零值权重指派给所述第一多个集群或者将所述至少一个第二子区块的所述非零值权重指派给所述单个集群。


11.一种使用具有稀疏权重矩阵的人工神经网络执行推断的系统，所述系统包括：
片上网络，包括多个集群，所述多个集群中的每一集群包括忆阻器交叉开关的阵列；
处理器；以及
非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质中存储有指令，所述指令在由所述处理...

【专利技术属性】
技术研发人员：提塔许·瑞许特，莱恩·M·海雀，乔治·A·凯特尔，博尔纳·J·奥布拉多维奇，恩金·伊佩克，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR