【技术实现步骤摘要】
用于深度神经网络的可重新配置存储器压缩技术
本文中描述的各种示例涉及神经网络的矩阵权重值的存储和检索。
技术介绍
在人工智能（AI）和机器学习（ML）的上下文中，深度神经网络（DNN）在执行诸如对象分类、对象检测、语音识别和其它推理的任务方面变得越来越流行。DNN在性能驱动服务器和功率优化边缘装置两者中得到应用。现有技术DNN具有多个密集连接的层，其要求低计算强度（例如，每位的运算）并且虑及最小数据重新使用。低计算强度环境的示例包括多层感知器（MLP）和长短期存储器（LSTM）。由于数据集的大小的增长，模型大小（例如，网络中的参数的数量）也非常快速地增长。随着模型的大小增加，激活和权重的数量增加。这转化为存储这些参数的芯片上和芯片外存储器要求的增加。由这些模型所使用的权重的大小常常超过具有加速器的芯片上可用的存储器的总量，并且外部存储器（例如，动态随机存取存储器（DRAM）、盘或固态驱动器）与加速器之间的数据转移招致（incur）显著的能量开销和数据的可用性的延迟。由网络中的这些低计算强度引起的输入/输出（I/O）存储器瓶颈...
【技术保护点】
1.一种神经网络推理引擎，包括：/n处理器，所述处理器被配置成基于使用来自表的条目从权重集合中进行选择的制表散列操作来生成神经网络的至少一个隐藏层的矩阵的权重，其中所述表与所述至少一个隐藏层相关联，并且所述权重集合包括比至少一个隐藏层的所述矩阵的所述权重的数量更小数量的权重，以及/n存储器，所述存储器位于具有所述处理器的芯片上，所述存储器被配置成存储所述表和所述权重集合。/n
【技术特征摘要】
20190617 US 16/4435481.一种神经网络推理引擎，包括：
处理器，所述处理器被配置成基于使用来自表的条目从权重集合中进行选择的制表散列操作来生成神经网络的至少一个隐藏层的矩阵的权重，其中所述表与所述至少一个隐藏层相关联，并且所述权重集合包括比至少一个隐藏层的所述矩阵的所述权重的数量更小数量的权重，以及
存储器，所述存储器位于具有所述处理器的芯片上，所述存储器被配置成存储所述表和所述权重集合。
2.如权利要求1所述的神经网络推理引擎，其中所述表要将所述矩阵的权重分组成伪随机连接集合，并且相同散列桶中的所述连接共享来自所述权重集合的相同权重。
3.如权利要求1所述的神经网络推理引擎，其中至少一个隐藏层的所述矩阵的所述权重包括一个或多个权重的集合，所述权重是来自所述权重集合的单个权重值。
4.如权利要求1所述的神经网络推理引擎，包括：
XOR树，所述XOR树用于对来自所述表的至少两个条目执行XOR运算。
5.如权利要求1所述的神经网络推理引擎，其中所述存储器被配置成存储用于所述隐藏层的至少一个表和用于第二隐藏层的至少一个表。
6.如权利要求1所述的神经网络推理引擎，其中所述处理器要执行至少一个乘法和进位运算以基于所述矩阵的权重和输入激活值来计算值。
7.如权利要求1所述的神经网络推理引擎，其中地址与所述矩阵的权重相关联，并且所述神经网络推理引擎包括：
复用器，所述复用器用于从所述表转移条目以用于所述制表散列操作，其中所述复用器包括：
至少一个移位寄存器，所述移位寄存器用于基于所述权重的所述地址的第一部分来将所述表的内容移位；
第二复用器，所述第二复用器用于基于所述权重的所述地址的第二部分将来自至少一个移位寄存器的内容输出；
第三复用器，所述第三复用器用于基于所述权重的所述地址的第三部分将来自至少一个移位寄存器的内容输出；
XOR逻辑，所述XOR逻辑用于对来自所述第二和第三复用器的输出执行XOR运算并生成输出；以及
第二XOR逻辑，所述第二XOR逻辑用于对来自所述XOR逻辑的输出和所述表的所移位的内容执行XOR运算。
8.如权利要求1所述的神经网络推理引擎，其中当所述神经网络推理引擎在训练模式中操作时，所述处理器用于：
确定所述权重集合中的单个权重值的索引；
基于所述单个权重值来设置所述矩阵的两个或更多权重；
确定所述两个或更多权重的梯度；以及
通过所述两个或更多权重的梯度的总和除以所述两个或更多权重的数量来替换所述单个权重值。
9.如权利要求1所述的神经网络推理引擎，其中当所述神经网络推理引擎在推理模式中操作时，所述处理器用于：
确定所述权重集合中的单个权重值的索引；
基于所述单个权重值来设置所述矩阵的两个或更多权重；以及
使用所述单个权重值和激活信号来执行乘法和进位运算。
10.如权利要求1所述的神经网络推理引擎，包括以下中的一个或多个：推理引擎加速器、图形处...
【专利技术属性】
技术研发人员：R库马尔，陈耕和，HE苏姆布尔，P克纳格，R克里什纳墨菲，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。