【技术实现步骤摘要】
用于神经网络处理器的预取权重
[0001]分案说明
[0002]本申请属于申请日为2016年04月29日的中国专利技术专利申请No.201680020202.X的分案申请。
[0003]本说明书涉及在硬件上计算神经网络推理。
技术介绍
[0004]神经网络是机器学习模型，其采用一层或多层模型来为接收的输入生成输出，例如分类。除了输出层以外，一些神经网络包括一个以上的隐藏层。各个隐藏层的输出被用作网络中下一层的输入，即网络的下一隐藏层或者输出层。网络的各层根据相应组的参数的当前值，从接收的输入生成输出。
[0005]一些神经网络包括一个或多个卷积神经网络层。各个卷积神经网络层具有相关的一组核。各个核包括通过用户创建的神经网络模型所建立的值。在一些实现中，核识别特定的图像轮廓、形状或颜色。核能够被表示为权重输入的矩阵结构。各个卷积层还可以处理一组激活输入。所述一组激活输入也能够被表示为矩阵结构。
[0006]一些现有的系统在软件中对给定的卷积层进行计算。例如，软件能够将用于层的各个核应用到所述一组...
【技术保护点】
【技术特征摘要】
1.一种用于对包括多个层的神经网络执行神经网络计算的电路，所述电路包括：包括第一单元格和第二单元格的矩阵计算单元；以及权重电路，所述权重电路包括：在所述第一单元格和所述第二单元格中的每个单元格中的相应的权重寄存器，所述相应的权重寄存器被配置为存储从外部源接收到的权重输入；权重提取器，所述权重提取器被配置为将所述权重输入发送到至少所述第一单元格；以及权重定序器，所述权重定序器被配置为将所述权重输入从所述第一单元格转移到所述第二单元格；以及其中，所述矩阵计算单元使用所述第一单元格、所述第二单元格和所述权重电路执行涉及计算层输入和所述权重输出的乘积的神经网络计算。2.根据权利要求1所述的电路，还包括：在所述第一单元格和所述第二单元格中的每个单元格中的相应的控制寄存器，所述相应的控制寄存器被配置为从所述权重定序器接收相应的控制值；其中，所述相应的控制寄存器被配置为基于所述相应的控制值的整数值来确定在所述权重寄存器中是否存储所述权重输入。3.根据权利要求2所述的电路，其中由所述第一单元格中的所述相应的控制寄存器接收到的所述相应的控制值用于响应于所述相应的控制寄存器确定在所述权重寄存器中不存储所述权重输入而将所述权重输入从所述第一单元格转移到所述第二单元格。4.根据权利要求1所述的电路，其中所述权重提取器：经由与所述外部源通信的动态存储器单元从所述外部源接收所述权重输入；以及将所述权重输入发送到至少沿着所述矩阵计算单元的第一维度的所述第一单元格。5.根据权利要求4所述的电路，其中所述权重输入响应于所述权重提取器将所述权重输入发送到至少沿着所述矩阵计算单元的所述第一维度的所述第一单元格而被存储在所述第一单元格的所述相应的权重寄存器中。6.根据权利要求1所述的电路，其中：所述第一单元格和所述第二单元格中的每个单元格包括耦合到该单元格的所述相应的权重寄存器的相应的乘法电路；以及所述乘法电路被配置为输出将所述权重输入与所述层输入相乘的乘积。7.根据权利要求1所述的电路，其中：所述矩阵计算单元包括单元格阵列，所述单元格阵列包括所述第一单元格和所述第二单元格并且具有至少两个维度；所述权重提取器耦合到沿着所述单元格阵列的第一维度的多个相应的单元格；以及所述权重定序器耦合到沿着所述单元格阵列的第二维度的多个相应的单元格。8.根据权利要求7所述的电路，还包括：耦合到沿着所述单元格阵列的所述第二维度的多个相应的单元格的值加载器，所述值加载器被配置为：从所述外部源接收一个或多个层输入；以及沿着所述单元格阵列的所述第二维度将所述一个或多个层输入发送到至少所述第一
单元格或所述第二单元格。9.一种用于使用包括权重电路和矩阵计算单元的电路对包括多个层的神经网络执行神经网络计算的方法，所述方法包括：使用所述权重电路的权重提取器将权重输入发送到所述矩阵计算单元的单元格，所述权重输入从外部源被接收；通过所述单元格的控制寄存器基于由所述控制寄存器接收到的控制值确定在所述单元格的权重寄存器中是否存储所述权重输入；响应于所述控制寄存器确定所述权重输入要被存储在所述单元格的所述权重寄存器中而在该权重寄存器中存储所述权重输入；通过所述单元格接收由外部源提供的层输入；以及使用耦合到所述单元格的所述权重寄存器的乘法电路生成将所述权重输入与所述层输入相乘的乘积。10.根据权利要求9所述的方法，其中所述矩阵计算单元包括多个单元格的阵列，所述阵列具有至少两个维度并且所述方法还包括：通过所述矩阵计算单元的所述单元格接收由所述权重提取器发送的所述权重输入；以及沿着所述阵列的第一维度将所述权重输入转移到所述阵列中的相邻单元格，所述权重...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。