用于在神经网络中提供分块稀疏性的系统和方法技术方案

一种用于在神经网络中提供分块稀疏性的系统可以包括：至少一个存储器，所述至少一个存储器存储指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述指令以：将与神经网络相关联的权重矩阵划分成多个块；从所述多个块中的一个或多个块中提取非零元素；将所述提取的非零元素重新编码为具有所述提取的非零元素在所述一个或多个块内的关联坐标的向量；在所述神经网络中实施与所述关联坐标相对应的输入稀疏性；以及使用所述向量和所述实施的输入稀疏性来执行所述神经网络。施的输入稀疏性来执行所述神经网络。施的输入稀疏性来执行所述神经网络。

【技术实现步骤摘要】
【国外来华专利技术】用于在神经网络中提供分块稀疏性的系统和方法
相关申请的交叉引用
[0001]本公开要求于2019年7月24日提交并且标题为“Systems And Methods For Providing Block
‑
Wise Sparsity In A Neural Network”的美国申请号16521564的优先权的权益，该申请特此通过引用整体地并入。


[0002]本公开通常涉及稀疏神经网络的领域。更具体地，而非限制地，本公开涉及用于在神经网络中提供分块稀疏性的计算机实现的系统和方法。本文公开的系统和方法可以被用在诸如深度神经网络(DNN)、卷积神经网络(CNN)、循环神经网络(RNN)等的各种基于神经网络的架构中，并且可以被配置用于诸如图形处理单元(GPU)等的架构。

技术介绍

[0003]现代神经网络常常包括许多节点和许多层。然而，这降低执行效率并增加时延。因此，输入稀疏性、输出稀疏性和权重稀疏性已全部被单独或相结合地提出，以提高效率并减少时延。实际上，人工神经网络中的稀疏性更准确地反映人脑中的神经元如何处理信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在神经网络中提供分块稀疏性的系统，包括：至少一个存储器，所述至少一个存储器存储指令；以及至少一个处理器，所述至少一个处理器被配置为执行所述指令以使所述系统执行：将与神经网络相关联的权重矩阵划分成多个块；从所述多个块中的一个或多个块中提取非零元素；将所述提取的非零元素重新编码为具有所述提取的非零元素在所述一个或多个块内的关联坐标的向量；在所述神经网络中实施与所述关联坐标相对应的输入稀疏性；以及使用所述向量和所述实施的输入稀疏性来执行所述神经网络。2.根据权利要求1所述的系统，其中所述至少一个处理器进一步执行所述指令以使所述系统执行使用零来填充所述多个块中的残差块。3.根据权利要求1或2中任一项所述的系统，其中所述至少一个处理器进一步执行所述指令以使所述系统执行使用所述向量和所述实施的输入稀疏性来重新训练所述神经网络。4.根据权利要求3所述的系统，其中所述重新训练包括修改所述权重矩阵的一个或多个元素或修改所述神经网络的一个或多个节点的一个或多个激活函数中的至少一个。5.根据权利要求3或4中任一项所述的系统，其中所述至少一个处理器进一步执行所述指令以使所述系统迭代地执行：将与所述经重新训练后的神经网络相关联的权重矩阵划分成第二多个块；从所述第二多个块中的一个或多个块中提取第二非零元素；将所述提取的第二非零元素重新编码为具有所述提取的第二非零元素在所述一个或多个第二块内的关联第二坐标的第二向量；在所述神经网络中实施与所述第二关联坐标相对应的进一步输入稀疏性；以及使用所述第二向量和所述实施的进一步输入稀疏性来重新训练所述经重新训练后的神经网络。6.根据权利要求5所述的系统，其中当所述经重新训练后的神经网络的准确度低于阈值时，所述至少一个处理器进一步执行所述指令以使所述系统暂停所述迭代。7.根据权利要求1
‑
6中任一项所述的系统，其中所述至少一个处理器和所述至少一个存储器是图形处理单元(GPU)的一部分。8.根据权利要求7所述的系统，其中所述GPU通过以下步骤来执行所述神经网络：对于所述向量中的每一个和对应输入执行乘累加函数；将所述乘累加函数的结果存储在逐行寄存器中；以及使用shuffle函数来在对应的逐行寄存器中乘累加存储的结果。9.根据权利要求8所述的系统，其中每一个所述向量的所述乘累加函数和相应的输入被并行执行。10.根据权利要求9所述的系统，其中每个向量对应于并行执行线程。11.根据权利要求1
‑
10中任一项所述的系统，其中每个权重被存储为32位浮点数或16位浮点数中的一个。12.根据权利要求1
‑
11中任一项所述的系统，其中所述关联坐标被存储为四位，所述四位中的前两位指示所述非零元素沿着第一维度在对应块内的位置，而所述四位中的后两位
指示所述非零元素...

【专利技术属性】
技术研发人员：顾震宇，谢源，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：