快速稀疏神经网络制造技术

本发明专利技术提供了一种神经网络系统，所述系统包括至少一个层，所述层使用稀疏权重矩阵所定义的内核将1x 1卷积应用于稠密激活矩阵。所述层由处理器通过访问稀疏性数据集来实施，所述稀疏性数据集指示空权重在所述权重矩阵中的位置。所述处理器从存储器单元中选择与其他权重对应的特征值，然后使用这些提取的特征值来计算所述卷积值，所述存储器单元被配置为存储所述激活矩阵。所述激活矩阵。所述激活矩阵。

【技术实现步骤摘要】
【国外来华专利技术】快速稀疏神经网络

技术介绍

[0001]本说明书涉及神经网络系统，特别是能够在存储器和/或处理能力有限的处理器设备(诸如移动设备)上实施的系统。
[0002]神经网络是机器学习模型，该机器学习模型采用一层或多层单元或节点来预测接收的输入的输出。除了输出层之外，有些神经网络还包括一个或多个隐藏层。每个隐藏层的输出都被用作网络中的下一层的输入，即，下一个隐藏层或输出层。网络的每一层都根据相应的参数集的当前值从接收的输入生成输出。
[0003]许多神经网络包括卷积层，该卷积层具有基于元素数组而定义的输入和同样基于元素数组而定义的输出。通常，数组是二维数组，诸如矩形数组(例如方形数组)，其宽度为W列，高度为H行。每个元素都与“输入通道”相关联，该“输入通道”是由C
’
个特征值组成的特征向量(其中C
’
是整数，通常大于1)。HW输入通道是卷积层的输入。因此，输入通道集构成具有C
’×
HW个分量的激活矩阵。对于每个元素，卷积层将包括元素的数组的相应nxm部分的相应特征向量与内核相乘，形成元素的相应“输出通道”。每本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种实施神经网络的方法，所述神经网络包括多个层，所述多个层包括至少一个稀疏1x 1卷积层，所述卷积层的输入针对被设置在H
×
W数组中的多个元素中的每个元素包括特征值的相应输入通道，所述稀疏1x 1卷积层被配置为将稀疏1x 1卷积应用于所述输入通道，以形成相应的输出通道，每个输出通道由多个卷积值组成，所述稀疏1x 1卷积由稀疏C
×
C
’
权重矩阵定义，所述权重矩阵具有等于零的多个空权重以及多个非空权重，并且所述输入通道构成稠密C
’×
HW激活矩阵，所述激活矩阵具有为所述激活矩阵的每个元素定义的特征值，所述方法包括：获得所述权重矩阵的空权重的指示；以及通过针对包括在所述激活矩阵的行中的多个元素的行向量的元素通过以下步骤生成所述多个元素的卷积值，来结合所述稠密C
’×
HW激活矩阵处理所述稀疏C
×
C
’
权重矩阵：(a)从存储所述激活矩阵的存储器单元中提取所述输入通道的对应特征值，所述对应特征值是如下特征值：根据所述指示，针对这些特征值的所述权重矩阵的对应权重是非空权重；以及(b)形成由所述相应的非空权重加权的所提取的对应特征值的对应和。2.根据权利要求1所述的方法，其中，所述空权重实质上构成了所述权重矩阵的70％至95％的分量。3.根据权利要求1或权利要求2所述的方法，其中，所述神经网络的输出层是全连接的。4.根据前述权利要求中任一项所述的方法，其中，所述存储器单元具有CHW存储器布局。5.根据权利要求4所述的方法，其中，所述处理是利用同一行中元素的连续行向量的内部循环和连续行的外部循环来执行的。6.根据前述权利要求中任一项所述的方法，其中，所述处理是对连续行向量重复执行的，所述行向量共同包括元素的整个数组。7.根据前述权利要求中任一项所述的方法，所述神经网络进一步包括输出层，所述输出层在所述卷积层之后并且被设置为生成一个或多个输出值，每个输出值都是基于所有所述元素的所有卷积值来确定的。8.根据前述权利要求中任一项所述的方法，其中，所述非空权重是在所述权重矩阵的多个行中的每个行中的相同位置。9.根据权利要求8所述的方法，其中，对所述权重矩阵的多个行的处理并行地被执行，以生成所述行向量的输出通道的对应的多个卷积值。10.根据前述权利要求中任一项所述的方法，其中，在所述多个元素的卷积值的生...

【专利技术属性】
技术研发人员：埃里克，
申请(专利权)人：渊慧科技有限公司，
类型：发明
国别省市：