稀疏深度卷积网络权重的压缩制造技术

本公开描述了用于操作神经网络的方法、计算机可读介质和装置。例如，第一装置可接收稀疏权重向量集。第一装置可压缩该稀疏权重向量集以产生经压缩稀疏权重向量集。第一装置可基于该经压缩稀疏权重向量集来操作神经网络。在另一示例中，第二装置可接收稀疏权重向量集。第二装置可基于该稀疏权重向量集来执行稀疏计算，并且该稀疏计算的执行可产生一个或多个部分和。第二装置可至少部分地基于该一个或多个部分和来操作神经网络。

Weight compression of sparse depth convolution network

【技术实现步骤摘要】
【国外来华专利技术】稀疏深度卷积网络权重的压缩相关申请的交叉引用本申请要求于2017年9月21日提交的题为“COMPRESSIONOFSPARSEDEEPCONVOLUTIONALNETWORKWEIGHTS(稀疏深度卷积网络权重的压缩)”的美国临时申请No.62/561,640、以及于2018年9月20日提交的题为“COMPRESSIONOFSPARSEDEEPCONVOLUTIONALNETWORKWEIGHTS(稀疏深度卷积网络权重的压缩)”的美国专利申请No.16/137,491的优先权，这两件申请通过援引全部明确纳入于此。背景领域本公开的某些方面一般涉及神经网络，且更具体地涉及改进稀疏神经网络权重的压缩的系统和方法。背景可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已经在模式识别和分类领域中被广泛使用。...

【技术保护点】
1.一种操作神经网络的方法，包括：/n接收稀疏权重向量集，其中所述稀疏权重向量集中的至少第一稀疏权重向量包括至少一个零权重元素和至少一个非零权重元素；/n通过移除所述稀疏权重向量集中的至少所述第一稀疏权重向量中的至少一个零权重元素中的一者或多者以及将至少所述第一稀疏权重向量与所述稀疏权重向量集中的至少第二稀疏权重向量组合来压缩所述稀疏权重向量集以产生经压缩稀疏权重向量集；以及/n基于所述经压缩稀疏权重向量集来操作所述神经网络。/n

【技术特征摘要】
【国外来华专利技术】20170921 US 62/561,640;20180920 US 16/137,4911.一种操作神经网络的方法，包括：
接收稀疏权重向量集，其中所述稀疏权重向量集中的至少第一稀疏权重向量包括至少一个零权重元素和至少一个非零权重元素；
通过移除所述稀疏权重向量集中的至少所述第一稀疏权重向量中的至少一个零权重元素中的一者或多者以及将至少所述第一稀疏权重向量与所述稀疏权重向量集中的至少第二稀疏权重向量组合来压缩所述稀疏权重向量集以产生经压缩稀疏权重向量集；以及
基于所述经压缩稀疏权重向量集来操作所述神经网络。


2.根据权利要求1所述的方法，其特征在于，所述压缩所述稀疏权重向量集以产生所述经压缩稀疏权重向量集至少部分地基于至少所述第一稀疏权重向量中的至少一个非零权重元素的第一数目以及至少所述第二稀疏权重向量中的至少一个非零权重元素的第二数目。


3.根据权利要求1所述的方法，其特征在于，进一步包括：
确定针对所述经组合的至少所述第一稀疏权重向量和至少所述第二稀疏权重向量中的每个权重元素执行乘法累加(MAC)运算的时间；以及
将所确定的时间与预定义阈值进行比较，其中
所述压缩所述稀疏权重向量集以产生所述经压缩稀疏权重向量集至少部分地基于所述将所确定的时间与所述预定义阈值进行比较。


4.根据权利要求1所述的方法，其特征在于，进一步包括：
接收输入向量集；
向所述经压缩稀疏权重向量集中的至少一个稀疏权重向量选择地应用所述输入向量集中的第一输入向量，以计算与所述经压缩稀疏权重向量集中的每个稀疏权重向量相对应的相应部分和；
累加针对所述经压缩稀疏权重向量集中的每个稀疏权重向量的相应部分和；以及
至少部分地基于所累加的相应部分和来操作所述神经网络。


5.根据权利要求1所述的方法，其特征在于，进一步包括：
接收非稀疏权重向量集；以及
通过应用函数以将所述非稀疏权重向量集中的至少一个非稀疏权重向量中的至少一个非零权重元素调整为零来生成所述稀疏权重向量集。


6.根据权利要求1所述的方法，其特征在于，所述基于所述经压缩稀疏权重向量集来操作所述神经网络：
避免对所述经压缩稀疏权重向量集进行解压缩。


7.一种操作神经网络的方法，包括：
接收稀疏权重向量集，每个稀疏权重向量包括至少一个零权重元素和至少一个非零权重元素；
通过避免使用所述稀疏权重向量集中的每个稀疏权重向量中的所述至少一个零权重元素执行一个或多个计算来基于所述稀疏权重向量集执行稀疏计算，其中所述执行所述稀疏计算产生一个或多个部分和；以及
至少部分地基于所述一个或多个部分和来操作所述神经网络。


8.根据权利要求7所述的方法，其特征在于，进一步包括：
接收输入向量集，所述输入向量集中的第一输入向量中的每个输入对应于所述稀疏权重向量集中的稀疏权重向量中的权重元素，其中
所述基于所述稀疏权重向量集来执行所述稀疏计算进一步包括：控制对所述第一输入向量中与所述稀疏权重向量中的所述至少一个非零权重元素相对应的输入的选择。


9.根据权利要求7所述的方法，其特征在于，所述稀疏权重向量集被压缩，并且其中所述经压缩稀疏权重向量集在操作所述神经网络时保持被压缩。


10.一种用于操作神经网络的装置，包括：
存储器；以及
至少一...

【专利技术属性】
技术研发人员：A·兰博，R·希尔，A·安萨里，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US