【技术实现步骤摘要】
一种基于增量正则化的神经网络结构化稀疏方法
本专利技术涉及神经计算、模式识别、计算机视觉领域，特别涉及神经网络进行权值修剪以增强其泛化能力、降低存储量、加快运行速度的方法。
技术介绍
近年来，深度卷积神经网络(ConvolutionalNeuralNetwork，CNN)利用大量数据学习得到大规模网络，在计算机视觉任务方面取得了显著的成功。然而，CNN通常会产生大量的计算和存储消耗，从而阻碍其在移动和嵌入式设备上的部署。为了解决这一问题，许多研究工作都集中在压缩CNN的规模上。参数修剪作为一种较为有效的方法被用于CNN模型的压缩和加速，其目的在于在可容忍的性能损失范围内消除冗余的模型参数。但是，一般的参数修剪方法可能会产生非结构化的随机连接，从而导致不规则的存储访问发生，使压缩后的网络在硬件平台的实际加速受到影响。为了避免硬件不友好的不规则稀疏性，结构化稀疏被提出并广泛的应用于CNN的加速。目前，结构化稀疏方法主要包括两种类型。一种是基于重要性的方法，此方法基于一些确定的重要性标准来修剪权重组中的权重。另一种是基于正则化的方法，这种方法增加了权重组正则化项来学习结...
【技术保护点】
1.一种基于增量正则化的神经网络结构化稀疏方法，其特征在于，具体包括以下步骤：(1)对于待稀疏的神经网络模型，准备训练的数据集、网络结构配置文件、训练过程配置文件，所使用的数据集、网络结构配置、训练过程配置均与原训练方法保持一致；(2)正则化增量剪枝(2.1)对于模型的各个卷积层，通过四维张量WN*C*H*W对其进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和宽；(2.2)使用张量展开方式，将该层中的四维权值张量WN*C*H*W展开为二维的W′N*(C*H*W)形式；并将W′的每一行或者每一列参数组合成一个独立的参数组g；(2.3)根据对模...
【技术特征摘要】
1.一种基于增量正则化的神经网络结构化稀疏方法，其特征在于，具体包括以下步骤：(1)对于待稀疏的神经网络模型，准备训练的数据集、网络结构配置文件、训练过程配置文件，所使用的数据集、网络结构配置、训练过程配置均与原训练方法保持一致；(2)正则化增量剪枝(2.1)对于模型的各个卷积层，通过四维张量WN*C*H*W对其进行建模，其中N表示卷积核的个数，C表示卷积核的通道数，H、W分别表示卷积核的高和宽；(2.2)使用张量展开方式，将该层中的四维权值张量WN*C*H*W展开为二维的W′N*(C*H*W)形式；并将W′的每一行或者每一列参数组合成一个独立的参数组g；(2.3)根据对模型指定的压缩或加速比例，确定网络模型各层所需设定的目标稀疏率；(2.4)对于所有参数组设置统一的正则化上限target_reg，然后为每个独立参数组分配正则化因子λg并将所有的λg初始化为0，开始剪枝；(2.5)在剪枝过程中，根据各个参数组g的相对重要性不同，逐步将不同的正则化增量Δλg分配给不同的参数组；(2.6)不断迭代更新各个参数组的正则化因子λg，得到该参数组新的正则化因子当达到正则化上限target_reg时，该参数组的权重将被永久删除；(2.7)当某一层的稀疏度达到预先指定的稀疏率时，该层自动停止正则化剪枝，直到所有层达到其预先设定的稀疏率时，结束剪枝，获得稀疏模型；(3)对稀疏后的模型进行重训练，固定已经删除的权重不再更新，而其他参数进行网络的迭代训练，当再训练模型准确率不再上升时，停止重训练，得到稀疏后的神经网络模型。2.根据权利要求1所述的一种基于增量正则化的神经网络结构化稀疏方法，其特征在于，所述步骤(2.2)的具体流程为，以四维权值张量中卷积核的个数N为行维度对其进行二维展开操作得到二维权值矩阵W′，则W′对应的列维度为卷积核的通道C与卷积核的高H以及卷积核的宽W三者的乘积，然后将二维矩阵W′的每一行或者每一列参数组合成一个独立的参数组，因此共有N个或C*H*W个参数组。3.根据权利要求1所述的一种基于增量正则化的神经网络结构化稀疏方法，其特征在于，所述步骤(2.3)具体为，在指定模型的参数压缩比例时，首先计算模型中各个参数层的参数量N*C*H*W以及模型的总参数量P，得到模型各层参数量占总参数量的比例αl，然后利用指定的参数压缩比计算该模型需要减少的参数量P′，并通过...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。