一种基于网络激活与稀疏化的网络裁剪优化方法技术

本发明专利技术公开一种基于网络激活与稀疏化的网络裁剪优化方法，本方法首先进行网络激活，在每层卷积层之后添加随机丢失层，并且判断随机丢失层之后是否存在归一化层，如不存在，需添加，反之，则不添加，并且进行网络激活训练；然后进行网络稀疏化，最后进行网络裁剪，稀疏化训练之后，利用归一化层的缩放因子与卷积核权重值的乘积值作为评判值，将评判值与裁剪阈值T对比，从而删除相应的卷积核。本发明专利技术可有效的避免网络裁剪方法的缺点并保留其优点，实现网络更快、更精确的推理。

A network clipping optimization method based on network activation and sparseness

【技术实现步骤摘要】
一种基于网络激活与稀疏化的网络裁剪优化方法
本专利技术涉及人工智能领域，尤其涉及卷积神经网络在嵌入式端推理相关领域，具体的说，是一种基于网络激活与稀疏化的网络裁剪优化方法。
技术介绍
由于卷积神经网络需要很大的计算代价，因此，不影响准确性的前提下，对卷积神经网络进行网络裁剪十分必要，从而达到减少模型大小、降低运行内存、消耗更少的计算操作的目的。论文（arXiv:1608.08710v3）中提出了一种网络裁剪方法，直接对权重本身进行归一化后，对其进行排序，从而删除最小或是最大部分神经元，最后再进行重新训练。该方法的缺点就是它就是简单的删除部分神经元，并不是针对神经元的重要程度去删除，通常会导致网络随着裁剪比例的升高，性能下降明显。专利技术专利《网络裁剪方法、装置及计算机可读存储介质》（公开号：108304930A）公开了一种网络裁剪方法，包括：获取网络各层输出数据；根据所述输出数据和主成分分析算法进行网络裁剪，获得保留通道；根据所述保留通道重新训练模型，获得新的模型。本专利技术能够获得网络各层的主成分通道，并根据主成分通道重新训练本文档来自技高网...

【技术保护点】
1.一种基于网络激活与稀疏化的网络裁剪优化方法，其特征在于：包括以下步骤：/nS01）、网络激活，在每层卷积层之后添加随机丢失层，并且判断随机丢失层之后是否存在归一化层，如不存在，需添加，反之，则不添加，并且进行网络激活训练；/nS02）、网络稀疏化，在原损失函数Loss1的基础上，对归一化层缩放因子进行L1范数归一化构成损失函数Loss2，将Loss1与Loss2联合起来对网络进行稀疏化训练；/nS03）、网络裁剪，稀疏化训练之后，利用归一化层的缩放因子与卷积核权重值的乘积值作为评判值，将评判值与裁剪阈值T对比，从而删除相应的卷积核。/n

【技术特征摘要】
1.一种基于网络激活与稀疏化的网络裁剪优化方法，其特征在于：包括以下步骤：
S01）、网络激活，在每层卷积层之后添加随机丢失层，并且判断随机丢失层之后是否存在归一化层，如不存在，需添加，反之，则不添加，并且进行网络激活训练；
S02）、网络稀疏化，在原损失函数Loss1的基础上，对归一化层缩放因子进行L1范数归一化构成损失函数Loss2，将Loss1与Loss2联合起来对网络进行稀疏化训练；
S03）、网络裁剪，稀疏化训练之后，利用归一化层的缩放因子与卷积核权重值的乘积值作为评判值，将评判值与裁剪阈值T对比，从而删除相应的卷积核。


2.根据权利要求1所述的基于网络激活与稀疏化的网络裁剪优化方法，其特征在于：网络裁剪之后进行步骤S04网络微调，所述网络微调是指通过训练样本对网络重新进行训练，从而恢复网络精度。


3.根据权利要求1所述的基于网络激活与稀疏化的网络裁剪优化方法，其特征在于：网络激活的具体过程为：
S11）、寻找卷积神经网络中的卷积层；
S12）、在每层卷积层之后添加随机丢失卷积核操作；
S13）、在随机丢失层之后判断是否存在归一化层操作；
S14）、若不存在归一化层操作...

【专利技术属性】
技术研发人员：陈英鹏，许野平，刘辰飞，席道亮，高朋，
申请(专利权)人：神思电子技术股份有限公司，
类型：发明
国别省市：山东;37