基于高斯分布特征的深层卷积神经网络压缩加速方法技术

本发明专利技术公开了基于高斯分布特征的深层卷积神经网络压缩加速方法，适用于深度神经网络模型的压缩。首先训练好一个原始的卷积神经网络，然后逐层对该网络进行高斯分析，根据分析的结果选择保留还是删除的卷积核，之后进训练，直到模型剪枝完成。本发明专利技术在进行压缩剪枝过程中，采用的技术方案是根据分布收敛特征进行剪枝，在压缩的过程中没有引入其他的剪枝约束超参数，因此压缩的过程是自动化搜索的。本发明专利技术的压缩结果是直接压缩出更小的模型，没有引入mask对权重进行操作，压缩的结果可以不依赖于相关的加速库而直接产生加速效果，始终让模型的性能保证在原来的基础上，即没有出现任何的精度损失下进行的。何的精度损失下进行的。何的精度损失下进行的。

【技术实现步骤摘要】
detection.2018
[0009][4]Junwei Han,Dingwen Zhang,Gong Cheng,Nian Liu,and Dong Xu.Advanced deep
‑
learning techniques for salient and category
‑
specifc object detection:a survey.IEEE Signal ProcessingMagazine,35(1):84
–
100,2018
[0010][5]Chong Wang,Xipeng Lan,and Yangang Zhang.Model distillation with knowledge transfer from face classifcation to alignment and verifcation.arXiv preprint arXiv:1709.02929,2017
[0011][6]J.Gomez Robles and J.Vanschoren.Learning to 本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：具体包括以下步骤：步骤1，基准模型训练；训练好一个需要进行模型压缩剪枝的卷积神经网络，生成模型压缩的基准模型，同时为接下来的分析提供基础压缩原始模型，并用于模型压缩结束后进行压缩效果评估的基准；步骤2，模型卷积核提取与高斯分布拟合；对基准模型进行逐层提取卷积核，之后对每一层的卷积核的高斯拟合；对拟合后的卷积核Fi进行高斯分布分析，提取分析结果，通过分析的结果来引导该层的剪枝；每一次提取模型的一层卷积核；步骤3，根据高斯分布拟合的特征进行卷积核裁剪；卷积核裁剪与模型性能恢复。2.根据权利要求1所述的基于高斯分布特征的深层卷积神经网络压缩加速方法，其特征在于：步骤3中，步骤3.1，针对步骤2分析的结果，拟合后的模型，在模型训练的过程中呈现向高斯分布的某一中心收敛；根据步骤2的结果选择高斯分布的中心为模型收敛中心，向两端拓展为模型的收敛区间，而在该收敛区间外的该层卷积核将被视为冗余部分，将被裁剪掉并丢弃，即裁剪在分布收敛区间之外的卷积核；分布收敛区间从模型的最大区间到最小区间采用网格算法的方式进行搜索；步骤3.2，模型性能恢复；对该裁剪的卷积层进行重训练，而对其他剩下的卷积层进行模型微调训练，直到模型...

【专利技术属性】
技术研发人员：崔碧峰，许建荣，李超，徐勇军，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：