一种基于结构搜索和通道剪枝的神经网络模型压缩方法技术

本发明专利技术公开了一种基于结构搜索和通道剪枝的神经网络模型压缩方法，用于无人车、无人艇等目标检测，采用神经网络结构搜索技术，针对当前数据集和任务，首先训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络，为网络中每一个层级的结构都赋予一个对应衡量其重要性的缩放因子，同时各层级结构对应缩放因子采用大方差高斯分布初始化，施加L1范数正则化同时采用次梯度优化算法，进行稀疏化训练，将模型中那些接近0的缩放因子对应的层级进行裁剪，对模型进行微调，如果能回到baseline的精度或下降在5%以内进行下一轮模型压缩剪枝，否则结束该程序。否则结束该程序。否则结束该程序。

【技术实现步骤摘要】
一种基于结构搜索和通道剪枝的神经网络模型压缩方法


[0001]本专利技术属于深度学习和人工智能
，涉及深度卷积神经网络(CNN)模型的压缩剪枝，具体涉及一种基于缩放因子特殊初始化和通道裁剪的神经网络模型压缩剪枝方法与系统。

技术介绍

[0002]随着深度学习的不断发展，深度神经网络在目标检测和目标跟踪领域得到了广泛的应用。但随之而来的是，模型结构越来越复杂，参数和层数不断增多。
[0003]在无人车、无人艇等目标的检测中，由成千上万的可学习参数决定的模型大小和模型计算时产生的特征图(feature maps)，这对于嵌入式设备来说是一个极大的存储资源负担；而在高分辨率的网络输入上执行卷积操作会产生巨大的计算量(FLOPs)，从而引起高延迟，这对于需要实时的应用场景显然是不可取的。因此，要在嵌入式设备上部署一个能实时检测目标的CNN，对模型的压缩裁剪成了一个必不可少的步骤。
[0004]目前模型压缩主要发展出了非结构化剪枝和结构化剪枝两大类。以Hansong等人为代表提出的非结构化剪枝，是根据预设阈值裁剪权值低的单个连接或神本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于结构搜索和通道剪枝的神经网络模型压缩方法，其特征在于：步骤如下(1)，采用神经网络结构搜索技术，针对神经网络模型当前数据集和任务，训练出一个精度不低但相比常规CNN参数量和计算量都较小的轻量级网络搜寻模块；(2)，以轻量级网络搜寻模块为baseline，为网络中每一个group/block/channel层级的结构都赋予一个对应衡量其重要性的缩放因子γ，或者直接采用BN层中的缩放因子γ，各层级结构对应缩放因子γ采用大方差高斯分布初始化，然后对缩放因子γ施加L1范数正则化；采用次梯度优化算法进行稀疏化训练，优化目标如下：其中φ(γ)＝|γ|，Γ是缩放因子γ的集合，λ是正则项权重系数；则L对某一γ分量γ
i
的梯度为：其中C0是原代价函数；同时sgn(γ
i
)为符号函数，a表示处于[
‑
1，1]之间的一个数值；则针对γ的参数更新过程为其中α是学习率；(3)，对练完的模型中接近0的缩放因子γ对应的channel/group/block层级进行裁剪，再对模型进行微调，如果能回到baseline的精度或下降在5％以内，则返回到步骤2)，进行下一轮模型压缩剪枝；否则结束。2.根据...

【专利技术属性】
技术研发人员：陈余根，程文韶，谭海，徐寅，王南，
申请(专利权)人：华中光电技术研究所中国船舶重工集团公司第七一七研究所，
类型：发明
国别省市：