一种卷积神经网络的剪枝方法技术

技术编号:40955703 阅读:11 留言:0更新日期:2024-04-18 20:32
本申请的实施例涉及网络压缩技术领域,特别涉及一种卷积神经网络的剪枝方法,该方法包括:将样本数据输入至目标模型中,得到目标模型的各层的各滤波器输出的特征图;遍历滤波器,将当前滤波器输出的特征图展平,根据当前滤波器对应的展平后的特征图,计算当前滤波器的内部特征活跃度;计算展平后的特征图两两之间的特征差异度,并根据当前滤波器对应的展平后的特征图与其他滤波器对应的展平后的特征图之间的特征差异度,确定当前滤波器的替代性得分;基于内部特征活跃度和替代性得分,确定重要性得分,并根据预设的剪枝率和重要性得分,对当前层进行剪枝,得到目标模型的轻量化模型,从而实现模型的轻量化,同时保证剪枝后的模型有较高性能。

【技术实现步骤摘要】

本申请的实施例涉及网络压缩,特别涉及一种卷积神经网络的剪枝方法


技术介绍

1、网络剪枝技术是深度神经网络中备受关注的压缩方法之一,其凭借简单易行和显著的效果而受到青睐。滤波器剪枝是网络剪枝技术的一个可行方案,滤波器剪枝专注于消除卷积神经网络中的冗余卷积核或通道,从而实现神经网络参数规模的降低。通过巧妙选择需要剪枝的滤波器,滤波器剪枝技术可以在保持模型准确性的同时显著减少参数量和计算量,从而实现对神经网络的压缩。此外,通过减少参数量和相应的计算需求,滤波器剪枝使模型在推理阶段更加高效,能够很好地适用于在资源有限的环境中部署深度学习模型。这不仅提高了模型的实用性,还在一定程度上减轻了对硬件资源的需求。值得注意的是,滤波器剪枝并不依赖于专用的硬件或软件支持,其可以在现有深度学习库的基础上实现。因此,采用滤波器剪枝的模型无需额外的设备或技术支持,更易于在不同的环境和平台上应用和部署。

2、目前大量的滤波器剪枝研究主要关注于冗余滤波器的识别。公开号为cn113657594a的中国专利公开了一种软滤波器剪枝的方法,其不仅考虑了滤波器自身的绝对距离也考虑了本文档来自技高网...

【技术保护点】

1.一种卷积神经网络的剪枝方法,其特征在于,包括:

2.根据权利要求1所述的一种卷积神经网络的剪枝方法,其特征在于,所述根据所述当前滤波器对应的展平后的特征图,计算所述当前滤波器的内部特征活跃度,包括:

3.根据权利要求2所述的一种卷积神经网络的剪枝方法,其特征在于,所述基于所述当前滤波器对应的展平后的特征图中的各像素,计算所述当前滤波器对应的展平后的特征图的特征向量均值,通过以下公式实现:

4.根据权利要求3所述的一种卷积神经网络的剪枝方法,其特征在于,所述基于闵氏距离,计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度,通过以下公式实现:...

【技术特征摘要】

1.一种卷积神经网络的剪枝方法,其特征在于,包括:

2.根据权利要求1所述的一种卷积神经网络的剪枝方法,其特征在于,所述根据所述当前滤波器对应的展平后的特征图,计算所述当前滤波器的内部特征活跃度,包括:

3.根据权利要求2所述的一种卷积神经网络的剪枝方法,其特征在于,所述基于所述当前滤波器对应的展平后的特征图中的各像素,计算所述当前滤波器对应的展平后的特征图的特征向量均值,通过以下公式实现:

4.根据权利要求3所述的一种卷积神经网络的剪枝方法,其特征在于,所述基于闵氏距离,计算当前层的各滤波器对应的展平后的特征图两两之间的特征差异度,通过以下公式实现:

5.根据权利要求4所...

【专利技术属性】
技术研发人员:姚西文高晨阳汤恒仁冯晓绪程塨韩军伟
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1