基于类别掩码的神经网络剪枝方法技术

基于类别掩码的神经网络剪枝方法，涉及人工神经网络的压缩与加速。通过对不同通道激活的特征图的深入可视化，观察到不同通道对图像分类中不同类别的贡献不同。选择保留有助于大多数类别的渠道。具体来说，为模拟每个通道对差异类别的贡献，为每个通道分配一个类别掩码，从而得到每个通道对不同类识别的贡献。包括以下步骤：1)为神经网络中每一个通道分配一个类别掩码，其维度等于数据集图像类别数；2)基于输入图像的类别激活相应的掩码来进行训练网络；3)基于训练后的类别掩码进行全局投票，剪枝分数较小的通道；4)对保留下来的卷积核继续进行训练，得到最终的剪枝网络。性能优异且紧凑，具有较好的可解释性。具有较好的可解释性。具有较好的可解释性。

【技术实现步骤摘要】
基于类别掩码的神经网络剪枝方法


[0001]本专利技术涉及人工神经网络的压缩与加速，尤其是涉及一种基于类别掩码的神经网络剪枝方法。

技术介绍

[0002]卷积神经网络(CNN)在计算机视觉的多个领域取得巨大的突破，例如图像分类、图像超分、目标检测等，然CNN对计算开销的巨大需求限制其在移动和小型设备上的应用。为解决该问题，研究人员开发几种用于CNN压缩的技术，例如网络修剪、参数量化、张量分解和知识蒸馏等。其中，通道剪枝因其与通用硬件和基本线性代数子程序(BLAS)库的方便适配而引起越来越多的关注。
[0003]通道剪枝的核心思想是删除神经网络中卷积核里的整个通道，从而以较少的计算成本生成原始CNN的子网络。现有研究大致可分为两类。第一类方法一般为三步剪枝流程，包括预训练初始模型模型，选择“重要”的通道和微调训练子网络。通常，该类别的大多数工作都将重点放在第二步，即找出过滤器重要性估计值，例如l1范式、几何信息和激活值稀疏程度，或将通道剪枝视为优化问题。第二类通过对网络进行从头开始的重新训练并在每个通道上施加额外的稀疏性约束来实现动态的通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于类别掩码的神经网络剪枝方法，其特征在于包括以下步骤：1)为神经网络中每一个通道分配一个类别掩码，其维度等于数据集图像类别数；2)基于输入图像的类别激活相应的掩码来进行训练网络；3)基于训练后的类别掩码进行全局投票，剪枝分数较小的通道；4)对保留下来的卷积核继续进行训练，得到最终的剪枝网络。2.如权利要求1所述基于类别掩码的神经网络剪枝方...

【专利技术属性】
技术研发人员：纪荣嵘，张玉鑫，
申请(专利权)人：厦门大学，
类型：发明
国别省市：