一种神经网络通道剪枝方法、存储介质及电子设备技术

本发明专利技术提供了一种神经网络通道剪枝的方法、存储方法及电子设备，其基于最大迭代剪枝周期获取每个迭代剪枝周期内待剪枝的通道的权重衰减系数，并在每个迭代剪枝周期内基于当前周期的权重衰减系数调整待剪枝的通道的权重，以重新训练待剪枝的神经网络直至最大迭代剪枝周期结束。本发明专利技术的方法使得神经网络的结点信息在迭代剪枝过程中能够得到更加充分的利用，从而弱化剪枝带来的模型性能下降。

【技术实现步骤摘要】
一种神经网络通道剪枝方法、存储介质及电子设备
本专利技术涉及机器学习
，尤其涉及一种神经网络通道剪枝方法、存储介质及电子设备。
技术介绍
当前，深度学习已经在计算机视觉、语音处理和自然语言处理等领域获得极大的成功，例如图像分类、目标检测和图像分割。但是深度网络模型往往参数数量巨大，很难直接部署到手机等存储、计算资源受限的终端设备上。因此，需要对深度网络模型进行压缩以提高计算效率并扩大应用范围。通道剪枝作为一种常用的结构化剪枝方法，通过剪去深度神经网络模型中对模型性能影响较小的通道(特征图)，可以有效减少模型的参数量和计算量，实以现压缩模型大小并加快模型推理速度。然而，传统的通道剪枝方法中，随着网络中通道的减少，模型表达能力也受到严重影响，并最终影响模型的性能。因此，亟需一种能够保持模型性能的神经网络通道剪枝的方法、存储介质及电子设备。
技术实现思路
因此，本专利技术一方面提供了一种神经网络通道剪枝的方法，包括：确定待剪枝的神经网络的最大迭代剪枝周期；在每个迭代剪枝周期内，评估所述待剪枝的神经网络中各个通本文档来自技高网...

【技术保护点】
1.一种神经网络通道剪枝的方法，包括：/n步骤1，确定待剪枝的神经网络的最大迭代剪枝周期；/n步骤2，在每个迭代剪枝周期内，评估所述待剪枝的神经网络中各个通道的重要性以确定当前迭代剪枝周期内待剪枝的通道；/n步骤3，基于所述最大迭代剪枝周期获取当前迭代剪枝周期内所述待剪枝的通道的权重衰减系数；/n步骤4，依据所述权重衰减系数调整所述待剪枝的通道的权重，并重新训练所述待剪枝的神经网络；/n步骤5，重复上述步骤2-4直至完成所述最大迭代剪枝周期。/n

【技术特征摘要】
1.一种神经网络通道剪枝的方法，包括：
步骤1，确定待剪枝的神经网络的最大迭代剪枝周期；
步骤2，在每个迭代剪枝周期内，评估所述待剪枝的神经网络中各个通道的重要性以确定当前迭代剪枝周期内待剪枝的通道；
步骤3，基于所述最大迭代剪枝周期获取当前迭代剪枝周期内所述待剪枝的通道的权重衰减系数；
步骤4，依据所述权重衰减系数调整所述待剪枝的通道的权重，并重新训练所述待剪枝的神经网络；
步骤5，重复上述步骤2-4直至完成所述最大迭代剪枝周期。


2.根据权利要求1所述的方法，其中，通过L2范数或者跨层权重相关性评估所述待剪枝的神经网络中各个通道的重要性。


3.根据权利要求1所述的方法，其中，所述当前迭代剪枝周期内待剪枝的通道的权重衰减系数的计算公式为：



其中，t为当前迭代剪枝周期，t_max为最大迭代剪枝周期，α0为待剪枝的通道的初始权重衰减系数，∈1表示在最大迭代剪枝周期时待剪枝的通道的权重衰减系数与0之差。


4.一种神经网络通道剪枝的方法，包括：
步骤1，确定待剪枝的神经网络的最大迭代剪枝周期以及所述待剪枝的神经网络的目标剪枝比例；
步骤2，在每个迭代...

【专利技术属性】
技术研发人员：蔡林航，安竹林，徐勇军，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11