【技术实现步骤摘要】
一种基于自适应批规范化的神经网络模型剪枝方法及系统
本专利技术涉及神经网络模型剪枝
，具体涉及一种基于自适应批规范化的神经网络模型剪枝方法及系统。
技术介绍
神经网络剪枝致力于减少神经网络的计算冗余同时不损失太多的精度。剪枝后的模型通常有更低的能耗、硬件负载，因此对于在嵌入式设备上部署具有很大的意义。然而，如何找到对网络最不重要的部分以最小化剪枝后的精度损失是关键的问题。神经网络的剪枝问题可以被看成是搜索问题，其搜索空间是所有剪枝后的子网络的集合，在该空间中找到准确率最高的子网络是剪枝问题的核心。其中，子网络的评估过程普遍存在于现有的剪枝方法中这个过程可以揭示出子网络的潜在准确率然后将拥有最高潜在准确率的子网络进行微调(fine-tune)得到最优的神经网络模型。现有技术中的神经网络模型剪枝方法，如图1所示，往往需要微调所有剪枝网络，从而判断不同剪枝策略能够达到的最终收敛精度，但是微调的本质是训练若干周期，比较耗费时间。
技术实现思路
因此，本专利技术提供的一种基于自适应批规范化的神经网络模型剪枝方...
【技术保护点】
1.一种基于自适应批规范化的神经网络模型剪枝方法，其特征在于，包括如下步骤：/n针对一L层的神经网络模型，随机采样L个[0,R](0<R<1)内的浮点数作为每层的剪枝率，在满足预设计算资源的限制下，生成剪枝率向量(r
【技术特征摘要】
1.一种基于自适应批规范化的神经网络模型剪枝方法，其特征在于，包括如下步骤：
针对一L层的神经网络模型，随机采样L个[0,R](0<R<1)内的浮点数作为每层的剪枝率，在满足预设计算资源的限制下，生成剪枝率向量(r1,r2,…,rL)作为剪枝策略；
基于所述剪枝策略对神经网络模型分别进行剪枝，生成剪枝后模型构成的剪枝模型候选集；
对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数；
评估所述获取更新过统计参数的神经网络模型的分类准确率，将分类准确率最高的模型在训练集上进行微调至收敛后，作为最终的剪枝模型。
2.根据权利要求1所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，所述预设计算资源限制，包括预设计算操作数限制、预设参数量限制、预设计算时延限制中的至少一个。
3.根据权利要求1所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，所述基于所述剪枝策略对分别进行神经网络模型进行剪枝，生成剪枝后模型构成的剪枝模型候选集的过程，包括：
对候选集中剪枝模型利用每个剪枝策略分别进行剪枝，对各层的卷积核按照其范数从大到小进行排序，去除在排序中倒数M位以后的卷积核,其中，M＝ceil(rl*cl)，ceil代表向上取整，cl为第l层的卷积核数量，rl为第l层的剪枝率；
将去除倒数M位以后的卷积核后的剪枝模型，构成剪枝模型候选集。
4.根据权利要求1所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，所述对候选集中的剪枝模型分别利用自适应批规范化方法，更新其批规范化层的统计参数的过程，包括：
对于每个候选集中的剪枝模型，固定其所有的可学习参数，在预设数量的训练样本上进行迭代，对批规范化层的统计参数滑动平均值和滑动方差值进行更新。
5.根据权利要求4所述的基于自适应批规范化的神经网络模型剪枝方法，其特征在于，通过以下公式分别对参数滑动平均值和滑动方差值进行更新：
μt＝mμt-1+(1-m)μβ...
【专利技术属性】
技术研发人员：李百林，苏江，
申请(专利权)人：暗物智能科技广州有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。