一种基于优先级经验回放的自适应剪枝方法技术

技术编号:44615891 阅读:25 留言:0更新日期:2025-03-17 18:16
本发明专利技术公开了一种基于优先级经验回放的自适应剪枝方法,其包括:训练待剪枝图像分类模型,将神经网络的剪枝过程转化为马尔科夫决策过程,设计相应的状态空间、动作空间与奖励函数;构建并初始化深度确定性策略梯度算法的价值网络、策略网络、目标价值网络和目标策略网络;对待剪枝图像分类模型进行剪枝;将待剪枝图像分类模型剪枝过程存入经验回放池,并为其设置优先级;根据时间差分误差更新每条样本的采样概率;更新价值网络和策略网络,更新目标价值网络和目标策略网络,循环训练直至达到设定最大迭代次数;对图像分类待剪枝图像分类模型进行微调。本发明专利技术可以自适应生成网络各层剪枝比例,实现网络待剪枝图像分类模型的自适应压缩。

【技术实现步骤摘要】

本专利技术涉及剪枝,特别是涉及一种基于优先级经验回放的自适应剪枝方法


技术介绍

1、随着人工智能技术的飞速发展,神经网络待剪枝图像分类模型的复杂度和规模呈现增涨趋势。如今,软件和硬件的开发远远落后于神经网络待剪枝图像分类模型的存储和计算能力需求的增长。因此,如何在保证精度的前提下实现神经网络待剪枝图像分类模型及其计算载体的轻量化,形成适合低功耗设备部署的轻量化人工智能计算系统,成为当下ai研究的热点。网络剪枝是实现神经网络待剪枝图像分类模型轻量化的主要方法,通过去除网络中的冗余连接、滤波器、神经元或层以得到更轻量级的网络,同时不影响性能。传统的网络剪枝方法包括训练、剪枝、微调三个阶段,其中后两个阶段需要人工设计剪枝比例,存在人工成本高、压缩率不足的缺点,因此有必要针对这些缺点,设计新的剪枝方法。

2、专利申请号为cn202011561741.9的一种基于联合动态剪枝的深度神经网络压缩方法,其通过引入卷积核动态剪枝率和通道动态压缩率两个超参数,在训练过程中动态地剪除卷积核和通道,但该过程依赖于l1范数等人工设计的指标,难以自适应地学习到最优的剪本文档来自技高网...

【技术保护点】

1.一种基于优先级经验回放的自适应剪枝方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤1包括:

3.根据权利要求2所述的方法,其特征在于,所述步骤11中,浮点计算量F与参数量P的计算公式为:

4.根据权利要求2-4任一项所述的方法,其特征在于,所述步骤2包括:

5.根据权利要求4所述的方法,其特征在于,所述步骤3包括:

6.根据权利要求5所述的方法,其特征在于,所述步骤31中,动作al的表达式为:

7.根据权利要求5或6所述的方法,其特征在于,所述步骤4包括:

<p>8.根据权利要求...

【技术特征摘要】

1.一种基于优先级经验回放的自适应剪枝方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述步骤1包括:

3.根据权利要求2所述的方法,其特征在于,所述步骤11中,浮点计算量f与参数量p的计算公式为:

4.根据权利要求2-4任一项所述的方法,其特征在于,所述步骤2包括:

5.根据权利要求4所述的方法,其特征在于,所述步骤3包括:

6.根据权利要求5所述的方法,其特征在于,所述步骤31中,动作al的表达式为:

7.根据权利要求5或6所述的方法,其特征在于,所述步骤4包括:

8....

【专利技术属性】
技术研发人员:吉庆兵康璐谈程
申请(专利权)人:中国电子科技集团公司第三十研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1