【技术实现步骤摘要】
本专利技术涉及剪枝,特别是涉及一种基于优先级经验回放的自适应剪枝方法。
技术介绍
1、随着人工智能技术的飞速发展,神经网络待剪枝图像分类模型的复杂度和规模呈现增涨趋势。如今,软件和硬件的开发远远落后于神经网络待剪枝图像分类模型的存储和计算能力需求的增长。因此,如何在保证精度的前提下实现神经网络待剪枝图像分类模型及其计算载体的轻量化,形成适合低功耗设备部署的轻量化人工智能计算系统,成为当下ai研究的热点。网络剪枝是实现神经网络待剪枝图像分类模型轻量化的主要方法,通过去除网络中的冗余连接、滤波器、神经元或层以得到更轻量级的网络,同时不影响性能。传统的网络剪枝方法包括训练、剪枝、微调三个阶段,其中后两个阶段需要人工设计剪枝比例,存在人工成本高、压缩率不足的缺点,因此有必要针对这些缺点,设计新的剪枝方法。
2、专利申请号为cn202011561741.9的一种基于联合动态剪枝的深度神经网络压缩方法,其通过引入卷积核动态剪枝率和通道动态压缩率两个超参数,在训练过程中动态地剪除卷积核和通道,但该过程依赖于l1范数等人工设计的指标,难以自
...【技术保护点】
1.一种基于优先级经验回放的自适应剪枝方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述步骤1包括:
3.根据权利要求2所述的方法,其特征在于,所述步骤11中,浮点计算量F与参数量P的计算公式为:
4.根据权利要求2-4任一项所述的方法,其特征在于,所述步骤2包括:
5.根据权利要求4所述的方法,其特征在于,所述步骤3包括:
6.根据权利要求5所述的方法,其特征在于,所述步骤31中,动作al的表达式为:
7.根据权利要求5或6所述的方法,其特征在于,所述步骤4包括:
< ...【技术特征摘要】
1.一种基于优先级经验回放的自适应剪枝方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述步骤1包括:
3.根据权利要求2所述的方法,其特征在于,所述步骤11中,浮点计算量f与参数量p的计算公式为:
4.根据权利要求2-4任一项所述的方法,其特征在于,所述步骤2包括:
5.根据权利要求4所述的方法,其特征在于,所述步骤3包括:
6.根据权利要求5所述的方法,其特征在于,所述步骤31中,动作al的表达式为:
7.根据权利要求5或6所述的方法,其特征在于,所述步骤4包括:
8....
【专利技术属性】
技术研发人员:吉庆兵,康璐,谈程,
申请(专利权)人:中国电子科技集团公司第三十研究所,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。