模型剪枝方法、装置、电子设备及程序产品制造方法及图纸

本申请提出一种模型剪枝方法、装置、电子设备及程序产品，该方法包括：对预先训练好的目标模型内各网络层中的通道进行迭代稀疏处理，直至目标模型的模型精度与当前次迭代中目标模型对应的稀疏模型的模型精度的差值大于或等于预定阈值，以得到目标模型对应的目标稀疏模型，并基于目标稀疏模型内各网络层中的通道的稀疏处理结果，确定目标模型内各网络层中的待剪枝通道，并对各待剪枝通道进行物理剪枝，以移除目标模型内各网络层中的待剪枝通道，得到目标模型的剪枝模型。上述的模型剪枝方法能够在降低目标模型剪枝后的资源占用量的前提下，有效保证目标模型剪枝后的模型精度。

【技术实现步骤摘要】

本申请涉及模型处理，尤其涉及一种模型剪枝方法、装置、电子设备及程序产品。

技术介绍

1、随着智能化技术的日新月异和端侧深度学习模型需求的日益增加，深度学习模型在各个领域得到广泛应用。其中，深度学习模型在解决各种问题时的准确性的显著增高，通常是通过深度学习模型的高度参数化来实现的，由此造成深度学习模型的规模不断增大。然而，庞大的模型规模需要更多的内存和计算资源来进行模型部署，对深度学习模型的应用造成极大限制。因此，对深度学习模型进行剪枝是保证深度学习模型在资源受限的环境中得到有效应用的重要条件。

2、目前，现有模型剪枝方法在对深度学习模型进行剪枝的过程中，通常会使得深度学习模型产生无法恢复的损失，从而无法保证剪枝后的深度学习模型的模型精度。

技术实现思路

1、基于上述需求，本申请提出一种模型剪枝方法、装置、电子设备及程序产品，以解决现有技术中无法保证剪枝后的深度学习模型的模型精度的问题。

2、为了实现上述技术目的，本申请具体提出如下技术方案：

3、本申请第一方面提出一种模型剪本文档来自技高网...

【技术保护点】

1.一种模型剪枝方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对预先训练好的目标模型内各网络层中的通道进行迭代稀疏处理，直至所述目标模型的模型精度与当前次迭代中所述目标模型对应的稀疏模型的模型精度的差值大于或等于预定阈值，以得到所述目标模型对应的目标稀疏模型，包括：

3.根据权利要求2所述的方法，其特征在于，基于目标数据对当前模型内各网络层中的通道进行稀疏处理，得到当前次迭代中所述目标模型对应的稀疏模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述目标数据包括所述当前模型内每一网络层中的各通道所对应的稀疏因子，各所述网络...

【技术特征摘要】

1.一种模型剪枝方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，对预先训练好的目标模型内各网络层中的通道进行迭代稀疏处理，直至所述目标模型的模型精度与当前次迭代中所述目标模型对应的稀疏模型的模型精度的差值大于或等于预定阈值，以得到所述目标模型对应的目标稀疏模型，包括：

3.根据权利要求2所述的方法，其特征在于，基于目标数据对当前模型内各网络层中的通道进行稀疏处理，得到当前次迭代中所述目标模型对应的稀疏模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述目标数据包括所述当前模型内每一网络层中的各通道所对应的稀疏因子，各所述网络层中的通道的关联关系，以及当前次迭代中的目标稀疏率；各所述网络层中的通道的关联关系包括层内关联和层间关联；

5.根据权利要求4所述的方法，其特征在于，对当前次迭代中所述目标模型对应的稀疏模型进行训练，...

【专利技术属性】
技术研发人员：崔浩，娄舜，郑祥祥，郭涛，胡金水，魏思，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：