【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种模型自动剪枝方法、装置、设备、存储介质及程序产品。。
技术介绍
1、大语言模型（large language model，llm）往往具有超大规模的参数量和训练数据，能够在现实世界中学习具有挑战性的任务。然而，这种过高的模型大小需要大量的计算和内存来部署，这限制了它们在许多资源受限的环境中的适用性。模型压缩是一种在保持神经网络能力的同时减少神经网络大小的策略。为了构建更轻、更快、更可解释的模型，目前的模型压缩算法有很多，包括模型剪枝、量化、知识蒸馏等。其中，剪枝是当前十分热门的一种模型压缩技术，通过删除不必要的或者冗余的组件来减少模型的大小，降低模型的复杂度。
2、因此，如何有效的进行模型剪枝已经成为业界亟待解决的问题。
技术实现思路
1、本专利技术提供一种模型自动剪枝方法、装置、设备、存储介质及程序产品，用以解决现有技术中如何有效的进行模型剪枝的问题。
2、本专利技术提供一种模型自动剪枝方法，包括：
3、将模型中任一...
【技术保护点】
1.一种模型自动剪枝方法，其特征在于，包括：
2.根据权利要求1所述的模型自动剪枝方法，其特征在于，在所述得到剪枝模型的步骤之后，所述方法还包括：
3.根据权利要求1所述的模型自动剪枝方法，其特征在于，基于所述待剪枝组的预测压缩比例对所述待剪枝组进行剪枝，得到第一剪枝组，并基于预设压缩比对所述待剪枝组进行剪枝，得到第二剪枝组，包括：
4.根据权利要求1所述的模型自动剪枝方法，其特征在于，遍历全部待剪枝组，基于所述第一剪枝组与所述第二剪枝组之间的损失扰动，以及长期奖励，对所述智能体进行优化，得到剪枝模型，包括：
5.根据权...
【技术特征摘要】
1.一种模型自动剪枝方法，其特征在于，包括：
2.根据权利要求1所述的模型自动剪枝方法，其特征在于，在所述得到剪枝模型的步骤之后，所述方法还包括：
3.根据权利要求1所述的模型自动剪枝方法，其特征在于，基于所述待剪枝组的预测压缩比例对所述待剪枝组进行剪枝，得到第一剪枝组，并基于预设压缩比对所述待剪枝组进行剪枝，得到第二剪枝组，包括：
4.根据权利要求1所述的模型自动剪枝方法，其特征在于，遍历全部待剪枝组，基于所述第一剪枝组与所述第二剪枝组之间的损失扰动，以及长期奖励，对所述智能体进行优化，得到剪枝模型，包括：
5.根据权利要求4所述的模型自动剪枝方法，其特征在于，根据各个待剪枝组短期奖励，得到长期奖...
【专利技术属性】
技术研发人员：李星晨，宋冬冬，严昱超，余立，蒋健，叶晓龙，
申请(专利权)人：中国移动通信集团浙江有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。