一种模型量化方法及计算设备技术

技术编号:46097166 阅读:8 留言:0更新日期:2025-08-12 18:16
本申请实施例公开了一种模型量化方法及计算设备,训练设备量化预训练模型,得到预训练量化模型;训练设备基于预训练量化模型搭建第一原始业务模型;训练设备基于N个业务数据分别量化感知训练第一原始业务模型,分别得到N个目标业务模型;N个目标业务模型中的第t目标业务模型包括共享量化权重参数和N个目标业务模型中的第t业务量化权重参数;一个业务对应一个目标业务模型;t依次为从1到N的整数。本申请实施例,可以提高各业务的量化效果,优化模型变更时的训练的部署过程。

【技术实现步骤摘要】

本申请涉及终端,尤其涉及一种模型量化方法及计算设备


技术介绍

1、神经网络模型需要处理多个业务的情况下,一般需要进行对多种业务分别使用各自专用的神经网络模型,保证能够完成不同业务需求。不同多个相近业务,这多个业务的神经网络模型具备近似的特征提取能力。使用不同的神经网络模型各自执行相关业务,设备需要存储的神经网络模型的数据量大,模型部署时需要传输模型数据量大,训练成本高。借助于预训练和微调的方法对不同业务进行模型训练。预训练可以预选在大量数据上训练模型以学习通用特征,微调在特征任务上的数据集微调预训练模型优化性能,适配各个业务的特征。上述过程能够极大降低训练和模型部署的成本。

2、然而,模型部署需要经过量化处理,在模型量化的过程中对各个业务的量化效果难以平衡,一个业务的量化效果好可能会导致另一个业务的量化效果差。


技术实现思路

1、本申请实施例公开了一种模型量化方法及计算设备,可以提高各业务的量化效果,优化模型变更时的训练的部署过程。

2、第一方面,本申请提供了一种模型量化方法,所述方本文档来自技高网...

【技术保护点】

1.一种模型量化方法,其特征在于,所述方法应用于训练设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述训练设备基于N个业务数据分别量化感知训练所述第一原始业务模型,得到N个目标业务模型,包括:

3.根据权利要求1所述的方法,其特征在于,所述训练设备基于N个业务数据分别量化感知训练所述第一原始业务模型的初始业务权重参数,分别得到N个业务网络模型,包括:

4.根据权利要求1或2所述的方法,其特征在于,在所述得到N个目标业务模型之后,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,在所述得到N个目标业务模型之后,...

【技术特征摘要】

1.一种模型量化方法,其特征在于,所述方法应用于训练设备,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述训练设备基于n个业务数据分别量化感知训练所述第一原始业务模型,得到n个目标业务模型,包括:

3.根据权利要求1所述的方法,其特征在于,所述训练设备基于n个业务数据分别量化感知训练所述第一原始业务模型的初始业务权重参数,分别得到n个业务网络模型,包括:

4.根据权利要求1或2所述的方法,其特征在于,在所述得到n个目标业务模型之后,所述方法还包括:

5.根据权利要求1或2所述的方法,其特征在于,在所述得到n个目标业务模型之后,所述方法还包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,所述n个业务数据为文本数据、语音数据、视频数据、图像数据其中的一种。

7.根据权利要求2所述的方法,其特征在于,所述训练设备按照n个业务的量化数据分别量化所述n个业务网络模型中的n个业务权重参数,得到n个目标业务模型,包括:

8.根据权利要求7所述的方法,其特征在于,所述第一量化参数包括整量化刻度sc...

【专利技术属性】
技术研发人员:王宇然
申请(专利权)人:荣耀终端股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1