模型训练方法、装置以及电子设备制造方法及图纸

技术编号:40575261 阅读:21 留言:0更新日期:2024-03-06 17:16
本申请实施例公开了一种模型训练方法、装置以及电子设备。方法包括:获取满足第一训练条件的第二神经网络模型,第二神经网络模型为通过训练数据对第一神经网络模型进行第一阶段训练得到,其中,第一神经网络模型为对待训练的神经网络模型的网络参数配置对应的伪量化节点后得到,伪量化节点对应有量化参数;通过训练数据对第二神经网络模型进行第二阶段训练,以得到满足第二训练条件的第三神经网络模型,其中,在第二阶段训练的过程中量化参数处于不可进行学习的状态。从而使得在第二阶段训练过程中不会再使用存储空间来对进入伪量化节点前后的网络参数进行存储,进而降低了整个训练过程中对存储空间的占用程度。

【技术实现步骤摘要】

本申请涉及计算机,更具体地,涉及一种模型训练方法、装置以及电子设备


技术介绍

1、随着人工智能技术的快速发展,模型尺寸和计算资源的需求也在不断增加。然而,对于许多实际应用场景来说,过大的模型尺寸和过多的计算资源不仅会增加硬件和运维成本。因此,为了使得模型可以更好的部署在端侧平台,可以对模型进行量化。

2、其中,可以通过对模型进行量化感知训练来实现对模型进行量化,但是,相关的量化感知训练的方式还存在对存储空间过渡占用的情况。


技术实现思路

1、鉴于上述问题,本申请提出了一种模型训练方法、装置以及电子设备,以改善上述问题。

2、第一方面,本申请提供了一种模型训练方法,所述方法包括:获取满足第一训练条件的第二神经网络模型,所述第二神经网络模型为通过训练数据对第一神经网络模型进行第一阶段训练得到,其中,所述第一神经网络模型为对待训练的神经网络模型的网络参数配置对应的伪量化节点后得到,所述伪量化节点对应有量化参数,在所述第一阶段训练的过程中,所述量化参数处于可进行学习的状态;通过训练数据对所述本文档来自技高网...

【技术保护点】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过训练数据对第一神经网络模型进行第一阶段训练,以得到满足第一训练条件的第二神经网络模型,包括:

4.根据权利要求1所述的方法,其特征在于,所述第一训练条件包括:训练轮次满足第一目标轮次,或者所计算得到的损失值处于第一稳定状态。

5.根据权利要求1-4任一所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型之前还包括:</p>

6.根据...

【技术特征摘要】

1.一种模型训练方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述通过训练数据对第一神经网络模型进行第一阶段训练,以得到满足第一训练条件的第二神经网络模型,包括:

4.根据权利要求1所述的方法,其特征在于,所述第一训练条件包括:训练轮次满足第一目标轮次,或者所计算得到的损失值处于第一稳定状态。

5.根据权利要求1-4任一所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型之前还包括:

6...

【专利技术属性】
技术研发人员:陈腊梅
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1