【技术实现步骤摘要】
本申请涉及计算机,更具体地,涉及一种模型训练方法、装置以及电子设备。
技术介绍
1、随着人工智能技术的快速发展,模型尺寸和计算资源的需求也在不断增加。然而,对于许多实际应用场景来说,过大的模型尺寸和过多的计算资源不仅会增加硬件和运维成本。因此,为了使得模型可以更好的部署在端侧平台,可以对模型进行量化。
2、其中,可以通过对模型进行量化感知训练来实现对模型进行量化,但是,相关的量化感知训练的方式还存在对存储空间过渡占用的情况。
技术实现思路
1、鉴于上述问题,本申请提出了一种模型训练方法、装置以及电子设备,以改善上述问题。
2、第一方面,本申请提供了一种模型训练方法,所述方法包括:获取满足第一训练条件的第二神经网络模型,所述第二神经网络模型为通过训练数据对第一神经网络模型进行第一阶段训练得到,其中,所述第一神经网络模型为对待训练的神经网络模型的网络参数配置对应的伪量化节点后得到,所述伪量化节点对应有量化参数,在所述第一阶段训练的过程中,所述量化参数处于可进行学习的状态
...【技术保护点】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述通过训练数据对第一神经网络模型进行第一阶段训练,以得到满足第一训练条件的第二神经网络模型,包括:
4.根据权利要求1所述的方法,其特征在于,所述第一训练条件包括:训练轮次满足第一目标轮次,或者所计算得到的损失值处于第一稳定状态。
5.根据权利要求1-4任一所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型之前还包括:<
...【技术特征摘要】
1.一种模型训练方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型,包括:
3.根据权利要求2所述的方法,其特征在于,所述通过训练数据对第一神经网络模型进行第一阶段训练,以得到满足第一训练条件的第二神经网络模型,包括:
4.根据权利要求1所述的方法,其特征在于,所述第一训练条件包括:训练轮次满足第一目标轮次,或者所计算得到的损失值处于第一稳定状态。
5.根据权利要求1-4任一所述的方法,其特征在于,所述获取满足第一训练条件的第二神经网络模型之前还包括:
6...
【专利技术属性】
技术研发人员:陈腊梅,
申请(专利权)人:OPPO广东移动通信有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。