模型量化方法、装置、电子设备和计算机可读存储介质制造方法及图纸

技术编号:40949573 阅读:16 留言:0更新日期:2024-04-18 20:24
本申请实施例公开了一种模型量化方法、装置、电子设备和计算机可读存储介质,该方法包括:对目标模型划分至少两轮模型量化子阶段,在模型量化子阶段,对目标数据处理节点进行采样并基于得到的目标采样节点对目标模型进行模型量化训练处理得到初始目标量化模型;若初始目标量化模型不满足模型量化结束条件,在下一模型量化子阶段,再次进行采样得到下一目标采样节点,将下一目标采样节点作为目标采样节点并执行基于目标采样节点对目标模型进行模型量化训练处理得到初始目标量化模型的步骤;若初始目标量化模型满足模型量化结束条件,将初始目标量化模型作为目标量化模型,使得目标量化模型输出结果的准确性得到有效提升。

【技术实现步骤摘要】

本申请涉及人工智能,尤其涉及一种模型量化方法、装置、电子设备和计算机可读存储介质


技术介绍

1、随着深度学习的快速发展,深度学习模型的复杂程度逐渐提高,使得深度学习模型的参数逐渐增多。因此,深度学习模型的运算强度较高,为了缓解深度学习模型的运算强度,通常会通过调整量化位宽来对深度学习模型进行优化,但是调整量化位宽会降低深度学习模型输出结果的准确性。


技术实现思路

1、本申请实施例提供一种模型量化方法、装置、电子设备和计算机可读存储介质,可以解决为了缓解深度学习模型的运算强度,通常会通过调整量化位宽来对深度学习模型进行优化,但是调整量化位宽会降低深度学习模型输出结果的准确性的技术问题。

2、第一方面,本申请实施例提供一种模型量化方法,所述方法包括:

3、获取完成模型训练阶段的目标模型,确定所述目标模型对应的多个目标数据处理节点;

4、对所述目标模型划分至少两轮模型量化子阶段,在所述模型量化子阶段,对所述目标数据处理节点进行采样得到目标采样节点,基于所述目标采样节点对所述目标本文档来自技高网...

【技术保护点】

1.一种模型量化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述目标采样节点对所述目标模型进行模型量化训练处理得到初始目标量化模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标采样节点对所述目标模型进行量化处理得到量化节点,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述目标模型进行模型量化训练处理得到初始目标量化模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述模型量化损失值对所述初始目标量化模型中所述量化节点对应的第一模型参数和参考节点对应的第二...

【技术特征摘要】

1.一种模型量化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述目标采样节点对所述目标模型进行模型量化训练处理得到初始目标量化模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标采样节点对所述目标模型进行量化处理得到量化节点,包括:

4.根据权利要求2所述的方法,其特征在于,所述对所述目标模型进行模型量化训练处理得到初始目标量化模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述基于所述模型量化损失值对所述初始目标量化模型中所述量化节点对应的第一模型参数和参考节点对应的第二模型参数进行量化模型参数调整,包括:

6.根据权利要求1所述的方法,其特征在于,...

【专利技术属性】
技术研发人员:樊欢欢
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1