浮点精度模型的量化方法、装置、电子设备以及存储介质制造方法及图纸

技术编号:40024095 阅读:34 留言:0更新日期:2024-01-16 17:13
本申请公开了一种浮点精度模型的量化方法、装置、电子设备以及存储介质,涉及人工智能技术领域。该方法包括:获取待量化的浮点精度模型,其中,所述浮点精度模型由多个待量化层组成;确定所述多个待量化层各自对应的待量化位数;基于预设规则将所述多个待量化层划分为多个待量化块,其中,所述多个待量化块中的每个待量化块至少包括一个待量化层;根据所述多个待量化层各自对应的待量化位数,对所述多个待量化块进行量化感知训练。本申请通过对浮点精度模型的多个待量化块逐块进行量化感知训练,能够对在较少的训练数据集时,有效避免了浮点精度模型发生过拟合的问题,同时还提高了量化感知训练的训练效率,并且能够节约设备的存储资源。

【技术实现步骤摘要】

本申请涉及人工智能,更具体地,涉及一种浮点精度模型的量化方法、装置、电子设备以及存储介质


技术介绍

1、随着人工智能技术的不断发展,人工智能相关的模型的结构也被设计的越来越复杂,对应的模型的权重参数也越来越庞大,对设备的算力要求也越来越高。如何在算力有限的设备上提高模型的处理速度,并且能够节约设备的存储资源,成为亟待解决的问题。


技术实现思路

1、鉴于上述问题,本申请提出了一种浮点精度模型的量化方法、装置、电子设备以及存储介质,以解决上述问题。

2、第一方面,本申请实施例提供了一种浮点精度模型的量化方法,所述方法包括:获取待量化的浮点精度模型,其中,所述浮点精度模型由多个待量化层组成;确定所述多个待量化层各自对应的待量化位数;基于预设规则将所述多个待量化层划分为多个待量化块,其中,所述多个待量化块中的每个待量化块至少包括一个待量化层;根据所述多个待量化层各自对应的待量化位数,对所述多个待量化块进行量化感知训练。

3、第二方面,本申请实施例提供了一种浮点精度模型的量化装置,所述装置包括本文档来自技高网...

【技术保护点】

1.一种浮点精度模型的量化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多个待量化块进行量化感知训练,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述目标待量化块进行量化感知训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述初始量化参数,从至少两个量化策略中确定目标量化策略,包括:

5.根据权利要求4所述方法,其特征在于,所述第一量化策略包括第一取整策略和第二取整策略,所述将所述至少两个量化策略中的第一量化策略确定为目标量化策略,包括:

6.根据权利要求3-5...

【技术特征摘要】

1.一种浮点精度模型的量化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述多个待量化块进行量化感知训练,包括:

3.根据权利要求2所述的方法,其特征在于,所述对所述目标待量化块进行量化感知训练,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述初始量化参数,从至少两个量化策略中确定目标量化策略,包括:

5.根据权利要求4所述方法,其特征在于,所述第一量化策略包括第一取整策略和第二取整策略,所述将所述至少两个量化策略中的第一量化策略确定为目标量化策略,包括:

6.根据权利要求3-...

【专利技术属性】
技术研发人员:张环宇
申请(专利权)人:OPPO广东移动通信有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1