量化模型确定方法、装置及终端设备制造方法及图纸

技术编号:40103643 阅读:27 留言:0更新日期:2024-01-23 18:05
本申请实施例提供一种量化模型确定方法、装置及终端设备。该方法包括:确定初始模型,所述初始模型包括至少一个模型参数;确定所述至少一个模型参数所在的数值范围,并在所述数值范围中确定至少一个中间值、以及每个中间值对应的参数频率;根据所述至少一个中间值、以及每个中间值对应的参数频率,在多个待选量化参数中确定目标量化参数;根据所述目标量化参数,确定每个模型参数对应的最大浮点值和最小浮点值,并根据每个模型参数对应的最大浮点值和最小浮点值,确定所述初始模型对应的量化模型。降低了量化模型的精度损失,提高了确定量化模型的准确性。

【技术实现步骤摘要】

本申请实施例涉及计算机,尤其涉及一种量化模型确定方法、装置及终端设备


技术介绍

1、用户可以通过人工智能模型(例如,卷积神经网络模型、深度学习模型等),进行业务处理。由于终端设备不能满足人工智能模型的计算需求,在通过终端设备运行人工智能模型之前,需要对人工智能模型进行量化感知训练,以减少量化后的人工智能模型的计算量。

2、在相关技术中,可以通过如下方式进行模型量化:确定待量化的初始模型,初始模型为通过预设精度训练得到的。初始化初始模型,并对初始化后的初始模型进行量化训练,得到目标量化参数。根据目标量化参数,确定每个模型参数对应的最大浮点值和最小浮点值。根据初始模型,以及每个模型参数对应的最大浮点值和最小浮点值,得到量化模型。通过量化模型中每个模型参数对应的最大浮点值和最小浮点值,对量化模型进行压缩处理,得到目标模型,并将目标模型存储至终端设备。此时,终端设备可以满足目标模型运行时所需的计算量。

3、在上述过程中,可以通过全局最大最小值、滑动平均最大最小值和最后批值最大最小值等方法,确定每个模型参数对应的最大浮点值和最小浮点值。若存本文档来自技高网...

【技术保护点】

1.一种量化模型确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述至少一个中间值、以及每个中间值对应的参数频率,在多个待选量化参数中确定目标量化参数,包括:

3.根据权利要求2所述的方法,其特征在于,根据所述至少一个中间值、以及每个中间值对应的参数频率,确定所述待选量化参数对应的误差值,包括:

4.根据权利要求3所述的方法,其特征在于,针对任意一个中间值;根据所述待选量化参数,对所述中间值进行量化及反量化处理,得到所述中间值对应的中间量化值,包括:

5.根据权利要求3或4所述的方法,其特征在于,根据每个中间值对...

【技术特征摘要】

1.一种量化模型确定方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,根据所述至少一个中间值、以及每个中间值对应的参数频率,在多个待选量化参数中确定目标量化参数,包括:

3.根据权利要求2所述的方法,其特征在于,根据所述至少一个中间值、以及每个中间值对应的参数频率,确定所述待选量化参数对应的误差值,包括:

4.根据权利要求3所述的方法,其特征在于,针对任意一个中间值;根据所述待选量化参数,对所述中间值进行量化及反量化处理,得到所述中间值对应的中间量化值,包括:

5.根据权利要求3或4所述的方法,其特征在于,根据每个中间值对应的中间量化值,确定所述待选量化参数对应的误差值,包括:

6.根据权利要求1-5任一项所述的方法,其特征在于,在所述数值范围中确定至少一个中间值、以及每个...

【专利技术属性】
技术研发人员:刘叮咚
申请(专利权)人:西安紫光展锐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1