当前位置: 首页 > 专利查询>之江实验室专利>正文

一种模型量化方法、装置及介质制造方法及图纸

技术编号:44818964 阅读:20 留言:0更新日期:2025-03-28 20:07
本申请公开了一种模型量化方法、装置及介质,该方法包括:对预训练模型量化得到初始量化模型,并确定插入初始量化模型中的提升模块的目标数量。将初始量化模型划分为目标数量个骨干网络模块;为各骨干网络模块并联插入一个提升模块,得到包括多个目标单元的待优化模型;目标单元包括提升模块和骨干网络模块;依次对待优化模型中各目标单元进行优化,得到中间优化模型;通过预设损失函数对中间优化模型进行全局优化,得到目标优化模型。由此,在初始量化模型中插入提升模块得到待优化模型,即,在初始量化模型中增加计算复杂度以提升计算精度。进一步的,依次对待优化模型进行局部和全局优化,得到高运行速度和高计算精度的目标优化模型。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种模型量化方法、装置及介质


技术介绍

1、近年来,随着深度学习技术的不断发展和成熟,广泛应用于自动驾驶、医疗健康和计算机视觉等越来越多的领域。但是由于模型复杂度越来越高,计算效率就越来越低,从而逐步限制了模型的应用扩展。

2、目前,为了提升模型计算效率,可以通过模型量化将模型计算中的参数表示为低比特定点数,由此可以将浮点运算可以转化为定点运算,从而达到提高计算效率的目的。然而,这样的方式不可避免的会导致精度损失,即,降低模型计算准确性。

3、由此可见,如何提升模型计算效率的同时,又能保证模型计算准确性,是本领域技术人员亟待解决的问题。


技术实现思路

1、有鉴于此,本申请的一个方面提供一种模型量化方法,所述方法包括:

2、对预训练模型进行量化,得到初始量化模型;

3、根据预设插入规则,确定插入所述初始量化模型中的提升模块的目标数量;

4、将所述初始量化模型划分为所述目标数量个骨干网络模块;

5、为所述初始量化模本文档来自技高网...

【技术保护点】

1.一种模型量化方法,其特征在于,所述方法包括:

2.如权利要求1所述的模型量化方法,其特征在于,根据预设插入规则,确定插入所述初始量化模型中的提升模块的目标数量,包括:

3.如权利要求1所述的模型量化方法,其特征在于,将所述初始量化模型划分为所述目标数量个骨干网络模块,包括:

4.如权利要求1所述的模型量化方法,其特征在于,基于输入端至输出端的顺序,依次对所述待优化模型中各所述目标单元进行优化,包括:

5.如权利要求4所述的模型量化方法,其特征在于,以各所述子模块的输出结果为优化目标,对对应的目标单元进行迭代优化,包括

6....

【技术特征摘要】

1.一种模型量化方法,其特征在于,所述方法包括:

2.如权利要求1所述的模型量化方法,其特征在于,根据预设插入规则,确定插入所述初始量化模型中的提升模块的目标数量,包括:

3.如权利要求1所述的模型量化方法,其特征在于,将所述初始量化模型划分为所述目标数量个骨干网络模块,包括:

4.如权利要求1所述的模型量化方法,其特征在于,基于输入端至输出端的顺序,依次对所述待优化模型中各所述目标单元进行优化,包括:

5.如权利要求4所述的模型量化方法,其特征在于,以各所述子模块的输出结果为优化目标,对对应的目标单元进行迭代优化,包括:

6.如权利要求4所述的模型...

【专利技术属性】
技术研发人员:袁勇施航缪锐孙沁璇刘洋庞心健
申请(专利权)人:之江实验室
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1