网络模型量化方法、设备、存储介质及程序产品技术

技术编号:44793486 阅读:11 留言:0更新日期:2025-03-28 19:46
本申请公开了一种网络模型量化方法、设备、存储介质及程序产品,涉及数据处理技术领域,包括:将待量化模块中的待量化矩阵进行分块以细分,获得分块矩阵,计算出各分块矩阵对应的分块重要度以及量化阈值,分块重要度体现出各自对应的分块矩阵在对应的待量化模块中的重要性,量化阈值是基于分块重要度计算出的,所以不同的待量化模块所对应的量化阈值不同,进而提高了量化阈值的灵活性,本申请中考虑了各待量化模块的不同点;基于各分块重要度以及量化阈值对各分块矩阵进行量化,所以对各分块矩阵进行量化时,是从分块矩阵上做的量化,而不是以待量化矩阵为单位进行量化,所以本申请在量化时更为细化,使得得到的量化后模型更为准确。

【技术实现步骤摘要】

本申请涉及数据处理,尤其涉及网络模型量化方法、设备、存储介质及程序产品


技术介绍

1、随着人工智能日益兴起,将网络模型搭载在边缘设备中,使用边缘设备实现网络模型的计算也成为一种趋势。然而,边缘设备在容量和计算能力方面不太充足,进而需要对网络模型进行量化。

2、相关技术中,可以采用将网络模型中需要量化模块中的模型参数进行浮点到定点的转化,经过转化后就能得到更小位数的定点表示的模型参数。但是,这类模型量化方法缺乏灵活性,从而导致基于此生成的量化后模型性能较差,进行应用时准确度较低。


技术实现思路

1、本申请提供了一种网络模型量化方法、设备、存储介质及程序产品,以至少解决相关技术中量化模型参数缺乏灵活性,从而导致量化后模型性能较差,准确地较差的问题。

2、第一方面,本申请提供了一种网络模型量化方法,包括:

3、将待量化模块包含的待量化矩阵进行分块,以获得多个分块矩阵;待量化模块来源于待量化模型;待量化模块为至少一个;

4、针对各待量化模块,基于训练数据集计算各分块矩本文档来自技高网...

【技术保护点】

1.一种网络模型量化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于训练数据集计算各所述分块矩阵对应的分块重要度,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于训练数据集获得各待量化模块对应的输入数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述将待量化模块包含的待量化矩阵进行分块,以获得多个分块矩阵,包括:

5.根据权利要求1所述的方法,其特征在于,所述将待量化模块包含的待量化矩阵进行分块,以获得多个分块矩阵,包括:

6.根据权利要求2所述的方法,其特征在于,所述基于所述输入数...

【技术特征摘要】

1.一种网络模型量化方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于训练数据集计算各所述分块矩阵对应的分块重要度,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于训练数据集获得各待量化模块对应的输入数据,包括:

4.根据权利要求1所述的方法,其特征在于,所述将待量化模块包含的待量化矩阵进行分块,以获得多个分块矩阵,包括:

5.根据权利要求1所述的方法,其特征在于,所述将待量化模块包含的待量化矩阵进行分块,以获得多个分块矩阵,包括:

6.根据权利要求2所述的方法,其特征在于,所述基于所述输入数据计算各所述分块矩阵对应的分块重要度,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述二阶矩阵计算所述分块矩阵各行元素对应的平均重要度,包括:

8.根据权利要求6所述的方法,其特征在于,所述基于对应的所述平均重要度计算所述分块矩阵对应的分块重要...

【专利技术属性】
技术研发人员:温东超梁玲燕
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1