神经网络处理器的逆向模拟方法及相关装置制造方法及图纸

技术编号:43922809 阅读:21 留言:0更新日期:2025-01-03 13:26
本申请提出一种神经网络处理器的逆向模拟方法及相关装置,该方法基于硬件算子中的算子参数以及算子参数对应的量化系数,构建硬件算子对应的量化模型;基于硬件算子的输入数据和量化模型,确定硬件算子对应的模拟输出数据;其中,模拟输出数据为对硬件算子计算结果的模拟数据;基于硬件算子的输入数据与硬件算子的模拟输出数据之间的对应关系,构建硬件算子对应的量化转换规则;基于硬件算子对应的量化转换规则,对神经网络模型进行量化训练和/或对量化后的神经网络模型进行测试验证。本方案能够保证神经网络模型的输出结果与神经网络处理器的运行环境中的输出结果保持一致,提高神经网络模型部署到神经网络处理器后的准确度。

【技术实现步骤摘要】

本申请涉及模型量化,尤其涉及一种神经网络处理器的逆向模拟方法及相关装置


技术介绍

1、神经网络处理器(neural processing unit,npu)通常指的是专门用于加速神经网络计算的硬件,这些硬件能够高效地处理神经网络中的计算密集型任务。为了减少神经网络模型应用在神经网络处理器时的内存占用和计算需求,通常需要对神经网络模型进行模型量化,减少模型参数的精度。

2、现有的方式通常是对神经网络模型进行模型量化训练,然后将量化后的神经网络模型部署到神经网络处理器中,但是,由于进行模型量化训练的环境与神经网络处理器的运行环境的区别,导致模型量化训练后的神经网络模型在训练环境中的输出结果与部署到神经网络处理器后的输出结果存在一定差异,导致对神经网络模型进行模型量化部署到神经网络处理器后的准确度受到影响。


技术实现思路

1、基于上述需求,本申请提出一种神经网络处理器的逆向模拟方法及相关装置,能够提高对神经网络模型的模型量化效果,进而提高神经网络模型部署到神经网络处理器后的准确度。

2、为本文档来自技高网...

【技术保护点】

1.一种神经网络处理器的逆向模拟方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于硬件算子中的算子参数以及所述算子参数对应的量化系数,构建所述硬件算子对应的量化模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,基于所述硬件算子的输入数据和所述量化模型,确定所述硬件算子对应的模拟输出数据,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述硬件算子的输入数据与所述硬件算子的模拟输出数据之间的对应关系,构建所述硬件算子对应的量化转换规则,包括:

5.根据权利要求1所述的方法,其特征在于,构建所述硬件算子的...

【技术特征摘要】

1.一种神经网络处理器的逆向模拟方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于硬件算子中的算子参数以及所述算子参数对应的量化系数,构建所述硬件算子对应的量化模型之前,还包括:

3.根据权利要求1所述的方法,其特征在于,基于所述硬件算子的输入数据和所述量化模型,确定所述硬件算子对应的模拟输出数据,包括:

4.根据权利要求3所述的方法,其特征在于,基于所述硬件算子的输入数据与所述硬件算子的模拟输出数据之间的对应关系,构建所述硬件算子对应的量化转换规则,包括:

5.根据权利要求1所述的方法,其特征在于,构建所述硬件算子的输入数据的过程,包括:

6.根据权...

【专利技术属性】
技术研发人员:赵彬于振华汪锦想潘青华胡国平
申请(专利权)人:科大讯飞股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1