【技术实现步骤摘要】
本申请涉及模型量化,尤其涉及一种神经网络处理器的逆向模拟方法及相关装置。
技术介绍
1、神经网络处理器(neural processing unit,npu)通常指的是专门用于加速神经网络计算的硬件,这些硬件能够高效地处理神经网络中的计算密集型任务。为了减少神经网络模型应用在神经网络处理器时的内存占用和计算需求,通常需要对神经网络模型进行模型量化,减少模型参数的精度。
2、现有的方式通常是对神经网络模型进行模型量化训练,然后将量化后的神经网络模型部署到神经网络处理器中,但是,由于进行模型量化训练的环境与神经网络处理器的运行环境的区别,导致模型量化训练后的神经网络模型在训练环境中的输出结果与部署到神经网络处理器后的输出结果存在一定差异,导致对神经网络模型进行模型量化部署到神经网络处理器后的准确度受到影响。
技术实现思路
1、基于上述需求,本申请提出一种神经网络处理器的逆向模拟方法及相关装置,能够提高对神经网络模型的模型量化效果,进而提高神经网络模型部署到神经网络处理器后的准确度。
2、为本文档来自技高网...
【技术保护点】
1.一种神经网络处理器的逆向模拟方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,基于硬件算子中的算子参数以及所述算子参数对应的量化系数,构建所述硬件算子对应的量化模型之前,还包括:
3.根据权利要求1所述的方法,其特征在于,基于所述硬件算子的输入数据和所述量化模型,确定所述硬件算子对应的模拟输出数据,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述硬件算子的输入数据与所述硬件算子的模拟输出数据之间的对应关系,构建所述硬件算子对应的量化转换规则,包括:
5.根据权利要求1所述的方法,其特征在于
...【技术特征摘要】
1.一种神经网络处理器的逆向模拟方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,基于硬件算子中的算子参数以及所述算子参数对应的量化系数,构建所述硬件算子对应的量化模型之前,还包括:
3.根据权利要求1所述的方法,其特征在于,基于所述硬件算子的输入数据和所述量化模型,确定所述硬件算子对应的模拟输出数据,包括:
4.根据权利要求3所述的方法,其特征在于,基于所述硬件算子的输入数据与所述硬件算子的模拟输出数据之间的对应关系,构建所述硬件算子对应的量化转换规则,包括:
5.根据权利要求1所述的方法,其特征在于,构建所述硬件算子的输入数据的过程,包括:
6.根据权...
【专利技术属性】
技术研发人员:赵彬,于振华,汪锦想,潘青华,胡国平,
申请(专利权)人:科大讯飞股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。