归一化指数函数算子的量化运算方法、装置及处理设备制造方法及图纸

技术编号:42835296 阅读:36 留言:0更新日期:2024-09-24 21:08
本申请实施例提供一种归一化指数函数算子的量化运算方法、装置及处理设备,涉及神经网络芯片的编译技术领域。所述方法包括:获取运算请求,所述运算请求包括输入特征图,所述输入特征图中包括多个输入数据;根据第一查询表,获取所述多个输入数据在第一运算处理下的多个第一运算结果;确定所述多个第一运算结果的第一和值,并根据第二查询表获取所述第一和值在所述第二运算处理下的第二运算结果;根据所述多个第一运算结果和所述第二运算结果,确定所述输入特征图在所述归一化指数函数算子下的目标运算结果。以上方案,通过查询表确定第一运算结果和第二运算结果,可以减少处理器的工作量,从而提升量化运算的效率。

【技术实现步骤摘要】

本申请涉及神经网络芯片的编译,尤其涉及一种归一化指数函数算子的量化运算方法、装置及处理设备


技术介绍

1、在神经网络芯片的编译
中,通过硬件算子支持来加速提升神经网络计算的推理效率,硬件加速是指在计算机中通过把计算量大、耗时高的操作分配给专门的硬件来处理,以减少中央处理器的工作量,进而提升神经网络推理效率的一种技术。这种技术通过在硬件层面实施神经网络的算子支持,加速当前计算图的执行速度,从而提高整个系统的性能和效率。特别是在并行处理方面,特别设计的硬件能够更有效地实现神经网络地硬件加速。硬件加速通过专用的硬件加速器实现。

2、针对归一化指数函数softmax算子的计算场景,softmax算子的计算过程涉及指数计算累加以及计算结果的除法计算,其计算过程复杂,支持softmax算子的硬件加速器有限,影响softmax算子的运算效率。


技术实现思路

1、本申请提供一种归一化指数函数算子的量化运算方法、装置及处理设备,用于提升归一化指数函数算子的量化运算的效率。

2、第一方面,本申请提本文档来自技高网...

【技术保护点】

1.一种归一化指数函数算子的量化运算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,针对任意一个输入数据,根据第一查询表,获取所述输入数据在第一运算处理下的多个第一运算结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,针对任意一个第一数据,对所述第一数据执行所述第一运算处理,得到所述第一数据在所述第一运算处理下的运算结果,包括:

5.根据权利要求4所述的方法,其特征在于,根据所述尺度缩放系数和所述预设比特数,对所述第一数据进行反量化处理,得到第一浮点数,包...

【技术特征摘要】

1.一种归一化指数函数算子的量化运算方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,针对任意一个输入数据,根据第一查询表,获取所述输入数据在第一运算处理下的多个第一运算结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的方法,其特征在于,针对任意一个第一数据,对所述第一数据执行所述第一运算处理,得到所述第一数据在所述第一运算处理下的运算结果,包括:

5.根据权利要求4所述的方法,其特征在于,根据所述尺度缩放系数和所述预设比特数,对所述第一数据进行反量化处理,得到第一浮点数,包括:

6.根据权利要求4或5所述的方法,其特征在于,根据所述运算参数对所述第一浮点数进行指数运算、范围转换处理、以及格式转换处理,得到所述第一数据在所述第一运算处理下的运算结果,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,获取所述第一和值在所述第二运算处理下的第二运算结果,包括:

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

【专利技术属性】
技术研发人员:赵亚娟赵海丞李源
申请(专利权)人:西安紫光展锐科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1