模型的运算方法、装置、电子设备和存储介质制造方法及图纸

技术编号:46416876 阅读:4 留言:0更新日期:2025-09-19 20:27
本公开提供了一种模型的运算方法、装置、电子设备和存储介质;其中,该方法包括:响应于目标模型针对待运算数据的运算触发指令,触发目标模型的运算流程;在运算过程中,当目标模型的第一精度运算指令触发时,将第一精度运算指令转换为第二精度运算指令,获得第二精度运算指令的指令运算结果;其中,第二精度低于第一精度;基于指令运算结果,获得目标模型的目标运算结果。本公开可以提高模型的运算效率。

【技术实现步骤摘要】

本公开涉及人工智能,尤其是涉及一种模型的运算方法、装置、电子设备和存储介质


技术介绍

1、在人工智能
中,一些人工智能模型在高端的gpu中表现良好,但迁移到其它的gpu上运行时,存在gpu的tensorcore(一种用于加速矩阵运算的硬件单元)利用率过低的技术问题,导致运行效率的降低。


技术实现思路

1、有鉴于此,本公开的目的在于提供一种模型的运算方法、装置、电子设备和存储介质,以提高模型的运算效率。

2、第一方面,本公开实施例提供了一种模型的运算方法,方法包括:响应于目标模型针对待运算数据的运算触发指令,触发所述目标模型的运算流程;在运算过程中,当所述目标模型的第一精度运算指令触发时,将所述第一精度运算指令转换为第二精度运算指令,获得所述第二精度运算指令的指令运算结果;其中,所述第二精度低于所述第一精度;基于所述指令运算结果,获得所述目标模型的目标运算结果。

3、第二方面,本公开实施例提供了一种模型的运算装置,装置包括:触发模块,用于响应于目标模型针对待运算数据的运算触发指令本文档来自技高网...

【技术保护点】

1.一种模型的运算方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一精度运算指令为针对第一精度的矩阵乘法运算指令;

3.根据权利要求2所述的方法,其特征在于,所述通过第二精度的矩阵相乘累加指令对所述第二精度的矩阵进行相乘累加,获得第二精度运算指令的指令运算结果的步骤,包括:

4.根据权利要求1所述的方法,其特征在于,所述第一精度运算指令为非张量计算核心运算指令;

5.根据权利要求4所述的方法,其特征在于,所述非张量计算核心运算指令包括:激活函数运算指令、指数函数运算指令、逐元素浮动乘加运算指令、缩减操作指令...

【技术特征摘要】

1.一种模型的运算方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述第一精度运算指令为针对第一精度的矩阵乘法运算指令;

3.根据权利要求2所述的方法,其特征在于,所述通过第二精度的矩阵相乘累加指令对所述第二精度的矩阵进行相乘累加,获得第二精度运算指令的指令运算结果的步骤,包括:

4.根据权利要求1所述的方法,其特征在于,所述第一精度运算指令为非张量计算核心运算指令;

5.根据权利要求4所述的方法,其特征在于,所述非张量计算核心运算指令包括:激活函数运算指令、指数函数运算指令、逐元素浮动乘加运算指令、缩减操作指令、裁剪指令、以及缩放指令。

6.根据权利要求1所述的方法,其特征在于,获得所述第...

【专利技术属性】
技术研发人员:何易韩旭
申请(专利权)人:广州文远知行科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1