System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 矩阵乘数据的处理方法、装置、电子设备和存储介质制造方法及图纸_技高网

矩阵乘数据的处理方法、装置、电子设备和存储介质制造方法及图纸

技术编号:41297461 阅读:3 留言:0更新日期:2024-05-13 14:46
本公开提供了一种矩阵乘数据的处理方法,涉及人工智能技术领域,尤其涉及芯片技术领域。该方法包括:根据I个矩阵组合各自的第二矩阵的规模信息和I个矩阵组合各自的第二存储空间的容量,确定I个矩阵组合各自的第一目标子规模信息;根据I个矩阵组合各自的第一存储空间的容量和I个矩阵组合各自的第一目标子规模信息,确定I个矩阵组合各自的第二目标子规模信息;根据I个矩阵组合各自的第二目标子规模信息,确定I个矩阵组合各自的目标拆分信息;以及根据执行矩阵乘操作的计算单元的带宽信息和I个矩阵组合各自的目标拆分信息,从I个矩阵组合中确定目标矩阵组合。本公开还提供了一种矩阵乘数据的处理装置、电子设备和存储介质。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及芯片。更具体地,本公开提供了一种矩阵乘数据的处理方法、装置、电子设备和存储介质


技术介绍

1、随着人工智能技术的发展,可以根据人工智能芯片的硬件资源来调整深度学习模型的算子。


技术实现思路

1、本公开提供了一种数据处理装置、方法、设备以及存储介质。

2、根据本公开的一方面,提供了一种矩阵乘数据的处理方法,该方法包括:从与矩阵乘操作对应的多个矩阵中确定i个矩阵组合,其中,i个矩阵组合中每个矩阵组合包括第一矩阵和第二矩阵,第一矩阵与第一存储空间对应,第二矩阵与第二存储空间对应,i为大于或等于1的整数;根据i个矩阵组合各自的第二矩阵的规模信息和i个矩阵组合各自的第二存储空间的容量,确定i个矩阵组合各自的第一目标子规模信息,其中,第一目标子规模信息与第一矩阵和第二矩阵相关;根据i个矩阵组合各自的第一存储空间的容量和i个矩阵组合各自的第一目标子规模信息,确定i个矩阵组合各自的第二目标子规模信息,其中,第二目标子规模信息与第一矩阵和第三矩阵相关,第三矩阵与矩阵乘操作对应;根据i个矩阵组合各自的第二目标子规模信息和i个矩阵组合各自的第一矩阵的规模信息,确定i个矩阵组合各自的目标拆分信息;以及根据执行矩阵乘操作的计算单元的带宽信息和i个矩阵组合各自的目标拆分信息,从i个矩阵组合中确定目标矩阵组合,其中,目标矩阵组合对应的访存资源开销满足预设访存资源开销条件。

3、根据本公开的另一方面,提供了一种矩阵乘数据的处理装置,该装置包括:第一确定模块,用于从与矩阵乘操作对应的多个矩阵中确定i个矩阵组合,其中,i个矩阵组合中每个矩阵组合包括第一矩阵和第二矩阵,第一矩阵与第一存储空间对应,第二矩阵与第二存储空间对应,i为大于或等于1的整数;第二确定模块,用于根据i个矩阵组合各自的第二矩阵的规模信息和i个矩阵组合各自的第二存储空间的容量,确定i个矩阵组合各自的第一目标子规模信息,其中,第一目标子规模信息与第一矩阵和第二矩阵相关;第三确定模块,用于根据i个矩阵组合各自的第一存储空间的容量和i个矩阵组合各自的第一目标子规模信息,确定i个矩阵组合各自的第二目标子规模信息,其中,第二目标子规模信息与第一矩阵和第三矩阵相关,第三矩阵与矩阵乘操作对应;第四确定模块,用于根据i个矩阵组合各自的第二目标子规模信息和i个矩阵组合各自的第一矩阵的规模信息,确定i个矩阵组合各自的目标拆分信息;以及第五确定模块,用于根据执行矩阵乘操作的计算单元的带宽信息和i个矩阵组合各自的目标拆分信息,从i个矩阵组合中确定目标矩阵组合,其中,目标矩阵组合对应的访存资源开销满足预设访存资源开销条件。

4、根据本公开的另一方面,提供了一种电子设备,包括本公开提供的数据处理装置。

5、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行根据本公开提供的方法。

6、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,该计算机指令用于使计算机执行根据本公开提供的方法。

7、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现根据本公开提供的方法。

8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

本文档来自技高网...

【技术保护点】

1.一种矩阵乘数据的处理方法,包括:

2.根据权利要求1所述的方法,其中,所述第一矩阵的规模信息包括与所述第二矩阵无关的第一初始子规模值,所述第二矩阵的规模信息包括与所述第一矩阵无关的第二初始子规模值,所述第一目标子规模信息包括第一目标子规模值,所述第二目标子规模信息包括第二目标子规模值。

3.根据权利要求2所述的方法,其中,所述根据所述I个矩阵组合各自的所述第二矩阵的规模信息和所述I个矩阵组合各自的所述第二存储空间的容量,确定所述I个矩阵组合各自的第一目标子规模信息包括:

4.根据权利要求2所述的方法,其中,所述根据所述I个矩阵组合各自的所述第一存储空间的容量和所述I个矩阵组合各自的第一目标子规模信息,确定所述I个矩阵组合各自的第二目标子规模信息包括:

5.根据权利要求2所述的方法,其中,所述根据所述I个矩阵组合各自的第二目标子规模信息和所述I个矩阵组合各自的第一矩阵的规模信息,确定所述I个矩阵组合各自的目标拆分信息包括:

6.根据权利要求1所述的方法,其中,所述第三矩阵存储于多级缓存单元的至少两级缓存单元,所述至少两级缓存单元包括第一缓存单元和第二缓存单元。

7.根据权利要求1所述的方法,其中,所述根据执行所述矩阵乘操作的计算单元的带宽信息和所述I个矩阵组合各自的目标拆分信息,从所述I个矩阵组合中确定目标矩阵组合包括:

8.根据权利要求7所述的方法,其中,所述带宽信息包括:所述计算单元与存储单元之间的存储带宽以及多级缓存单元之间的至少一个缓存带宽,

9.根据权利要求8所述的方法,其中,所述根据所述第一矩阵的数据量、所述第二矩阵的数据量、所述第三矩阵的数据量以及所述存储带宽,确定第一访存时间资源开销包括:

10.根据权利要求8所述的方法,其中,所述目标拆分信息包括目标拆分参数值,

11.根据权利要求1所述的方法,还包括:

12.根据权利要求1所述的方法,其中,所述预设访存资源开销条件包括以下至少之一:

13.一种矩阵乘数据的处理装置,包括:

14.根据权利要求13所述的装置,其中,所述第一矩阵的规模信息包括与所述第二矩阵无关的第一初始子规模值,所述第二矩阵的规模信息包括与所述第一矩阵无关的第二初始子规模值,所述第一目标子规模信息包括第一目标子规模值,所述第二目标子规模信息包括第二目标子规模值。

15.根据权利要求14所述的装置,其中,所述第二确定模块还用于:

16.根据权利要求14所述的装置,其中,所述第三确定模块还用于:

17.根据权利要求14所述的装置,其中,所述第四确定模块还用于:

18.根据权利要求13所述的装置,其中,所述第三矩阵存储于多级缓存单元的至少两级缓存单元,所述至少两级缓存单元包括第一缓存单元和第二缓存单元。

19.根据权利要求13所述的装置,其中,所述第五确定模块包括:

20.根据权利要求19所述的装置,其中,所述带宽信息包括:所述计算单元与存储单元之间的存储带宽以及多级缓存单元之间的至少一个缓存带宽,

21.根据权利要求20所述的装置,其中,所述第一确定单元包括:

22.根据权利要求20所述的装置,其中,所述目标拆分信息包括目标拆分参数值,

23.根据权利要求13所述的装置,还包括:

24.根据权利要求13所述的装置,其中,所述预设访存资源开销条件包括以下至少之一:

25.一种电子设备,包括如权利要求13至24任一项所述的装置。

26.一种电子设备,包括:

27.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1至12中任一项所述的方法。

28.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1至12中任一项所述的方法。

...

【技术特征摘要】

1.一种矩阵乘数据的处理方法,包括:

2.根据权利要求1所述的方法,其中,所述第一矩阵的规模信息包括与所述第二矩阵无关的第一初始子规模值,所述第二矩阵的规模信息包括与所述第一矩阵无关的第二初始子规模值,所述第一目标子规模信息包括第一目标子规模值,所述第二目标子规模信息包括第二目标子规模值。

3.根据权利要求2所述的方法,其中,所述根据所述i个矩阵组合各自的所述第二矩阵的规模信息和所述i个矩阵组合各自的所述第二存储空间的容量,确定所述i个矩阵组合各自的第一目标子规模信息包括:

4.根据权利要求2所述的方法,其中,所述根据所述i个矩阵组合各自的所述第一存储空间的容量和所述i个矩阵组合各自的第一目标子规模信息,确定所述i个矩阵组合各自的第二目标子规模信息包括:

5.根据权利要求2所述的方法,其中,所述根据所述i个矩阵组合各自的第二目标子规模信息和所述i个矩阵组合各自的第一矩阵的规模信息,确定所述i个矩阵组合各自的目标拆分信息包括:

6.根据权利要求1所述的方法,其中,所述第三矩阵存储于多级缓存单元的至少两级缓存单元,所述至少两级缓存单元包括第一缓存单元和第二缓存单元。

7.根据权利要求1所述的方法,其中,所述根据执行所述矩阵乘操作的计算单元的带宽信息和所述i个矩阵组合各自的目标拆分信息,从所述i个矩阵组合中确定目标矩阵组合包括:

8.根据权利要求7所述的方法,其中,所述带宽信息包括:所述计算单元与存储单元之间的存储带宽以及多级缓存单元之间的至少一个缓存带宽,

9.根据权利要求8所述的方法,其中,所述根据所述第一矩阵的数据量、所述第二矩阵的数据量、所述第三矩阵的数据量以及所述存储带宽,确定第一访存时间资源开销包括:

10.根据权利要求8所述的方法,其中,所述目标拆分信息包括目标拆分参数值,

11.根据权利要求1所述的方法,还包括:

12.根据权利要求1所述...

【专利技术属性】
技术研发人员:高大珩何严广冯晨李宇鹏
申请(专利权)人:昆仑芯北京科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1