一种运算资源处理方法以及相关设备技术

技术编号:41530885 阅读:19 留言:0更新日期:2024-06-03 23:07
本申请公开了一种运算资源处理方法,该方法中,可以根据两个矩阵块的尺寸信息和运算资源信息,可以确定出适合当前场景中的矩阵块的尺寸且适合运算单元的情况的目标切分参数集合,以根据目标切分参数集合中的各个目标参数值,对两个矩阵块进行切分以获得矩阵子块,这样,可以根据矩阵子块,以匹配该运算单元相关的资源的方式,执行相应的矩阵运算,从而合理利用运算单元的资源,提升运算效率。

【技术实现步骤摘要】

本申请涉及矩阵运算,具体涉及一种运算资源处理方法以及相关设备


技术介绍

1、诸如矩阵乘法运算以及卷积运算等矩阵运算广泛应用于人工智能(artificialintelligence,ai)等领域。

2、目前,常常通过专门用于实现矩阵运算的硬件的运算单元来执行矩阵运算。

3、而在通过运算单元进行矩阵运算时,通常基于预设的、固定的运算模式来进行运算,例如,可以将用于矩阵运算的两个矩阵分别切分为固定尺寸的子矩阵,然后每次向运算单元输入一组固定尺寸的子矩阵以进行相应的运算,再基于切分规则和矩阵运算规则,将各组子矩阵的运算结果进行组合,获得矩阵运算的结果。

4、然而,这一运算方式通常需要预先固定好子矩阵的尺寸,在矩阵的尺寸可能随场景而发生变化的情况下,固定好的子矩阵的尺寸难以适用各种场景的需要,从而导致运算资源无法被合理利用而影响运算效率。


技术实现思路

1、本申请提供一种运算资源处理方法,以解决目前的矩阵运算方式难以适用各种场景的需要,从而导致运算资源无法被合理利用而影响运算效率的本文档来自技高网...

【技术保护点】

1.一种运算资源处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述两个矩阵块与所述矩阵运算的两个原始输入矩阵一一对应,并且,任一所述矩阵块为对相应的原始输入矩阵进行切分而得到的子矩阵。

3.根据权利要求1或2所述的方法,其特征在于,所述根据两个矩阵块的尺寸信息和运算资源信息,确定目标切分参数集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述运算单元的资源信息包括所述运算单元中的最小矩阵运算单元的尺寸信息,和/或,所述运算单元能够并行执行的矩阵运算相关操作的数量。

5.根据权利要求3或4所述的方法,...

【技术特征摘要】

1.一种运算资源处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述两个矩阵块与所述矩阵运算的两个原始输入矩阵一一对应,并且,任一所述矩阵块为对相应的原始输入矩阵进行切分而得到的子矩阵。

3.根据权利要求1或2所述的方法,其特征在于,所述根据两个矩阵块的尺寸信息和运算资源信息,确定目标切分参数集合,包括:

4.根据权利要求3所述的方法,其特征在于,所述运算单元的资源信息包括所述运算单元中的最小矩阵运算单元的尺寸信息,和/或,所述运算单元能够并行执行的矩阵运算相关操作的数量。

5.根据权利要求3或4所述的方法,其特征在于,所述根据所述多个切分参数中每个切分参数对应的至少一个候选参数值,获得多个切分参数集合,包括:

6.根据权利要求35任一项所述的方法,其特征在于,所述根据所述运算资源信息,从所述多个切分参数集合中确定目标切分参数集合,包括:

7.根据权利要求1-6任一项所述的方法,其特征在于,所述运算资源信息包括所述运算单元对应的存储资源的信息和/或所述运算单元的资源信息。

8.一种运算资源处理装置,其特征在于,包括:

9.根...

【专利技术属性】
技术研发人员:周建伟
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1