运算装置的操作方法和运算装置制造方法及图纸

技术编号:41871017 阅读:21 留言:0更新日期:2024-07-02 00:21
本公开涉及一种运算装置的操作方法和运算装置,该操作方法包括:累加步骤,所述运算装置的矢量核对第一乘算结果进行累加操作,其中所述运算装置的张量核对第一矩阵和第二矩阵进行乘算操作而获得的一部分乘算结果中包括所述第一乘算结果;控制步骤,在满足预定切换条件的情况下,所述矢量核进行控制,以使所述运算装置的L2高速缓存对第二乘算结果进行累加操作,其中所述第二乘算结果是所述一部分乘算结果中除所述第一乘算结果以外的乘算结果。由此,能够有效提高GEMM的计算性能。

【技术实现步骤摘要】

本公开涉及运算领域,尤其涉及一种运算装置的操作方法和运算装置


技术介绍

1、通用矩阵乘法(general matrix to matrix multiplication,gemm)的一般形式是c=ab,其中,矩阵a(被乘数,multiplicand)是大小为m×k的矩阵,矩阵b(乘数,multiplier)是大小为k×n的矩阵,矩阵c(积,product)是大小为m×n的矩阵。运算装置可以进行矩阵a和矩阵b的乘算,该运算装置例如为张量核,可以经由该张量核中的gemm计算单元来进行该乘算。

2、相关技术中,运算装置进行矩阵a和矩阵b的乘算所采用的方式存在可能导致gemm的计算性能变差的问题。


技术实现思路

1、有鉴于此,本公开提出了一种运算装置的操作方法和运算装置,从而能够有效提高gemm的计算性能。

2、根据本公开的第一方面,提供了一种运算装置的操作方法,包括:累加步骤,所述运算装置的矢量核对第一乘算结果进行累加操作,其中所述运算装置的张量核对第一矩阵和第二矩阵进行乘算操作而获得的一本文档来自技高网...

【技术保护点】

1.一种运算装置的操作方法,包括:

2.根据权利要求1所述的操作方法,其中,

3.根据权利要求2所述的操作方法,所述操作方法还包括:

4.根据权利要求2所述的操作方法,所述操作方法还包括:

5.根据权利要求4所述的操作方法,所述操作方法还包括:

6.根据权利要求1-5中任一项所述的操作方法,其中,

7.根据权利要求6所述的操作方法,在所述控制步骤之后,所述操作方法还包括:

8.一种运算装置,包括:

9.根据权利要求8所述的运算装置,其中,

10.根据权利要求9所述的运算装置,其中,...

【技术特征摘要】

1.一种运算装置的操作方法,包括:

2.根据权利要求1所述的操作方法,其中,

3.根据权利要求2所述的操作方法,所述操作方法还包括:

4.根据权利要求2所述的操作方法,所述操作方法还包括:

5.根据权利要求4所述的操作方法,所述操作方法还包括:

6.根据权利要求1-5中任一项所述的操作方法,其中,

7.根据权利要求6所述的操作方法,在所述控制步骤之后,所述操作方法还包括:

8.一种运算装置,包括:

9.根据权利要求8...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:上海壁仞科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1