一种用于执行矩阵加/减运算的装置和方法制造方法及图纸

技术编号:26170070 阅读:27 留言:0更新日期:2020-10-31 13:36
本公开提供了一种用于执行矩阵加减运算的装置,其特征在于,包括:存储单元,用于存储矩阵运算指令相关的矩阵数据;寄存器单元,用于存储矩阵运算指令相关的标量数据;控制单元,用于对矩阵运算指令进行译码,并控制矩阵运算指令的运算过程;矩阵运算单元,用于根据译码后的矩阵运算指令,对输入矩阵进行矩阵加减运算操作;其中,所述矩阵运算单元为定制的硬件电路。本公开还提供了一种执行矩阵加减法运算的方法。

An apparatus and method for performing matrix addition / subtraction operations

【技术实现步骤摘要】
一种用于执行矩阵加/减运算的装置和方法
本公开涉及计算机领域,尤其涉及一种用于执行矩阵加减法运算的装置和方法。
技术介绍
当前计算机领域,伴随着大数据、机器学习等新兴技术的成熟,越来越多的任务中包含了各种各样的矩阵加减法运算,尤其是大矩阵的加减法运算,这些往往成为算法速度和效果提高的瓶颈。、在现有技术中,一种进行矩阵加减法运算的已知方案是使用通用处理器,该方法通过通用寄存器堆和通用功能部件来执行通用指令,从而执行矩阵加减法运算。然而,该方法的缺点之一是单个通用处理器多用于标量计算,在进行矩阵运算时运算性能较低。而使用多个通用处理器并行执行时,处理器的个数较少提升的效果不做够显著;处理器个数较高时它们之间的相互通讯又有可能成为性能瓶颈。在另一种现有技术中,使用图形处理器(GPU)来进行一系列矩阵加减法运算,其中,通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来进行运算。但在上述方案中,GPU片上缓存太小,在进行大规模矩阵运算时需要不断进行片外数据搬运,片外带宽成为了主要性能瓶颈。在另一种现有技术中,使用专门定制的本文档来自技高网...

【技术保护点】
1.一种用于执行矩阵加减运算的装置,其特征在于,包括:/n存储单元,用于存储矩阵数据;/n寄存器单元,用于存储标量数据;/n矩阵运算单元,用于获取译码后的矩阵运算指令,其中,所述矩阵运算指令包括操作码和至少一个操作域,所述操作域包括输入矩阵地址和输入标量;/n矩阵运算单元还用于根据所述输入矩阵地址在所述存储单元中获取指定大小的矩阵数据,根据所述寄存器单元的指定地址取出所述输入标量,接着根据矩阵运算指令的操作码对获取的矩阵数据和输入标量进行矩阵加标量或矩阵减标量操作。/n

【技术特征摘要】
1.一种用于执行矩阵加减运算的装置,其特征在于,包括:
存储单元,用于存储矩阵数据;
寄存器单元,用于存储标量数据;
矩阵运算单元,用于获取译码后的矩阵运算指令,其中,所述矩阵运算指令包括操作码和至少一个操作域,所述操作域包括输入矩阵地址和输入标量;
矩阵运算单元还用于根据所述输入矩阵地址在所述存储单元中获取指定大小的矩阵数据,根据所述寄存器单元的指定地址取出所述输入标量,接着根据矩阵运算指令的操作码对获取的矩阵数据和输入标量进行矩阵加标量或矩阵减标量操作。


2.根据权利要求1所述的装置,其特征在于,所述矩阵运算单元包括多个并行的标量加减运算器,所述操作域还包括输入矩阵长度,其中,
所述输入矩阵长度等于标量加减运算器的个数,用于指示输入矩阵的大小;
所述矩阵运算单元还用于将所述标量数据扩展成与标量加减运算器个数等宽的向量数据,与所述矩阵数据进行矩阵加标量或矩阵减标量运算。


3.如权利要求1所述的装置,其特征在于,所述寄存器单元所存储的标量数据包括矩阵运算指令相关的输入矩阵地址、输入矩阵长度和输出矩阵地址以及矩阵加减标量运算用到的标量数据;
所述操作域包括立即数和/或寄存器号,指示矩阵运算相关的标量数据,其中寄存器号用于指向所述寄存器单元地址。


4.如权利要求1所述的装置,其特征在于,还包括控制单元,用于对矩阵运算指令进行译码,并控制矩阵运算指令的运算过程。


5.如权利要求4所述的装置,其特征在于,所述控制单元包括:
指令队列模块,用于对译码后的矩阵运算指令进行顺序存储,并获取矩阵运算指令相关的标量数据。


6.如权利要求4所述的装置,其特征在于,所述控制单元包括:
依赖关系处理单元,用于在矩阵运算单元获取当前矩阵运算指令前,判断当前矩阵运算指令与之前未执行完的矩阵运算指令是否存在依赖关系。


7.如权利要求4所述的装置,其特征在于,所述控制单元包括:
存储队列模块,用于在当前矩阵运算指令与之前未执行完的运算指令存在依赖关系时,暂时存储当前矩阵运算指令,并且在该依赖关系消除时,将暂存的矩阵运算指令送往矩阵运算单元。


8.如权利要求1-7任一项所述的装置,其特征在于,所述装置还包括:
指令缓存单元,用于存储待执行的矩阵运算指令;
输入输出单元,用于将矩阵...

【专利技术属性】
技术研发人员:张潇刘少礼陈天石陈云霁
申请(专利权)人:中科寒武纪科技股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1