运算装置及其操作方法和机器可读存储介质制造方法及图纸

技术编号:40601514 阅读:13 留言:0更新日期:2024-03-12 22:06
本发明专利技术提供一种运算装置及其操作方法和机器可读存储介质。运算装置包括第一执行核以及第二执行核。第一执行核包括第一张量交换缓冲电路以及至少一个第一计算核。第二执行核包括第二张量交换缓冲电路以及至少一个第二计算核。在运算任务的不同迭代之间,第一张量交换缓冲电路可以将自己暂存的部分数据通过专用传输线移动至第二张量交换缓冲电路,其中所述专用传输线专用于第一张量交换缓冲电路与第二张量交换缓冲电路之间的数据传输。因此,在不浪费执行核内的存储空间的情况下,不同执行核可以使用同一个对应张量去共同执行同一个运算任务,所述运算装置可以有效避免执行核内的存储空间的浪费。

【技术实现步骤摘要】

本专利技术涉及一种电子装置,且特别涉及一种运算装置及其操作方法和机器可读存储介质


技术介绍

1、诸如人工智能(artificial intelligence,ai)芯片等运算装置可以提供巨大算力。运算装置的巨大算力源于内部大量的硬件执行单元(execution unit,eu,或称执行核)。每一个执行单元通常包含多个计算核,例如整数(integer,int)计算核、浮点数(floating point,fp)计算核、张量核(tensor core)和/或矢量核(vector core)。通过编程将各种类型的计算核进行组织,运算装置可以支持通用计算、科学计算和神经网络计算。

2、在许多运算任务场景中,不同执行核使用同一个张量。现有作法是,将相同张量完整复制于(加载至)不同执行核内。因为每个执行核所缓存的张量是一样的,导致这些执行核内的存储空间的浪费。

3、须注意的是,“
技术介绍
”段落的内容是用来帮助了解本专利技术。在“
技术介绍
”段落所揭露的部分内容(或全部内容)可能不是所属
的技术人员所知道的技术。在“背景技术”段落所揭露的内本文档来自技高网...

【技术保护点】

1. 一种运算装置,其特征在于,所述运算装置包括:

2.根据权利要求1所述的运算装置,其特征在于,所述运算装置包括多个执行核,所述多个执行核包括所述第一执行核和所述第二执行核,所述多个执行核的每一个包括张量交换缓冲电路,以及所述多个执行核的所述张量交换缓冲电路相互串接为一个闭环。

3.根据权利要求1所述的运算装置,其特征在于,

4. 根据权利要求3所述的运算装置,其特征在于,

5.根据权利要求1所述的运算装置,其特征在于,所述至少一个第一计算核包括第一张量核或第一矢量核,以及所述至少一个第二计算核包括第二张量核或第二矢量核。

6...

【技术特征摘要】

1. 一种运算装置,其特征在于,所述运算装置包括:

2.根据权利要求1所述的运算装置,其特征在于,所述运算装置包括多个执行核,所述多个执行核包括所述第一执行核和所述第二执行核,所述多个执行核的每一个包括张量交换缓冲电路,以及所述多个执行核的所述张量交换缓冲电路相互串接为一个闭环。

3.根据权利要求1所述的运算装置,其特征在于,

4. 根据权利要求3所述的运算装置,其特征在于,

5.根据权利要求1所述的运算装置,其特征在于,所述至少一个第一计算核包括第一张量核或第一矢量核,以及所述至少一个第二计算核包括第二张量核或第二矢量核。

6. 根据权利要求1所述的运算装置,其特征在于,

7. 根据权利要求6所述的运算装置,其特征在于,

8.根据权利要求6所述的运算装置,其特征在于,

9.根据权利要求8所述的运算装置,其特征在于,

10.一种运算装置的操作方法,其特征在于,所述运算装置包括第一执行核以及第二执行核,所述第一执行核包括第一张量交换缓冲电路以及至少一个第一计算核,所述第一张量交换缓冲电路耦接至所述至少一个第一计算核,所述第二执行核包括第二张量交换缓冲电路以及至少一个第二计算核,所述第二张量交换缓冲电路耦接至所述至少一个第二计算核,所述操作方法包括:

11.根据权利要求10所述的操作方法,其特征在于,所述运算装置包括多个执行核,所述多个执行核包括所述第一执行核和所述第...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:北京壁仞科技开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1