System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 人工智能芯片及其数据同步方法技术_技高网

人工智能芯片及其数据同步方法技术

技术编号:40915187 阅读:4 留言:0更新日期:2024-04-18 14:42
本公开提供一种人工智能芯片及其数据同步方法。该人工智能芯片包括内存电路以及多个计算电路。多个计算电路耦接至内存电路。多个计算电路中的至少一个计算电路被选择性地组织成一个计算电路群,以共同执行一个运算任务。计算电路群基于运算任务而发出给内存电路的访问要求自带有同步信息。内存电路检查访问要求自带的同步信息,以决定是否将访问要求所对应的目标数据返回给计算电路群。

【技术实现步骤摘要】

本公开涉及一种人工智能芯片及其数据同步方法


技术介绍

1、诸如人工智能(artificial intelligence,ai)芯片等运算装置可以提供巨大算力。人工智能芯片的巨大算力源于内部大量的硬件执行单元(execution unit,eu,或称执行核)。一个ai芯片通常包含多个流处理器簇(stream processor cluster,spc),每一个流处理器簇通常包含多个计算核(compute unit,cu,或称计算单元),例如整数(integer,int)计算核、浮点数(floating point,fp)计算核、张量核(tensor core)和矢量核(vectorcore)中的至少一种,而每一个计算核通常包含多个执行核。通过编程将各种类型的计算核进行组织,流处理器簇可以支持通用计算、科学计算和神经网络计算。在许多运算任务场景中,同一个流处理器簇内的不同计算核会共同执行同一个运算任务,或是不同流处理器簇会共同执行同一个运算任务。因此,写后读(read-after-write,raw)、读后写(write-after-read,war)、写后写(write-after-write,waw)等相关数据同步问题是本领域诸多技术议题之一。


技术实现思路

1、本公开是针对一种人工智能(artificial intelligence,ai)芯片及其数据同步方法,以执行运算任务。

2、在根据本公开的实施例中,所述人工智能芯片包括内存电路以及多个计算电路。所述多个计算电路耦接至内存电路。所述多个计算电路中的至少一个计算电路被选择性地组织成一个计算电路群以共同执行一个运算任务。计算电路群基于运算任务而发出给内存电路的访问要求自带有同步信息。内存电路检查同步信息,以决定是否将访问要求所对应的目标数据块返回给计算电路群。

3、在根据本公开的实施例中,所述人工智能芯片的数据同步方法包括:将多个计算电路中的至少一个计算电路选择性地组织成一个计算电路群以共同执行一个运算任务;由计算电路群基于运算任务而发出自带有同步信息的访问要求给内存电路;以及由内存电路检查同步信息,以决定是否将访问要求所对应的目标数据块返回给计算电路群。

4、基于上述,计算电路群发出给内存电路的访问要求自带有同步信息。举例来说,在“以同一个流处理器簇内的不同计算核作为所述计算电路群”的应用情境中,计算核群可以发出自带有同步信息的访问要求给在所述同一个流处理器簇内的内存(例如一级缓存和输入缓冲器中的至少一种)。在“以不同流处理器簇作为所述计算电路群”的应用情境中,流处理器簇群可以发出自带有同步信息的访问要求给所述不同流处理器簇所共享的内存(例如二级缓存或其他共享内存)。内存电路可以检查访问要求自带的同步信息,以决定是否将所述访问要求所对应的目标数据块返回给计算电路群。因此,计算电路群中不同计算电路之间的数据同步可以被确保。

本文档来自技高网...

【技术保护点】

1. 一种人工智能芯片,其特征在于,所述人工智能芯片包括:

2. 根据权利要求1所述的人工智能芯片,其特征在于,所述同步信息包括识别信息字段和计数字段,

3. 根据权利要求2所述的人工智能芯片,其特征在于,

4.根据权利要求2所述的人工智能芯片,其特征在于,所述识别信息字段包括同步识别字段和群字段,所述群字段用以记录所述计算电路群的识别号,以及所述同步识别字段用以记录所述目标数据块的识别号。

5.根据权利要求2所述的人工智能芯片,其特征在于,所述同步信息还包括类型字段和有效字段,以及所述类型字段用以记录所述运算任务的类型号。

6.根据权利要求1所述的人工智能芯片,其特征在于,所述计算电路群中的至少一个第一计算电路发出存储要求给所述内存电路以将所述目标数据块存储至所述内存电路,所述内存电路包括同步查找表,所述内存电路检查所述至少一个第一计算电路所发出的所述存储要求自带的所述同步信息以更新在所述同步查找表中所述目标数据块所对应的计数值,所述计算电路群中的至少一个第二计算电路发出加载要求给所述内存电路,所述内存电路基于所述加载要求自带的所述同步信息检查在所述同步查找表中的所述计数值以决定是否将所述加载要求所对应的所述目标数据块返回给所述至少一个第二计算电路。

7.根据权利要求1所述的人工智能芯片,其特征在于,所述多个计算电路包括在同一个流处理器簇内的多个计算核,所述内存电路包括在所述同一个流处理器簇内的内存和同步检查电路,所述多个计算核中的至少一个第一计算核发出存储要求给所述内存以将所述目标数据块存储至所述内存,所述同步检查电路包括同步查找表,所述同步检查电路检查所述至少一个第一计算核所发出的所述存储要求自带的所述同步信息以更新在所述同步查找表中所述目标数据块所对应的计数值,所述多个计算核中的至少一个第二计算核发出加载要求给所述内存,所述同步检查电路基于所述加载要求自带的所述同步信息检查在所述同步查找表中的所述计数值以决定是否通知所述内存将所述加载要求所对应的所述目标数据块返回给所述至少一个第二计算核。

8.根据权利要求7所述的人工智能芯片,其特征在于,所述多个计算核包括至少一个张量核和至少一个矢量核,以及所述内存包括输入缓冲器和一级缓存。

9.根据权利要求1所述的人工智能芯片,其特征在于,所述多个计算电路包括多个流处理器簇,所述内存电路包括共享内存和同步检查电路,所述多个流处理器簇中的至少一个第一流处理器簇发出存储要求给所述共享内存以将所述目标数据块存储至所述共享内存,所述同步检查电路包括同步查找表,所述同步检查电路检查所述至少一个第一流处理器簇所发出的所述存储要求自带的所述同步信息以更新在所述同步查找表中所述目标数据块所对应的计数值,所述多个流处理器簇中的至少一个第二流处理器簇发出加载要求给所述共享内存,所述同步检查电路基于所述加载要求自带的所述同步信息检查在所述同步查找表中的所述计数值以决定是否通知所述共享内存将所述加载要求所对应的所述目标数据块返回给所述至少一个第二流处理器簇。

10.根据权利要求9所述的人工智能芯片,其特征在于,所述共享内存包括二级缓存。

11.一种人工智能芯片的数据同步方法,其特征在于,所述人工智能芯片包括内存电路以及多个计算电路,所述多个计算电路耦接至所述内存电路,所述数据同步方法包括:

12. 根据权利要求11所述的数据同步方法,其特征在于,所述同步信息包括识别信息字段和计数字段,所述数据同步方法还包括:

13. 根据权利要求12所述的数据同步方法,其特征在于,所述数据同步方法还包括:

14.根据权利要求12所述的数据同步方法,其特征在于,所述识别信息字段包括同步识别字段和群字段,所述群字段用以记录所述计算电路群的识别号,以及所述同步识别字段用以记录所述目标数据块的识别号。

15.根据权利要求12所述的数据同步方法,其特征在于,所述同步信息还包括类型字段和有效字段,以及所述类型字段用以记录所述运算任务的类型号。

16.根据权利要求11所述的数据同步方法,其特征在于,所述数据同步方法还包括:

17.根据权利要求11所述的数据同步方法,其特征在于,所述多个计算电路包括在同一个流处理器簇内的多个计算核,所述内存电路包括在所述同一个流处理器簇内的内存和同步检查电路,所述数据同步方法还包括:

18.根据权利要求17所述的数据同步方法,其特征在于,所述多个计算核包括至少一个张量核和至少一个矢量核,以及所述内存包括输入缓冲器和一级缓存。

19.根据权利要求11所述的数据同步方法,其特征在于,所述多...

【技术特征摘要】

1. 一种人工智能芯片,其特征在于,所述人工智能芯片包括:

2. 根据权利要求1所述的人工智能芯片,其特征在于,所述同步信息包括识别信息字段和计数字段,

3. 根据权利要求2所述的人工智能芯片,其特征在于,

4.根据权利要求2所述的人工智能芯片,其特征在于,所述识别信息字段包括同步识别字段和群字段,所述群字段用以记录所述计算电路群的识别号,以及所述同步识别字段用以记录所述目标数据块的识别号。

5.根据权利要求2所述的人工智能芯片,其特征在于,所述同步信息还包括类型字段和有效字段,以及所述类型字段用以记录所述运算任务的类型号。

6.根据权利要求1所述的人工智能芯片,其特征在于,所述计算电路群中的至少一个第一计算电路发出存储要求给所述内存电路以将所述目标数据块存储至所述内存电路,所述内存电路包括同步查找表,所述内存电路检查所述至少一个第一计算电路所发出的所述存储要求自带的所述同步信息以更新在所述同步查找表中所述目标数据块所对应的计数值,所述计算电路群中的至少一个第二计算电路发出加载要求给所述内存电路,所述内存电路基于所述加载要求自带的所述同步信息检查在所述同步查找表中的所述计数值以决定是否将所述加载要求所对应的所述目标数据块返回给所述至少一个第二计算电路。

7.根据权利要求1所述的人工智能芯片,其特征在于,所述多个计算电路包括在同一个流处理器簇内的多个计算核,所述内存电路包括在所述同一个流处理器簇内的内存和同步检查电路,所述多个计算核中的至少一个第一计算核发出存储要求给所述内存以将所述目标数据块存储至所述内存,所述同步检查电路包括同步查找表,所述同步检查电路检查所述至少一个第一计算核所发出的所述存储要求自带的所述同步信息以更新在所述同步查找表中所述目标数据块所对应的计数值,所述多个计算核中的至少一个第二计算核发出加载要求给所述内存,所述同步检查电路基于所述加载要求自带的所述同步信息检查在所述同步查找表中的所述计数值以决定是否通知所述内存将所述加载要求所对应的所述目标数据块返回给所述至少一个第二计算核。

8.根据权利要求7所述的人工智能芯片,其特征在于,所述多个计算核包括至少一个张量核和至少一个矢量核,以及所述内存包括输入缓冲器和一级缓存。

9.根据权利要求1所述的人工智能芯片,其特征在于,所述多个计算电路包括多个流处理器簇,所述内存电路包括共享内存和同步检查电路,所...

【专利技术属性】
技术研发人员:请求不公布姓名请求不公布姓名请求不公布姓名请求不公布姓名
申请(专利权)人:北京壁仞科技开发有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1