存储管理装置和方法、处理器以及计算装置制造方法及图纸

技术编号:37455238 阅读:13 留言:0更新日期:2023-05-06 09:27
本发明专利技术实施例提供了一种存储管理装置和方法、处理器以及计算装置。所述存储管理装置包括:收发单元,用于发送本地线程块的第一同步存储请求并且接收第一同步存储确认,所述第一同步存储请求用于请求针对远程内存地址的数据存储操作,所述第一同步存储确认用于响应所述远程内存地址的数据存储操作的完成;存储单元,包括读写端口,所述存储单元用于存储所述本地线程块的计数状态,所述计数状态指示未确认的第一同步存储请求的数目;计数管理单元,用于根据所述第一同步存储请求或者所述第一同步存储确认,经由所述读写端口更新所述存储单元的计数状态。本发明专利技术实施例的方案减少了存储空间,保证了计数状态的更新效率,进而提高了运算效率。高了运算效率。高了运算效率。

【技术实现步骤摘要】
存储管理装置和方法、处理器以及计算装置


[0001]本专利技术实施例涉及计算机
,尤其涉及一种存储管理装置和方法、处理器以及计算装置。

技术介绍

[0002]芯片互连对于GPGPU芯片变得越来越重要。多线程/线程块同步(syncing),通过跟踪每个线程/线程块的状态,对于芯片间计算任务的性能非常重要。提出了一种基于事务ID、计数器转发逻辑和编程散列设计的系统同步机制,用于系统级状态检查。这样,每个线程块级的状态,都被硬件逻辑监控,从而提高了整个系统的同步效率。整个硬件成本是一些硬件控制逻辑和SRAM来保存事务ID计数器逻辑,并且可以通过时钟周期级别检查每个线程块的远程操作状态。
[0003]GPGPU芯片专为硬件加速神经网络而设计,专门用于机器学习处理。芯片到芯片互连是GPGPU芯片的关键技术,因为GPGPU芯片有望互连形成一个大的处理网络来处理需要越来越多的计算能力的人工智能任务。
[0004]对于每个GPGPU,加载/存储指令可以根据事务的目标物理地址执行本地加载/存储(同一GPGPU上的设备内存内)或远程加载/存储(不同GPGPU上的设备间内存之间)。GPGPU将指令级任务拆分到可能包含远程加载/存储指令和计算指令的线程块。简而言之,GPU需要同步机制来了解所有远程事务(加载或存储等)是否已完成,以便可以开始新一轮的GPU计算。
[0005]GPGPU是一种高度并行的处理器,可以同时计算大量计算作业。通过监控每个线程块的远程加载/存储状态,因此,如果GPGPU有大量并发线程块处理能力,需要大量的计数器跟踪每个线程块的事务状态,所占用面积极大。

技术实现思路

[0006]有鉴于此,本专利技术实施例提供一种存储管理装置和方法、处理器以及计算装置,以至少部分解决上述问题。
[0007]根据本专利技术实施例的第一方面,提供了一种存储管理装置,包括:收发单元,用于发送本地线程块的第一同步存储请求并且接收第一同步存储确认,所述第一同步存储请求用于请求针对远程内存地址的数据存储操作,所述第一同步存储确认用于响应所述远程内存地址的数据存储操作的完成;存储单元,包括读写端口,所述存储单元用于存储所述本地线程块的计数状态,所述计数状态指示未确认的第一同步存储请求的数目;计数管理单元,用于根据所述第一同步存储请求或者所述第一同步存储确认,经由所述读写端口更新所述计数状态。
[0008]在本专利技术的另一实现方式中,所述存储单元包括多个存储器,所述计数管理单元还用于:从所述存储器中,确定所述本地线程块的计数器所在的目标存储器,所述目标存储器用于存储所述计数器。
[0009]在本专利技术的另一实现方式中,所述计数管理单元具体用于:基于哈希函数,将所述本地线程块的计数器映射到所述多个存储器中的目标存储器。
[0010]在本专利技术的另一实现方式中,所述计数管理单元具体用于:从所述目标存储器读取所述计数器,基于所述第一同步存储请求的数目或者所述第一同步存储确认的数目,变更所述计数状态,并且将计数状态变更后的计数器写入到所述目标存储器。
[0011]在本专利技术的另一实现方式中,所述计数管理单元具体用于:在所述将计数状态变更后的计数器写入到所述目标存储器中之前,判断所述本地线程块是否与所述第一同步存储请求或者所述第一同步存储确认的在后同步存储请求或在后同步存储确认对应的线程块相同;基于所述计数状态,增加所述第一同步存储请求的数目或者减少所述第一同步存储确认的数目,得到初始变更计数状态;如果所述本地线程块与所对应的线程块相同,则基于初始变更计数状态,增加所述在后同步存储请求的数目、或者减少所述在后同步存储确认的数目。
[0012]在本专利技术的另一实现方式中,所述计数管理单元还用于:如果所述本地线程块与所对应的线程块不同,则将所述初始变更计数状态确定为所述计数器的更新后计数状态。
[0013]在本专利技术的另一实现方式中,所述收发单元还用于:接收远程线程块的第二同步存储请求,所述第二同步存储请求中包括本地内存地址和目标数据,所述第二同步存储请求指示本地内存将所述目标数据存储到所述本地内存地址。
[0014]在本专利技术的另一实现方式中,所述第二同步存储请求中还包括远程线程块的处理器地址,所述收发单元还用于:从所述本地内存获取所述远程线程块的第二同步存储请求,并且向所述远程线程块的处理器地址所对应的处理器发送所述第二同步存储请求。
[0015]在本专利技术的另一实现方式中,所述收发单元具体用于:接收执行单元针对所述目标数据的加载请求,并且根据所述加载请求,从所述本地内存读取所述目标数据到所述执行单元。
[0016]根据本专利技术实施例的第二方面,提供了一种处理器,包括:多个本地线程块以及根据第一方面所述的存储管理装置。
[0017]根据本专利技术实施例的第三方面,提供了一种计算装置,包括:多个处理器,每个处理器为根据第二方面所述的处理器;通信总线,用于互联所述多个处理器。
[0018]根据本专利技术实施例的第四方面,提供了一种存储管理方法,包括:发送本地线程块的第一同步存储请求并且接收第一同步存储确认,所述第一同步存储请求用于请求针对远程内存地址的数据存储操作,所述第一同步存储确认用于响应所述远程内存地址的数据存储操作的完成;获取所述本地线程块的计数状态,所述计数状态指示未确认的第一同步存储请求的数目;根据所述第一同步存储请求或者所述第一同步存储确认,更新所述计数状态。
[0019]在本专利技术实施例的方案中,通过存储单元存储本地线程块的计数状态,减少了存储空间,在本地线程块的数量较大的情况下,经由存储单元的统一读写端口更新存储单元中的计数状态,保证了计数状态的更新效率,进而提高了运算效率。
附图说明
[0020]为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
[0021]图1为一个示例的并行计算系统的示意性框图。
[0022]图2为适用于图1的并行计算系统的计算装置的示意性框图。
[0023]图3为图2示例的计算装置的处理器互联系统的示意图。
[0024]图4为根据本专利技术的一个实施例的存储管理装置的示意性框图。
[0025]图5示出了图4实施例的线程块的计数器与存储器的示意性映射关系。
[0026]图6示出了图4实施例的计数单元的计数过程。
[0027]图7为根据本专利技术的另一实施例的存储管理方法的步骤流程图。
具体实施方式
[0028]为了使本领域的人员更好地理解本专利技术实施例中的技术方案,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、详细地描述,显然,所描述的实施例仅是本专利技术实施例一部分实施例,而不是全部的实施例。基于本专利技术实施例中的实施例,本领域普通技术人员所获得的所有其他实本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种存储管理装置,包括:收发单元,用于发送本地线程块的第一同步存储请求并且接收第一同步存储确认,所述第一同步存储请求用于请求针对远程内存地址的数据存储操作,所述第一同步存储确认用于响应所述远程内存地址的数据存储操作的完成;存储单元,包括读写端口,所述存储单元用于存储所述本地线程块的计数状态,所述计数状态指示未确认的第一同步存储请求的数目;计数管理单元,用于根据所述第一同步存储请求或者所述第一同步存储确认,经由所述读写端口更新所述存储单元的计数状态。2.根据权利要求1所述的装置,其中,所述存储单元包括多个存储器,所述计数管理单元还用于:从所述存储器中,确定所述本地线程块的计数器所在的目标存储器,所述目标存储器用于存储所述计数器。3.根据权利要求2所述的装置,其中,所述计数管理单元具体用于:基于哈希函数,将所述本地线程块的计数器映射到所述多个存储器中的目标存储器。4.根据权利要求3所述的装置,其中,所述计数管理单元具体用于:从所述目标存储器读取所述计数器,基于所述第一同步存储请求的数目或者所述第一同步存储确认的数目,变更所述计数状态,并且将计数状态变更后的计数器写入到所述目标存储器。5.根据权利要求3所述的装置,其中,所述计数管理单元具体用于:在所述将计数状态变更后的计数器写入到所述目标存储器中之前,判断所述本地线程块是否与所述第一同步存储请求或者所述第一同步存储确认的在后同步存储请求或在后同步存储确认对应的线程块相同;在所述计数状态的基础上,增加所述第一同步存储请求的数目或者减少所述第一同步存储确认的数目,得到初始变更计数状态;如果所述本地线程块与所对应的线程块相同,则基于所述初始变更计数状态,增加所述在后同步存储请求的数目、或...

【专利技术属性】
技术研发人员:肖德宇
申请(专利权)人:平头哥上海半导体技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1