用于减小高速缓存架构中的延迟和窥探代价的方法技术

技术编号:2848470 阅读:267 留言:0更新日期:2012-04-11 18:40
本发明专利技术公开一种用于提供高速缓存管理的装置和方法。优选地,本发明专利技术提供了缓冲器装置,其被适配成记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据,如果在第一高速缓冲存储器中发生命中,则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置,并且如果在第一高速缓冲存储器中发生缺失,则引用第二高速缓冲存储器。

【技术实现步骤摘要】

本专利技术一般涉及多处理器系统中的高速缓冲存储器的管理和存取。更具体地说,本专利技术涉及多核心非均匀高速缓冲存储器系统(multiplecore non-uniform cache memory system)中的数据查询。
技术介绍
高性能通用架构正在朝着以单个芯片上的多个处理核心为特征的设计的方向发展。这样的设计具有提供较高的峰值吞吐量、较容易的设计伸缩性、以及较高的性能/功率比的潜能。具体地说,这些新出现的多核心芯片将以这样的事实为特征,即这些核心一般必须多少有些共享第二级(L2)高速缓存架构但却具有非均匀的存取延迟。L2高速缓冲存储器结构在芯片上的多个核心之间可以是私有的或共享的。即使在它们被共享的情况下,为了实现最优设计,必须在多个核心之间分配L2高速缓存的片断(slice)。因此,在共享或私有的L2高速缓存的情况下,每个核心将拥有在物理上近的L2高速缓存分区和在物理上远的L2高速缓存分区,从而导致非均匀延迟的高速缓存架构。因此,可以将具有非均匀延迟的高速缓存架构的这些多核心芯片称作多核心NUCA芯片。由于将多个核心放到管芯(die)上的发展趋势,因此已经认识到有关提供这样的技术的需要,其中该技术用于优化多核心NUCA芯片中的多个核心之间的互连、多个NUCA芯片之间的互连框架、以及特别地,每个核心如何与多核心NUCA架构的其余部分交互。对于给定数目的核心,给定多核心环境中的“最佳”互连架构取决于多种因素,包括性能目标、功率/面积预算、带宽要求、技术、以及甚至是系统软件。然而,通过L2高速缓存架构的组织和存取方式较好地解决了大量的性能、面积以及功率问题。在没有必要的优化的情况下,由多核心NUCA芯片构建的系统可能受到以下困扰高的内部L2高速缓存带宽和存取延迟要求;高的L2到L3高速缓存带宽和存取延迟要求;高的窥探要求和代价(cost);不确定的L2、L3存取延迟。因此,已经认识到有关解决和克服诸如上面概述的缺陷和缺点的普遍需要。
技术实现思路
根据本专利技术的至少一个优选实施例,主要考虑了这样的方法和装置,其用于在基于多核心非均匀高速缓存架构的系统中实现降低的L2/L3高速缓冲存储器带宽要求、较低的窥探要求和代价、减小的L2/L3高速缓冲存储器存取延迟、远L2高速缓冲存储器分区查询存取时间的节省、以及针对L2高速缓冲存储器数据的相当确定的延迟。在具体实施例中,假定在多核心非均匀第二级(L2)高速缓冲存储器(多核心NUCA)系统的数据查询中与带宽和存取延迟相关联的代价、以及不确定的代价可能是非常高的,在此主要考虑了提供减少的存储器带宽要求、较低的窥探要求和代价、减少的第二级(L2)和第三级(L3)高速缓冲存储器存取延迟、远L2高速缓冲存储器的查询存取时间的节省、以及针对L2高速缓冲存储器的数据的相当确定的延迟。根据本专利技术的至少一个实施例,在多核心非均匀高速缓冲存储器系统中引入了L2/L3通信缓冲器(L2/L3通信缓冲器)。该缓冲器(其在L2高速缓冲存储器分区之间是分布或集中的)保留从L3高速缓冲存储器或从多核心NUCA L2芯片之外到L2高速缓冲存储器中的进入数据的记录,以便当处理器核心需要来自L2高速缓冲存储器的数据时,它能够简单地指出哪个L2高速缓存分区具有该数据并且以更确定的方式进行通信以获取该数据。理想地,近L2高速缓冲存储器目录和L2/L3通信缓冲器之中的并行搜索将会提供关于对应的数据块当前是否存在于L2高速缓冲存储器结构中的答案。总而言之,本专利技术的一方面提供了一种用于提供高速缓存管理的设备,该设备包括缓冲器装置;该缓冲器装置被适配成记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据;如果在第一高速缓冲存储器中发生命中(hit),则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置;以及如果在第一高速缓冲存储器中发生缺失(miss),则引用(refer to)第二高速缓冲存储器。本专利技术的另一方面提供了一种用于提供高速缓存管理的方法,该方法包括以下步骤记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据;如果在第一高速缓冲存储器中发生命中,则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置;以及如果在第一高速缓冲存储器中发生缺失,则引用第二高速缓冲存储器。此外,本专利技术的另一方面提供了一种可由机器读取的程序存储装置,其有形地包含了可由机器执行的指令程序,以便执行用于提供高速缓存管理的方法步骤,该方法包括以下步骤记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据;如果在第一高速缓冲存储器中发生命中,则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置;以及如果在第一高速缓冲存储器中发生缺失,则引用第二高速缓冲存储器。为了更好地理解本专利技术及其其它和更多特征和优点,参考下面结合附图的描述,并且将在所附权利要求中指出本专利技术的范围。附图说明图1a提供了具有共享的L2高速缓冲存储器架构的单芯片多核心架构的示意图。图1b提供了具有私有的L2高速缓冲存储器架构的单芯片多核心架构的示意图。图2提供了包括四个处理器核心和对应的L2高速缓冲存储器结构的单芯片多核心架构的示意图。图3提供了包括四个处理器核心和对应的L2高速缓冲存储器结构的单芯片多核心架构的示意图,其中用分布式L2/L3通信缓冲器来改进每个L2高速缓冲存储器。图4提供了包括四个处理器核心和对应的L2高速缓冲存储器结构的单芯片多核心架构的示意图,其中用与所有L2高速缓存结构等距离的集中式L2/L3通信缓冲器来改进芯片。图5提供了在分布式L2/L3通信缓冲器的情况下,多核心NUCA芯片中的L2高速缓冲存储器存取的流程图。图6提供了在分布式L2/L3通信缓冲器的情况下,从L3高速缓冲存储器到L2高速缓冲存储器中的高速缓存块分配的处理。图7提供了在集中式L2/L3通信缓冲器的情况下,多核心NUCA芯片中的L2高速缓冲存储器存取的流程图。图8示出了在集中式L2/L3通信缓冲器的情况下,从L3高速缓冲存储器到L2高速缓冲存储器中的高速缓存块分配的处理。图9提供了多核心NUCA系统的示意图,其利用L2/L3通信缓冲器来支持高速缓存块的远程供应(sourcing)。图10提供了针对图9所述的系统,父节点请求以独占/修改模式无效或获取块的流程图。图11提供了针对图9所述的系统,远程客户端节点请求以独占/修改模式无效或获取块的流程图。具体实施例方式根据本专利技术的至少一个优选实施例,涉及了多核心非均匀高速缓冲存储器架构(多核心NUCA),尤其是群集化多处理(CMP)系统,其中如图1所示,芯片包括与多个第二级(L2)高速缓存相关联的多个处理器核心。由这样的多核心NUCA芯片构建的系统还可以包括芯片外的第三级(L3)高速缓存(和/或存储器)。另外,可以假定,L2高速缓存具有一个公共全局空间,但在群集的不同核心之间被近似地划分。在该系统中,可能以非均匀的存取时间完成对驻留在L2中的高速缓存块的存取。一般地,L2对象将距离给定的处理器核心或近或远。因此,在芯片范围的L2高速缓存中搜索数据可能涉及从核心/L2对到获得该数据的不确定跳跃(hop)数。因此,多核心NUCA系统中L2和外部的存取和通信潜在地受到较高的L2/L3带宽要求、较高的L本文档来自技高网
...

【技术保护点】
一种用于提供高速缓存管理的设备,所述设备包括:缓冲器装置;所述缓冲器装置被适配成:记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据;如果在第一高速缓冲存储器中发生命中,则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置;以及如果在第一高速缓冲存储器中发生缺失,则引用第二高速缓冲存储器。

【技术特征摘要】
US 2005-4-29 11/118,1301.一种用于提供高速缓存管理的设备,所述设备包括缓冲器装置;所述缓冲器装置被适配成记录从第二高速缓冲存储器到第一高速缓冲存储器中的进入数据;如果在第一高速缓冲存储器中发生命中,则一旦提示对应的数据,就传达在第一高速缓冲存储器中的数据位置;以及如果在第一高速缓冲存储器中发生缺失,则引用第二高速缓冲存储器。2.根据权利要求1所述的设备,其中第一高速缓冲存储器是L2高速缓冲存储器,并且第二高速缓冲存储器是L3高速缓冲存储器。3.根据权利要求1所述的设备,其中所述缓冲器装置包括分布式缓冲器装置和集中式缓冲器装置。4.根据权利要求2所述的设备,其中所传达的数据位置是L2高速缓冲存储器中的分区。5.根据权利要求2所述的设备,其中L2高速缓冲存储器是非均匀L2高速缓冲存储器。6.根据权利要求2所述的设备,其中L2高速缓冲存储器和L3高速缓冲存储器被布置在多核心高速缓冲存储器架构中。7.根据权利要求2所述的设备,其中L3高速缓冲存储器包括芯片外的高速缓冲存储器。8.根据权利要求2所述的设备,其中L2高速缓冲存储器包括共享的L2高速缓冲存储器。9.根据权利要求2所述的设备,其中L2高速缓冲存储器包括私有的L2高速缓冲存储器。10.根据权利要求2所述的设备,其中所述缓冲器装置还被适配成当对应的数据未被分配到L2高速缓冲存储器中时,将数据远程供应到L1高速缓冲存储器中。11.一种用于提供高速缓存管理的方法,所述方法包括以下步骤记录从第二高速缓冲存储器...

【专利技术属性】
技术研发人员:阿尔泊布约克托苏诺格鲁胡志刚裘德A瑞沃斯约翰T鲁宾逊沈晓卫维加雅拉克施米斯里尼瓦桑
申请(专利权)人:国际商业机器公司
类型:发明
国别省市:US[美国]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1