一种减少存储器访问延迟方法及系统技术方案

技术编号:30180198 阅读:13 留言:0更新日期:2021-09-25 15:42
本发明专利技术公开了一种减少存储器访问延迟方法,该方法应用于内存控制系统,内存控制系统包括多个级别的高速缓存存储器和主存储器,方法包括:配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表;根据位置映射表判断是否命中所述缓存块的目标位置信息;若未命中缓存块的目标位置信息,对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果;根据预测结果直接访问对应的存储器。能够减少多级存储器结构中存储访问加载数据的延迟时间,解决了现有缓存数据预取顺序遍历存储器导致的延迟问题,同时避免了并行查找导致的高硬件开销,对现有内存结构的改动较小。对现有内存结构的改动较小。对现有内存结构的改动较小。

【技术实现步骤摘要】
一种减少存储器访问延迟方法及系统


[0001]本专利技术涉及计算机
,尤其涉及一种减少存储器访问延迟方法及系统。

技术介绍

[0002]随着CPU处理器(central processing unit,中央处理器)的性能不断的更新迭代,高性能的处理器的时钟频率也越来越高。为了减小处理器高速时钟频率与访问存储器所需时间的不断增长的延迟之间的差距,大多数处理器选择使用不同层级的cache存储器(高速缓冲存储器)结构以减少处理器失效代价。目前,主流的处理器大多使用三级cache。即在访问存储器读取数据时,cache按照级别顺序被依次访问,数据搜索的顺序是从L1 cache开始,然后为L2 cache、L3 cache。如果三级cache中都没包含所需的数据,就需要访问主存储器了。但是,利用这种方式降低存储器访问延迟是十分困难的,因为随着cache在容量和复杂性的增加,延迟一直呈上升趋势。
[0003]对于在此基础上减少延迟的方式,一般通过在处理器进行访问请求之前从存储器中预先获取数据,从而减少延迟,但是这种方式会由于对不同存储级别的存储器顺序查找而增加延迟;另外,还会通过并行查找不同存储级别的存储器来减少延迟,但是这就需要多个缓存块对应的标签,从而增加处理器的功耗和硬件设计复杂度。

技术实现思路

[0004]本专利技术所要解决的技术问题在于,提供一种减少存储器访问延迟方法及系统,能够减少多级存储器结构中存储访问加载数据的延迟时间,解决了现有缓存数据预取顺序遍历存储器导致的延迟问题,同时避免了并行查找导致的高硬件开销,对现有内存结构的改动较小。
[0005]为了解决上述技术问题,本专利技术第一方面公开了一种减少存储器访问延迟方法,所述方法应用于内存控制系统,所述内存控制系统包括多个级别的高速缓存存储器和主存储器,所述方法包括:配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表;根据所述位置映射表判断是否命中所述缓存块的目标位置信息;若未命中所述缓存块的目标位置信息,对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果;根据所述预测结果直接访问对应的存储器。
[0006]在一些实施方式中,所述多个级别的高速缓存存储器包括第一级别高速缓存器、第二级别高速缓存器和第三级别高速缓存器,所述对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果,包括:利用计数器分别跟踪第二级别高速缓存器、第三级别高速缓存器和主存储的访问次数;根据各个存储器的访问次数确定预测结果。
[0007]在一些实施方式中,根据各个存储器的访问次数确定预测结果,包括:为各个存储器的访问次数进行由高到低顺序的排序,选取最高次序的访问次数对应的存储器确定为预测结果。
[0008]在一些实施方式中,根据各个存储器的访问次数确定预测结果,包括:当各个存储
器的访问次数均接近于预置的访问阈值,则将各个存储器均确定为预测结果。
[0009]在一些实施方式中,根据各个存储器的访问次数确定预测结果,包括:当各个存储器的访问次数均高于预置的访问阈值,则只将至多一个存储器确定为预测结果。
[0010]在一些实施方式中,所述方法还包括:当第二级别高速缓存器、第三级别高速缓存器或主存储器中的某一存储器发生命中事件时,将所述某一存储器对应的计数器加一,其他存储器对应的计数器减一。
[0011]在一些实施方式中,配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表,之后包括:分别获取第二级别高速缓存器和第三级别高速缓存器的活动事件,所述活动事件包括填充事件和逐出事件;根据所述活动事件更新所述位置映射表的历史位置信息。
[0012]在一些实施方式中,该方法还包括:配置缓存一致性目录;根据所述缓存一致性目录判断所述预测结果是否为错误预测结果;若所述预测结果为错误预测结果,对所述错误预测结果进行恢复操作。
[0013]在一些实施方式中,对错误预测结果进行恢复操作,包括:为未命中的存储器配置MSHR条目;向正确结果对应的存储器发送执行请求;响应于所述执行请求,释放超出正确结果对应的存储器的所有MSHR条目。
[0014]本专利技术第一方面公开了一种减少存储器访问延迟系统,包括:位置映射表,存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址的关联关系。级别检测模块,用于根据所述位置映射表判断是否命中所述缓存块的目标位置信息;级别预测模块,用于在未命中所述缓存块的目标位置信息,对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果;访问模块,用于根据所述预测结果直接访问对应的存储器。
[0015]与现有技术相比,本专利技术的有益效果在于:实施本专利技术能够通过对存储器的级别进行预测,从而节省存储器层次顺序查找的时间来实现减少存储器访问延迟的效果。并且能够将被访问过的缓存块的存储级别信息保存在一个位置映射元数据缓存表中,还使用不同的计数器统计每个存储级别的访问频繁度,然后预测下一次访问的存储级别。从而不用对内存结构做大的改动,同时保持了低内存访问成本和操作的简易性。进一步地,在第一级别高速缓存器未命中事件发生时,对目标数据所在的存储层次进行预测,跳过了顺序查找存储器的过程。可以有效满足环境监测、系统仿真、生命科学等领域对高性能应用的低时延需求。最后,还可以通过比对缓存一致性目录的信息检测对存储器的级别预测是否正确,及时对错误预测进行补救,提高了对降低访问存储器延迟的处理效率。
附图说明
[0016]图1为本专利技术实施例公开的一种减少存储器访问延迟的方法流程示意图;图2为本专利技术实施例公开的一种应用减少存储器访问延迟的方法的系统示意图;图3为本专利技术实施例公开的一种根据正确预测结果执行的流程框图;图4为本专利技术实施例公开的一种根据错误预测结果执行的流程框图;图5为本专利技术实施例公开的一种减少存储器访问延迟系统示意图;图6为专利技术实施例公开的一种减少存储器访问延迟装置结构示意图。
具体实施方式
[0017]为了更好地理解和实施,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。
[0018]本专利技术实施例的术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块。
[0019]本专利技术实施例公开了一种减少存储器访问延迟的方法及系统,能够通过对存储器的级别进行预测,从而节省存储器层次顺序查找的时间来实现减少存储器访问延迟的效果。并且能够将被访问过的缓存块的存储级别信息保存在一个位置映射元数据缓存表中,还使用不同的计数器本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种减少存储器访问延迟方法,其特征在于,所述方法应用于内存控制系统,所述内存控制系统包括多个级别的高速缓存存储器和主存储器,所述方法包括:配置存储有多个缓存块的历史位置信息和被访问过的缓存块的物理内存地址具有关联关系的位置映射表;根据所述位置映射表判断是否命中所述缓存块的目标位置信息;若未命中所述缓存块的目标位置信息,对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果;根据所述预测结果直接访问对应的存储器。2.根据权利要求1所述的减少存储器访问延迟方法,其特征在于,所述多个级别的高速缓存存储器包括第一级别高速缓存器、第二级别高速缓存器和第三级别高速缓存器,所述对多个级别的高速缓存存储器和主存储器进行级别预测生成预测结果,包括:利用计数器分别跟踪第二级别高速缓存器、第三级别高速缓存器和主存储的访问次数;根据各个存储器的访问次数确定预测结果。3.根据权利要求2所述的减少存储器访问延迟方法,其特征在于,所述根据各个存储器的访问次数确定预测结果,包括:为各个存储器的访问次数进行由高到低顺序的排序,选取最高次序的访问次数对应的存储器确定为预测结果。4.根据权利要求2所述的减少存储器访问延迟方法,其特征在于,所述根据各个存储器的访问次数确定预测结果,包括:当各个存储器的访问次数均接近于预置的访问阈值,则将各个存储器均确定为预测结果。5.根据权利要求4所述的减少存储器访问延迟方法,其特征在于,所述根据各个存储器的访问次数确定预测结果,包括:当各个存储器的访问次数均高于预置的访问阈值,则只将至多一个存储器确定为预测结果。6.根据权利要求2所述的减少存储器访问延迟方法,其特征在于,所述方...

【专利技术属性】
技术研发人员:高翀陈钦树朱伏生朱晓明
申请(专利权)人:广东省新一代通信与网络创新研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1