System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 用于减少向存储器的计算卸载的副作用的方法技术_技高网

用于减少向存储器的计算卸载的副作用的方法技术

技术编号:40319559 阅读:54 留言:0更新日期:2024-02-07 21:02
针对如何减少将计算卸载到存储器的不期望副作用的技术问题的技术解决方案使用读取提示来将存储器侧处理的结果预加载到处理器侧高速缓存中。响应于识别存储器侧处理指令中的读取提示,高速缓存控制器致使该存储器侧处理的结果被预加载到处理器侧高速缓存中。具体实施包括但不限于:基于高速缓存抖动水平来启用或禁用该预加载;将存储器侧处理的结果或结果的部分预加载到特定目的地高速缓存;基于优先级和/或置信度来预加载结果;以及/或者在低数据总线和/或命令总线利用率时段期间预加载结果;最后存储考虑因素;以及强制执行排序约束以确保预加载在存储器侧处理结果完成之后发生。

【技术实现步骤摘要】
【国外来华专利技术】


技术介绍

1、本节所述的方法是可以实行的方法,但不一定是先前已经设想或实行过的方法。因此,除非另有说明,否则不应假设:本节所述的任何方法仅由于其包含在本节中而假定它们是现有技术。另外,不应假设:本节所述的任何方法仅由于其包含在本节中而假定它们是公知的、例行的或常规的。

2、由于计算吞吐量比存储器带宽更快地扩展,因此已开发出各种技术来向增长的计算能力保持馈送数据。存内处理(pim)将处理能力并入存储器模块内,使得可直接在存储器模块内处理任务。在动态随机存取存储器(dram)的上下文中,示例性pim配置包括向量计算元件和本地寄存器,它们允许对存储器本地执行一些计算,诸如算术计算。这允许存储器控制器在不需要跨存储器模块接口的数据移动的情况下并行地触发多个存储器模块处的本地计算,这可极大地改善性能,尤其是对于数据密集型工作负载而言。

3、例如使用pim技术将计算卸载到存储器的技术问题之一是,虽然它减少了数据总线流量和处理器上的计算负担,但可能存在不期望的副作用。这些副作用包括当处理器侧计算需要使用存储在存储器中的基于pim的计算的结果时以增加数量的高速缓存刷新和高速缓存未命中的形式增加了成本,否则至少在一些情况下,如果基于pim的计算已改为由处理器执行,则所述基于pim的计算的结果将在处理器侧高速缓存中可用。

4、考虑第一处理器侧计算、随后是使用第一处理器侧计算的结果的基于pim的计算、随后是使用基于pim的计算的结果的第二处理器侧计算的示例。第一处理器侧计算的结果必须被刷新到存储器中,使得它们可供执行基于pim的计算的pim元件使用。相反,第二处理器侧计算所需的基于pim的计算的结果被存储在存储器中,这导致高速缓存未命中。在该示例中,附加高速缓存刷新和高速缓存未命中的成本降低或抵消了将计算卸载到pim元件的性能益处。

5、针对该问题的一个技术解决方案是,例如通过在图形处理单元(gpu)上下文中启动预取功能/内核或在中央处理单元(cpu)上下文中发出预取指令,来将基于pim的计算的结果从存储器预加载到处理器侧高速缓存。然而,该解决方案具有以下缺点:由于gpu上下文中的附加内核启动和cpu上下文中的预取,以及关键处理器路径上的预加载的串行化而导致延迟增加。因此,需要针对如何减少将计算卸载到存储器的不期望的副作用的技术问题的技术解决方案。


技术实现思路

本文档来自技高网...

【技术保护点】

1.一种高速缓存控制器,包括:

2.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为致使所述存储器侧处理结果的所述至少一部分被加载到由存储器侧处理命令指定的特定处理器侧高速缓存中。

3.根据权利要求1所述的高速缓存控制器,其中:

4.根据权利要求3所述的高速缓存控制器,其中所述存储器侧处理命令通过以下各项中的一项或多项来指定所述存储器侧处理结果的所述子集:一个或多个地址、最后N个数据单元、或标识一个或多个存储器侧处理单元的数据。

5.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为基于所述存储器侧处理结果的所述至少一部分处于在所述高速缓存控制器中编程的地址范围中以及存储器侧处理命令指定所述存储器侧处理结果的所述至少一部分应当被加载到所述处理器侧高速缓存中,来确定所述存储器侧处理结果的所述至少一部分将被处理器读取。

6.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为:

7.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为:

8.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为执行以下各项中的一项或多项:

9.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为强制执行排序约束以确保在已经完成所述存储器侧处理结果的所述至少一部分并且将其存储到存储器之后,将所述存储器侧处理结果的所述至少一部分加载到所述处理器侧高速缓存中。

10.一种存储器控制器,包括:

11.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为致使所述存储器侧处理结果的所述至少一部分被加载到由存储器侧处理命令指定的特定处理器侧高速缓存中。

12.根据权利要求10所述的存储器控制器,其中:

13.根据权利要求12所述的存储器控制器,其中所述存储器侧处理命令通过以下各项中的一项或多项来指定所述存储器侧处理结果的所述子集:一个或多个地址、最后N个数据单元、或标识一个或多个存储器侧处理单元的数据。

14.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为基于所述存储器侧处理结果的所述至少一部分处于在所述存储器控制器中编程的地址范围中以及存储器侧处理命令指定所述存储器侧处理结果的所述至少一部分应当被加载到所述处理器侧高速缓存中,来确定所述存储器侧处理结果的所述至少一部分将被处理器读取。

15.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为:

16.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为:

17.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为执行以下各项中的一项或多项:

18.根据权利要求10所述的存储器控制器,其中所述处理逻辑被进一步配置为强制执行排序约束以确保在已经完成所述存储器侧处理结果的所述至少一部分并且将其存储到存储器之后,将所述存储器侧处理结果的所述至少一部分加载到所述处理器侧高速缓存中。

19.一种方法,包括:

20.根据权利要求19所述的方法,还包括由所述高速缓存控制器致使所述存储器侧处理结果的所述至少一部分被加载到由存储器侧处理命令指定的特定处理器侧高速缓存中。

...

【技术特征摘要】
【国外来华专利技术】

1.一种高速缓存控制器,包括:

2.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为致使所述存储器侧处理结果的所述至少一部分被加载到由存储器侧处理命令指定的特定处理器侧高速缓存中。

3.根据权利要求1所述的高速缓存控制器,其中:

4.根据权利要求3所述的高速缓存控制器,其中所述存储器侧处理命令通过以下各项中的一项或多项来指定所述存储器侧处理结果的所述子集:一个或多个地址、最后n个数据单元、或标识一个或多个存储器侧处理单元的数据。

5.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为基于所述存储器侧处理结果的所述至少一部分处于在所述高速缓存控制器中编程的地址范围中以及存储器侧处理命令指定所述存储器侧处理结果的所述至少一部分应当被加载到所述处理器侧高速缓存中,来确定所述存储器侧处理结果的所述至少一部分将被处理器读取。

6.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为:

7.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为:

8.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为执行以下各项中的一项或多项:

9.根据权利要求1所述的高速缓存控制器,其中所述处理逻辑被进一步配置为强制执行排序约束以确保在已经完成所述存储器侧处理结果的所述至少一部分并且将其存储到存储器之后,将所述存储器侧处理结果的所述至少一部分加载到所述处理器侧高速缓存中。

10.一种存储器控制器,包括:

11.根据权利要求10所述的存储器控制器,其中所述处理逻辑被...

【专利技术属性】
技术研发人员:沙泽恩·阿加努万·贾亚塞纳
申请(专利权)人:超威半导体公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1