流式高速缓存存储器中的数据行的混合分配制造技术

本公开涉及流式高速缓存存储器中的数据行的混合分配

【技术实现步骤摘要】
流式高速缓存存储器中的数据行的混合分配


[0001]各种实施例总体上涉及计算机存储器架构，并且更具体地，涉及流式高速缓存存储器中的数据行的混合分配
。

技术介绍

[0002]除其他外，计算系统通常包括一个或更多个处理单元，例如中央处理单元
(CPU)
和
/
或图形处理单元
(GPU)
，以及一个或更多个存储器系统
。
处理单元执行用户模式软件应用程序，该应用程序提交和启动计算任务，其在处理单元中所包括的一个或更多个计算引擎上执行
。
处理单元包括多层存储器系统，以在从存储器加载数据和将数据存储到存储器时提高性能
。
[0003]多层存储器系统包括相对较大且性能相对较低的系统存储器，用于存储用户模式软件应用程序中包括的大量程序指令以及用户模式软件应用程序在执行期间随时间访问的数据
。
此外，多层存储器系统包括相对较小且性能相对较高的高速缓存存储器，用于存储用户模式软件应用程序当前或即将访问的那些程序指令和数据
。
通常，高速缓存存储器可以组织为一组高速缓存行，其中每个高速缓存行包含数十或数百字节的数据
。
当数据加载到高速缓存中时，高速缓存控制器分配一个或更多个高速缓存行，然后从系统存储器中加载数据并将数据存储在高速缓存行中
。
高速缓存控制器在使用时或就在使用之前将来自系统存储器的指令和数据加载到高速缓存存储器中
。
结果，与较低性能的系统存储器相比，处理单元能够更频繁地从用于指令和数据的高性能高速缓存存储器加载指令和数据
。
处理单元还可以将数据存储到更高性能的高速缓存中
。
高速缓存控制器最终将这些高速缓存行存储到较低性能的系统存储器中
。
处理单元由此相对于仅具有系统存储器的非分层存储器系统实现了改进的存储器性能
。
[0004]通常，系统存储器和高速缓存存储器之间的可用存储器传输带宽是有限的
。
可以通过减少系统存储器和高速缓存存储器之间的数据传输流量来提高高速缓存性能
。
减少这种数据传输流量的一种技术是将高速缓存行划分为扇区，然后仅加载和存储那些需要的扇区，而不是加载整个高速缓存行
。
例如，如果一个高速缓存行有四个扇区，那么高速缓存控制器可以根据需要加载一个
、
两个或三个扇区，而不是整个高速缓存行
。
因此，高速缓存控制器不会消耗用来加载软件应用程序不需要的扇区的存储器传输带宽
。
[0005]这种用于减少存储器传输带宽消耗的技术的一个问题是，当加载的高速缓存行少于完整的高速缓存行时，高速缓存存储器的利用率会降低
。
例如，如果平均而言，每个高速缓存行仅将数据加载到四个可用扇区中的两个，那么每个高速缓存行的两个扇区是未使用的
。
如果不先驱逐该高速缓存行上的两个已使用扇区，就不能重新分配高速缓存行上未使用的扇区或将其用于其他目的
。
结果，高速缓存存储器的利用率为
50
％，留下一半的高速缓存存储器未使用和不可用
。
[0006]如前所述，本领域需要用于管理计算系统中的高速缓存存储器的更有效的技术
。

技术实现思路

[0007]本公开的各种实施例阐述了一种用于管理计算系统中的高速缓存存储器的计算机实现的方法
。
该方法包括检测第一高速缓存行分配请求以分配第一逻辑扇区
。
该方法还包括确定第一高速缓存行分配请求可与第二高速缓存行分配请求组合以分配第二逻辑扇区
。
该方法还包括将与第一逻辑扇区相关联的第一数据存储在高速缓存存储器的第一高速缓存行的第一物理扇区中
。
与第二逻辑扇区相关联的第二数据存储在高速缓存行的第二物理扇区中
。
[0008]其他实施例包括但不限于实现所公开技术的一个或更多个方面的系统，以及包括用于执行所公开技术的一个或更多个方面的指令的一个或更多个计算机可读介质，以及用于执行所公开技术的方法所公开技术的一个或更多个方面
。
[0009]所公开的技术相对于现有技术的至少一个技术优势在于，利用所公开的技术，高速缓存存储器可以与两个或更多个分配共享高速缓存行，其中每个分配包括比整个高速缓存行更少的扇区
。
结果，与不采用高速缓存行共享的现有技术相比，高速缓存存储器可以具有更少的未使用扇区
。
从而提高了高速缓存存储器的利用率，导致改进的高速缓存存储器性能和软件应用程序的更快执行
。
这些优点代表了对现有技术方法的一项或更多项技术改进
。
附图说明
[0010]为了更详细地理解上述各种实施例的相关特征，可以通过参考各种实施例
(
其中一些已在附图中说明
)
对上述简要概括的本专利技术概念进行更具体的描述
。
但是，需要注意的是，所附的附图只说明专利技术概念的典型实施例，因此并不是以任何方式限制范围，还存在其他同样有效的实施例
。
[0011]图1是被配置成用于实施各个实施例的一个或更多个方面的计算机系统的框图；
[0012]图2是根据各个实施例的包括在图1的加速器处理子系统中的并行处理单元
(PPU)
的框图；
[0013]图3是根据各个实施例的包括在图2的并行处理单元
(PPU)
中的通用处理集群
(GPC)
的框图；
[0014]图4是根据各个实施例的包括在图1的
CPU
和
/
或图2的
PPU
中的高速缓存存储器系统的框图；
[0015]图5是根据各个实施例的具有一对一高速缓存行映射的图4的高速缓存存储器和高速缓存标签存储器的框图；
[0016]图6是根据各个实施例的具有灵活高速缓存行映射的图4的高速缓存存储器和高速缓存标签存储器的框图；
[0017]图7是根据各个实施例的具有未使用扇区的图4的高速缓存存储器和高速缓存标签存储器的框图；
[0018]图8是根据各个实施例的具有高速缓存行共享的图4的高速缓存存储器和高速缓存标签存储器的框图；
[0019]图9是根据其他各个实施例的具有高速缓存行共享的图4的高速缓存存储器和高速缓存标签存储器的框图；以及
[0020]图
10
是根据各个实施例的用于管理诸如图1的
CPU
或图2的
PPU
之类的处理单元的高速缓存存储器的方法步骤的流程图
。
具体实施方式
[0021]在以下描述中，阐述了许多具体细节以便提供对各个实施例的更彻底的理解
。
然而，对于本领域技术人本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于管理计算系统中的高速缓存存储器的计算机实现的方法，所述方法包括：检测第一高速缓存行分配请求以分配第一逻辑扇区；确定所述第一高速缓存行分配请求可与第二高速缓存行分配请求组合以分配第二逻辑扇区；以及将与所述第一逻辑扇区相关联的第一数据存储在所述高速缓存存储器的第一高速缓存行的第一物理扇区中，其中与所述第二逻辑扇区相关联的第二数据被存储在所述第一高速缓存行的第二物理扇区中
。2.
如权利要求1所述的计算机实现的方法，其中确定所述第一高速缓存行分配请求可与所述第二高速缓存行分配请求组合包括：确定所述第一逻辑扇区和所述第二逻辑扇区不重叠
。3.
如权利要求1所述的计算机实现的方法，其中确定所述第一高速缓存行分配请求可与所述第二高速缓存行分配请求组合包括：确定所述第一逻辑扇区和所述第二逻辑扇区在所述第一高速缓存行中重叠；以及确定所述第一逻辑扇区可以被移动到不与所述第二逻辑扇区重叠
。4.
如权利要求1所述的计算机实现的方法，还包括确定所述第一高速缓存行分配请求是瞬态高速缓存行分配请求
。5.
如权利要求1所述的计算机实现的方法，其中所述第一逻辑扇区是经由与所述高速缓存存储器相关联的第一标签组分配的，并且所述第二逻辑扇区是经由与所述高速缓存存储器相关联的第二标签组分配的
。6.
如权利要求1所述的计算机实现的方法，其中：所述第一高速缓存行分配请求和所述第二高速缓存行分配请求与作为一组波前而被执行的线程束指令相关联；所述第一逻辑扇区是经由包括在所述一组波前中的第一波前分配的；以及所述第二逻辑扇区是经由包括在所述一组波前中的第二波前分配的
。7.
如权利要求1所述的计算机实现的方法，还包括并发地访问所述第一物理扇区和所述第二物理扇区不会导致存储器数据组冲突
。8.
如权利要求1所述的计算机实现的方法，其中所述第一高速缓存行包括
128
字节，并且所述第一物理扇区包括
32
字节
。9.
如权利要求1所述的计算机实现的方法，其中所述第一高速缓存行包括四个物理扇区，所述四个物理扇区包括所述第一物理扇区和所述第二物理扇区
。10.
如权利要求1所述的计算机实现的方法，其中所述高速缓存存储器包括一级
L1
高速缓存
、1.5
级
L1.5
高速缓存或二级
L2
高速缓存
。11.
如权利要求1所述的计算机实现的方法，其中所述第一高速缓存行分配请...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：辉达公司，
类型：发明
国别省市：