缓存替换策略的管理方法、装置、设备、介质和程序产品制造方法及图纸

本公开涉及一种缓存替换策略的管理方法、装置、设备、介质和程序产品。所述方法包括：对于任一访存请求组，根据属于所述访存请求组的访存请求的命中情况，确定所述访存请求组对应的命中统计数据；根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。换策略。换策略。

【技术实现步骤摘要】
缓存替换策略的管理方法、装置、设备、介质和程序产品


[0001]本公开涉及缓存
，尤其涉及一种缓存替换策略的管理方法、缓存替换策略的管理装置、电子设备、存储介质和程序产品。

技术介绍

[0002]随着相关技术的发展，对于诸如GPU(Graphics Processing Unit，图形处理器)、CPU(Central Processing Unit，中央处理器)等的处理器而言，其运算速度往往高于内存的读写速度，因此，通常在这类处理器中设置一级或两级以上缓存，以解决处理器运算速度与内存读写速度不匹配的问题。具体而言，缓存可以用于存储处理器频繁使用的数据，从而减少访问这些数据的延时，以便提升处理效率。
[0003]然而，受限于芯片面积和功耗，缓存容量通常远小于内存容量。因此，当缓存被占满时，需要合理的缓存替换策略来降低将最近可能使用到的数据替换出缓存的概率。因此，如何更好地优化缓存替换策略成为优化处理器处理效率的重要环节。

技术实现思路

[0004]本公开提供了一种缓存替换策略的管理技术方案。
[0005]根据本公开的一方面，提供了一种缓存替换策略的管理方法，包括：
[0006]对于任一访存请求组，根据属于所述访存请求组的访存请求的命中情况，确定所述访存请求组对应的命中统计数据；
[0007]根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。
[0008]在一种可能的实现方式中，所述方法还包括：
[0009]根据以下任意一项划分访存请求组：发起访存请求的模块的标识信息、访存请求所请求的目标数据的地址区间、发出访存请求的进程的标识信息。
[0010]在一种可能的实现方式中，所述根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，包括：
[0011]根据所述访存请求组对应的命中统计数据，以及其他访存请求组对应的命中统计数据，确定所述访存请求组在所有访存请求组中的排序；
[0012]根据所述排序，调整所述访存请求组对应的缓存替换策略。
[0013]在一种可能的实现方式中，所述根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，包括：
[0014]响应于第一周期结束，调整所述访存请求组对应的缓存替换策略，以在第二周期根据调整后的缓存替换策略处理属于所述访存请求组的访存请求，其中，所述第一周期为任一周期，所述第二周期为所述第一周期的下一周期；
[0015]获得所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据；
[0016]根据所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。
[0017]在一种可能的实现方式中，所述根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，包括：
[0018]根据所述访存请求组对应的命中统计数据，以及不同缓存替换策略对应的预设阈值，调整所述访存请求组对应的缓存替换策略。
[0019]在一种可能的实现方式中，所述命中统计数据包括命中率和/或命中次数。
[0020]在一种可能的实现方式中，所述方法还包括：
[0021]响应于任一访存请求，确定所述访存请求所属的目标访存请求组；
[0022]根据所述目标访存请求组对应的目标缓存替换策略，处理所述访存请求。
[0023]根据本公开的一方面，提供了一种缓存替换策略的管理装置，包括：
[0024]第一确定模块，用于对于任一访存请求组，根据属于所述访存请求组的访存请求的命中情况，确定所述访存请求组对应的命中统计数据；
[0025]调整模块，用于根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。
[0026]在一种可能的实现方式中，所述装置还包括：
[0027]分组模块，用于根据以下任意一项划分访存请求组：发起访存请求的模块的标识信息、访存请求所请求的目标数据的地址区间、发出访存请求的进程的标识信息。
[0028]在一种可能的实现方式中，所述调整模块用于：
[0029]根据所述访存请求组对应的命中统计数据，以及其他访存请求组对应的命中统计数据，确定所述访存请求组在所有访存请求组中的排序；
[0030]根据所述排序，调整所述访存请求组对应的缓存替换策略。
[0031]在一种可能的实现方式中，所述调整模块用于：
[0032]响应于第一周期结束，调整所述访存请求组对应的缓存替换策略，以在第二周期根据调整后的缓存替换策略处理属于所述访存请求组的访存请求，其中，所述第一周期为任一周期，所述第二周期为所述第一周期的下一周期；
[0033]获得所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据；
[0034]根据所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。
[0035]在一种可能的实现方式中，所述调整模块用于：
[0036]根据所述访存请求组对应的命中统计数据，以及不同缓存替换策略对应的预设阈值，调整所述访存请求组对应的缓存替换策略。
[0037]在一种可能的实现方式中，所述命中统计数据包括命中率和/或命中次数。
[0038]在一种可能的实现方式中，所述装置还包括：
[0039]第二确定模块，用于响应于任一访存请求，确定所述访存请求所属的目标访存请求组；
[0040]处理模块，用于根据所述目标访存请求组对应的目标缓存替换策略，处理所述访存请求。
[0041]根据本公开的一方面，提供了一种电子设备，包括：一个或多个处理器；用于存储可执行指令的存储器；其中，所述一个或多个处理器被配置为调用所述存储器存储的可执行指令，以执行上述方法。
[0042]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0043]根据本公开的一方面，提供了一种计算机程序产品，包括计算机可读代码，或者承载有计算机可读代码的非易失性计算机可读存储介质，当所述计算机可读代码在电子设备中运行时，所述电子设备中的处理器执行上述方法。
[0044]在本公开实施例中，通过对于任一访存请求组，根据属于所述访存请求组的访存请求的命中情况，确定所述访存请求组对应的命中统计数据，并根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，由此能够基于访存请求的命中情况动态调整各个访存请求组对应的缓存替换策略，即，能够实现缓存替换策略的自适应调整，从而有助于优化缓存访问策略，提升数据交互效率和处理器处理效率。本公开实施例提供的缓存替换策本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种缓存替换策略的管理方法，其特征在于，包括：对于任一访存请求组，根据属于所述访存请求组的访存请求的命中情况，确定所述访存请求组对应的命中统计数据；根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据以下任意一项划分访存请求组：发起访存请求的模块的标识信息、访存请求所请求的目标数据的地址区间、发出访存请求的进程的标识信息。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，包括：根据所述访存请求组对应的命中统计数据，以及其他访存请求组对应的命中统计数据，确定所述访存请求组在所有访存请求组中的排序；根据所述排序，调整所述访存请求组对应的缓存替换策略。4.根据权利要求1或2所述的方法，其特征在于，所述根据所述访存请求组对应的命中统计数据，调整所述访存请求组对应的缓存替换策略，包括：响应于第一周期结束，调整所述访存请求组对应的缓存替换策略，以在第二周期根据调整后的缓存替换策略处理属于所述访存请求组的访存请求，其中，所述第一周期为任一周期，所述第二周期为所述第一周期的下一周期；获得所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据；根据所述访存请求组在所述第一周期对应的命中统计数据，以及所述访存请求组在所述第二周期对应的命中统计数据，调整所述访存请求组对应的缓存替换策略。5.根据权利要求1或2所述的...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：