访存策略管理方法及装置、处理器和计算设备制造方法及图纸

本公开提供了一种访存策略管理方法及装置、处理器和计算设备。该方法包括：基于历史访问请求的命中情况，更新地址管理表，地址管理表包括与地址区间对应的命中统计数据，历史访问请求为针对地址区间内的历史目标地址的访问请求；基于命中统计数据，确定与地址区间对应的访存策略参数；响应于接收到针对地址区间内的目标地址的访问请求，将访存策略参数添加至访问请求，以更新访问请求；将更新后的访问请求发送至缓存单元。该方法可以实现访存策略参数的自适应动态调整，有助于优化缓存访问策略，并提升数据交互效率和处理器处理效率。并提升数据交互效率和处理器处理效率。并提升数据交互效率和处理器处理效率。

【技术实现步骤摘要】
访存策略管理方法及装置、处理器和计算设备


[0001]本公开涉及缓存
，具体地，涉及一种访存策略管理方法及装置、处理器和计算设备。

技术介绍

[0002]随着相关技术的发展，对于诸如GPU（Graphics Processing Unit，图形处理器）、CPU（Central Processing Unit，中央处理器）等的处理器而言，其运算速度往往高于内存的读写速度，因此，通常在这类处理器中设置一级或多级缓存，以解决处理器运算速度与内存读写速度不匹配的问题。具体而言，缓存可以用于存储处理器频繁使用的数据，从而减少访问这些数据所需要的时延，以便提升处理效率。然而，由于缓存存储空间的大小往往远小于内存存储空间的大小，故其仅能够根据预先设置的访存策略容纳小部分来自内存的数据。因此，如何更好地优化访存策略成为优化处理器处理效率的重要环节。

技术实现思路

[0003]有鉴于此，本申请提供了一种访存策略管理方法、访存策略管理装置、处理器和计算设备，可以缓解、减轻或甚至消除上述问题。
[0004]根据本公开的一方面，提供了一种访存策略管理方法，包括：基于历史访问请求的命中情况，更新地址管理表，地址管理表包括与地址区间对应的命中统计数据，历史访问请求为针对地址区间内的历史目标地址的访问请求；基于命中统计数据，确定与地址区间对应的访存策略参数；响应于接收到针对地址区间内的目标地址的访问请求，将访存策略参数添加至访问请求，以更新访问请求；将更新后的访问请求发送至缓存单元。
[0005]在一些实施例中，基于历史访问请求的命中情况，更新地址管理页表包括：接收由缓存单元反馈的历史访问请求的命中情况，命中情况包括以下各项中的至少一项：指示历史目标地址是否被命中的信息、历史目标地址的平均命中距离、历史目标地址累计被命中的次数；基于命中情况，在地址管理表中更新与地址区间对应的命中统计数据。
[0006]在一些实施例中，基于命中情况，在地址管理表中更新与地址区间对应的命中统计数据包括：基于命中情况和预设统计机制，确定与历史访问请求对应的命中统计值，命中统计值包括以下各项中的至少一项：历史目标地址的命中距离统计值、历史目标地址的命中次数统计值；基于命中统计值，在地址管理表中更新与地址区间对应的命中统计数据，命中统计数据包括以下各项中的至少一项：统计命中距离、统计命中次数。
[0007]在一些实施例中，基于命中统计数据，确定与地址区间对应的访存策略参数包括：响应于命中统计数据满足预设条件，将与地址区间对应的访存策略参数设定为预设参数；响应于命中统计数据不满足预设条件，将与地址区间对应的访存策略参数保持为默认参数。
[0008]在一些实施例中，上述方法还包括：响应于与地址区间对应的访存策略参数为预设参数，并且命中统计数据满足预设降级条件，将与地址区间对应的访存策略参数恢复为
默认参数，其中，预设降级条件包括以下各项中的至少一项：在预设时间窗口内地址区间的统计命中次数满足预设阈值条件、地址区间的统计命中距离的变化趋势满足第一预设趋势条件、地址区间的统计命中次数的变化趋势满足第二预设趋势条件。
[0009]在一些实施例中，上述方法还包括：响应于具有预设参数的地址区间的数量达到预设阈值，并且一个具有默认参数的地址区间的命中统计数据满足预设条件，将阈值数量个具有预设参数的地址区间中的一个地址区间的访存策略参数恢复为默认参数。
[0010]在一些实施例中，地址管理表包括本地缓存部分和非本地缓存部分，以及，上述方法还包括：响应于本地缓存部分中的地址区间被非本地缓存部分中的地址区间替换，在本地缓存部分中，将与替换后的地址区间对应的命中统计数据置零。
[0011]在一些实施例中，访存策略参数包括以下各项中的至少一项：访问段长度、缓存申请策略、替换优先级。
[0012]根据本公开的另一方面，提供了一种访存策略管理装置，包括：第一更新模块，被配置为：基于历史访问请求的命中情况，更新地址管理表，地址管理表包括与地址区间对应的命中统计数据，历史访问请求为针对地址区间内的历史目标地址的访问请求；确定模块，被配置为：基于命中统计数据，确定与地址区间对应的访存策略参数；第二更新模块，被配置为：响应于接收到针对地址区间内的目标地址的访问请求，将访存策略参数添加至访问请求，以更新访问请求；发送模块，被配置为：将更新后的访问请求发送至缓存单元。
[0013]根据本公开的又一方面，提供了一种处理器，包括：执行单元，被配置为发起针对目标地址的访问请求；缓存单元，被配置为基于访存策略管理缓存单元中的来自各地址区间的数据，访存策略包括访存策略参数；访存策略管理单元，被配置为执行根据前述方面的任一实施例描述的访存策略管理方法。
[0014]根据本公开的又一方面，提供了一种计算设备，包括存储器和如前述方面描述的处理器，其中，存储器包括多个地址区间。
[0015]通过本公开的前述方面提供的访存策略管理方法，可以基于历史访问请求的命中情况动态调整与各个地址区间对应的访存策略参数，随后，在接收到新的访问请求时，通过向该访问请求添加与相应地址区间对应的经调整的访存策略参数来更新该访问请求，并将更新后的访问请求发送至缓存单元，以便缓存单元可以根据访问请求所携带的访存策略参数来执行相应的缓存管理操作。由此，可以实现各个地址区间的访存策略参数的运行时的自适应调整，较少所有地址使用相同访存策略参数带来的诸多问题，比如一次性访问数据或低频访问数据对高频访问数据的挤占等问题，同时无需预先手动设置各个地址或各个地址区间的访存策略参数，解决手动设置所额外消耗的人力、时间成本以及预先设置与实际运行时数据访问情况不匹配的问题等。因此，本公开提供的缓存方法有助于提升缓存访问策略的灵活性，有助于优化缓存访问策略，进而有助于提升数据交互效率和处理器的处理效率。
[0016]根据在下文中所描述的实施例，本申请的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0017]在下面结合附图对于示例性实施例的描述中，本申请的更多细节、特征和优点被
公开，在附图中：图1示意性示出了相关技术中的计算系统的示例框图；图2示意性示出了根据本公开的一些实施例的访存策略管理方法的示例流程图；图3示意性示出了根据本公开的一些实施例的访问请求处理过程的示例流程图；图4示意性示出了根据本公开的一些实施例的访存策略管理单元的示例结构框图；图5示意性示出了根据本公开的一些实施例的访存策略管理装置的示例框图；图6示意性示出了根据本公开的一些实施例的处理器结构的示例框图；图7示意性示出了根据本公开的一些实施例的计算设备的示例框图。
具体实施方式
[0018]图1示意性示出了相关技术中的计算设备100的示例框图。如图所示，计算设备100可以包括处理器110和内存120。可选地，处理器110可以为CPU、GPU等，其可以包括执行单元111和缓存单元112。示例性地，执行单元111可以发起对内存120本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种访存策略管理方法，其特征在于，所述方法包括：基于历史访问请求的命中情况，更新地址管理表，所述地址管理表包括与地址区间对应的命中统计数据，所述历史访问请求为针对所述地址区间内的历史目标地址的访问请求；基于所述命中统计数据，确定与所述地址区间对应的访存策略参数；响应于接收到针对所述地址区间内的目标地址的访问请求，将所述访存策略参数添加至所述访问请求，以更新所述访问请求；将更新后的访问请求发送至缓存单元。2.根据权利要求1所述的方法，其特征在于，所述基于历史访问请求的命中情况，更新地址管理页表包括：接收由所述缓存单元反馈的所述历史访问请求的命中情况，所述命中情况包括以下各项中的至少一项：指示所述历史目标地址是否被命中的信息、所述历史目标地址的平均命中距离、所述历史目标地址累计被命中的次数；基于所述命中情况，在所述地址管理表中更新与所述地址区间对应的命中统计数据。3.根据权利要求2所述的方法，其特征在于，所述基于所述命中情况，在所述地址管理表中更新与所述地址区间对应的命中统计数据包括：基于所述命中情况和预设统计机制，确定与所述历史访问请求对应的命中统计值，所述命中统计值包括以下各项中的至少一项：所述历史目标地址的命中距离统计值、所述历史目标地址的命中次数统计值；基于所述命中统计值，在所述地址管理表中更新与所述地址区间对应的命中统计数据，所述命中统计数据包括以下各项中的至少一项：统计命中距离、统计命中次数。4.根据权利要求1所述的方法，其特征在于，所述基于所述命中统计数据，确定与所述地址区间对应的访存策略参数包括：响应于所述命中统计数据满足预设条件，将与所述地址区间对应的访存策略参数设定为预设参数；响应于所述命中统计数据不满足预设条件，将与所述地址区间对应的访存策略参数保持为默认参数。5.根据权利要求4所述的方法，其特征在于，所述方法还包括：响应于与所述地址区间对应的访存策略参数为所述预设参数，并且所述命中统计数据满足预设降级条件，将与所述地址区间对应的访存策略参数恢复为所述默认参数，其中，所述预设降级条件包括以下各项中的至...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：摩尔线程智能科技北京有限责任公司，
类型：发明
国别省市：