一种数据预加载方法和装置制造方法及图纸

本发明专利技术涉及一种数据预加载方法和装置，所述方法包括:步骤S1：获取任务执行时的处理单元运行参数和处理单元块运行参数；步骤S2：基于处理单元运行参数作处理单元块内数据预加载，并在处理单元块内整体任务资源受限时，进入步骤S3；步骤S3：判断三级cache的换入换出率是否超过第二阈值，如果否，则基于处理单元运行参数作处理单元块外的数据预加载；步骤S4：持续监测数据并判断数据预加载时机是否到来，如果是，则返回步骤S1；否则，持续监测数据。本发明专利技术通过数据预加载的方式来动态干预任务执行过程中对资源的需求的改变；解决瓶颈资源使用冲突的问题，从而最终提高系统的整体执行效率。率。率。

【技术实现步骤摘要】
一种数据预加载方法和装置


[0001]本专利技术属于存储空间管理
，尤其涉及一种数据预加载方法和装置。

技术介绍

[0002]随着半导体技术的快速发展和稳定，在同一个芯片上的处理单元个数越来越多，种类也越来越多。随着处理单元个数的增加，芯片上的计算资源密度更高，同时需要进行管理的资源和任务数量也越来越多。而目前比较流行的资源分享方式是公平分享，公平分享是指资源和任务调度中常用的调度策略，指的是当把有限的资源分配给多个用户时，根据事先定义的调度策略自动合理分配每个用户所用资源的数量。
[0003]随着用户需求类型的不断改变，任务的类型也非常多样，比如：计算资源需求型需要大量的计算资源而对存储资源需要较少；比如：存储资源需求型，对计算资源少而对存储资源需要较多，当然也有通信资源需求型等多种类型。在将这些任务调度到繁多的，结构差异较大的处理单元上后，任务本身的特性就会展现出来。例如，当两个需求类型相同或者相似的任务被调度到同一个处理单元块时，会发生很严重的CPU资源竞争，那么当大量的任务大量到来的时候，任务可能因为资源消耗殆尽而进入长时间等待的阶段，这个阶段可能有些类型的CPU资源是没有被充分利用的。又例如，当一个任务占据一个处理单元大量内存资源时，任务的性能也可能受到严重影响。现有的调度算法虽然丰富多样，但是因为任务调度的随机性太大，但是调度算法本身总是发生在任务真正被执行之前，因此，其必然有先天的劣势，尤其是随着处理单元个数的爆炸性增长，这种劣势更加凸显，基于动态执行的干预方法是一种较好的解决方案。/>[0004]一种常见的动态干预方式是进行存储资源的划分，但是存储资源的划分是一种相对消极的应对方式，没有充分的利用处理单元的结构以及系统结构，是在原有已分配处理单元资源上的一种控制方式。现有技术中的数据预加载的相关研究往往是针对视频等数据依赖型任务的预加载控制，这种控制方式目的相对单一，不能应对经过类型复杂任务调度结果后的数据加载控制；本专利技术提出通过数据预加载的方式来动态干预任务执行过程中对资源的需求的改变；将任务对各种类型的资源敏感程度转换为量化的指标，基于该量化指标解决瓶颈的cache资源使用冲突，从而最终提高整体系统的使用效率。

技术实现思路

[0005]为了解决现有技术中的上述问题，本专利技术提出了一种数据预加载方法和装置，所述方法包含：步骤S1：获取任务执行时的处理单元运行参数和处理单元块运行参数；具体的：获取处理单元运行参数，包括：获取处理单元块中第i处理单元的二级cache缺失率，二级cache的换入换出率；获取处理单元块运行参数，包括：获取三级cache的换入换出率；其中：每个处理单元块中包含多个处理单元；所述每个处理单元设置有一级
cache，处理单元块中设置有处理单元块内处理单元共享的二级cache,处理单元块之间共享三级cache和内存；每个处理单元运行一个任务；步骤S2：基于处理单元运行参数作处理单元块内数据预加载，并在处理单元块内整体任务资源受限时，进入步骤S3；其中：所述处理单元块内数据预加载是针对二级cache空间的数据预加载；所述步骤S2具体包括如下步骤：步骤S21：判断二级cache的换入换出率TRL2是否大于第一阈值，如果是，则进入下一步骤；否则，步骤S2结束，进入步骤S4；步骤S22：获取处理单元块中每个处理单元上运行任务的当前运行位置；步骤S23：基于当前运行位置查找任务静态二级cache缺失率和任务当前二级cache缺失率；其中：任务静态二级cache缺失率为任务在基准软硬件环境下运行任务至当前运行位置时的二级cache缺失率；步骤S24：确定是否为整体任务资源受限，如果是，则进入步骤S3，否则，进入下一步骤；步骤S25：确定资源受限的任务，并进入下一步骤；所述确定资源受限的任务，具体为：对于第i个任务来说，若受限指数，则确定所述第i个任务的资源受限；反之，为任务资源不受限的任务；；；其中：为累积变量；N为任务数量，也就是，任务单元块中任务单元的数量；步骤S26：为所述资源受限的任务作二级cache空间数据预加载；将任务资源受限任务的数据集按照受限程度的大小提前加载到二级cache空间中，使得受限程度高的任务预加载的数据占比高，反之亦然；步骤S3：判断三级cache的换入换出率是否超过第二阈值，如果否，则基于处理单元运行参数作处理单元块外的数据预加载，从而提前从内存中将被冲刷出三级cache的任务中间计算数据或输入数据集中的数据加载到L3cahce中；其中：所述处理单元块外的数据预加载为针对三级cache空间的数据预加载；步骤S4：持续监测数据并判断数据预加载时机是否到来，如果是，则返回步骤S1；否则，持续监测数据。
[0006]进一步的，所述步骤S4中，当L3cache的换入换出率TRL3不超过第二阈值时，需要进行反馈。
[0007]进一步的，所述反馈为人工反馈。
[0008]进一步的，所述反馈为基于操作系统的反馈。
[0009]进一步的，所述第一阈值和第二阈值是预设值。
[0010]一种数据预加载装置，所述数据预加载装置包括处理单元块、预加载单元；所述预
加载单元用于执行所述的数据预加载方法。
[0011]一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述的数据预加载方法。
[0012]一种执行设备，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现所述的数据预加载方法。
[0013]一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行所述的数据预加载方法。
[0014]一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行所述的数据预加载方法。
[0015]本专利技术的有益效果包括：（1）基于静态数据的指导进行L2cahce空间的数据预加载，干预后续任务执行过程中的L2cache空间竞争，并通过L2cache空间的任务间自然竞争使得L2cache空间达到新的平衡，在提高有用数据的利用率的同时，提高了软硬件资源的综合利用率；（2）在考虑缺失率静态变化趋势的基础上为受限任务做L3cache的数据预加载，在处理单元块整体资源受限的情况下，在过滤数据使用毛刺的同时使得L3cache作为充足的缺失补充，提高了整体执行效率；（3）通过调整因子精细化控制预加载成本，使得预加载数据发生在性能增加最大的任务上，从而在局部范围内最大化利用了预加载的控制资源。
附图说明
[0016]此处所说明的附图是用来提供对本专利技术的进一步理解，构成本申请的一部分，但并不构成对本专利技术的不当限定，在附图中：图1为本专利技术提供的一种数据预加载方法示意图。
[0017]图2为本专利技术实施例中的任务执行效率示意图。
具体实施方式
[0018]下面将结合附图以及具体实施例来详细说明本专利技术，其中的示意性实施例以及说明仅用来解释本专利技术，但并不作为对本专利技术的限定。
[0019]本专利技术提出一种数据预加本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据预加载方法，其特征在于，所述方法包含：步骤S1：获取任务执行时的处理单元运行参数和处理单元块运行参数；具体的：获取处理单元运行参数，包括：获取处理单元块中第i处理单元的二级cache缺失率，二级cache的换入换出率；获取处理单元块运行参数，包括：获取三级cache的换入换出率；其中：每个处理单元块中包含多个处理单元；所述每个处理单元设置有一级cache，处理单元块中设置有处理单元块内处理单元共享的二级cache,处理单元块之间共享三级cache和内存；每个处理单元运行一个任务；步骤S2：基于处理单元运行参数作处理单元块内数据预加载，并在处理单元块内整体任务资源受限时，进入步骤S3；其中：所述处理单元块内数据预加载是针对二级cache空间的数据预加载；所述步骤S2具体包括如下步骤：步骤S21：判断二级cache的换入换出率TRL2是否大于第一阈值，如果是，则进入下一步骤；否则，步骤S2结束，进入步骤S4；步骤S22：获取处理单元块中每个处理单元上运行任务的当前运行位置；步骤S23：基于当前运行位置查找任务静态二级cache缺失率和任务当前二级cache缺失率；其中：任务静态二级cache缺失率为任务在基准软硬件环境下运行任务至当前运行位置时的二级cache缺失率；步骤S24：确定是否为整体任务资源受限，如果是，则进入步骤S3，否则，进入下一步骤；步骤S25：确定资源受限的任务，并进入下一步骤；所述确定资源受限的任务，具体为：对于第i个任务来说，若受限指数，则确定所述第i个任务的资源受限；反之，为任务资源不受限的任务；；；其中：为累积变量；N为任务数量，也就是，任务单元块中任务单元的数量；步骤S26：为所述资源受限的任务作二级cache空间数据预加载；将任务资源受限任务的数据集按照受限程度的大小提前加载到二级cache空间中，使得受限程度高的任务预加载的数据占比高，反之亦然；步骤S3：判断三...

【专利技术属性】
技术研发人员：耿晓祥，林明杰，曾星星，许荣祥，
申请(专利权)人：苏州云途半导体有限公司，
类型：发明
国别省市：