本申请实施例公开了一种缓存缺失率曲线的预测方法以及装置，用于提升缓存缺失率曲线的预测准确性。本申请实施例方法包括：获取第一数据流的第一数据特征，将第一特征向量输入预测模型，得到第一缺失率曲线，预测模型包括机器学习模型；其中，第一缺失率曲线被用于确定第二数据流的缓存空间，第一数据流和第二数据流分别包括在两个不同的时段中应用程序的访问数据，第一特征向量通过对第一数据特征执行归一化操作后得到。行归一化操作后得到。行归一化操作后得到。
【技术实现步骤摘要】
一种缓存缺失率曲线的预测方法以及装置
[0001]本申请实施例涉及计算机领域，尤其涉及一种缓存缺失率曲线的预测方法以及装置。
技术介绍
[0002]缓存是一种位于两种速度相差较大的硬件之间用于协调两者数据传输速度差异的硬件结构。当多个应用程序共享固定大小的缓存空间时，由于各应用程序对缓存需求不同且随时间发生变化，如何动态分配合适的缓存空间给不同应用程序是提高系统整体性能的关键所在。
[0003]为了提高系统整体性能，计算设备通过缓存缺失率曲线(miss ratio curve，MRC)能够指示缓存空间的分配。在目前预测缺失率曲线的方案中，计算设备基于应用程序所要访问数据的重用距离预测缺失率曲线，由于基于重用距离的预测方法仅能够在最少最近使用(least recently used，LRU)缓存替换算法下准确预测缺失率曲线。当缓存采用其他的替换算法管理缓存中的数据时，基于重用距离的缺失率曲线预测方法预测准确率低。
[0004]因此，基于重用距离的缺失率曲线预测方法对于不同缓存的预测通用性差，对于非LRU替换算法的缓存预测缺失率曲线的准确率低。
技术实现思路
[0005]本申请实施例提供了一种缓存缺失率曲线的预测方法以及装置，用于提升缓存缺失率曲线的预测准确性。
[0006]本申请实施例第一方面提供了一种缓存缺失率曲线的预测方法，该方法可以由计算设备执行，也可以由计算设备的部件，例如计算设备的处理器、芯片或芯片系统等执行，还可以由能实现全部或部分计算设备功能的逻辑模块或软件实现。以计算设备执行为例，该缓存缺失率曲线预测方法包括：计算设备获取第一数据流的第一数据特征。计算设备将第一特征向量输入预测模型，得到第一缺失率曲线，第一特征向量通过对第一数据特征执行归一化操作后得到。预测模型包括机器学习模型，机器学习模型例如多层感知器模型和卷积神经网络模型；其中，第一缺失率曲线被用于确定第二数据流的缓存空间，第一数据流和第二数据流分别包括在两个不同的时段中应用程序的访问数据。
[0007]本申请实施例中计算设备能够基于输入预测模型预测的第一数据流得到缓存缺失率曲线，并根据缓存缺失率曲线确定第二数据流的缓存空间。由于预测模型可以是在不同缓存数据替换算法下的数据标签训练得到的机器学习模型，因此，对于不同类型的缓存，计算设备选择相应的预测模型预测缓存缺失率曲线，从而提升了缓存缺失率曲线的预测准确性，进一步提高了缓存空间利用效率。
[0008]一种可能的实施方式中，第一数据特征包括以下一项或多项：累计重用时间分布、重用率、频率分布或频率类特征，累计重用时间分布包括第一数据流中重复数据之间间隔的数据个数的累计分布，重用率包括第一数据流中重复数据与数据总个数的比值，频率分
布包括第一数据流中数据的重复频率的分布，频率类特征包括频率分布中不同频率的个数。
[0009]本申请实施例中计算设备能够根据第一数据流获取多种第一数据特征，从而根据多种第一数据特征得到缓存缺失率曲线，基于多种第一数据特征预测得到缓存缺失率曲线提升了缓存缺失率曲线的准确性。
[0010]一种可能的实施方式中，计算设备根据第一缺失率曲线确定第二数据流的缓存空间，并将第二数据流缓存在缓存空间。具体的，计算设备得到第一缺失率曲线之后，根据性能要去确定出缓存缺失率的第一阈值，该第一阈值即为满足性能要求的最低缓存缺失率，计算设备根据第一阈值在缓存缺失率曲线上确定出相应的缓存容量，并按照该缓存容量将第二数据缓存至缓存空间。
[0011]本申请实施例中计算设备基于第一缺失率曲线确定第二数据流的缓存容量，并按照该缓存容量将第二数据流存入缓存空间，由于第一缓存缺失率能够指示第二数据流的缓存容量分配，使得计算设备在满足时延性能要求的前提下分配较小的缓存空间，从而提升了缓存空间的收益，节约了缓存缓空间。
[0012]一种可能的实施方式中，第一数据流包括在第一时段中应用程序的访问数据，第二数据流包括在第二时段中应用程序的访问数据，第二时段在第一时段之后。第一时段中的应用程序和第二时段中的应用程序可以是相同的应用程序，也可以不同的应用程序，具体不做限定。
[0013]本申请实施例计算设备根据在前时段中应用程序的访问数据得到缓存缺失率曲线，并根据缓存缺失率曲线调整在后时段的访问数据的缓存空间，使得计算设备在满足时延性能要求的前提下实时调整在后时段访问数据的缓存空间，从而提升了缓存空间的利用率。
[0014]一种可能的实施方式中，计算设备预测第一缺失率曲线之前，计算设备获取第三数据流。计算设备基于标签获取模块对第三数据流执行缓存分配操作，得到第二缺失率曲线的标签。具体的，计算设备将第三数据流分别缓存至不同大小的缓存空间，得到第二缺失率曲线的标签，该第二缺失率曲线的标签即为执行真实缓存操作得到的缺失率曲线，标签获取模块用于模拟缓存的数据替换算法生成第二缺失率曲线的标签。计算设备根据第三数据流和第二缺失率曲线的标签训练预测模型。
[0015]本申请实施例中计算设备能够基于标签获取模块对第三数据流执行缓存分配操作得到第二缓存缺失率曲线的标签，并该第三数据流和第二缺失率曲线的标签训练得到预测模型，由于标签获取模块能够模拟不同的缓存数据替换算法，因此从提升了预测模型的对于在不同缓存数据替换算法的适用性。
[0016]一种可能的实施方式中，计算设备根据第三数据流和第二缺失率曲线的标签训练预测模型的过程中，计算设备构建预测模型，并获取第三数据流的第二数据特征。计算设备将第二特征向量输入预测模型，得到第二缺失率曲线，第二特征向量通过对第一数据特征执行归一化操作得到。计算设备根据第二缺失率曲线和第二缺失率曲线的标签计算得到预测模型的损失函数。计算设备基于损失函数调整预测模型的参数得到预测模型。
[0017]本申请实施例中计算设备在计算设备根据第三数据流和第二缺失率曲线的标签训练预测模型的过程中，计算设备根据预测得到第二缺失率曲线和第二缺失率曲线的标签
计算得到预测模型的损失函数，并基于损失函数调整预测模型的参数得到更新后预测模型，从而提升了预测模型的预测准确性。
[0018]一种可能的实施方式中，预测模型包括输入层、隐藏层和输出层，计算设备基于损失函数更新预测模型的过程中，计算设备基于损失函数更新预测模型每一层的权重参数和偏置参数。
[0019]本申请实施例中计算设备基于损失函数更新预测模型每一层的权重参数和偏置参数，从而提升了方案的可实现性。
[0020]一种可能的实施方式中，第三数据流包括训练数据流和测试数据流，训练数据流用于训练预测模型，测试数据流用于测试训练完成的预测模型。训练数据流和测试数据流的比例例如为9比1。
[0021]本申请实施例中计算设备将第三数据流分为训练数据流和测试数据流，从提升了预测模型训练过程的可实现性。
[0022]本申请实施例第二方面提供了一种缓存缺失率曲线的预测装置，该预测装置包括获取单元和处理单元。其中，获取单元用于获取第一数据流的第一数据本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种缓存缺失率曲线的预测方法，其特征在于，包括：获取第一数据流的第一数据特征；将第一特征向量输入预测模型，得到第一缺失率曲线，所述预测模型包括机器学习模型；其中，所述第一缺失率曲线被用于确定第二数据流的缓存空间，所述第一数据流和所述第二数据流分别包括在两个不同的时段中应用程序的访问数据，所述第一特征向量通过对所述第一数据特征执行归一化操作后得到。2.根据权利要求1所述的方法，其特征在于，所述第一数据特征包括以下一项或多项：累计重用时间分布、重用率、频率分布或频率类特征，所述累计重用时间分布包括所述第一数据流中重复数据之间间隔的数据个数的累计分布，所述重用率包括所述第一数据流中重复数据与数据总个数的比值，所述频率分布包括所述第一数据流中数据的重复频率的分布，所述频率类特征包括所述频率分布中不同频率的个数。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据所述第一缺失率曲线确定所述第二数据流的缓存空间；将所述第二数据流缓存在所述缓存空间。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第一数据流包括在第一时段中应用程序的访问数据，所述第二数据流包括在第二时段中应用程序的访问数据，所述第二时段在所述第一时段之后。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括：获取第三数据流；基于标签获取模块对所述第三数据流执行缓存分配操作，得到第二缺失率曲线的标签，所述标签获取模块用于模拟缓存的数据替换算法生成所述第二缺失率曲线的标签；根据所述第三数据流和所述第二缺失率曲线的标签训练所述预测模型。6.根据权利要求5所述的方法，其特征在于，所述根据所述第三数据流和所述第二缺失率曲线的标签训练所述预测模型包括：构建预测模型；获取所述第三数据流的第二数据特征；将所述第二特征向量输入所述预测模型，得到第二缺失率曲线，所述第二特征向量通过对所述第一数据特征执行归一化操作得到；根据所述第二缺失率曲线和所述第二缺失率曲线的标签计算得到所述预测模型的损失函数；基于所述损失函数调整所述预测模型的参数得到所述预测模型。7.根据权利要求6所述的方法，其特征在于，所述预测模型包括输入层、隐藏层和输出层，所述基于所述损失函数更新所述预测模型包括：基于所述损失函数更新所述预测模型每一层的权重参数和偏置参数。8.根据权利要求5至7中任一项所述的方法，其特征在于，所述第三数据流包括训练数据流和测试数据流，所述训练数据流用于训练所述预测模型，所述测试数据流用于测试训练完成的预测模型。9.一种缓存缺失率曲线的预测装置，其特征在于，包括：获取单元，用于获取第一数据流的第一数据特征；
处理单元，用于将第一特征向量输入预测模型，得到第一缺失率曲线，所述预测模型包括机器学习模型；其中，所述第一缺失率曲线被用于确定第二数据流的缓存空...
【专利技术属性】
技术研发人员：顾怡斌，王桦，周可，方维，胡刚，程卓，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。