一种基于组级学习的缓存学习方法及系统技术方案

技术编号:42425042 阅读:15 留言:0更新日期:2024-08-16 16:39
本发明专利技术涉及计算机存储技术领域,提供了一种基于组级学习的缓存学习方法及系统。该方法包括,获取组级特征和子组级特征;当缓存需要进行淘汰时,根据待预测组的组级特征,采用已训练的组的梯度提升树模型,得到该组的预测效用值;根据组内子组的子组级特征,采用已训练的子组的梯度提升树模型,得到该子组的预测效用值;分别将组的预测效用值和子组的预测效用值按照数值大小进行排序;从效用值最低的组开始,选择与该组写入时间最接近的N‑1个组,构成一个包含N个组的淘汰候选集合;从N个组的淘汰候选集合,选择保留效用值高于设定值的若干个子组,其余淘汰出缓存。本发明专利技术能够更准确地预测数据对象组的效用,且减少不必要的缓存淘汰。

【技术实现步骤摘要】

本专利技术涉及计算机存储,尤其涉及一种基于组级学习的缓存学习方法及系统


技术介绍

1、本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息,不必然构成在先技术。

2、传统的缓存管理主要依赖于一些启发式策略,这类简单策略虽然实现高效,但难以充分利用数据访问的复杂模式,在许多场景下无法达到理想的缓存效率。近年来,机器学习技术的发展为缓存管理开辟了新的思路。学习型缓存利用机器学习技术,从数据中自动学习访问模式,能够更好地适应工作负载的特点,动态调整缓存决策,从而显著提升缓存命中率。

3、现有的学习型缓存主要分为三类:数据对象级学习、分布学习和简单专家学习。数据对象级学习不仅学习每个数据对象的特征,还可以学习数据对象之间的关联性,有助于提高缓存命中率。但是,数据对象级学习的存储和计算成本都比较大。分布学习通过数据对象维度的采样来学习整体数据的访问分布,还可以学习数据的时间局部性和空间局部性等特征。它的开销较小,虽然细粒度程度不如数据对象级学习,但可以在较低开销下取得不错的效果。简单专家学习则动态选择多个策略作为专家,专家可以是传统缓存策本文档来自技高网...

【技术保护点】

1.一种基于组级学习的缓存学习方法,其特征在于,包括:

2.根据权利要求1所述的基于组级学习的缓存学习方法,其特征在于,定义子组的效用函数,方法包括:根据数据对象的访问次数与数据对象的大小之间的比值,定义每个数据对象的效用函数;将子组内所有数据对象的效用函数累加,得到每个子组的效用函数。

3.根据权利要求2所述的基于组级学习的缓存学习方法,其特征在于,定义组的效用函数,方法包括:将组内子组的效用函数累加,得到每个组的效用函数。

4.根据权利要求1所述的基于组级学习的缓存学习方法,其特征在于,所述训练集的构建过程包括:对缓存中的组进行采样,根据子组的效用...

【技术特征摘要】

1.一种基于组级学习的缓存学习方法,其特征在于,包括:

2.根据权利要求1所述的基于组级学习的缓存学习方法,其特征在于,定义子组的效用函数,方法包括:根据数据对象的访问次数与数据对象的大小之间的比值,定义每个数据对象的效用函数;将子组内所有数据对象的效用函数累加,得到每个子组的效用函数。

3.根据权利要求2所述的基于组级学习的缓存学习方法,其特征在于,定义组的效用函数,方法包括:将组内子组的效用函数累加,得到每个组的效用函数。

4.根据权利要求1所述的基于组级学习的缓存学习方法,其特征在于,所述训练集的构建过程包括:对缓存中的组进行采样,根据子组的效用函数和组的效用函数,分别计算子组效用值和组效用值;构建包括组级特征、组内子组的子组级特征、组效用值和子组效用值的训练集。

5.根据权利要求1所述的基于组级学习的缓存学习方法,其特征在于,所述组级特征包括静态特征和动态特征,所述静态特征包括:请求率、写入率及平均子组大小,所述动态特征包括:子组的年龄、请求数量及请求数据对象的数量。

6.根据权利要求1所述的基于组级学习的缓存学习...

【专利技术属性】
技术研发人员:王继彬张晨王同军杨美红郭莹吴晓明冯守鹏王晶刘鹏程
申请(专利权)人:齐鲁工业大学山东省科学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1