数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:36898627 阅读:66 留言:0更新日期:2023-03-18 09:19
一种数据处理方法、装置、设备及存储介质,涉及计算机技术领域。方法包括:确定存储空间中待访问的目标数据;更新目标数据的第一频率参数和目标数据的第二频率参数,第一频率参数用于表示在目标数据最近两次访问间隔内被访问的不重复数据的个数,第二频率参数用于表示在最近n次访问中目标数据的被访问次数;在目标数据属于留存冷数据集合的情况下,若目标数据的第一频率参数小于或等于第一阈值,且目标数据的第二频率参数大于或等于第二阈值,则将目标数据从留存冷数据集合转移至热数据集合中。本申请适用多媒体数据存储和推送场景,针对一些突发的数据批量操作、周期性访问数据的情况,也能避免频繁的数据交换过程,有助于降低设备处理开销。低设备处理开销。低设备处理开销。

【技术实现步骤摘要】
数据处理方法、装置、设备及存储介质


[0001]本申请涉及计算机
,特别涉及一种数据处理方法、装置、设备及存储介质。

技术介绍

[0002]在数据运算统计过程中,需要对数据进行处理。
[0003]在相关技术中,通过LRU(Least Recently Used,最近最少使用)算法对数据进行处理。LRU算法认定,若一个数据被访问一次,则该数据在接下来的一段时间还会再次被访问,若某个数据过长时间未被访问,则该数据被重新访问的可能性较小。LRU算法的核心是交换未被访问时长最久的数据。
[0004]然而,针对一些突发的数据批量操作、周期性访问数据的情况,LRU算法会导致进行数据交换过程频繁发生,增加了不必要的数据交换次数。

技术实现思路

[0005]本申请提供了一种数据处理方法、装置、设备及存储介质,针对一些突发的数据批量操作、周期性访问数据的情况,也能避免频繁的数据交换过程。所述技术方案如下:
[0006]根据本申请实施例的一方面,提供了一种数据处理方法,所述方法包括:
[0007]确定存储空间中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:确定存储空间中待访问的目标数据,所述存储空间包括缓存空间和非缓存空间,所述缓存空间包括热数据集合和留存冷数据集合;更新所述目标数据的第一频率参数和所述目标数据的第二频率参数,所述目标数据的第一频率参数用于表示在所述目标数据最近两次访问间隔内被访问的不重复数据的个数,所述目标数据的第二频率参数用于表示在最近n次访问中所述目标数据的被访问次数,n为正整数;在所述目标数据属于所述留存冷数据集合的情况下,若所述目标数据的第一频率参数小于或等于第一阈值,且所述目标数据的第二频率参数大于或等于第二阈值,则将所述目标数据从所述留存冷数据集合转移至所述热数据集合中。2.根据权利要求1所述的方法,其特征在于,所述将所述目标数据从所述留存冷数据集合转移至所述热数据集合中,包括:确定所述热数据集合中各个热数据的第一频率参数,所述热数据的第一频率参数用于表示在所述热数据最近两次访问间隔内被访问的不重复数据的个数;从所述热数据集合中,选择所述第一频率参数符合第一条件的热数据,作为目标热数据;将所述目标数据从所述留存冷数据集合中移除,并添加至所述热数据集合中;以及,将所述目标热数据从所述热数据集合中移除,并添加至所述留存冷数据集合中。3.根据权利要求1所述的方法,其特征在于,所述将所述目标数据从所述留存冷数据集合转移至所述热数据集合中,包括:确定所述热数据集合中各个热数据的第二频率参数,所述热数据的第二频率参数用于表示在最近n次访问中所述热数据的被访问次数;从所述热数据集合中,选择所述第二频率参数符合第二条件的热数据,作为目标热数据;将所述目标数据从所述留存冷数据集合中移除,并添加至所述热数据集合中;以及,将所述目标热数据从所述热数据集合中移除,并添加至所述留存冷数据集合中。4.根据权利要求1所述的方法,其特征在于,所述更新所述目标数据的第一频率参数和所述目标数据的第二频率参数,包括:将所述目标数据的第三频率参数赋值给所述目标数据的第一频率参数,所述目标数据的第三频率参数用于表示所述目标数据最近一次访问后,被访问的不重复数据的个数;将所述目标数据的第二频率参数的当前数值加1,得到更新后的所述目标数据的第二频率参数。5.根据权利要求1所述的方法,其特征在于,所述确定存储空间中待访问的目标数据之后,还包括:在所述目标数据属于所述非缓存空间的情况下,从所述留存冷数据集合中包含的留存数据中,确定需要移出的目标留存数据;将所述目标数据从所述非缓存空间中移除,并添加至所述留存冷数据集合中;以及,将所述目标留存数据从所述留存数据集合中移除,并添加至所述非缓存空间中。6.根据权利要求5所述的方法,其特征在于,所述从所述留存冷数据集合中包含的留存
...

【专利技术属性】
技术研发人员:石志林
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1