数据回收方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40540309 阅读:17 留言:0更新日期:2024-03-05 18:55
本公开提供了一种数据回收方法、装置、计算机设备和存储介质,其中,该方法包括:响应于垃圾回收请求,从待处理的第一数据表中确定各个第一索引项;第一索引项中存储有第一键数据和第一键数据对应的第一键值对数据在第一数据表中的存储位置信息;根据日志结构合并树中的各个第二数据表,从各个第一索引项存储的第一键数据中筛选出有效的目标键数据;根据各个目标键数据所在的第一索引项中的存储位置信息,在第一数据表中读取各个目标键数据对应的目标值数据;根据目标键数据和目标值数据,构建新的第一数据表并回收待处理的第一数据表。在垃圾回收中有效减少数据读取量,提高垃圾回收的效率。

【技术实现步骤摘要】

本公开涉及计算机,具体而言,涉及一种数据回收方法、装置、计算机设备和存储介质


技术介绍

1、基于日志结构合并树(log-structured merge tree,以下简称lsm-tree)的键值存储系统,作为现代存储系统的基本组成部分,可以为分布式数据库、分布式文件系统、流数据处理等各种数据密集型应用提供底层存储服务。但是常规的lsm-tree键值存储系统内部因为需要在对数据进行合并(compaction)操作时进行频繁且反复的读写,造成了严峻的数据读写放大问题,造成了资源浪费。

2、为了解决读写放大问题,出现了键值分离的lsm-tree键值存储系统,虽然该类型的键值存储系统能够在一定程度上解决compaction操作导致的读写放大问题,但是需要引入垃圾回收(garbage collection,简称gc)操作。gc操作虽然能够起到对值数据所在的存储空间进行回收的作用,但是当前的gc操作在执行时需要对存储的所有值数据进行读取,不对无效数据进行区分,导致gc操作的效率被大大降低。


技术实现思路</b>

本文档来自技高网...

【技术保护点】

1.一种数据回收方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表,从各个所述第一索引项存储的所述第一键数据中筛选有效的目标键数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所述第一索引项存储的所述第一键数据中筛选出与任一所述第二键数据相同的第一键数据,作为有效的目标键数据,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所...

【技术特征摘要】

1.一种数据回收方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表,从各个所述第一索引项存储的所述第一键数据中筛选有效的目标键数据,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所述第一索引项存储的所述第一键数据中筛选出与任一所述第二键数据相同的第一键数据,作为有效的目标键数据,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所述第一索引项存储的所述第一键数据中筛选出与任一所述第二键数据相同的第一键数据,作为有效的目标键数据,包括:

5.根据权利要求3或4所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,在根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所述第一索引项存储的所述第一键数据中筛选出与任一所述第二键数据相同的第一键数据,作为有效的目标键数据之前,包括:

7.根据权利要求6所述的方法,其特征在于,所述根据所述日志结构合并树中当前的各个第二数据表中存储的各个第二键数据,从各个所述第一索引项存储的所述第一键数据中筛选出与任一所述第二键数据相同的第一键数据,作为有效的目标键数据,包括:

8.根据权利要求7所述的方法,其特征在于,根据所述目标键数据和所述目标值数据,构建新的第一数据表,包括:

【专利技术属性】
技术研发人员:张健顺王芳邱晟王义欧佳欣李宝泉黄俊勋冯丹
申请(专利权)人:抖音视界有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1