一种基于键值分离的键值存储的高效日志回收方法技术

技术编号:45172564 阅读:31 留言:0更新日期:2025-05-09 12:46
本发明专利技术涉及计算机网络与计算机存储领域,具体公开了一种基于键值分离的键值存储的高效日志回收方法,包括:初始化存储系统;在地址转换表中记录新写入的键值对的逻辑地址和物理地址;判断压缩过程中是否产生了无效的键值对,如果压缩过程中,产生了无效的键值对,那么就提取无效的键值对索引,获取无效键值对的“文件号”和“偏移量”信息,在对应的位图的相应位置k上将其标记为无效,同时对日志的无效值的计数C也进行增加;判断日志中无效值的数量C是否超过阈值,如果日志中无效值的数量C超过阈值N时,将触发该日志的回收过程;完成了整个日志得回收过程。通过本发明专利技术的日志回收方法减少了数据迁移量以及日志回收的时间。

【技术实现步骤摘要】

本专利技术涉及计算机网络与计算机存储领域,具体涉及一种基于键值分离的键值存储的高效日志回收方法


技术介绍

1、近些年来,随着ai技术的发展和广泛使用,全球每年产生的数据量呈现爆炸式增长。而海量数据的处理十分依赖于存储系统的性能,这对存储系统提出了越来越高的要求。其中,键值存储系统采用日志结构合并树(简称,lsm-tree)作为它的存储引擎,实现了高效的数据写入。此外,它还通过周期性地触发压缩来合并文件以提供高效的读取性能。因此,基于lsm-tree的键值存储系统在海量数据的处理和存储方面得到了广泛的使用。

2、压缩操作是一种资源密集型的操作,需要消耗大量的i/o和cpu等系统资源。一种常用的减小压缩操作的开销并提升压缩效率的方法是键值分离。其核心思想是将键值存储系统中的键和值分别存储在不同的数据结构中。只有键会被插入lsm-tree中执行压缩,而值单独存储在仅追加的日志中。其主要优势在于,键值对中通常值的部分会占据较大的存储空间,而值在大多数情况下不需要频繁更新或参与查找操作。此外,它还大大降低了压缩的开销,因为值在压缩过程中不会被重复地读写本文档来自技高网...

【技术保护点】

1.一种基于键值分离的键值存储的高效日志回收方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤S1中,具体包括如下:首先,初始化日志,对于每个日志分配一个唯一的文件号,并为它创建了一个对应的状态位图;每个位图项对应于日志中的一个值,其中0表示有效值,1表示无效值;其次,为每个键设置一个逻辑地址,并在地址转换表中记录它的物理地址和逻辑地址信息。

3.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤S1中,新创建的位图的所有标记位都为0。

>4.根据权利要求1...

【技术特征摘要】

1.一种基于键值分离的键值存储的高效日志回收方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤s1中,具体包括如下:首先,初始化日志,对于每个日志分配一个唯一的文件号,并为它创建了一个对应的状态位图;每个位图项对应于日志中的一个值,其中0表示有效值,1表示无效值;其次,为每个键设置一个逻辑地址,并在地址转换表中记录它的物理地址和逻辑地址信息。

3.根据权利要求1...

【专利技术属性】
技术研发人员:谢平卢劲伉李培轩杨雨婷
申请(专利权)人:青海师范大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1