【技术实现步骤摘要】
本专利技术涉及计算机网络与计算机存储领域,具体涉及一种基于键值分离的键值存储的高效日志回收方法。
技术介绍
1、近些年来,随着ai技术的发展和广泛使用,全球每年产生的数据量呈现爆炸式增长。而海量数据的处理十分依赖于存储系统的性能,这对存储系统提出了越来越高的要求。其中,键值存储系统采用日志结构合并树(简称,lsm-tree)作为它的存储引擎,实现了高效的数据写入。此外,它还通过周期性地触发压缩来合并文件以提供高效的读取性能。因此,基于lsm-tree的键值存储系统在海量数据的处理和存储方面得到了广泛的使用。
2、压缩操作是一种资源密集型的操作,需要消耗大量的i/o和cpu等系统资源。一种常用的减小压缩操作的开销并提升压缩效率的方法是键值分离。其核心思想是将键值存储系统中的键和值分别存储在不同的数据结构中。只有键会被插入lsm-tree中执行压缩,而值单独存储在仅追加的日志中。其主要优势在于,键值对中通常值的部分会占据较大的存储空间,而值在大多数情况下不需要频繁更新或参与查找操作。此外,它还大大降低了压缩的开销,因为值在压缩过
...【技术保护点】
1.一种基于键值分离的键值存储的高效日志回收方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤S1中,具体包括如下:首先,初始化日志,对于每个日志分配一个唯一的文件号,并为它创建了一个对应的状态位图;每个位图项对应于日志中的一个值,其中0表示有效值,1表示无效值;其次,为每个键设置一个逻辑地址,并在地址转换表中记录它的物理地址和逻辑地址信息。
3.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤S1中,新创建的位图的所有标记位都为0。
【技术特征摘要】
1.一种基于键值分离的键值存储的高效日志回收方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的基于键值分离的键值存储的高效日志回收方法,其特征在于:在步骤s1中,具体包括如下:首先,初始化日志,对于每个日志分配一个唯一的文件号,并为它创建了一个对应的状态位图;每个位图项对应于日志中的一个值,其中0表示有效值,1表示无效值;其次,为每个键设置一个逻辑地址,并在地址转换表中记录它的物理地址和逻辑地址信息。
3.根据权利要求1...
【专利技术属性】
技术研发人员:谢平,卢劲伉,李培轩,杨雨婷,
申请(专利权)人:青海师范大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。