键值数据的压缩方法及装置、存储介质、电子设备制造方法及图纸

技术编号:42060688 阅读:20 留言:0更新日期:2024-07-19 16:46
本发明专利技术公开了一种键值数据的压缩方法及装置、存储介质、电子设备,涉及数据库技术领域,其中,该方法包括:接收压缩请求,根据预设逻辑压缩策略确定键值索引树的压缩操作类型,压缩操作类型包括:邻层压缩、垂直压缩以及垃圾回收压缩,依据压缩操作类型选取待执行的当前压缩操作,并依据当前压缩操作在键值索引树中确定压缩数据范围,响应压缩请求,对压缩数据范围指示的索引文件中所有键值索引数组描述的键数据以及值数据执行当前压缩操作。本发明专利技术解决了相关技术中由于传统压缩范围的局限性使得越层键值数据得不到及时清理,导致对内存空间进行读写操作时操作延迟变长、操作效率较低的技术问题。

【技术实现步骤摘要】

本专利技术涉及数据库,具体而言,涉及一种键值数据的压缩方法及装置、存储介质、电子设备


技术介绍

1、现今不断膨胀的用户数据对存储引擎提出越来越高的要求,对于大量且不断增长的关系型数据,关系型数据库的负载中常常出现读/更新操作,而更新操作需要执行一个读取数据-修改-写回的操作,这被称为read-modify-wr ite(后文采用rmw表示)。rocksdb是一个高性能的键值数据嵌入式数据库,它是leveldb的一个分支,经过优化,可以利用多核处理器和快速存储,如固态驱动器和固态硬盘,rocksdb作为一个使用日志结构合并树作为基本架构的存储引擎,是一个对写友好的存储引擎,但过多的rmw操作会产生大量读取操作,影响系统性能,为缓解这一问题,rocksdb给出新操作符合并操作符。存储引擎在执行更新操作时,只需要向存储引擎中写入一条修改操作的键值对,在其中仅包含对原值的修改方式,由后台完成值的合并操作。因此合并操作符避免了先读的操作,大大提高了更新的吞吐量。

2、然而,采用合并操作更新数据的rocksdb在执行读操作时,往往会因为需要查询同一个键的本文档来自技高网...

【技术保护点】

1.一种键值数据的压缩方法,其特征在于,包括:

2.根据权利要求1所述的键值数据的压缩方法,其特征在于,根据预设逻辑压缩策略对所述键值索引树确定压缩操作类型的步骤,包括:

3.根据权利要求2所述的键值数据的压缩方法,其特征在于,在整合所有所述层压缩属性为执行所述邻层压缩操作的所述节点层的所述压缩操作类型,得到所述键值索引树的所述压缩操作类型之前,还包括:

4.根据权利要求2所述的键值数据的压缩方法,其特征在于,计算所述键值索引树对应的压缩参考分数,得到压缩参考分数集合的步骤,包括:

5.根据权利要求2所述的键值数据的压缩方法,其特征在于,计...

【技术特征摘要】

1.一种键值数据的压缩方法,其特征在于,包括:

2.根据权利要求1所述的键值数据的压缩方法,其特征在于,根据预设逻辑压缩策略对所述键值索引树确定压缩操作类型的步骤,包括:

3.根据权利要求2所述的键值数据的压缩方法,其特征在于,在整合所有所述层压缩属性为执行所述邻层压缩操作的所述节点层的所述压缩操作类型,得到所述键值索引树的所述压缩操作类型之前,还包括:

4.根据权利要求2所述的键值数据的压缩方法,其特征在于,计算所述键值索引树对应的压缩参考分数,得到压缩参考分数集合的步骤,包括:

5.根据权利要求2所述的键值数据的压缩方法,其特征在于,计算所述键值索引树对应的压缩参考分数,得到压缩参考分数集合的步骤,还包括:

6.根据权利要求2所述的键值数据的压缩方法,其特征在于,计算所述键值索引树对应的压缩参考分数,得到压缩参考分数集合的步骤,还包括:

7.根据权利要求6所述的键值数据的压缩方法,其特征在于,基于所述引用文件集合和所述有效值数量计算所述索引文件的范围查询分数的步骤,包括:

8.根据权利要求6所述的键值数据的压缩方法,其特征在于,基于所述引用文件集合和所述有效值数量计算所述索引文件的空间放大分数的步骤,包括:

9.根据权利要求1所述的键值数据的压缩方法,其特征在于,依据所述压缩操作类型选取待执行的当前压缩操作,并依据所述当前压缩操作在所述键值索引树中确定压缩数据范围的步骤,包括:

10.根据权利要求9所述的键值数据的压缩方法,其特征在于,基于范围重叠指示列表和所述第一参考分数在所述节点层中选取本层待压缩文件,并在该节点层的相邻节点层选取邻层待压缩文件的步骤,包括:

11.根据权利要求1所述的键值数据的压缩方法,其特征在于,依据所述压缩操作类型选取待执行的当前压缩操作,并依据所述当前压缩操作在所述键值索引树中确定压缩数据范围的步骤,还包括:

12.根据权利要求11所述的键值数据的压缩方法,其特征在于,基于范围重叠指示列表和所述垂直排序结果在所述键值索引树中选取待执行所述垂直压缩操作的第二目标索引文件的步骤,包括:

13.根据权利要求1所述的键值数据的压缩方法,其特征在于,依据所述压缩操作类型选取待执行的当前压缩操作,并依据所述当前压缩操作在所述键值索引树中确定压缩数据范围的步骤,还包括:

14.根据权利要求1所述的键值数据的压缩方法,其特征在于,对所述压缩数据范围指...

【专利技术属性】
技术研发人员:瞿天善罗政洪王豪迈戴海鹏
申请(专利权)人:北京星辰天合科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1