一种B+树引擎与层级静态文件的混合式存储方法及装置制造方法及图纸

技术编号:40541231 阅读:20 留言:0更新日期:2024-03-05 18:57
本发明专利技术公开了一种B+树引擎与层级静态文件的混合式存储方法及装置,所述的方法包括:在磁盘上构建B+树文件层;内存数据在写入磁盘时,根据内存数据的key值查询B+树文件层中是否存在可对应写入的B+树文件,若判断结果为是,则将内存数据根据key值写入对应的B+树文件中,若判断结果为否,则在B+树文件层中新建B+树文件,并将内存数据根据key值写入新建的B+树文件中;当B+树文件层中写入的数据达到预设阈值时,将B+树文件层中的数据合并写入磁盘的下一级数据层级文件中。本发明专利技术提出B+树替代L0层的方法,使得数据合并可控且对请求耗时影响更少;同时数据到B+树是可以更新的,对于写入而言,B+的数据量比L0层的数据量要更少,且查询效率也比L0层更高。

【技术实现步骤摘要】

本专利技术涉及数据存储,具体的涉及一种b+树引擎与层级静态文件的混合式存储方法及装置。


技术介绍

1、磁盘存储领域,lsm树是一种经典的存储方案。lsm树利用顺序写来提高写性能,通过分层(内存和文件)区分新老数据来实现海量数据的存储。具体而言,新数据写入到内存,写入到一定量时再由内存写入磁盘变成老数据。

2、基于lsm树的数据存储方案,具有如下缺陷:

3、1、内存容量是固定的,写满后需要立即刷新到磁盘,而这样的刷新可能触发多层的数据合并,在多层合并的时候会占用较高的硬件资源(cpu,内存),而此时lsm树请求繁忙时,会因为资源竞争导致请求耗时增高的问题。

4、具体参见图1所示,经典lsm树结构的磁盘写入文件通常包含7层(l0层容量最小、l1-l6层容量逐渐递增),lsm的内存数据是有限制的,写满后会写入到l0层,此时l0层可能没写满,还可以继续往下一个l0层写,也有可能l0层写满文件,此时会触发向l1层(甚至向下更多层)的数据合并,这个过程是无法控制的,尤其写入很多的时候会频繁触发合并的过程,使得因为资源竞争导致请求耗时本文档来自技高网...

【技术保护点】

1.一种B+树引擎与层级静态文件的混合式存储方法,其特征在于,包括:

2.根据权利要求1所述的一种B+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据写入流程:

3.根据权利要求2所述的一种B+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据删除流程:

4.根据权利要求3所述的一种B+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据查询流程:

5.根据权利要求4所述的一种B+树引擎与层级静态文件的混合式存储方法,其特征在于,所述在所述数据删除B+树文件中进行数据查询,若查询到目标数据,则返回查询结果为目标查询数...

【技术特征摘要】

1.一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,包括:

2.根据权利要求1所述的一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据写入流程:

3.根据权利要求2所述的一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据删除流程:

4.根据权利要求3所述的一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据查询流程:

5.根据权利要求4所述的一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,所述在所述数据删除b+树文件中进行数据查询,若查询到目标数据,则返回查询结果为目标查询数据不存在;

6.根据权利要求4所述的一种b+树引擎与层级静态文件的混合式存储方法,其特征在于,包括数据合并流程:

7.根据权利要求4所述的一种b+树引擎与层级静态文...

【专利技术属性】
技术研发人员:洪定乾徐锐波幸福卢文伟刘方
申请(专利权)人:北京云思智学科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1