当前位置: 首页 > 专利查询>重庆大学专利>正文

一种基于数据优先级的LSM树数据写入方法技术

技术编号:43410215 阅读:24 留言:0更新日期:2024-11-22 17:47
本发明专利技术涉及一种基于数据优先级的LSM树数据写入方法,属于信号处理技术领域。该方法包括:S1:将数据键值对写入进内存中的写缓冲区,然后判断写缓冲区是否达到阈值,如果达到则将其输入进数据排序区块;S2:数据排序区块,用于将写缓冲区的数据按照数据特征进行数据特征值求解并对不同数据特征重要性分配相应权重,得到数据权重值,根据权重值大小对数据进行排序;S3:排序后区块转变为只读区块,随后输入进磁盘的分区存储判断区块中;S4:分区存储判断区块将对磁盘第0层按照数据特征进行区块划分,并对写入的数据按照数据特征求解相关数据权重,将其写入到对应划分的区块。本发明专利技术能显著提高数据写入效率与存储性能。

【技术实现步骤摘要】

本专利技术属于信号处理,涉及一种基于数据优先级的lsm树数据写入方法。


技术介绍

1、在现代数据库系统中,lsm树是一种有序的异地更新数据结构,作为一种高效的数据结构,广泛用于管理大量写密集型的工作负载,其工作原理是将数据写入内存中的写缓冲区(memtable),当写缓冲区达到一定阈值时数据将变为只读区块(immutablememtable),通过flush操作将数据顺序写入磁盘上第一层级的有序字符串表(sstable),并通过定期的合并(compaction)操作将磁盘中达到预设阈值的sstable层级与下一级的sstable进行合并排序操作,从而达到减少磁盘使用空间,优化了数据存储和查询效率。然而,传统的lsm树数据在数据写入磁盘时并没有考虑数据的写入优先级以及写入磁盘时的数据分类,数据的顺序写入会导致在面对不同重要性和紧急程度的数据时资源分配的不合理、关键数据处理延迟或者垃圾数据未及时删除等问题,导致磁盘空间利用的合理性不高。

2、因此,亟需开发一种能够判断数据优先级并进行相应排序写入的策略,提高lsm树数据的写入质量与效率。

...

【技术保护点】

1.一种基于数据优先级的LSM树数据写入方法,其特征在于,该方法具体包括以下步骤:

2.根据权利要求1所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S1具体包括以下步骤:

3.根据权利要求1所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S2具体包括以下步骤:

4.根据权利要求3所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S21具体包括:选择数据异常检测情况、采集时间、数据大小三个方面数据特征进行相关数据特征值计算;

5.根据权利要求4所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S2...

【技术特征摘要】

1.一种基于数据优先级的lsm树数据写入方法,其特征在于,该方法具体包括以下步骤:

2.根据权利要求1所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s1具体包括以下步骤:

3.根据权利要求1所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s2具体包括以下步骤:

4.根据权利要求3所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s21具体包括:选择数据异常检测情况、采集时间、数据大小三个方面数据特征进行相关数据特征值计算;

5.根据权利要求4所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s22具体包括:通过判断三种数据特征重要程度分别给出其相应的权重系数φ1,φ2,φ3,根据数据特征数值与权重系数,求解权重值:f=φ1ω1+φ2ω2+φ3ω3。

6.根据权利要求3...

【专利技术属性】
技术研发人员:唐小林陈止戈桂豪杰张志刚张岩张焜埸吴衍东
申请(专利权)人:重庆大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1