【技术实现步骤摘要】
本专利技术属于信号处理,涉及一种基于数据优先级的lsm树数据写入方法。
技术介绍
1、在现代数据库系统中,lsm树是一种有序的异地更新数据结构,作为一种高效的数据结构,广泛用于管理大量写密集型的工作负载,其工作原理是将数据写入内存中的写缓冲区(memtable),当写缓冲区达到一定阈值时数据将变为只读区块(immutablememtable),通过flush操作将数据顺序写入磁盘上第一层级的有序字符串表(sstable),并通过定期的合并(compaction)操作将磁盘中达到预设阈值的sstable层级与下一级的sstable进行合并排序操作,从而达到减少磁盘使用空间,优化了数据存储和查询效率。然而,传统的lsm树数据在数据写入磁盘时并没有考虑数据的写入优先级以及写入磁盘时的数据分类,数据的顺序写入会导致在面对不同重要性和紧急程度的数据时资源分配的不合理、关键数据处理延迟或者垃圾数据未及时删除等问题,导致磁盘空间利用的合理性不高。
2、因此,亟需开发一种能够判断数据优先级并进行相应排序写入的策略,提高lsm树数据的写入质量
...【技术保护点】
1.一种基于数据优先级的LSM树数据写入方法,其特征在于,该方法具体包括以下步骤:
2.根据权利要求1所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S1具体包括以下步骤:
3.根据权利要求1所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S2具体包括以下步骤:
4.根据权利要求3所述的基于数据优先级的LSM树数据写入方法,其特征在于,步骤S21具体包括:选择数据异常检测情况、采集时间、数据大小三个方面数据特征进行相关数据特征值计算;
5.根据权利要求4所述的基于数据优先级的LSM树数据写入方法,
...【技术特征摘要】
1.一种基于数据优先级的lsm树数据写入方法,其特征在于,该方法具体包括以下步骤:
2.根据权利要求1所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s1具体包括以下步骤:
3.根据权利要求1所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s2具体包括以下步骤:
4.根据权利要求3所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s21具体包括:选择数据异常检测情况、采集时间、数据大小三个方面数据特征进行相关数据特征值计算;
5.根据权利要求4所述的基于数据优先级的lsm树数据写入方法,其特征在于,步骤s22具体包括:通过判断三种数据特征重要程度分别给出其相应的权重系数φ1,φ2,φ3,根据数据特征数值与权重系数,求解权重值:f=φ1ω1+φ2ω2+φ3ω3。
6.根据权利要求3...
【专利技术属性】
技术研发人员:唐小林,陈止戈,桂豪杰,张志刚,张岩,张焜埸,吴衍东,
申请(专利权)人:重庆大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。