列式存储索引方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:46551569 阅读:0 留言:0更新日期:2025-10-10 21:11
本申请涉及一种列式存储索引方法、装置、计算机设备和存储介质。所述方法包括:获取对待处理数据进行数据处理的处理类型,以及待处理数据在索引树上的目标索引区间;处理类型包括数据增加处理和数据删除处理;根据目标索引区间,在索引树上确定出目标节点,并根据处理类型,对目标节点进行相应数据处理;更新与目标节点存在层接关系的关联节点的连接关系和/或索引值;其中,索引树通过列式存储格式进行数据存储;索引树上包括至少一个索引节点;索引节点包括索引区间和索引值;目标索引区间为待处理数据在索引树上的索引区间。采用本方法能够降低数据处理复杂度和数据处理时间,进一步提高数据处理效率。

【技术实现步骤摘要】

本申请涉及大数据,特别是涉及一种列式存储索引方法、装置、计算机设备和存储介质


技术介绍

1、在分析型数据库领域,列式存储格式的列存通过最大索引值和最小索引值来查询存储数据,该索引存储在文件的特定级别,允许在表扫描过程中跳过不满足查询谓词条件的数据区域。

2、传统技术中,在写入存储文件时,对于每个列块,会在内存中维护该列块的最大索引值和最小索引值,当一个行组写入完成后,将该行组对应列块的索引极值(即最大索引值和最小索引值)更新到文件的元数据中,索引极值通常以紧凑的方式存储在存储文件的元数据区域,占用较小的存储空间。

3、该方式虽然能够完成对数据的存储,但由于列式存储的存储空间较小,在在内存空间较小的情况下,存在数据处理效率较低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够提高数据处理效率的列式存储索引方法、装置、计算机设备和存储介质。

2、第一方面,本申请提供了一种列式存储索引方法,包括:

3、获取对待处理数据进行数据处理的处理类型,以本文档来自技高网...

【技术保护点】

1.一种列式存储索引方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,若所述处理类型为数据增加处理,则所述根据所述目标索引区间,在索引树上确定出目标节点,并根据所述处理类型,对所述目标节点进行相应数据处理,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标索引区间与所述当前节点对应索引区间之间的重叠情况,根据所述目标索引区间,从所述索引树上确定目标节点,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标索引区间的最大值与所述当前节点的索引区间的最小值之间的大小关系,从所述索引树上选取新的当前节点...

【技术特征摘要】

1.一种列式存储索引方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,若所述处理类型为数据增加处理,则所述根据所述目标索引区间,在索引树上确定出目标节点,并根据所述处理类型,对所述目标节点进行相应数据处理,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述目标索引区间与所述当前节点对应索引区间之间的重叠情况,根据所述目标索引区间,从所述索引树上确定目标节点,包括:

4.根据权利要求3所述的方法,其特征在于,所述根据所述目标索引区间的最大值与所述当前节点的索引区间的最小值之间的大小关系,从所述索引树上选取新的当前节点,包括:

5.根据权利要求1所述的方法,其特征在于,若所述处理类型为数据删除处理,则所述根据所述目标索引...

【专利技术属性】
技术研发人员:张强
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1