一种数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:42559959 阅读:22 留言:0更新日期:2024-08-29 00:30
本申请公开了一种数据处理方法、装置、设备及存储介质,应用于数据处理技术领域。该方法先获取待处理数据,将待处理数据存储至待处理数据的主键对应的存储分区的内存缓存中;响应于满足存储条件,将存储分区的内存缓存存储的至少部分待处理数据,存储至所述存储分区的磁盘存储空间中。如此,能够基于待处理数据的主键确定存储待处理数据的存储分区,便于后续在数据查询时,在查询的目标主键所对应的存储分区中进行数据查询,缩小数据查询的范围,提高查询数据的速度。

【技术实现步骤摘要】

本申请涉及数据处理,具体涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、目前,数据处理技术已经能够应用于多个行业,在应用过程中,通常会将获取的大量数据存储在数据管理平台中。在后续需要进行数据查询或者数据分析时,从数据管理平台中获取相关数据。以日志数据为例,日志数据可以存储在数据管理平台中,用于异常检测和故障诊断。在需要进行故障的排查时,可以从数据管理平台查询相关的日志数据。

2、目前,从数据管理平台中查询数据的效率较低,耗时较长。


技术实现思路

1、有鉴于此,本申请提供一种数据处理方法、装置、设备及存储介质,能够提高查询数据的效率。

2、为解决上述问题,本申请提供的技术方案如下:

3、第一方面,本申请提供一种数据处理方法,所述方法包括:

4、获取待处理数据;

5、将所述待处理数据存储至所述待处理数据的主键对应的存储分区的内存缓存中;

6、响应于满足存储条件,将所述存储分区的内存缓存存储的至少部分待处理数据,存储至所述存储分区的本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据存储在磁盘储存空间的排序字符串表文件中,所述排序字符串表文件包括多个数据块,每个所述数据块用于以键值对的格式存储待处理数据,所述数据块内存储的所述待处理数据按照主键排序,多个所述数据块之间按照各个数据块存储的首个待处理数据的主键进行排序。

3.根据权利要求2所述的方法,其特征在于,所述排序字符串表文件还包括索引块,所述索引块用于指示各个数据块存储的首个待处理数据的主键以及所述数据块在所述排序字符串表文件中的存储位置。

4.根据权利要求3所述的方法,...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述待处理数据存储在磁盘储存空间的排序字符串表文件中,所述排序字符串表文件包括多个数据块,每个所述数据块用于以键值对的格式存储待处理数据,所述数据块内存储的所述待处理数据按照主键排序,多个所述数据块之间按照各个数据块存储的首个待处理数据的主键进行排序。

3.根据权利要求2所述的方法,其特征在于,所述排序字符串表文件还包括索引块,所述索引块用于指示各个数据块存储的首个待处理数据的主键以及所述数据块在所述排序字符串表文件中的存储位置。

4.根据权利要求3所述的方法,其特征在于,所述索引块包括多个叶索引块和根索引块,各个所述叶索引块存储所对应的各个数据块存储的首个待处理数据的主键以及对应的所述各个数据块在所述排序字符串表文件中的存储位置,所述根索引块存储各个叶索引块存储的首个数据的主键以及所述叶索引块在所述排序字符串表文件中的存储位置。

5.根据权利要求2所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述查询指令还包括...

【专利技术属性】
技术研发人员:刘庆王宇超
申请(专利权)人:北京字跳网络技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1