一种数据处理方法、装置、设备及存储介质制造方法及图纸

技术编号:40599052 阅读:9 留言:0更新日期:2024-03-12 22:02
本申请公开了一种数据处理方法、装置、设备及存储介质。该方法包括:获取多个数据监控点各自采集的第一数据;对多个数据监控点各自采集的第一数据进行压缩,得到多个数据监控点分别对应的压缩块;基于多个数据监控点配置一级索引;一级索引包括二级索引的地址信息;二级索引用于为多个数据监控点分别对应的压缩块的信息分配存储空间;多个数据监控点分别对应的压缩块的信息包括各个压缩块的起止时间信息和地址信息;基于一级索引和二级索引存储多个数据监控点分别对应的压缩块,得到第一存储数据。通过一级索引和二级索引结构化地存储第一数据,有助于在面对大规模数据时快速查询出所需的数据,从而提高查询性能,减少查询耗时,提升用户体验。

【技术实现步骤摘要】

本申请涉及计算机,尤其涉及一种数据处理方法、装置、设备及存储介质


技术介绍

1、随着大数据、云计算等新兴技术的发展,为了满足大规模数据采集和存储的需求,用于数据采集、存储和查询服务的数据系统应运而生。举例来说,在分散控制系统(distributed control system,dcs)中,多个数据监控点会采集到大量数据,通过数据系统进行存储和查询。而当该数据系统长时间地存储大量数据之后,从该数据系统中进行数据查询,就需要耗费较长时间,因此,其查询性能不佳,用户体验较差。


技术实现思路

1、本申请实施例提供了一种数据处理方法、装置、设备及存储介质,以提高查询性能,减少查询耗时,提升用户体验。

2、第一方面,本申请实施例提供了一种数据处理方法,包括:

3、获取多个数据监控点各自采集的第一数据;

4、对所述多个数据监控点各自采集的第一数据进行压缩,得到所述多个数据监控点分别对应的压缩块;

5、基于所述多个数据监控点配置一级索引;所述一级索引包括二级索引的地址信息;本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述对所述多个数据监控点各自采集的第一数据进行压缩,得到所述多个数据监控点分别对应的压缩块之前,所述方法还包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述基于所述查询时间间隔和所述预设采样间隔,从所述第一存储数据或所述第二存储数据中确定目标查询位置,包括:

6.根据权利要求4所述的数据处理方...

【技术特征摘要】

1.一种数据处理方法,其特征在于,包括:

2.根据权利要求1所述的数据处理方法,其特征在于,所述对所述多个数据监控点各自采集的第一数据进行压缩,得到所述多个数据监控点分别对应的压缩块之前,所述方法还包括:

3.根据权利要求1所述的数据处理方法,其特征在于,所述方法还包括:

4.根据权利要求3所述的数据处理方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的数据处理方法,其特征在于,所述基于所述查询时间间隔和所述预设采样间隔,从所述第一存储数据或所述第二存储数据中确定目标查询位置,包括:

6.根据...

【专利技术属性】
技术研发人员:刘威虞俊明杨知文汪宏毅罗幸明戴晓华
申请(专利权)人:中控技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1