数据查询优化的方法、装置、计算机设备和存储介质制造方法及图纸

技术编号:40739587 阅读:24 留言:0更新日期:2024-03-25 20:00
提供了一种数据查询优化的方法,包括:获取数据查询指令,其中,数据查询指令指定所针对的数据集和过滤条件;解析数据查询指令,得到数据查询指令对应的逻辑查询计划;对逻辑查询计划进行标准化优化,得到优化后的逻辑查询计划;以及根据优化后的逻辑查询计划,基于过滤条件针对数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,包括:利用概率数据结构,确定该数据分片的一个或多个字段中是否包括一个或多个过滤字段;以及响应于该数据分片的一个或多个字段包括一个或多个过滤字段,基于过滤条件对数据分片进行过滤,得到该数据分片的查询结果。

【技术实现步骤摘要】

本公开涉及数据库,特别是涉及一种数据查询优化的方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、时序数据通常来源于众多不同的设备和数据供应商,呈现为半结构化或非结构化的形态,例如日志文件和各类指标数据等。这些数据在每一条记录中,往往携带了具有不定式数据模式(schema)的标签类型字段。考虑到此类数据的体量通常十分庞大,因此必须进行数据分片处理,以便于进行大规模的存储和计算操作。


技术实现思路

1、提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。

2、根据本公开的一方面,提供了一种数据查询优化的方法,包括:获取数据查询指令,其中,数据查询指令指定所针对的数据集和过滤条件,数据集包括多个数据分片,每个数据分片包括一个或多个字段,每个字段包括多个值,过滤条件包括一个或多个过滤字段和一个或多个过滤字段对应的一个或多个过滤字段条件;解析数据查询指令,得到数据查询指令对应的逻辑查询计划;对逻辑查询计划进行标准化优化,得到优化后的逻辑查询计划;以及根据优化后的逻辑查询计划,本文档来自技高网...

【技术保护点】

1.一种数据查询优化的方法,包括:

2.根据权利要求1所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

3.根据权利要求2所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

4.根据权利要求3所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

5.根据权利要求1-4中...

【技术特征摘要】

1.一种数据查询优化的方法,包括:

2.根据权利要求1所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

3.根据权利要求2所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

4.根据权利要求3所述的方法,其中,根据优化后的逻辑查询计划,基于所述过滤条件针对所述数据集的每个数据分片进行并行数据查询,得到每个数据分片的查询结果,还包括:

5.根据权利要求1-4中任一项所述的方法,其中,解析所述数据查询指令,得到所述数据查询指令对...

【专利技术属性】
技术研发人员:倪跃吴立彭江涛
申请(专利权)人:上海炎凰数据科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1