查询方法、装置和系统制造方法及图纸

本发明专利技术公开了一种查询方法、装置和系统，涉及计算机技术领域。该系统的一具体实施方式包括：调度中心、查询日志分析模块、数据生成模块、多个查询引擎和多个存储引擎；查询日志分析模块从预设的历史统计周期内的查询日志中获取多个查询任务在历史统计周期内的特征信息；数据生成模块依据查询日志分析模块发送的特征信息以及预设的数据存储策略，将查询任务的底层数据写入数据存储策略指示的存储引擎；调度中心响应于接收到目标查询任务，调用存储目标查询任务的底层数据的存储引擎对应的查询引擎执行查询。该实施方式能够最大程度提高查询性能。查询性能。查询性能。

【技术实现步骤摘要】
查询方法、装置和系统


[0001]本专利技术涉及计算机
，尤其涉及一种查询方法、装置和系统。

技术介绍

[0002]随着大数据技术的发展，如何在数以亿计的明细数据中进行高效数据查询，满足及时的OLAP(On
‑
Line Analytical Processing，联机分析处理)分析，是迫切解决的问题。对于OLAP分析，目前业界常用的大数据引擎有Presto、Clickhouse、Doris等，但是单独使用任一引擎，都会存在单表查询性能差、并发查询性能差等各种缺陷。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种查询方法、装置和系统，能够在集成的多种查询引擎中选取适合于查询任务的查询引擎执行查询，从而最大程度提高查询性能。
[0004]为实现上述目的，根据本专利技术的一个方面，提供了一种查询方法。
[0005]本专利技术实施例的查询方法包括：从预设的历史统计周期内的查询日志中获取多个查询任务在所述历史统计周期内的特征信息；依据获取到的特征信息以及预设的数据存储策略，将所述查询任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种查询方法，其特征在于，包括：从预设的历史统计周期内的查询日志中获取多个查询任务在所述历史统计周期内的特征信息；依据获取到的特征信息以及预设的数据存储策略，将所述查询任务的底层数据写入所述数据存储策略指示的存储引擎；其中，所述数据存储策略表征所述查询任务的特征信息与多个存储引擎之间的映射关系；响应于接收到目标查询任务，调用存储所述目标查询任务的底层数据的存储引擎对应的查询引擎执行查询。2.根据权利要求1所述的方法，其特征在于，所述调用存储所述目标查询任务的底层数据的存储引擎对应的查询引擎执行查询，包括：根据所述目标查询任务在所述历史统计周期内的特征信息以及预设的数据查询策略，确定所述数据查询策略指示的存储引擎；其中，所述数据查询策略表征所述多个查询任务的特征信息与查询针对的存储引擎之间的映射关系；对于同一历史统计周期的同一特征信息，所述数据查询策略与所述数据存储策略指示同一存储引擎。3.根据权利要求1所述的方法，其特征在于，所述特征信息包括以下至少一种：查询频率、查询数据量、最早数据时间；所述多个存储引擎包括：预聚合Hive存储引擎、明细Hive存储引擎、明细Clickhouse存储引擎、预聚合Doris存储引擎、以及明细Doris存储引擎；所述查询引擎包括：所述预聚合Hive存储引擎和所述明细Hive存储引擎对应的Presto查询引擎、所述明细Clickhouse存储引擎对应的Clickhouse查询引擎、以及所述预聚合Doris存储引擎和所述明细Doris存储引擎对应的Doris查询引擎。4.根据权利要求3所述的方法，其特征在于，所述查询任务包括：离线任务和实时任务；所述查询任务的底层数据包括：所述查询任务涉及的明细数据、或者所述查询任务的预聚合数据；所述特征信息进一步包括：所述查询任务在查询频率、查询数据量和/或最早数据时间维度的排序信息；以及，所述依据获取到的特征信息以及预设的数据存储策略，将所述查询任务的底层数据写入所述数据存储策略指示的存储引擎，包括：在任一查询任务为离线任务并且满足预设的第一高频条件时，将该查询任务的预聚合数据写入所述预聚合Hive存储引擎；在任一查询任务为离线任务并且不满足所述第一高频条件、满足预设的大数据量条件时，将该查询任务涉及的明细数据写入所述明细Clickhouse存储引擎；在任一查询任务为离线任务并且不满足所述第一高频条件、不满足所述大数据量条件、满足预设的短周期条件时，将该查询任务涉及的明细数据写入所述明细Clickhouse存储引擎；在任一查询任务为离线任务并且不满足所述第一高频条件、不满足所述大数据量条件、不满足所述短周期条件时，将该查询任务涉及的明细数据写入所述明细Hive存储引擎；在任一查询任务为实时任务并且满足预设的第二高频条件时，将该查询任务的预聚合数据写入所述预聚合Doris存储引擎；
在任一查询任务为实时任务并且不满足所述第二高频条件时，将该查询任务涉及的明细数据写入所述明细Doris存储引擎。5.根据权利要求4所述的方法，其特征在于，所述第一高频条件包括：各离线任务中最大的、第一数量的查询频率中包括所述任一查询任务的查询频率；所述大数据量条件包括：各离线任务中最大的、第二数量的查询数据量中包括所述任一查询任务的查询数据量；所述短周期条件包括：各离线任务中最大的、第三数量的最早数据时间中包括所述任一查询任务的最早数据时间；所述第二高频条件包括：各实时任务中最大的、第四数量的查询频率中包括所述任一查询任务的查询频率。6.根据权利要求4所述的方法，其特征在于，所述方法进一步包括：将预设的数据源中的更新明细数据定期同步到所述明细Hive存储引擎、所述明细Clickhouse存储引擎、和/或所述明细Doris存储引擎，并依据所述更新明细数据更新所述预聚合Hive存储引擎、和/或所述预聚合Doris存储引擎中预聚合数据的聚合结果。7.一种查询装置，其特征在于，包括：日志分析单元，用于：从预设的历史统计周期内的查询日志中获取多个查询任务在所述历史统计周期内的特征信息；数据存储单元，用于：依据获取到的特征信息以及预设的数据存储策略，将所述查询任务的底层数据写入所述数据存储策略指示的存储引擎；其中，所述数据存储策略表征所述查询任务的特征信息与多个存储引擎之间的映射关系；数据查询单元，用于：响应于接收到目标查询任务，调用存储所述目标查询任务的底层数据的存储引擎对应的查询引擎执行查询。8.一种查询系统，其特征在于，包括：调度中心、查询日志分析模块、数据生成模块、多个查询引擎和多个存储引擎；其中，所述查询日志分析模块从预设的历史统计周期内的查询日志中获取多个查询任务在所述历史统计周期内的特征信息；所述数据生成模块依据所述查询日志...

【专利技术属性】
技术研发人员：牛磊，黄丽，秦顺鑫，齐志宏，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：