一种数据查询方法、装置、终端、presto查询引擎及存储介质制造方法及图纸

本发明专利技术实施例提供一种数据查询方法、装置、终端、presto查询引擎及存储介质，该方法包括：获取查询条件，查询条件包括查询字段及查询时间段；若部分查询时间段距当前时间处于预定时间内，将查询时间段划分为距当前时间处于预定时间内的第一时间段，和距当前时间超出预定时间的第二时间段；根据第一时间段和查询字段，生成查询第一数据源的第一请求，及根据第二时间段和查询字段，生成查询第二数据源的第二请求；联合第一请求和第二请求生成目标查询请求；向presto查询引擎提交目标查询请求。本发明专利技术实施例可便于presto查询引擎针对第一数据源和第二数据源的查询划分更为高效、准确，在保障查询结果的实时性和全面性的情况下，为提升数据查询效率提供了可能。

A data query method, device, terminal, Presto query engine and storage medium

【技术实现步骤摘要】
一种数据查询方法、装置、终端、presto查询引擎及存储介质
本专利技术实施例涉及数据查询
，具体涉及一种数据查询方法、装置、终端、presto查询引擎及存储介质。
技术介绍
presto作为开源的分布式SQL(StructuredQueryLanguage，结构化查询语句)查询引擎，其查询的速度可达到商业数据仓库的级别，利用presto的性能实现数据源中的数据查询，无疑是提高数据查询效率的较好解决方式。然而，随着数据源存储的数据量增多，使用presto进行数据查询也面临着挑战，例如，如何进一步提升数据查询效率。
技术实现思路
有鉴于此，本专利技术实施例提供一种数据查询方法、装置、终端、presto查询引擎及存储介质，以进一步提升数据查询效率。为实现上述目的，本专利技术实施例提供如下技术方案：一种数据查询方法，包括：获取查询条件，所述查询条件包括查询字段及查询时间段；若部分查询时间段距当前时间处于预定时间内，将所述查询时间段划分为第一时间段和第二时间段；所述第一时间段距当前时间处本文档来自技高网...

【技术保护点】
1.一种数据查询方法，其特征在于，包括：/n获取查询条件，所述查询条件包括查询字段及查询时间段；/n若部分查询时间段距当前时间处于预定时间内，将所述查询时间段划分为第一时间段和第二时间段；所述第一时间段距当前时间处于预定时间内，所述第二时间段距当前时间超出预定时间；/n根据第一时间段和查询字段，生成查询第一数据源的第一请求，及根据第二时间段和查询字段，生成查询第二数据源的第二请求；其中，所述第一数据源存储有数据采集时间距当前时间处于预定时间内的数据，所述第二数据源存储有数据采集时间距当前时间超出预定时间的数据；/n联合第一请求和第二请求生成目标查询请求；/n向presto查询引擎提交目标查询请...

【技术特征摘要】
1.一种数据查询方法，其特征在于，包括：
获取查询条件，所述查询条件包括查询字段及查询时间段；
若部分查询时间段距当前时间处于预定时间内，将所述查询时间段划分为第一时间段和第二时间段；所述第一时间段距当前时间处于预定时间内，所述第二时间段距当前时间超出预定时间；
根据第一时间段和查询字段，生成查询第一数据源的第一请求，及根据第二时间段和查询字段，生成查询第二数据源的第二请求；其中，所述第一数据源存储有数据采集时间距当前时间处于预定时间内的数据，所述第二数据源存储有数据采集时间距当前时间超出预定时间的数据；
联合第一请求和第二请求生成目标查询请求；
向presto查询引擎提交目标查询请求。


2.根据权利要求1所述的数据查询方法，其特征在于，所述查询时间段包括查询起始时间和查询结束时间；所述部分查询时间段距当前时间处于预定时间内包括：
查询起始时间距当前时间超出预定时间，且查询结束时间距当前时间处于预定时间内。


3.根据权利要求1或2所述的数据查询方法，其特征在于，还包括：
若全部查询时间段距当前时间超出预定时间，根据查询时间段和查询字段生成查询第二数据源的查询请求，并向presto查询引擎提交该查询请求；
若全部查询时间段距当前时间处于预定时间内，根据查询时间段和查询字段生成查询第一数据源的查询请求，并向presto查询引擎提交该查询请求。


4.根据权利要求1或2所述的数据查询方法，其特征在于，所述根据第一时间段和查询字段，生成查询第一数据源的第一请求包括：
将第一时间段和查询字段组成的查询条件以SQL语句的形式进行拼接，形成第一SQL语句，所述第一SQL语句中指示查询数据源与第一数据源相应；
所述根据第二时间段和查询字段，生成查询第二数据源的第二请求包括：
将第二时间段和查询字段组成的查询条件以SQL语句的形式进行拼接，形成第二SQL语句，所述第二SQL语句中指示查询数据源与第二数据源相应；
所述联合第一请求和第二请求生成目标查询请求包括：
联合第一SQL语句和第二SQL语句生成目标SQL语句。


5.根据权利要求4所述的数据查询方法，其特征在于，所述向presto查询引擎提交目标查询请求包括：
将目标SQL语句拼成字符串；
通过AJAX请求向presto查询引擎提交目标SQL语句拼成的字符串。


6.根据权利要求1或5所述的数据查询方法，其特征在于，所述获取查询条件包括：
导入配置文件；所述配置文件记录有查询字段名与字段名ID的对应关系；
解析配置文件，展示配置文件记录的查询字段名；
选择至少一个查询字段名，并获取各选择的查询字段名相应的字段内容，确定出查询字段；
根据时间选择组件选择查询时间段。


7.根据权利要求2所述的数据查询方法，其特征在于，所述将所述查询时间段划分为第一时间段和第二时间段包括：
确定查询时间段中距当前时间处于预定时间内的时间分界点；
将时间分界点至查询结束时间对应的时间段作为第一时间段，将查询起始时间至时间分界点对应的时间段作为第二时间段。


8.根据权利要求1或5或7所述的数据查询方法，其特征在于，所述第一数据源为kafka数据源，第二数据源为hive数据源。


9.根据权利要求1或2所述的数据查询方法，其特征在于，还包括：
周期性的向presto查询引擎请求目标查询结果，直至经过多次请求后得到全部的目标查询结果；其中，每次请求目标查询结果后，presto查询引擎反馈已查询到的部分目标查询结果。


10.一种数据查询方法，其特征在于，包括：
获取目标查询请求，所述目标查询请求由查询第一数据源的第一请求和查询第二数据源的第二请求联合得到；
根据所述目标查询请求，生成第一请求相应的第一查询任务和第二请求相应的第二查询任务；
执行第一查询任务，从第一数据源查询与第一请求指示的第一时间段和查询字段相应的查询结果，及执行第二查询任务，从第二数据源查询与第二请求指示的第二时间段和查询字段相应的查询结果；其中，所述第一数据源存储有数据采集时间距当前时间处于预定时间内的数据，所述第二数据源存储有数据采集时间距当前时间超出预定时间的数据；所述第一时间段为目标查询请求的查询时间段中距当前时间处于预定时间内的部分，所述第二时间段为所述查...

【专利技术属性】
技术研发人员：朱顺利，杨茹越，
申请(专利权)人：亿度慧达教育科技北京有限公司，
类型：发明
国别省市：北京;11