数据查询方法、装置、计算机设备和存储介质制造方法及图纸

本发明专利技术公开了一种数据查询方法、装置、计算机设备和存储介质，解析查询请求，获取查询请求中的连接算法和对应的场景；若连接算法为全外连接、左外连接、右外连接中的一种，且场景为第一数据表中的汇总值排序，对第二数据表中的汇总值不排序，则在第一数据表所在的第一数据库中执行查询请求中的汇总、排序、limit操作得到第一结果集；将第一结果集中的维度值作为动态过滤条件，在第二数据表所在的第二数据库中执行动态过滤条件对应的动态过滤操作、查询请求中的汇总操作得到第二结果集，从而使得返回到查询引擎的第一结果集、第二结果集中的数据量明显减少，降低了网络传输数据的压力，缩短了返回查询结果的时间，提高了查询引擎的查询性能。询性能。询性能。

【技术实现步骤摘要】
数据查询方法、装置、计算机设备和存储介质


[0001]本专利技术涉及计算机
，特别是涉及一种数据查询方法、装置、计算机设备和存储介质。

技术介绍

[0002]在大数据时代，对海量数据的数据分析越来越重视，涉及的业务场景也越来越复杂，数据量也是越来越大，动辄10亿上百亿。一般很难用单一的olap数据库能解决所有的数据分析问题，因此绝大多数互联网企业都是使用多套olap数据库来解决不同的业务分析问题。但是有可能同时对存储在不同数据库中的数据需要进行联合汇总查询，现在一般常用的有spark sql、presto、impala以及华为的openLooKeng等联邦查询引擎。
[0003]在采用spark sql、presto、impala等联邦查询引擎进行数据查询分析时，会对多个来自于相同或者不同olap数据库的汇总数据进行连接，然后按照某个表的汇总值排序并返回TOPN条数据。传统的数据查询方法只是将过滤条件下压到olap数据库中，将所有满足条件的数据全部取出来，然后在联邦查询引擎中对多个数据集进行连接(join)计算，而后对连接计算的结本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据查询方法，其特征在于，所述方法包括如下步骤：解析查询请求，获取查询请求中的连接算法和对应的场景；若所述连接算法为全外连接、左外连接、右外连接中的一种，且所述场景为第一数据表中的汇总值排序，对第二数据表中的汇总值不排序，则在第一数据表所在的第一数据库中执行所述查询请求中的汇总、排序、limit操作得到第一结果集；将所述第一结果集中的维度值作为动态过滤条件，在第二数据表所在的第二数据库中执行所述动态过滤条件对应的动态过滤操作、所述查询请求中的汇总操作得到第二结果集。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将所述第一结果集和所述第二结果集采用所述连接算法得到第一目标结果集，从所述第一目标结果集中提取第一目标数据作为查询结果。3.根据权利要求1所述的方法，其特征在于，若所述连接算法为全外连接，且所述第一数据表中的数据量小于limit操作的预设limit值，所述方法还包括在所述第二数据库中执行所述查询请求中的汇总、排序、limit操作，得到第三结果集。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述第二结果集和所述第三结果集进行联合，去除重复结果后得到第四结果集；将所述第一结果集和所述第四结果集采用所述连接算法得到第二目标结果集，从所述第二目标结果集中提取第二目标数据作为查询结果。5.根据权利要求1至4任一项所述的方法，其特征在于，在第一数据表所在的第一数据库中执行所述查询请求中的汇总、排序、limit操作之前还包括：判断所述第一数据表和所述第二...

【专利技术属性】
技术研发人员：汪金忠，孙迁，范东，汤国强，张强，
申请(专利权)人：江苏苏宁云计算有限公司，
类型：发明
国别省市：