多引擎复合表的数据分级查询系统及方法技术方案

技术编号:41873820 阅读:24 留言:0更新日期:2024-07-02 00:25
本发明专利技术实施例提供一种多引擎复合表的数据分级查询系统方法,属于数据存储技术领域。所述系统包括:元数据管理库,用于生成和存储复合表;其中,所述复合表为基于不同数据库的元数据组合形成的用于表示数据分布策略的表;优化器,用于基于所述复合表进行用户查询需求解析,生成最优的查询执行计划;数据存储引擎,用于基于预设数据分布策略进行各数据库的数据存储和调度。本发明专利技术方案提出的多引擎复合表的数据分级查询系统为用户提供一种统一的组合表类型,其下层可能组合了多种数据引擎,分别应对不同场景的查询任务。解决了现有查询方案存在的系统架构复杂、执行过程复杂和查询手段单一的问题。

【技术实现步骤摘要】

本专利技术涉及存储,具体地涉及一种多引擎复合表的数据分级查询系统及一种多引擎复合表的数据分级查询方法。


技术介绍

1、在数据仓库和数据分析领域,查询性能是最重要的指标之一,为了提升查询性能,各种关系型数据库、mpp数据库、大数据引擎和nosql数据库都做了大量有针对性的优化。但是每种优化手段都是针对特定的场景做特殊的设计,每种数据引擎也各有自己的适用场景。目前存在两种查询方案,第一是在数据湖和数据仓库的建设中,使用hadoop的hdfs结合spark/mapreduce等计算引擎做批处理任务和慢查询(大查询),再通过etl任务将数据做聚合、过滤、连接等逻辑处理,形成新的结果集导入mpp数据库,为用户提供高性能等交互式查询。另一种是在表的基础上通过sql语句创建物化视图,sql语句执行的结果会提前存储到物化视图里,待用户查询数据时,数据库的优化器经过分析判断sql语句想要查询的数据能够通过物化视图提供时,查询优化器就会将查询逻辑改写成对于物化视图的查询。

2、这两种方式均存在系统架构复杂、执行过程复杂和查询手段单一的问题,针对这种问题,需要创造一本文档来自技高网...

【技术保护点】

1.一种多引擎复合表的数据分级查询系统,其特征在于,包括:

2.根据权利要求1所述的系统,其特征在于,所述复合表包括的元数据对应的数据库类型包括:

3.根据权利要求2所述的系统,其特征在于,所述元数据管理库还用于:

4.根据权利要求1所述的系统,其特征在于,所述优化器还用于:

5.根据权利要求4所述的系统,其特征在于,所述数据引擎包括:

6.根据权利要求1所述的系统,其特征在于,所述数据存储引擎还用于:

7.一种多引擎复合表的数据分级查询方法,其特征在于,所述方法应用于权利要求1-6中任一项权利要求所述的多引擎复合表...

【技术特征摘要】

1.一种多引擎复合表的数据分级查询系统,其特征在于,包括:

2.根据权利要求1所述的系统,其特征在于,所述复合表包括的元数据对应的数据库类型包括:

3.根据权利要求2所述的系统,其特征在于,所述元数据管理库还用于:

4.根据权利要求1所述的系统,其特征在于,所述优化器还用于:

5.根据权利要求4所述的系统,其特征在于,所述数据引擎包括:

6.根据权利要求1所述的系统,其特征在于,所述数据存储引擎还用于:

7.一种多引擎复合表的数据...

【专利技术属性】
技术研发人员:苏晓博
申请(专利权)人:北京国双科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1