【技术实现步骤摘要】
本专利技术涉及存储,具体地涉及一种多引擎复合表的数据分级查询系统及一种多引擎复合表的数据分级查询方法。
技术介绍
1、在数据仓库和数据分析领域,查询性能是最重要的指标之一,为了提升查询性能,各种关系型数据库、mpp数据库、大数据引擎和nosql数据库都做了大量有针对性的优化。但是每种优化手段都是针对特定的场景做特殊的设计,每种数据引擎也各有自己的适用场景。目前存在两种查询方案,第一是在数据湖和数据仓库的建设中,使用hadoop的hdfs结合spark/mapreduce等计算引擎做批处理任务和慢查询(大查询),再通过etl任务将数据做聚合、过滤、连接等逻辑处理,形成新的结果集导入mpp数据库,为用户提供高性能等交互式查询。另一种是在表的基础上通过sql语句创建物化视图,sql语句执行的结果会提前存储到物化视图里,待用户查询数据时,数据库的优化器经过分析判断sql语句想要查询的数据能够通过物化视图提供时,查询优化器就会将查询逻辑改写成对于物化视图的查询。
2、这两种方式均存在系统架构复杂、执行过程复杂和查询手段单一的问题,针对
...【技术保护点】
1.一种多引擎复合表的数据分级查询系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,所述复合表包括的元数据对应的数据库类型包括:
3.根据权利要求2所述的系统,其特征在于,所述元数据管理库还用于:
4.根据权利要求1所述的系统,其特征在于,所述优化器还用于:
5.根据权利要求4所述的系统,其特征在于,所述数据引擎包括:
6.根据权利要求1所述的系统,其特征在于,所述数据存储引擎还用于:
7.一种多引擎复合表的数据分级查询方法,其特征在于,所述方法应用于权利要求1-6中任一项权利要
...【技术特征摘要】
1.一种多引擎复合表的数据分级查询系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,所述复合表包括的元数据对应的数据库类型包括:
3.根据权利要求2所述的系统,其特征在于,所述元数据管理库还用于:
4.根据权利要求1所述的系统,其特征在于,所述优化器还用于:
5.根据权利要求4所述的系统,其特征在于,所述数据引擎包括:
6.根据权利要求1所述的系统,其特征在于,所述数据存储引擎还用于:
7.一种多引擎复合表的数据...
【专利技术属性】
技术研发人员:苏晓博,
申请(专利权)人:北京国双科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。