基于大数据的混合查询处理方法及装置制造方法及图纸

技术编号:24353257 阅读:58 留言:0更新日期:2020-06-03 02:02
本发明专利技术公开了一种基于大数据的混合查询处理方法及装置。其中,方法包括:接收输入的特定语言格式的混合查询语句;对混合查询语句进行语法解析,生成混合查询计划,并依据混合查询计划,确定与混合查询计划相对应的至少一个存储引擎和至少一个计算引擎;将查询语句路由至至少一个存储引擎和至少一个计算引擎,以供至少一个存储引擎依据查询语句进行查询处理得到中间查询结果,至少一个计算引擎依据中间查询结果进行计算处理得到最终的查询结果。采用本方案,可实现对跨存储引擎数据的快速处理,操作简单易行,易于大规模应用与实施;并且可将查询语句与存储引擎或计算引擎解耦,降低用户的学习成本,便于查询效率的进一步提升。

Hybrid query processing method and device based on big data

【技术实现步骤摘要】
基于大数据的混合查询处理方法及装置
本专利技术涉及计算机
,具体涉及一种基于大数据的混合查询处理方法及装置。
技术介绍
随着科技及社会的不断发展,各类数据呈井喷式地增长,从而为人们的各类需求提供数据基础。由于业务需求的多样性,在实际的业务处理过程中,通常需对不同存储引擎中的数据进行联合处理。目前在对不同存储引擎中的数据进行联合处理时,通常需将所需的数据从各个存储引擎中导出至Excel中,并在Excel中对各个存储引擎的输出数据进行处理。然而,该方法操作繁琐,效率低下,尤其不适于海量数据的处理;并且,用户在进行联合处理时,通常需用户根据各个存储引擎的特点编译相应的查询代码,从而加大用户的学习成本,并进一步降低处理效率。
技术实现思路
鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的基于大数据的混合查询处理方法及装置。根据本专利技术的一个方面,提供了一种基于大数据的混合查询处理方法,包括:接收利用任一种对外调用方式输入的特定语言格式的混合查询语句;对所述混合本文档来自技高网...

【技术保护点】
1.一种基于大数据的混合查询处理方法,包括:/n接收利用任一种对外调用方式输入的特定语言格式的混合查询语句;/n对所述混合查询语句进行语法解析,生成混合查询计划,并依据所述混合查询计划,确定与所述混合查询计划相对应的至少一个存储引擎和至少一个计算引擎;/n将所述查询语句路由至所述至少一个存储引擎和至少一个计算引擎,以供所述至少一个存储引擎依据所述查询语句进行查询处理得到中间查询结果,所述至少一个计算引擎依据所述中间查询结果进行计算处理得到最终的查询结果。/n

【技术特征摘要】
1.一种基于大数据的混合查询处理方法,包括:
接收利用任一种对外调用方式输入的特定语言格式的混合查询语句;
对所述混合查询语句进行语法解析,生成混合查询计划,并依据所述混合查询计划,确定与所述混合查询计划相对应的至少一个存储引擎和至少一个计算引擎;
将所述查询语句路由至所述至少一个存储引擎和至少一个计算引擎,以供所述至少一个存储引擎依据所述查询语句进行查询处理得到中间查询结果,所述至少一个计算引擎依据所述中间查询结果进行计算处理得到最终的查询结果。


2.根据权利要求1所述的方法,其中,所述对所述混合查询语句进行语法解析,生成混合查询计划,并依据所述混合查询计划,确定与所述混合查询计划相对应的至少一个存储引擎和至少一个计算引擎进一步包括:
将所述混合查询语句拆分为多个查询分句;
确定所述多个查询分句中的第一查询分句以及第二查询分句;其中,第一查询分句由相对应的存储引擎执行,第二查询分句由相对应的计算引擎执行;
基于拆分结果生成混合查询计划。


3.根据权利要求2所述的方法,其中,所述将所述查询语句路由至所述至少一个存储引擎和至少一个计算引擎,以供所述至少一个存储引擎依据所述查询语句进行查询处理得到中间查询结果,所述至少一个计算引擎依据所述中间查询结果进行计算处理得到最终的查询结果进一步包括:
将第一查询分句路由至相对应的存储引擎,以供存储引擎执行相对应的第一查询分句,以获得与第一查询分句相对应的中间查询结果;
将第二查询分句路由至相对应的计算引擎,以供计算引擎根据与第一查询分句相对应的中间查询结果,以及所述第二查询分句进行计算处理得到最终的查询结果。


4.根据权利要求2或3所述的方法,其中,所述将所述混合查询语句拆分为多个查询分句进一步包括:
将所述混合查询语句转换为与所述混合查询语句相对应的逻辑树;
对所述逻辑树进行逻辑树拆分,得到与所述逻辑树相对应的多个逻辑子树;
根据与所述逻辑树相对应的多个逻辑子树,生成多个查询分句。


5.根据权利要求4所述的方法,其中,所述将所述混合查询语句转换为与所述混合查询语句相对应的逻辑树进一步包括:
将所述混合查询语句转换为对应的抽象语法树,并进一...

【专利技术属性】
技术研发人员:刘思源朱海龙李铭徐胜国徐皓李铮
申请(专利权)人:北京奇虎科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1