大数据分析系统及方法技术方案

技术编号:24353362 阅读:28 留言:0更新日期:2020-06-03 02:03
本发明专利技术公开了一种大数据分析系统及方法。其中,系统包括:服务接口,适于接收利用输入的特定语言格式的查询语句;接收报告编写操作;统一查询语句解析引擎,适于对查询语句进行解析,生成逻辑执行计划;多语言执行器,包含至少一个计算引擎和/或至少一个存储引擎,适于根据逻辑执行计划生成物理执行计划,基于物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句,并获得查询结果;分析报告生成模块,适于根据查询结果以及报告编写操作,生成分析报告。采用本方案,用户仅通过输入的特定语言格式的查询语句便可实现对数据的快速分析,并且,将用户的业务逻辑与计算引擎及存储引擎解耦,降低用户的学习成本,提升用户体验。

Big data analysis system and method

【技术实现步骤摘要】
大数据分析系统及方法
本专利技术涉及计算机
,具体涉及一种大数据分析系统及方法。
技术介绍
随着科技及社会的不断发展,各类数据呈井喷式地增长,从而大幅增加人们对海量数据的分析难度。目前,在对海量数据进行分析时,由于所分析的数据通常来自于不同的存储引擎,从而使得数据分析人员需分别采用与存储引擎相对应的查询工具来获取相应的数据。操作复杂繁琐,并加大了用户对存储引擎的学习成本,不利于数据的快速分析。
技术实现思路
鉴于上述问题,提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的大数据分析系统及方法。根据本专利技术的一个方面,提供了一种大数据分析系统,包括:服务接口,适于接收利用任一种对外调用方式输入的特定语言格式的查询语句;和/或,接收报告编写操作;统一查询语句解析引擎,适于对所述查询语句进行解析,生成逻辑执行计划;多语言执行器,包含多个计算引擎和/或多个存储引擎,适于根据所述逻辑执行计划生成物理执行计划,基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句,并获得查本文档来自技高网...

【技术保护点】
1.一种大数据分析系统,包括:/n服务接口,适于接收利用任一种对外调用方式输入的特定语言格式的查询语句;和/或,接收报告编写操作;/n统一查询语句解析引擎,适于对所述查询语句进行解析,生成逻辑执行计划;/n多语言执行器,包含多个计算引擎和/或多个存储引擎,适于根据所述逻辑执行计划生成物理执行计划,基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句,并获得查询结果;/n分析报告生成模块,适于根据所述查询结果以及所述报告编写操作,生成分析报告。/n

【技术特征摘要】
1.一种大数据分析系统,包括:
服务接口,适于接收利用任一种对外调用方式输入的特定语言格式的查询语句;和/或,接收报告编写操作;
统一查询语句解析引擎,适于对所述查询语句进行解析,生成逻辑执行计划;
多语言执行器,包含多个计算引擎和/或多个存储引擎,适于根据所述逻辑执行计划生成物理执行计划,基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句,并获得查询结果;
分析报告生成模块,适于根据所述查询结果以及所述报告编写操作,生成分析报告。


2.根据权利要求1所述的系统,其中,所述系统还包括:
资源复用模块,适于为至少一个用户和/或至少一个项目申请独立的执行资源。


3.根据权利要求1或2所述的系统,其中,所述系统还包括:
前置语法校验模块,适于对所述查询语句进行前置语法校验。


4.根据权利要求1-3中任一项所述的系统,其中,所述系统还包括:
定时模块,适于根据设置的查询语句的执行时间,定时触发所述查询语句的执行。


5.根据权利要求1-4中任一项所述的系统,其中,所述系统还包括:
发布模块,适于将生成的分析报告进行发布。


6.根据权利要求1-5中任一项所述的系统,其中,所述系统还包括:
适配模...

【专利技术属性】
技术研发人员:郑扬张娟娜谭梦茜徐胜国李铮徐皓
申请(专利权)人:北京奇虎科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1