大数据分析系统及方法技术方案

本发明专利技术公开了一种大数据分析系统及方法。其中，系统包括：服务接口，适于接收利用输入的特定语言格式的查询语句；接收报告编写操作；统一查询语句解析引擎，适于对查询语句进行解析，生成逻辑执行计划；多语言执行器，包含至少一个计算引擎和/或至少一个存储引擎，适于根据逻辑执行计划生成物理执行计划，基于物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；分析报告生成模块，适于根据查询结果以及报告编写操作，生成分析报告。采用本方案，用户仅通过输入的特定语言格式的查询语句便可实现对数据的快速分析，并且，将用户的业务逻辑与计算引擎及存储引擎解耦，降低用户的学习成本，提升用户体验。

Big data analysis system and method

【技术实现步骤摘要】
大数据分析系统及方法
本专利技术涉及计算机
，具体涉及一种大数据分析系统及方法。
技术介绍
随着科技及社会的不断发展，各类数据呈井喷式地增长，从而大幅增加人们对海量数据的分析难度。目前，在对海量数据进行分析时，由于所分析的数据通常来自于不同的存储引擎，从而使得数据分析人员需分别采用与存储引擎相对应的查询工具来获取相应的数据。操作复杂繁琐，并加大了用户对存储引擎的学习成本，不利于数据的快速分析。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的大数据分析系统及方法。根据本专利技术的一个方面，提供了一种大数据分析系统，包括：服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。根据本专利技术的另一方面，提供了一种大数据分析方法，包括：接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；对所述查询语句进行解析，生成逻辑执行计划；根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；根据所述查询结果以及所述报告编写操作，生成分析报告。根据本专利技术的又一方面，提供了一种计算设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行上述大数据分析方法对应的操作。根据本专利技术的再一方面，提供了一种计算机存储介质，所述存储介质中存储有至少一可执行指令，所述可执行指令使处理器执行如上述大数据分析方法对应的操作。根据本专利技术提供的大数据分析系统及方法，通过接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；并对查询语句进行解析，生成逻辑执行计划；根据逻辑执行计划生成物理执行计划，基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果；最终根据查询结果以及报告编写操作，生成分析报告。由此可见，采用本方案，用户仅需输入特定语言格式的查询语句及报告编写操作即可生成相应的分析报告，实现对数据的快速分析，降低了用户对不同的引擎工具的学习成本，并有利于提升数据分析效率，提升用户体验；并且，本系统可扩展性高，便于维护，适于大规模应用与实施。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了根据本专利技术一个实施例提供的一种大数据分析系统的功能结构示意图；图2示出了根据本专利技术另一个实施例提供的一种大数据分析系统的功能结构示意图；图3示出了根据本专利技术一个实施例提供的一种大数据分析方法的流程示意图；图4示出了根据本专利技术一个实施例提供的一种计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。图1示出了根据本专利技术一个实施例提供的一种大数据分析系统。如图1所示，该系统包括：服务接口11、统一查询语句解析引擎12、多语言执行器13、以及分析报告生成模块14。其中，服务接口11，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作。本系统为用户提供一种统一的查询语言，用户无需根据待分析数据所对应的计算引擎和/或存储引擎的语法结构等进行查询语句的编译，本系统可降低查询语句与存储引擎和/或计算引擎之间的耦合度，并有利于减小用户的学习成本。其中，本系统为用户提供的统一的查询语言为SQL语言，即服务接口11接收到的查询语句具体为SQL语句。并且，本系统提供有至少一种对外调用方式，该至少一种对外调用方式包含：命令行调用方式、JDBC调用方式和/或专用API调用方式。可选的，为进一步提升用户体验，本实施例进一步针对于不同的用户群体提供相应的对外调用方式。例如，针对于终端用户群体，可以为其提供命令行调用方式；而针对于开发者用户群体，则为其提供JDBC(JavaDataBaseConnectivity，java数据库连接)调用方式和/或专用API调用方式。另外，本系统还可通过服务接口11接收用户的报告编写操作。该报告编写操作可以包括输入报告编写语句。其中，编写报告语句可以与查询语句为不同语法结构的语句，则本系统中还可以包含有多语言解释器(图中未示出)，以此保证用户可以在一个系统中实现不同语法结构的语句的执行。统一查询语句解析引擎12，适于对查询语句进行解析，生成逻辑执行计划。统一查询语句解析引擎12用于对接收到的查询语句进行统一的解析，从而生成对应的逻辑执行计划。其中，本专利技术对查询语句具体的解析方式不做限定。例如，可以将查询语句转换为对应的逻辑树，基于转换后的逻辑树生成逻辑执行计划。或者，进一步对转换后的逻辑树进行逻辑树拆分，将逻辑树拆分为多个逻辑子树，根据拆分结果生成逻辑执行计划。可选的，为提高查询语句的查询结果的准确性，统一查询语句解析引擎12在生成逻辑执行计划过程中，具体是判断查询语句是否为混合查询语句；若否，则生成单数据查询逻辑执行计划；若是，则生成混合查询逻辑执行计划。其中，混合查询语句为所对应的数据源信息中至少两个数据源对应于不同类别的存储引擎，和/或，混合查询语句所对应的数据源信息中至少两个数据源对应于不同的集群，和/或，混合查询语句所对应的数据源信息中至少两个数据源对应于不同的业务连接。多语言执行器13，包含至少一个计算引擎131和/或至少一个存储引擎132，适于根据逻辑执行计划生成物理执行计划，并基于物理执行计划调用相应的计算引擎和/或存储引擎执行查询语句，并获得查询结果。为实现查询语句的处理，需将逻辑执行计划转换为与计算引擎或存储引擎相关的物理执行计划。本系统根据逻辑执行计划生成对应的物理执行计划，继而调用相应的计算引擎和/或存储引擎本文档来自技高网...

【技术保护点】
1.一种大数据分析系统，包括：/n服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；/n统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；/n多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；/n分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。/n

【技术特征摘要】
1.一种大数据分析系统，包括：
服务接口，适于接收利用任一种对外调用方式输入的特定语言格式的查询语句；和/或，接收报告编写操作；
统一查询语句解析引擎，适于对所述查询语句进行解析，生成逻辑执行计划；
多语言执行器，包含多个计算引擎和/或多个存储引擎，适于根据所述逻辑执行计划生成物理执行计划，基于所述物理执行计划调用相应的计算引擎和/或存储引擎执行所述查询语句，并获得查询结果；
分析报告生成模块，适于根据所述查询结果以及所述报告编写操作，生成分析报告。


2.根据权利要求1所述的系统，其中，所述系统还包括：
资源复用模块，适于为至少一个用户和/或至少一个项目申请独立的执行资源。


3.根据权利要求1或2所述的系统，其中，所述系统还包括：
前置语法校验模块，适于对所述查询语句进行前置语法校验。


4.根据权利要求1-3中任一项所述的系统，其中，所述系统还包括：
定时模块，适于根据设置的查询语句的执行时间，定时触发所述查询语句的执行。


5.根据权利要求1-4中任一项所述的系统，其中，所述系统还包括：
发布模块，适于将生成的分析报告进行发布。


6.根据权利要求1-5中任一项所述的系统，其中，所述系统还包括：
适配模...

【专利技术属性】
技术研发人员：郑扬，张娟娜，谭梦茜，徐胜国，李铮，徐皓，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11