大数据实时分析方法、装置、计算设备及计算机存储介质制造方法及图纸

本发明专利技术公开了一种大数据实时分析方法、装置、计算设备及计算机存储介质，其中，大数据实时分析方法基于第一查询工具和第二查询工具而执行，该方法包括：在第二查询工具中创建数据源，并在数据源中写入原始数据；在第一查询工具中创建数据表，设置数据表的数据源参数为第二查询工具，并配置第二查询工具的地址信息；当接收到对数据表的查询请求时，第一查询工具对查询请求进行解析，生成逻辑执行计划；第一查询工具根据逻辑执行计划，对查询请求进行处理。根据本发明专利技术提供的技术方案，实现了对第一查询工具和第二查询工具的整合，能够有效地利用第二查询工具的聚合分析能力，提高了数据查询效率。

Large data real-time analysis methods, devices, computing equipment and computer storage media

The invention discloses a method and a device for real-time analysis of large data, computing devices and computer storage medium, wherein, the real-time analysis method of large data of the first query tool and second query tool based on execution, the method comprises the following steps: second create a data source query tool, and write the original data in the data source; create table in the first query tool, set the data source parameter data table second address information query tool, and configure the second query tool; when receiving the data sheet of the query, the first query tool parses the query request, generating logic execution plan; the first query tool according to the logic processing of the query execution plan request. According to the technical proposal provided by the invention, the integration of the first query tool and the second query tool is realized, which effectively utilizes the aggregate analysis ability of the second query tool and improves the data query efficiency.

【技术实现步骤摘要】
大数据实时分析方法、装置、计算设备及计算机存储介质
本专利技术涉及互联网
，具体涉及一种大数据实时分析方法、装置、计算设备及计算机存储介质。
技术介绍
在大数据时代的背景下，数据量级往往能够达到PB级甚至更高，因此如何对大数据进行实时分析是一个极具挑战的问题。大数据实时分析应该满足如下要求：支持标准SQL规范；查询延迟控制在毫秒级至秒级的范围内。其中，实时分析中比较典型的两个场景为聚合查询和过滤检索查询。现有技术中已有许多如Hive和Kylin等的大数据分析工具，然而这些工具仅能够分别满足上述部分要求，无法满足上述所有要求。以Hive为例，虽然能够支持标准SQL规范，但其对于聚合查询和过滤检索查询的查询延迟为分钟级，无法满足大数据实时分析对于查询延迟的要求。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的大数据实时分析方法、装置、计算设备及计算机存储介质。根据本专利技术的一个方面，提供了一种大数据实时分析方法，该方法基于第一查询工具和第二查询工具而执行，该方法包括：在第二查询工具中创建数据源，并在数据源中写入原始数据；在第一查询工具本文档来自技高网...

【技术保护点】
一种大数据实时分析方法，所述方法基于第一查询工具和第二查询工具而执行，所述方法包括：在所述第二查询工具中创建数据源，并在所述数据源中写入原始数据；在所述第一查询工具中创建数据表，设置所述数据表的数据源参数为第二查询工具，并配置所述第二查询工具的地址信息；当接收到对所述数据表的查询请求时，所述第一查询工具对所述查询请求进行解析，生成逻辑执行计划；所述第一查询工具根据所述逻辑执行计划，对所述查询请求进行处理。

【技术特征摘要】
1.一种大数据实时分析方法，所述方法基于第一查询工具和第二查询工具而执行，所述方法包括：在所述第二查询工具中创建数据源，并在所述数据源中写入原始数据；在所述第一查询工具中创建数据表，设置所述数据表的数据源参数为第二查询工具，并配置所述第二查询工具的地址信息；当接收到对所述数据表的查询请求时，所述第一查询工具对所述查询请求进行解析，生成逻辑执行计划；所述第一查询工具根据所述逻辑执行计划，对所述查询请求进行处理。2.根据权利要求1所述的方法，其中，所述第一查询工具根据所述逻辑执行计划，对所述查询请求进行处理进一步包括：所述第一查询工具根据所述逻辑执行计划，判断所述查询请求是否属于聚合类型；若所述查询请求属于聚合类型，则所述第一查询工具根据所述查询请求，生成所述第二查询工具的物理执行计划，由所述第二查询工具根据所述物理执行计划进行执行，得到执行结果，并向所述第一查询工具返回所述执行结果。3.根据权利要求2所述的方法，其中，所述第一查询工具根据所述查询请求，生成所述第二查询工具的物理执行计划进一步包括：所述第一查询工具从所述查询请求中解析出待聚合分析的列名和聚合函数；根据所述待聚合分析的列名和所述聚合函数，生成所述第二查询工具的物理执行计划。4.根据权利要求2所述的方法，其中，所述方法还包括：若所述查询请求不属于聚合类型，则所述第一查询工具根据所述逻辑执行计划，判断所述查询请求是否属于过滤检索类型；若所述查询请求属于过滤检索类型，则所述第一查询工具判断所述查询请求是否命中具有索引的列；若命中，则所述第一查询工具使用命中的列的索引完成所述查询请求；若未命中，则所述第一查询工具通过遍历所述...

【专利技术属性】
技术研发人员：李远策，李振炜，翟鑫达，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11