多源数据查询分析方法、查询引擎、电子设备和存储介质技术

本发明专利技术提供了一种多源数据查询分析方法、查询引擎、电子设备和存储介质，属于大数据查询与分析的技术领域，该方法中，将查询直接下推至数据源执行，避免了全量数据的拉取，减少了内存计算，降低了服务器资源占用，解析器接口多样化，其中的快速查询语法的解析器接口支持自定义扩展的语法，实现了多查询语法的兼容，还支持自定义扩展的语法，满足了查询流程的定制化，可适配复杂的业务规则，管道语法的解析器接口可对接管道语法查询语句，与标准化管道兼容，查询引擎中的各个接口都是可插拔设计，可根据业务需求对其中的任意接口进行定制化设计，满足接口语义即可，灵活性高。

【技术实现步骤摘要】

本专利技术涉及大数据查询与分析的，尤其是涉及一种多源数据查询分析方法、查询引擎、电子设备和存储介质。

技术介绍

1、在多源数据分析场景中，数据规模庞大且来源多样，传统的查询引擎（如presto、impala）在进行多源数据（即数据库）查询分析时，往往是先把各数据源的数据拉取至内存中，进而再在内存中进行关联计算分析。

2、上述过程需要依赖大内存计算，资源开销大，在面对大规模数据时，易引发内存资源耗尽、计算效率下降等问题；同时，传统的查询引擎难以满足现代的查询流程的定制化（如融合企业特有的数据过滤规则、业务逻辑）和引擎的轻量化部署（如嵌入第三方系统）的要求；此外，无法对标标准化管道（splunk、kusto等高效工具）。

3、综上，传统的多源数据查询分析过程存在资源开销大，难以应对高并发与海量数据场景、无法满足查询流程的定制化，进而适配复杂的业务规则，以及无法兼容splunk、kusto等标准化管道的技术问题。

技术实现思路

1、有鉴于此，本专利技术的目的在于提供一种多源数据查询分析方法、本文档来自技高网...

【技术保护点】

1.一种多源数据查询分析方法，其特征在于，应用于作为SDK嵌入使用或作为独立服务运行的查询引擎，所述查询引擎包括：可插拔设计的解析器接口、可插拔设计的执行器接口、可插拔设计的标准化器接口、可插拔设计的缓存接口和可插拔设计的格式化器接口，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述解析器接口被单独调用使用。

3.根据权利要求1所述的方法，其特征在于，所述自定义扩展的语法用于表达前端的查询需求；所述自定义扩展的语法采用JSON格式，且所述自定义扩展的语法支持查询结果集限制。

4.根据权利要求3所述的方法，其特征在于，所述查询结果集限制包括...

【技术特征摘要】

1.一种多源数据查询分析方法，其特征在于，应用于作为sdk嵌入使用或作为独立服务运行的查询引擎，所述查询引擎包括：可插拔设计的解析器接口、可插拔设计的执行器接口、可插拔设计的标准化器接口、可插拔设计的缓存接口和可插拔设计的格式化器接口，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述解析器接口被单独调用使用。

3.根据权利要求1所述的方法，其特征在于，所述自定义扩展的语法用于表达前端的查询需求；所述自定义扩展的语法采用json格式，且所述自定义扩展的语法支持查询结果集限制。

4.根据权利要求3所述的方法，其特征在于，所述查询结果集限制包括：

5.根据权利要求1所述的方法，其特征在于，所述管道语法的解析器接口对标kusto语法，所述管道语法的解析器解析得到的原生数据库查询语句为优化后的原生数据库查询语句，所述优化后的原生数据库查询语句为多级sql嵌套的子查询语句。

6.根据权利要求1所述的方法...

【专利技术属性】
技术研发人员：文洲，马辉，朱震，张福，程度，
申请(专利权)人：北京升鑫网络科技有限公司，
类型：发明
国别省市：