大数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种大数据处理方法及装置。其中，方法包括：接收输入的特定语言格式的查询语句；对查询语句进行语法解析，确定查询语句的语句类型；其中，语句类型包括混合查询语句类型及单查询语句类型；根据查询语句的语句类型，确定与查询语句相对应的执行方式；采用与查询语句相对应的执行方式对查询语句进行处理。本方案仅通过用户输入的查询语句，并对查询语句进行解析便可自动确定出与该查询语句匹配的执行方式，从而无需用户自行选择数据查询所需的计算引擎及存储引擎，进而降低用户的学习成本；并且，本方案针对于不同的语句类型，采用相应的执行方式，从而有利于提高执行方式与查询语句的匹配度，并有助于数据查询效率的提高。

Big data processing method and device

【技术实现步骤摘要】
大数据处理方法及装置
本专利技术涉及计算机
，具体涉及一种大数据处理方法及装置。
技术介绍
随着科技及社会的不断发展，各类数据呈井喷式地增长，同时也使得大量的大数据平台不断涌现，人们通过大数据平台可实现对海量数据的处理。目前的大数据平台，需用户自行选择进行数据查询时所需的存储引擎或计算引擎，进而根据选择的计算引擎或存储引擎的引擎特点及语法规则等编译相应的执行代码，从而实现对数据的查询。然而，采用现有大数据平台的数据查询方法，用户需学习大量的计算引擎及存储引擎知识，从而大幅增加用户的学习成本，降低用户体验；并且，现今科技发展迅速，计算引擎及存储引擎迭代更新较快，现有的大数据平台在加大用户学习成本的同时，也易发生因用户对计算引擎或存储引擎认知不足，而导致选择的计算引擎或存储引擎与实际的业务逻辑不匹配的情况，从而降低数据处理效率的弊端。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的大数据处理方法及装置。根据本专利技术的一个方面，提供了一种大数据处理方本文档来自技高网...

【技术保护点】
1.一种大数据处理方法，包括：/n接收利用任一种对外调用方式输入的特定语言格式的查询语句；/n对所述查询语句进行语法解析，确定所述查询语句的语句类型；其中，所述语句类型包括混合查询语句类型及单查询语句类型；/n根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式；/n采用与所述查询语句相对应的执行方式对所述查询语句进行处理。/n

【技术特征摘要】
1.一种大数据处理方法，包括：
接收利用任一种对外调用方式输入的特定语言格式的查询语句；
对所述查询语句进行语法解析，确定所述查询语句的语句类型；其中，所述语句类型包括混合查询语句类型及单查询语句类型；
根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式；
采用与所述查询语句相对应的执行方式对所述查询语句进行处理。


2.根据权利要求1所述的方法，其中，所述根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式进一步包括：
根据所述查询语句的语句类型，查找与所述查询语句的语句类型相对应的至少一种候选执行方式；
根据每种候选执行方式对应的执行效率和/或资源占用，确定出与所述查询语句相对应的执行方式。


3.根据权利要求1或2所述的方法，其中，所述根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式，采用与所述查询语句相对应的执行方式对所述查询语句进行处理进一步包括：
若所述查询语句的语句类型为混合查询语句类型，则确定与所述查询语句相对应的至少一个存储引擎和至少一个计算引擎；
将所述查询语句路由至所述至少一个存储引擎和至少一个计算引擎，以供所述至少一个存储引擎依据所述查询语句进行查询处理得到中间查询结果，所述至少一个计算引擎依据所述中间查询结果进行计算处理得到最终的查询结果。


4.根据权利要求1-3中任一项所述的方法，其中，所述根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式进一步包括：
若所述查询语句的语句类型为单查询语句类型，则根据所述查询语句所对应的存储引擎的类别，确定与所述查询语句相对应的执行方式。


5.根据权利要求4所述的方法，其中，所述根据所述查询语句的语句类型，确定与所述查询语句相对应的执行方式，采用与所述查询语句相对应的执行方式对所述查询语句进行处理进一步包括：
若与所述查询语句相对应的存储引擎为第一类存储引擎，则确定与所述查询语句相对应的为分布式计算引擎；并将...

【专利技术属性】
技术研发人员：刘思源，朱海龙，李铭，徐胜国，徐皓，李铮，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京;11