数据处理方法、数据处理装置以及计算机存储介质制造方法及图纸

本申请公开了一种数据处理方法、数据处理装置以及计算机存储介质，该数据处理方法包括：获取用户输入的数据库处理语句；对数据库处理语句进行分流处理，得到分流结果，基于分流结果确定数据库处理语句的处理引擎；基于处理引擎对数据库处理语句进行语句处理得到数据处理计划；使用处理引擎执行数据处理计划得到数据处理结果。通过上述方式，本申请通过对数据库处理语句进行分流处理得到对应的处理引擎，再基于处理引擎生成数据处理计划对数据进行处理的方法，可以减少重复生成数据处理计划的冗余步骤，在保证数据被正常处理的同时降低了数据处理的耗时，从而提高了数据处理的效率。

【技术实现步骤摘要】

本申请涉及数据处理领域，特别是涉及一种数据处理方法、数据处理装置以及计算机存储介质。

技术介绍

1、随着互联网技术和计算机科学的不断发展，当今的世界充斥着大量的数据。数据的来源有很多，比如出行记录、消费记录、浏览的网页、发送的消息等。除了文本类型的数据，图像、音乐、声音都是数据，因此需要将数据存放在数据库中以便于数据的存储和管理。

2、随着云计算的发展和大数据时代的到来，关系型数据库越来越无法满足需要，这主要是由于越来越多的半关系型和非关系型数据需要用数据库进行存储管理，以此同时，分布式技术等新技术的出现也对数据库的技术提出了新的要求，于是越来越多的非关系型数据库就开始出现，这类数据库与传统的关系型数据库在设计和数据结构有了很大的不同，它们更强调数据库数据的高并发读写和存储大数据。

3、hive是一个基于hadoop的数据仓库工具用于在对分布式数据库中数据进行分析处理的过程中。而当前使用的hive on sql和hive on spark的数据处理速度无法满足企业中大批量数据的处理需求。

<b>技术实现思路...

【技术保护点】

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，

3.根据权利要求2所述的数据处理方法，其特征在于，

4.根据权利要求2所述的数据处理方法，其特征在于，

5.根据权利要求2的数据处理方法，其特征在于，

6.根据权利要求1所述的数据处理方法，其特征在于，

7.根据权利要求1所述的数据处理方法，其特征在于，

8.根据权利要求1所述的数据处理方法，其特征在于，

9.一种数据处理装置，其特征在于，所述数据处理装置包括存储器以及与所述存储器耦接...

【技术特征摘要】

1.一种数据处理方法，其特征在于，所述数据处理方法包括：

2.根据权利要求1所述的数据处理方法，其特征在于，

3.根据权利要求2所述的数据处理方法，其特征在于，

4.根据权利要求2所述的数据处理方法，其特征在于，

5.根据权利要求2的数据处理方法，其特征在于，

6.根据权利要求1所述的数据处理方法，其特征在于，

...

【专利技术属性】
技术研发人员：柳杨，钱浩东，周明伟，陈文灿，占文平，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：