任务处理方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种任务处理方法、装置、电子设备及存储介质，涉及大数据处理技术领域，该方法包括：解析输入的结构化查询语言SQL语句，获取SQL语句对应的待执行任务，以及与待执行任务相关的目标数据源的属性信息；根据目标数据源的属性信息确定目标数据源的类型，并启动目标数据源的类型对应的目标引擎；采用目标引擎从目标数据源中拉取数据，并根据拉取的数据执行待执行任务。通过对不同的数据源类型，配置对应的计算引擎，在确定了目标数据源类型后，启动其对应的计算引擎进行数据处理，使得数据访问范围有效扩大，与现有的各数据源设置统一访问引擎相比，有效避免了数据访问受限的问题。

Task processing method, device, electronic equipment and storage medium

【技术实现步骤摘要】
任务处理方法、装置、电子设备及存储介质
本申请涉及大数据处理
，具体而言，涉及一种任务处理方法、装置、电子设备及存储介质。
技术介绍
Spark是基于内存计算的大数据计算框架，提供了分布式计算功能，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性。SparkSQL是基于Spark的分布式结构化查询语言SQL引擎，支持SQL语句，极大的方便了用户对关系型数据库的使用。在SparkSQL中如何进行用户资源访问权限的管理，一直困扰着大数据开发人员。现有技术中，用户在进行数据访问时，是通过统一的SQL引擎：ApacheCalcite动态数据管理框架进行数据访问，其是独立于存储和执行的SQL解析、优化引擎，广泛应用于各种离线、搜索、实时查询引擎。但是，由于现有技术只能通过默认的引擎进行数据访问，从而导致数据访问受到较大限制。
技术实现思路
有鉴于此，本申请实施例的目的在于提供一种任务处理方法、装置、电子设备及存储介质，用于解决现有技术中存在的数据访问受限的问题。r>第一方面，本申请本文档来自技高网...

【技术保护点】
1.一种任务处理方法，其特征在于，包括：/n解析输入的结构化查询语言SQL语句，获得所述SQL语句对应的待执行任务，以及与所述待执行任务相关的目标数据源的属性信息；/n根据所述目标数据源的属性信息确定所述目标数据源的类型，并启动所述目标数据源的类型对应的目标引擎；/n采用所述目标引擎从所述目标数据源中拉取数据，并根据拉取的所述数据执行所述待执行任务。/n

【技术特征摘要】
1.一种任务处理方法，其特征在于，包括：
解析输入的结构化查询语言SQL语句，获得所述SQL语句对应的待执行任务，以及与所述待执行任务相关的目标数据源的属性信息；
根据所述目标数据源的属性信息确定所述目标数据源的类型，并启动所述目标数据源的类型对应的目标引擎；
采用所述目标引擎从所述目标数据源中拉取数据，并根据拉取的所述数据执行所述待执行任务。


2.根据权利要求1所述的方法，其特征在于，所述目标数据源的属性信息，包括：所述目标数据源的标识和/或所述目标数据源对应的地址；
所述根据所述目标数据源的属性信息确定所述目标数据源的类型，包括：
根据所述目标数据源的标识和/或所述目标数据源对应的地址确定所述目标数据源的类型。


3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
创建元数据管理库，所述元数据管理库包括：表的标识、各表对应的数据源的属性信息、以及各数据源的类型；
所述解析输入的结构化查询语言SQL语句，获得所述SQL语句对应的待执行任务，以及与所述待执行任务相关的目标数据源的属性信息，包括：
对所述SQL语句进行语义解析，获得可识别的待执行任务和所述待执行任务的表的标识；
根据所述表的标识以及所述元数据管理库，查询得到与所述待执行任务相关的所述目标数据源的属性信息。


4.根据权利要求2所述的方法，其特征在于，所述根据所述目标数据源的属性信息确定所述目标数据源的类型，并启动所述目标数据源的类型对应的目标引擎，包括：
根据所述目标数据源的标识和/或所述目标数据源对应的地址，判断所述目标数据源的类型是否为流式数据源类型；
若是，则启动Flink引擎，若否，则启动Spark引擎。


5.根据权利要求4所述的方法，其特征在于，所述根据所述目标数据源对应的地址，采用所述目标引擎从所述目标数据源中拉取数据，并根据拉取的所述数据执行所述待执行任务之前，还包括：
若启动Flink引擎，则将所述待执行任务转化为所述Flink引擎可识别任务信息；或者，
若启动Spark引擎，则将所述待执行任务转化为Spark引擎可识别任务信息。


6.一种任务处理装置，其特征在于，包括：解析模块、启动模块、执行模块；

【专利技术属性】
技术研发人员：户蕾蕾，谷宁波，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南;41