【技术实现步骤摘要】
一种大数据平台SQL任务执行引擎智能自动切换的方法
[0001]本专利技术涉及大数据处理
，具体是指一种大数据平台SQL任务执行引擎智能自动切换的方法。
技术介绍
[0002]在大数据平台的数据计算使用过程中，计算任务管理的重要内容是：为支持各种各样的数据展示，业务开发人员使用各种开发方式生成计算任务进行数据统计，支撑着各个业务数据分析及图表数据的收集及存储。在这种趋势背景下，使用SQL语句作为计算任务的开发标准会让开发人员和分析人员更容易接受，学习成本小与入门门槛低，并且很容易对数据指标进行计算逻辑表达。在大数据环境下，各个执行引擎会根据自己的存储属性在SQL标准上做一些自己的特有改进。所以计算任务开发过程中，开发人员往往会选择使用程序语言去编写针对特定执行引擎的任务程序包，然后提交给大数据集群中的执行引擎去执行。但是，这种方式不但增加开发门槛和学习成本，而且加大集群计算的不平衡性，只能通过不断增加服务器硬件资源去分担执行引擎的计算调用，但是这又会使其它执行引擎得不到合理的分配，导致资源浪费。
技术实现思路
<...
【技术保护点】
【技术特征摘要】
1.一种大数据平台SQL任务执行引擎智能自动切换的方法，其特征在于：包括以下步骤：步骤1：获取原始SQL语句和执行参数信息；其中，执行参数信息包括是否有指定执行引擎、是否设置为SQL任务分配的CPU个数及内存资源；步骤2：根据执行参数信息和原始SQL语句，计算决策出当前SQL任务适合的执行引擎及资源配置数据；步骤3：根据执行引擎类型确认预先设计制作好的引擎落地执行程序包；步骤4：将确认好的引擎落地执行程序包提交给确定好的执行引擎去执行，同时，将执行状态数据及占用的资源情况上报给服务器进行数据统计使用；步骤5：SQL任务执行完成后，将任务的完成状态上报给服务器中进行业务终止数据统计及资源释放数据统计；步骤6：用户通过前端页面展示查看返回任务执行结果及任务运行状态。2.根据权利要求1所述的一种大数据平台SQL任务执行引擎智能自动切换的方法，其特征在于：步骤2中计算决策出当前SQL任务适合的执行引擎及资源配置数据包括以下步骤：S1：根据执行参数信息判定是否已指定执行引擎；是，以指定的执行引擎作为运行原始SQL语句的执行引擎；否，执行步骤S2；S2：获取当前大数据集群的各执行引擎的当前任务个数和空闲资源以及所有服务器的公共空闲资源；S3：根据步骤S2中获取到的数据，选择出最优的执行引擎；S4：通过SQL解析器解析出原始SQL语句的函数列表；S5：判定函数列表中是否有函数需要改造：是，统计需改造函数，并生成待改造函数列表，执行步骤S6；否，则不对原始SQL语句进行改造，直接输出选择好的执行引擎和原始SQL语句；S6：根据预先设置好的引擎函数实现方式对待改造函数列表里的函数进行改造，得到改造SQL语句；S7：输出选择好的执行引擎类型、改造SQL语句以及资源占用参数。3.根据权利要求2所述的一种大数据平台SQL任务执行引擎智能自动切换的方法，其特征在于：所述步骤S2中获取的空闲资源包括CPU与内存资源中的空闲资源。4.根据权利要求2所述的一种大数据平台SQL任务执行引擎智能自动切换的方法，其特征在于：步骤S2中通过大数据计算资源模型来获取当前大数据集群的各执行引擎的当前任务个数和空闲资源以及所有服务器的公共空闲资源。5.根据权利要求4所述的一种大数据平台SQL任务执行引擎智能自动切换的方法，其特征在于：所述大数据计算资源模型包括数据层、收集层、统计计算层以及数据输出层；其中，数据层，用于将每个SQL任务开始时运行的资源占用数据、每个SQL任务结束后归还的资源数据以及服务器总体资源数据上报到收集层中；收集层，用于将收集到的数据分别按执行引擎进行数据归类整理，分别对收集服务器资源的占用、空闲情况、任务上报时的执行引擎类型、占用资源信息、任务的运行状态信息进行分字段整理归类集合存放于内存中；统计计算层，用于统计各项资源数据；包括统计各执行引擎的占用资源、各引擎使用的
时长与频次、服务...
【专利技术属性】
技术研发人员：徐长明，周亚军，
申请(专利权)人：多点生活成都科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。