大数据计算任务处理方法技术

本发明专利技术提供一种大数据计算任务处理方法

【技术实现步骤摘要】
大数据计算任务处理方法、系统、存储介质及计算机


[0001]本专利技术涉及数据处理
，特别涉及一种大数据计算任务处理方法
、
系统
、
存储介质及计算机
。

技术介绍

[0002]在大数据时代，应用系统中客户提交的条件查询任务，往往需要在
TB
级别的数据量中进行关系查询，但此类查询通常不要求实时的返回查询结果，因此，如何能够低成本
、
快速的创建可扩展
、
分布式的计算任务，且能够异步的获取任务结果成为了需要解决的问题
。
[0003]传统的方案中，更多的是对任务进行拆分和调度，虽然能够快速的创建任务，但扩展性存在局限，且因为查询的关系数据必须长期独占系统资源，成本上也不是最优方案
。

技术实现思路

[0004]基于此，本专利技术的目的是提供一种大数据计算任务处理方法
、
系统
、
存储介质及计算机，以至少解决上述相关技术中的不足
。
[0005]本专利技术提出一种大数据计算任务处理方法，包括：
[0006]通过接口网关层下发计算任务，并判断所述计算任务的任务类型；
[0007]若所述计算任务的任务类型为新增任务，则通过所述接口网关层生成任务数据，并将所述任务数据保存至所述服务数据库中；
[0008]利用调度层对所述服务数据库进行订阅，待所述调度层获取到所述任务数据后，通过开源编排模型根据所述任务数据创建开源编排任务；
[0009]执行所述开源编排任务，并将对应的执行结果写入至所述服务数据库中，以完成所述计算任务的处理
。
[0010]进一步的，判断所述计算任务的任务类型的步骤之后，所述方法还包括：
[0011]若所述计算任务的任务类型为删除任务或查询任务，通过所述接口网关层从服务数据库中获取所述计算任务对应的处理结果
。
[0012]进一步的，利用调度层对所述服务数据库进行订阅，待所述调度层获取到所述任务数据后，通过开源编排模型根据所述任务数据创建开源编排任务的步骤包括：
[0013]启动所述调度层，以使所述调度层注册可执行的任务类型；
[0014]控制所述调度层对所述服务数据库中特定规则的服务数据的密钥进行订阅，并判断所订阅的服务数据的密钥是否为新增密钥；
[0015]若所订阅的服务数据的密钥为新增密钥，则消费获取所述新增密钥，并根据所述新增密钥创建开源编排任务
。
[0016]进一步的，执行所述开源编排任务的步骤包括：
[0017]当所述开源编排模型接收到所述调度层所发送的开源编排任务时，获取所述开源编排任务的并行度
、
内存需求以及
CPU
需求；
[0018]获取所述开源编排模型的工作节点和剩余计算资源，并基于所述工作节点和所述剩余计算资源以及所述并行度
、
所述内存需求和所述
CPU
需求对所述开源编排任务进行资源调度，以使所述开源编排任务以数学方式在不同的工作节点上执行
。
[0019]本专利技术还提出一种大数据计算任务处理系统，包括：
[0020]类型判断模块，用于通过接口网关层下发计算任务，并判断所述计算任务的任务类型；
[0021]数据生成模块，用于若所述计算任务的任务类型为新增任务，则通过所述接口网关层生成任务数据，并将所述任务数据保存至所述服务数据库中；
[0022]任务创建模块，用于利用调度层对所述服务数据库进行订阅，待所述调度层获取到所述任务数据后，通过开源编排模型根据所述任务数据创建开源编排任务；
[0023]任务处理模块，用于执行所述开源编排任务，并将对应的执行结果写入至所述服务数据库中，以完成所述计算任务的处理
。
[0024]进一步的，所述系统还包括：
[0025]数据处理模块，用于若所述计算任务的任务类型为删除任务或查询任务，通过所述接口网关层从服务数据库中获取所述计算任务对应的处理结果
。
[0026]进一步的，所述任务创建模块包括：
[0027]类型注册单元，用于启动所述调度层，以使所述调度层注册可执行的任务类型；
[0028]密钥判断单元，用于控制所述调度层对所述服务数据库中特定规则的服务数据的密钥进行订阅，并判断所订阅的服务数据的密钥是否为新增密钥；
[0029]任务创建单元，用于若所订阅的服务数据的密钥为新增密钥，则消费获取所述新增密钥，并根据所述新增密钥创建开源编排任务
。
[0030]进一步的，所述任务处理模块包括：
[0031]任务接收单元，用于当所述开源编排模型接收到所述调度层所发送的开源编排任务时，获取所述开源编排任务的并行度
、
内存需求以及
CPU
需求；
[0032]任务处理单元，用于获取所述开源编排模型的工作节点和剩余计算资源，并基于所述工作节点和所述剩余计算资源以及所述并行度
、
所述内存需求和所述
CPU
需求对所述开源编排任务进行资源调度，以使所述开源编排任务以数学方式在不同的工作节点上执行
。
[0033]本专利技术还提出一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述的大数据计算任务处理方法
。
[0034]本专利技术还提出一种计算机，包括存储器
、
处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的大数据计算任务处理方法
。
[0035]与现有技术相比，本专利技术的有益效果是：通过判断计算任务的任务类型来执行对应的操作，当任务类型为新增任务则通过所述接口网关层生成任务数据，并将该任务数据保存至服务数据库，利用调度层对该服务数据库进行订阅，利用开源编排模型的调度优势，借助开源编排模型的任务控制器，创建多个短暂的开源编排任务，任务即插即用，即用即毁，不独占系统资源，且支持分布式处理，不依赖很高的服务器配置，可以充分利用集群中的空闲资源
。
附图说明
[0036]图1为本专利技术第一实施例中大数据计算任务处理方法的流程图；
[0037]图2为本专利技术第一实施例中大数据计算任务处理方法的整体框架图；
[0038]图3为图1中步骤
S103
的详细流程图；
[0039]图4为图1中步骤
S104
的详细流程图；
[0040]图5为本专利技术第二实施例中大数据计算任务处理系统的结构框图；
[0041]图6为本专利技术第三实施例中计算机的结构框图
。
[0042]如下具体实施方式将结合上述附图进一步说明本专利技术
。
具体实施方式
[0043]为了便于理解本专利技术，下面将参照相关附图对本发本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种大数据计算任务处理方法，其特征在于，包括：通过接口网关层下发计算任务，并判断所述计算任务的任务类型；若所述计算任务的任务类型为新增任务，则通过所述接口网关层生成任务数据，并将所述任务数据保存至所述服务数据库中；利用调度层对所述服务数据库进行订阅，待所述调度层获取到所述任务数据后，通过开源编排模型根据所述任务数据创建开源编排任务；执行所述开源编排任务，并将对应的执行结果写入至所述服务数据库中，以完成所述计算任务的处理
。2.
根据权利要求1所述的大数据计算任务处理方法，其特征在于，判断所述计算任务的任务类型的步骤之后，所述方法还包括：若所述计算任务的任务类型为删除任务或查询任务，通过所述接口网关层从服务数据库中获取所述计算任务对应的处理结果
。3.
根据权利要求1所述的大数据计算任务处理方法，其特征在于，利用调度层对所述服务数据库进行订阅，待所述调度层获取到所述任务数据后，通过开源编排模型根据所述任务数据创建开源编排任务的步骤包括：启动所述调度层，以使所述调度层注册可执行的任务类型；控制所述调度层对所述服务数据库中特定规则的服务数据的密钥进行订阅，并判断所订阅的服务数据的密钥是否为新增密钥；若所订阅的服务数据的密钥为新增密钥，则消费获取所述新增密钥，并根据所述新增密钥创建开源编排任务
。4.
根据权利要求1所述的大数据计算任务处理方法，其特征在于，执行所述开源编排任务的步骤包括：当所述开源编排模型接收到所述调度层所发送的开源编排任务时，获取所述开源编排任务的并行度
、
内存需求以及
CPU
需求；获取所述开源编排模型的工作节点和剩余计算资源，并基于所述工作节点和所述剩余计算资源以及所述并行度
、
所述内存需求和所述
CPU
需求对所述开源编排任务进行资源调度，以使所述开源编排任务以数学方式在不同的工作节点上执行
。5.
一种大数据计算任务处理系统，其特征在于，包括：类型判断模块，用于通过接口网关层下发计算任务，并判断所述计算任务的任务类型；数据生成模块，用于若所述计算任务的任务类型为新增任务，则通过所述接口网关层生成任务数据，...

【专利技术属性】
技术研发人员：许畅，段义文，夏迪，朱杰，陈敏，赵鹏飞，龚宇波，
申请(专利权)人：江西江投数字经济技术有限公司，
类型：发明
国别省市：