一种基于大数据技术的分布式任务调度方法技术

本发明专利技术涉及数据处理领域，具体是一种基于大数据技术的分布式任务调度方法，包括如下步骤：S1、程序包或HTTP接口进行注册；S2、将所有创建的任务节点串联起来形成待执行任务的工作流程；S3、将配置好的工作流程注册到数据库或分布式服务框架中；S4、初始化、注册并启动任务调度节点，任务调度节点将待执行任务下发给未发生负载情况任务执行节点；S5、初始化、注册并启动任务执行节点，任务执行节点持续接收待执行任务并执行；S6、任务执行节点执行完该待执行任务后，将执行情况上报给任务调度节点；解决了任务调度没有补偿机制、宕机时，剩余待调度任务无法执行、对大数据相关程度调度支持性低以及度的任务过多时，任务运行效率会明显下降的问题。

【技术实现步骤摘要】
一种基于大数据技术的分布式任务调度方法
本专利技术涉及数据处理领域，具体是指一种基于大数据技术的分布式任务调度方法。
技术介绍
任务调度系统在数据平台中是非常核心的功能模块。在日常的数据处理中，定时运行业务时需要对任务进行相关的调度配置，让其在设定的时间定时的运行任务，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统，随着大数据行业的逐渐发展，在实际的生产环境中会存在多种类型的任务调度需求，传统的任务调度系统目前无法完全支持，其存在的弊端如下：1)传统的任务调度没有补偿机制如果调度的任务在执行期间出现异常后，没有任务自动补偿机制，需要人工干预，让任务重新运行。2)传统的任务调度系统不支持集群模式传统的任务调度系统属于单机模式，存在单点故障，如果调度系统出现异常后，所有还未运行的待调度任务都无法正常运行。3)传统的任务调度系统对大数据生态圈支持性不好传统的任务调度系统可以调用大部分常规的单机程序，但是对MapReduce、Spark、Flink等大数据计算程本文档来自技高网...

【技术保护点】
1.一种基于大数据技术的分布式任务调度方法，其特征在于，包括如下步骤：/nS1、根据任务处理需求，将独立运行的程序包或HTTP接口进行注册；/nS2、创建任务节点，配置任务节点信息，将所有创建的任务节点串联起来形成待执行任务的工作流程；/nS3、将配置好的工作流程的详细信息注册到数据库中，工作流程的简要信息注册到分布式服务框架中；/nS4、初始化任务调度节点，注册并启动任务调度节点，任务调度节点定时扫描分布式服务框架中的数据，如有待执行任务，则将待执行任务下发给未发生负载情况的任务执行节点；/nS5、初始化任务执行节点，注册并启动任务执行节点，注册好的任务执行节点处于等待状态，持续接收任务调度...

【技术特征摘要】
1.一种基于大数据技术的分布式任务调度方法，其特征在于，包括如下步骤：
S1、根据任务处理需求，将独立运行的程序包或HTTP接口进行注册；
S2、创建任务节点，配置任务节点信息，将所有创建的任务节点串联起来形成待执行任务的工作流程；
S3、将配置好的工作流程的详细信息注册到数据库中，工作流程的简要信息注册到分布式服务框架中；
S4、初始化任务调度节点，注册并启动任务调度节点，任务调度节点定时扫描分布式服务框架中的数据，如有待执行任务，则将待执行任务下发给未发生负载情况的任务执行节点；
S5、初始化任务执行节点，注册并启动任务执行节点，注册好的任务执行节点处于等待状态，持续接收任务调度节点下发待执行任务并执行该待执行任务；
S6、任务执行节点执行完该待执行任务后，将执行情况上报给任务调度节点，任务调度节点根据任务执行节点反馈的执行情况进行状态展示。


2.根据权利要求1所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S1中，注册的对象为程序包，则填写程序运行的主类和运行参数，注册对象是HTTP接口，则填写HTTP接口的地址路径和调用类型。


3.根据权利要求1所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S4中，初始化任务调度端的Netty远程调用环境，启动任务调度节点的Netty远程调用服务。


4.根据权利要求3所述的一种基于大数据技术的分布式任务调度方法...

【专利技术属性】
技术研发人员：郑小锋，官俊，涂岗，冯云龙，郭翠莲，
申请(专利权)人：倍智智能数据运营有限公司，
类型：发明
国别省市：四川;51