一种基于消息队列的大数据异构任务调度方法及系统技术方案

一种基于消息队列的大数据异构任务调度方法及系统，包括：利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理；本发明专利技术通过异构调度设计与任务链监控相结合，构建各类任务模型与调度方案的通用描述格式，设计分级调度和主备切换组合模式，提出双层管家调度方案，从而实现任务调度的可扩展、可维护和可监控，提高系统运行可靠性，提升整体资源利用率。提升整体资源利用率。提升整体资源利用率。

【技术实现步骤摘要】
一种基于消息队列的大数据异构任务调度方法及系统


[0001]本专利技术涉及电力系统领域，具体涉及一种基于消息队列的大数据异构任务调度方法及系统。

技术介绍

[0002]随着信息化技术的快速发展以及电力侧管理需求的持续增加，电力信息系统已具备越来越复杂、庞大的功能及应用需求。传统基于消息队列的下发模式难以满足高频率、高可靠的任务执行需求，多任务并发管理问题尤其突出。面向消息队列的异构任务调度机制能够方便托管上层异构任务下发、屏蔽底层软硬件平台与不同计算引擎差异，使得任务调度平台具有易扩展、可维护和可监控等优势，从整体上提高资源利用率。
[0003]经调研，目前大部分基于消息队列的任务调度系统，其主要方案分为：
[0004]①
面向属性任务的调度系统及计算方案，包括至少在两个节点中配置的定时任务调度器、服务调度器及服务器集群；
[0005]②
面向类型任务的调度方法及装置，包括基于消息队列机制的测试任务，及测试任务消息中携带的领域参数和特性参数；
[0006]③
面向阶段任务的调度方法及装置，包括获取调度数据库中工作流的任务，将任务划分为具有多层依赖结构进行多层任务执行。
[0007]这些任务调度方案，首先，未考虑针对多集群环境资源异构且地域分散、网络环境不可靠的特点，未设计时钟同步、进程隔离和守护监控功能；其次，未考虑任务调度系统可作为平台提供统一调度及分析功能；最后，未考虑任务重发、断网重连及压力感知方面的问题。

技术实现思路

[0008]为了解决现有技术中传统的基于消息队列的下发模式难以满足高频率、高可靠的任务执行需求的问题，本专利技术提出了一种基于消息队列的大数据异构任务调度方法，包括：
[0009]利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；
[0010]利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。
[0011]优选的，所述利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧，包括：
[0012]利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；
[0013]利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；
[0014]基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。
[0015]优选的，所述利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务
池管理，包括：
[0016]解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；
[0017]利用任务池管理机制进行丢包检测和任务缓存。
[0018]优选的，所述利用任务池管理机制进行丢包检测和任务缓存，包括：
[0019]基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；
[0020]当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；
[0021]当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。
[0022]优选的，还包括：将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；
[0023]当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。
[0024]优选的，还包括：当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。
[0025]基于同一专利技术构思，本专利技术还提出了一种基于消息队列的大数据异构任务调度系统，包括：
[0026]子任务下发模块，用于利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；
[0027]子任务调度模块，用于利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。
[0028]优选的，所述子任务下发模块，具体用于：
[0029]利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；
[0030]利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；
[0031]基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。
[0032]优选的，所述子任务调度模块，包括：
[0033]子任务分发子模块，用于解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；
[0034]丢包检测子模块，用于利用任务池管理机制进行丢包检测和任务缓存。
[0035]优选的，所述丢包检测子模块，具体用于：
[0036]基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；
[0037]当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；
[0038]当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。
[0039]优选的，还包括守护进程模块，所述守护进程模块具体用于：
[0040]将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；
[0041]当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。
[0042]优选的，还包括主备切换模块，所述主备切换模块具体用于：
[0043]当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作为备份进行下发。
[0044]与现有技术相比，本专利技术的有益效果为：
[0045]一种基于消息队列的大数据异构任务调度方法及系统，包括：利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理；本专利技术通过异构调度设计与任务链监控相结合，构建各类任务模型与调度方案的通用描述格式，设计分级调度和主备切换组合模式，提出双层管家调度方案，从而实现任务调度的可扩展、可维护和可监控，提高系统运行可靠性，提升整体资源利用率。
附图说明
[0046]图1为本专利技术的一种基于消息队列的大数据异构任务调本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于消息队列的大数据异构任务调度方法，其特征在于，包括：利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧；利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理。2.根据权利要求1所述方法，其特征在于，所述利用Gateway侧接收到的任务请求进行解析和分解编码得到多个节点的子任务后，结合Agent侧上报的感知压力，通过任务通道将所述多个节点的子任务下发给Agent侧，包括：利用Gateway侧的服务发现和鉴权机制接收各系统的任务请求；利用double_key结构将所述各系统的任务请求进行任务标识解析，得到多个节点的子任务；基于Agent上报的感知压力将所述多个节点的子任务下发给Agent。3.根据权利要求1所述方法，其特征在于，所述利用Agent侧接收到的子任务进行解析、调度和结果收集并进行任务池管理，包括：解析接收到的所述多个节点的子任务，并根据任务包类型将所述多个节点的子任务通过服务通道放入不同的工作线程通道；利用任务池管理机制进行丢包检测和任务缓存。4.根据权利要求3所述方法，其特征在于，所述利用任务池管理机制进行丢包检测和任务缓存，包括：基于先进先出的方式进行Gateway侧和Agent侧的任务缓存；当接收到的消息编号小于或等于历史编号最大值时，判定为重发消息进行丢弃；当接收到的消息编号大于历史编号最大值加一后的值时，判定为消息丢失并通过控制通道下发控制信号要求重发。5.根据权利要求1所述方法，其特征在于，还包括：将Gateway侧和Agent侧的工作状态上下文内容作为心跳信号上报给守护进行缓存和监控；当所述Gateway侧或Agent侧失去心跳信号时，守护进程进行重启并将最后一次工作状态内容恢复到Gateway侧或Agent侧。6.根据权利要求1所述方法，其特征在于，还包括：当所述任务通道或服务通道出现故障或回传故障时，采用控制通道作...

【专利技术属性】
技术研发人员：段祥骏，盛万兴，冯德志，许媛媛，段青，李运硕，张琳，李佳，
申请(专利权)人：国家电网有限公司，
类型：发明
国别省市：