一种任务调度系统和调度方法技术方案

本发明专利技术公开了一种任务调度系统和调度方法，涉及计算机数据处理领域，包括主控制管理服务器，所述主控制管理服务器包括心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库，心跳模块用于周期性刷新和查询任务数据库中存储的计算节点的信息，当检测到任务数据库中存在超过预设数量的心跳周期未更新的计算节点时，确定该计算节点为异常节点。本发明专利技术通过主控管理服务器主控节点负责对计算节点进行管理，确定从节点的状态信息，依据各计算节点的性能功耗等参数信息将任务合理高效的分配给计算节点，并能在计算节点等硬件发生故障时，回收计算资源上的任务，重新分发给可用资源，保证作业的正常执行，能提高系统效率，用户体验更好。

A task scheduling system and scheduling method

【技术实现步骤摘要】
一种任务调度系统和调度方法
本专利技术涉及计算机数据处理领域，具体为一种任务调度系统和调度方法。
技术介绍
随着计算机技术的不断发展，技术人员利用服务器程序处理和管理网络信息数据，利用多个计算节点对不同的数据进行分开处理，计算节点将数据反馈给管理数据库系统，而管理系统不能根据不同计算节点的功耗进行有效的分配，且当节点信息的异常或硬件发生故障时，无法及时将任务回收重新分发，系统工作效率不高。
技术实现思路
本专利技术的目的在于：为了解决管理系统不能根据不同计算节点的功耗进行有效的分配，当节点信息的异常或硬件发生故障时，无法及时将任务回收重新分发，系统工作效率不高的问题，提供一种任务调度系统和调度方法。为实现上述目的，本专利技术提供如下技术方案：一种任务调度系统和调度方法，包括主控制管理服务器，所述主控制管理服务器包括心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库，所述心跳模块用于周期性刷新和查询任务数据库中存储的计算节点的信息，当检测到任务数据库中存在超过预设数量的心跳周期未更新的计算节点时，确定该计算节点为异常节点；所述任务触发模块，正在运行的任务状态发生改变，触发任务队列中优先级最高的任务下发处理，若当前无运行中的任务，则直接按照任务优先级触发任务队列的中的任务；所述异常处理模块用于检测超过执行时间仍未执行完毕的任务，进行异常任务回收及再分配处理；所述任务处理模块根据各个计算节点的负载情况分配触发的任务，在相应任务处理成功后进行任务状态的转换，并恢复初始运行环境。优选地，所述任务数据库用于存储任务文件、任务参数和任务状态，以及计算资源集群中各个计算节点的信息，任务数据库部署在服务器中，其中，任务参数包括调用节点数量，任务执行策略，任务结果。优选地，所述主控管理服务器和计算节点可以部署在同一个服务器中，也可以部署在不同的服务器中。优选地，所述计算节点用于进行业务计算处理，根据任务触发消息处理待处理任务，运行过程中向任务数据库登记所处节点的存活声明。优选地，所述计算资源集群包括至少一个计算节点，不同的计算节点可以部署在同一个服务器中，也可以分别部署在不同的服务器中。优选地，所述异常处理模块分为硬件类异常和软件类。优选地，所述主控制管理服务器包括任务查重功能。优选地，所述心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库之间相互配合。与现有技术相比，本专利技术的有益效果是：本专利技术通过主控管理服务器主控节点负责对计算节点进行管理，确定计算节点的状态信息，依据各计算节点的性能功耗等参数信息及计算资源的负载情况，将任务合理高效的分配给计算节点，并能在计算节点等硬件发生故障时，回收计算资源上的任务，重新分发给可用资源，保证作业的正常执行，任务查重功能，能提高系统效率，用户体验更好。附图说明图1为本专利技术的系统流程图；具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，一种任务调度系统和调度方法，包括主控制管理服务器，所述主控制管理服务器包括心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库，所述心跳模块用于周期性刷新和查询任务数据库中存储的计算节点的信息，当检测到任务数据库中存在超过预设数量的心跳周期未更新的计算节点时，确定该计算节点为异常节点；所述任务触发模块，正在运行的任务状态发生改变，触发任务队列中优先级最高的任务下发处理，若当前无运行中的任务，则直接按照任务优先级触发任务队列的中的任务；所述异常处理模块用于检测超过执行时间仍未执行完毕的任务，进行异常任务回收及再分配处理；所述任务处理模块根据各个计算节点的负载情况分配触发的任务，在相应任务处理成功后进行任务状态的转换，并恢复初始运行环境。本专利技术通过用户上传任务文件，任务的参数和任务状态信息存储于任务数据库中；其中，任务参数包括调用节点数量，任务执行策略，任务结果等信息；计算资源集群中各个计算节点的状态信息也存储于数据库中；若当正在运行的任务状态发生改变，触发任务队列中优先级最高的待处理任务下发处理；若当前无运行中的任务，则直接按照任务优先级触发任务队列的中的待处理任务；主控管理服务器根据计算资源集群内各个计算节点的负载情况分配触发的待处理任务，向分配的计算节点发送任务触发消息，该任务触发消息包含任务标识和当前执行时间；分配触发的待处理任务方式为根据主控管理服务器下计算节点的处理能力确定该任务的切片数量，例如，节点计算速度为1000个每秒，任务执行策略中总口令空间为1亿个，计算节点数量为200个，定义1分钟内单节点计算口令数为任务策略切片空间，即6万个口令，同时下发200个任务策略切片空间，即1200万个口令；每个计算节点任务策略切片空间运行完毕后会向主控服务器任务数据库中写入状态，若状态为成功，则无需下发任务策略切片，若状态为失败，则继续下发任务策略切片；总口令空间计算完毕至多需进行8次200个任务策略切片空间的切片下发，加上1次67个任务策略切片空间的切片下发。实施例1作为本专利技术的一种优选实施例，所述任务数据库用于存储任务文件、任务参数和任务状态，以及计算资源集群中各个计算节点的信息，任务数据库部署在服务器中，其中，任务参数包括调用节点数量，任务执行策略，任务结果。该种任务调度系统和调度方法通过服务器集群是一种服务器系统，其通过多台服务器(又称为节点)连接起来协作完成计算作业，这些节点位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务，将任务分配到多个服务器节点上的过程可以称为任务的调度。实施例2作为本专利技术的一种优选实施例，所述主控管理服务器和计算节点可以部署在同一个服务器中，也可以部署在不同的服务器中；计算节点用于进行业务计算处理，根据任务触发消息处理待处理任务，运行过程中向任务数据库登记所处节点的存活声明；计算资源集群包括至少一个计算节点，不同的计算节点可以部署在同一个服务器中，也可以分别部署在不同的服务器中。该种任务调度系统和调度方法通过计算节点进行计算的同时，主控管理服务器异常处理模块检测任务数据库中是否存在异常任务；异常任务是超过任务的执行时间但未完成的任务这种任务能够被主控管理服务器中的异常处理模块发现并回收任务再分配。实施例3作为本专利技术的一种优选实施例，异常处理模块分为硬件类异常和软件类异常。该种任务调度系统和调度方法通过硬件类异常检测处理机制主要为主控管理服务器的心跳模块用周期性刷新和查询任务数据库中存储的计算节点的信息；当检测到任务数据库中存在超过预设数量或预设时间的心跳周期未更新的计算节点时，确定该计算节本文档来自技高网...

【技术保护点】
1.一种任务调度系统和调度方法，包括主控制管理服务器，其特征在于：所述主控制管理服务器包括心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库，/n所述心跳模块用于周期性刷新和查询任务数据库中存储的计算节点的信息，当检测到任务数据库中存在超过预设数量的心跳周期未更新的计算节点时，确定该计算节点为异常节点；/n所述任务触发模块，正在运行的任务状态发生改变，触发任务队列中优先级最高的任务下发处理，若当前无运行中的任务，则直接按照任务优先级触发任务队列的中的任务；/n所述异常处理模块用于检测超过执行时间仍未执行完毕的任务，进行异常任务回收及再分配处理；/n所述任务处理模块根据各个计算节点的负载情况分配触发的任务，在相应任务处理成功后进行任务状态的转换，并恢复初始运行环境。/n

【技术特征摘要】
1.一种任务调度系统和调度方法，包括主控制管理服务器，其特征在于：所述主控制管理服务器包括心跳模块、任务触发模块、异常处理模块、任务处理模块和任务数据库，
所述心跳模块用于周期性刷新和查询任务数据库中存储的计算节点的信息，当检测到任务数据库中存在超过预设数量的心跳周期未更新的计算节点时，确定该计算节点为异常节点；
所述任务触发模块，正在运行的任务状态发生改变，触发任务队列中优先级最高的任务下发处理，若当前无运行中的任务，则直接按照任务优先级触发任务队列的中的任务；
所述异常处理模块用于检测超过执行时间仍未执行完毕的任务，进行异常任务回收及再分配处理；
所述任务处理模块根据各个计算节点的负载情况分配触发的任务，在相应任务处理成功后进行任务状态的转换，并恢复初始运行环境。


2.根据权利要求1所述的一种任务调度系统和调度方法，其特征在于：所述任务数据库用于存储任务文件、任务参数和任务状态，以及计算资源集群中各个计算节点的信息，任务数据库部署在服务器中，其中，任务参数包括调用节点数量，任务执行策略，任务结果。

【专利技术属性】
技术研发人员：尤文杰，强科华，邬锡敏，
申请(专利权)人：无锡京和信息技术有限公司，
类型：发明
国别省市：江苏;32