任务调度方法、装置及系统制造方法及图纸

本发明专利技术提供一种任务调度方法、装置及系统，该方法包括：获取任务配置信息，根据任务配置信息确定任务类型；根据任务类型，将任务配置信息下发给与任务类型对应的任务执行节点执行；在预设时间内接收到任务执行节点返回的任务的执行结果，根据任务的执行结果更新任务的状态。本发明专利技术实施例把所有任务都放在同一个协调装置中进行统一调度，把任务信息统一存储在同一数据库中，通过网页管理界面进行配置型的管理，不仅可以实现跨平台的任务调度，可在保证任务可靠性和关联性的前提下，提升任务处理速度和任务调度执行效率，也方便任务调度系统的运维工作。

Task scheduling method, device and system

The present invention provides a task scheduling method, device and system. The method includes: obtaining the task configuration information is determined according to the task type task configuration information; according to the task type, task configuration information to the corresponding node and task type task execution; in the preset time received the task execution node returned task execution the result, according to the state of the task execution results update task. The embodiment of the invention, all the tasks are placed in the same coordinate device in unified scheduling, the task of information stored in the same database, for configuration management through the web interface management, task scheduling can not only realize the cross platform, in which the task can rely on the premise and relevance. Enhancing the efficiency of the implementation of the task processing speed and task scheduling, operation and maintenance work is also convenient for task scheduling system.

【技术实现步骤摘要】
任务调度方法、装置及系统
本专利技术涉及互联网技术，尤其涉及一种跨平台的任务调度方法、装置及系统。
技术介绍
当前，随着业务规模的逐渐扩大，企业内部系统或者外部系统中发起的任务数量越来越多，任务种类也越来越繁杂。现有的任务调度系统都是基于复杂的大规模分布式集群来实现的，即一个服务构建于不同的应用集群之上，一个前端请求会调用多个不同的后端业务，调用方式多种多样，如远程过程调用、数据库、分布式缓存、分布式文件系统等。这些后端业务集群可能是由不同的团队来开发的，也可能是使用不同的编程语言来实现的，可能分布在多个服务器之上，也可能横跨多个不同的数据中心。由于缺乏统一的分布式任务调度系统，严重影响了任务执行效率，也不便于任务调度系统的运维工作。
技术实现思路
本专利技术实施例提供一种任务调度方法、装置及系统，不仅可以实现跨平台的任务调度，在保证任务可靠性和关联性的前提下，提升任务处理速度和任务执行效率，也方便任务调度系统的运维工作。本专利技术实施例第一方面提供一种任务调度方法，该方法包括：获取任务配置信息，根据任务配置信息确定任务类型；根据任务类型，将任务配置信息下发给与任务类型对应的任务执行节点执行；在预设时间内接收到任务执行节点返回的任务执行结果，根据任务的执行结果更新任务的状态。本专利技术实施例第二方面提供一种任务调度装置，该装置包括：任务加载模块，用于获取任务配置信息，根据所述任务配置信息确定所述任务类型；任务下发模块，用于根据所述任务类型，将所述任务配置信息下发给与所述任务类型对应的任务执行节点执行；更新模块，用于在预设时间内接收到所述任务执行节点返回的所述任务的执行结果，根据所述任务的执行结果更新所述任务的状态。本专利技术实施例第三方面提供一种任务调度系统，包括：数据库、网页管理界面、任务执行节点和上述第二方面提供的任务调度装置。其中，网页管理界面用于配置任务配置信息；数据库用于保存任务配置信息以及任务的状态信息；任务执行节点用于执行任务调度装置下发的任务，并将任务的执行结果返回给任务调度装置。基于上述，本专利技术实施例提供的任务调度方法、装置及系统，把所有任务都放在同一个协调装置中进行统一调度，把任务信息统一存储在同一数据库中，通过网页管理界面进行配置型的管理，不仅可以实现跨平台的任务调度，可在保证任务可靠性和关联性的前提下，提升任务处理速度和任务调度执行效率，也方便任务调度系统的运维工作。附图说明为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种任务调度方法的流程图；图2为本专利技术实施例提供的另一种任务调度方法的流程图；图3为本专利技术实施例提供的一种任务调度装置的示意图；图4为本专利技术实施例提供的另一种任务调度装置的示意图；图5为本专利技术实施例提供的一种任务调度系统示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的一种任务调度方法的流程图，如图1所示，本实施例提供的任务调度方法包括如下步骤：S11，获取任务配置信息，根据任务配置信息确定任务类型；S12，根据任务类型，将任务配置信息下发给与任务类型对应的任务执行节点执行；S13，在预设时间内接收到任务执行节点返回的任务执行结果，根据任务的执行结果更新任务的状态。本实施提供的任务调度方法可以应用于相应的任务调度系统，该系统包括数据库、网页管理界面、调度服务器和多个计算服务器。其中，上述步骤的执行主体为调度服务器，网页管理界面用于配置任务配置信息，数据库用于保存任务配置信息以及任务的状态信息，计算服务器用于执行调度服务器下发的任务，并将任务的执行结果返回给调度服务器。换言之，在本实施例中，任务配置信息可以是通过网页管理界面配置并保存于数据库中的。进一步的，可以理解的是，在通过网页管理界面配置任务时，可以进行任务类型的设定，即任务的配置信息中有专门的任务类型标记。进一步的，示例性的，在本实施例中，任务类型具体可以包括Hadoop类型和非Hadoop类型，进而相应的任务调度系统中可以包括对应类型的计算服务器，即任务执行节点，如Hadoop集群和代理监视节点，其中，Hadoop集群可以用于执行Hadoop类型的任务，代理监视节点可以用于执行非Hadoop类型的任务。本实施例提供的任务调度方法，把任务信息统一存储在同一数据库中，通过网页管理界面进行配置型的管理，把所有任务都放在同一个协调装置中，将多个不同平台上的任务根据其任务类型进行统一调度，不仅可以实现跨平台的任务调度，可在保证任务可靠性和关联性的前提下，提升任务处理速度和任务调度执行效率，也方便任务调度系统的运维工作。图2为本专利技术实施例提供的另一种任务调度方法的流程图，本实施例在图1所示实施例的基础上，具体的，上述的任务配置信息不仅可以包括任务的类型信息，还可以包括任务的标识信息和命令信息。进一步的，上述S11具体可以包括如下步骤：S111，扫描数据库进行任务加载；S112，对任务进行解析预处理，获取任务的标识信息、命令信息和类型信息；S113，根据类型信息确定任务类型。进一步的，作为一种可选的实施方式，在上述S11之后，还可以包括S14，创建任务的状态节点。其中，该状态节点可以用于保存任务的状态信息。示例性，对于任务A，其状态节点刚被创建时，保存任务A的状态信息可以为等待执行状态(waiting)；当根据任务A的类型，将任务A的配置信息下发给相应的任务执行节点执行时，状态节点中的任务A的状态信息也可以被相应的更新为正在执行状态(running)；在预设时间内接收到任务执行节点返回的任务A的执行结果后，状态节点中的任务A状态信息进一步可以被相应的更新为执行成功状态(success)或执行失败状态(failed)。进一步的，作为一种可选的实施方式，上述S13具体可以包括：S131，在预设时间内接收到任务执行节点返回的任务执行结果，并根据任务的执行结果更新任务的状态节点中的状态信息；S132，根据任务的状态节点中的状态信息更新数据库中所述任务的状态信息。可选的，在根据任务的状态节点中的状态信息更新数据库中所述任务的状态信息之后，还可以将任务的状态节点删除，以免其占用调度服务器的内存，影响后续任务调度进程的执行效率。另外，作为本实施例一种优选的实施方式，在上述S12之后，还可以包括S15，若在预设时间内没有接收到任务执行节点返回的所述任务执行结果，则发出告警信息。可以理解的是，调度服务器在对每一个任务进行调度时，可以为任务设定运行时间，如果在设定运行时间没有接收到任务执行节点返回的任何任务执行结果，则可以判定该任务调度失败，并发出告警信息，以便用户在接收到告警信息后，检测系统中是否有软硬件故障并及时进本文档来自技高网...

【技术保护点】
一种任务调度方法，其特征在于，包括：获取任务配置信息，根据所述任务配置信息确定所述任务类型；根据所述任务类型，将所述任务配置信息下发给与所述任务类型对应的任务执行节点执行；在预设时间内接收到所述任务执行节点返回的所述任务的执行结果，根据所述任务的执行结果更新所述任务的状态。

【技术特征摘要】
1.一种任务调度方法，其特征在于，包括：获取任务配置信息，根据所述任务配置信息确定所述任务类型；根据所述任务类型，将所述任务配置信息下发给与所述任务类型对应的任务执行节点执行；在预设时间内接收到所述任务执行节点返回的所述任务的执行结果，根据所述任务的执行结果更新所述任务的状态。2.根据权利要求1所述的方法，其特征在于，所述任务配置信息是通过网页管理界面配置并保存于数据库中的。3.根据权利要求2所述的方法，其特征在于，所述任务配置信息包括任务的标识信息、命令信息和类型信息；所述获取任务配置信息，包括：扫描所述数据库进行所述任务加载；对所述任务进行解析预处理，获取所述任务的标识信息、命令信息和类型信息。4.根据权利要求3所述的方法，其特征在于，所述获取任务配置信息之后，还包括：创建所述任务的状态节点，所述状态节点用于保存所述任务的状态信息；所述根据所述任务的执行结果更新所述任务的状态，包括：根据所述任务的执行结果更新所述任务的状态节点中的状态信息；根据所述任务的状态节点中的状态信息更新所述数据库中所述任务的状态信息。5.根据权利要求1～4任一所述的方法，其特征在于，还包括：若在所述预设时间内没有接收到所述任务执行节点返回的所述任务的执行结果，则发出告警信息。6.根据权利要求1～4任一所述的方法，其特征在于，所述任务类型包括Hadoop类型和非Hadoop类型；所述根据所述任务类型，将所述任务配置信息下发给与所述任务类型对应的任务执行节点执行，包括：若所述任务类型为Hadoop类型，将所述任务配置信息下发给Hadoop集群执行；若所述任务类型为非Hadoop类型，将所述任务配置信息下发给代理监视节点执行。7.一种任务调度装置，其特征在于，包括：任务加载模块，用于获取任务配置信息，根据所述任务配置信息确定所述任务类型；任务下发模块，用于根据所述任务类型，将所述任务配置信息下发给与所述任务类型对应的任务执行节点执行；更新模块，用于...

【专利技术属性】
技术研发人员：王剑飞，
申请(专利权)人：五八同城信息技术有限公司，
类型：发明
国别省市：天津,12