任务处理流程的调度及故障恢复方法技术

本发明专利技术公开了一种任务处理流程的调度及故障恢复方法，用于解决现有流程控制方法在执行批量任务时效率低的技术问题。技术方案是由用户建立流程描述文件，描述作业流程中每一个任务的次序关系和运行需要的资源等信息，将作业描述文件提交由流程控制软件处理和调度执行。流程调度软件通过描述文件为任务程序准备好程序执行所需要的资源，对任务程序的执行状态进行监控，将任务状态的变化实时更新到分布式数据库中。这样，在流程恢复时，只需要查询数据库就能够将流程恢复到异常前的正常状态，避免了文件检索等复杂耗时的操作，提高了执行批量任务时的效率。

【技术实现步骤摘要】

本专利技术属于计算机自动化流程控制和处理领域，具体涉及一种任务处理流程的调度及故障恢复方法。
技术介绍
作业流程执行的自动化是计算机流程调度领域的一个重要目标，准确的对作业中的不同任务步骤进行调度，在流程执行出错后对执行错误的任务做出快速响应，在物理机或软件发生故障迫使流程执行暂停后可以保存任务执行状态的信息，故障排除后可以迅速的恢复作业和任务的执行状态，这些都具有非常重要的现实意义。传统的流程调度方法同样依托于流程调度软件来执行。对于传统流程调度方法的一大缺陷是，如果在流程执行过程中，流程某一个任务执行出错，或是流程执行软件奔溃死锁，运行此软件的物理机断电或者死机，就会使流程阻塞在当前状态下无法继续向下执行。文献“申请公开号是CN101159605A的中国专利技术专利”公开了一种可实现状态记忆和恢复的流程控制方法，该方法是针对传统的流程调度的改进方法，将任务执行的时序状态实时的写入文件中，流程控制软件在从计算机断电或软件异常退出的情况下恢复后查找之前保存的任务文件，对文件进行搜索，恢复到异常之前的状态。但是这种依托于文件的方法在批量任务执行时的效率会变得很差，尤其是当任务量较大时本文档来自技高网...

【技术保护点】
一种任务处理流程的调度及故障恢复方法，其特征在于包括以下步骤：步骤一、执行调度任务时，对于由多个任务构成的一个流程定义为一个作业，作业进一步抽象为一个DAG图；流程调度模块加载作业信息对所述作业进行调度，并使用数据库保存一个作业中各任务的关键信息，在系统发生意外宕机的情况时依据保存的信息快速定位作业中尚未完成的任务，并根据其执行状态恢复调度现场，完成作业的快速恢复，重新调度，继续执行中断的任务；在流程调度模块接收到一个新的作业之后对此作业进行分析，将作业的信息由DAG图转化为表结构存储在数据库中；对于任一作业，将作业中的任务唯一的转化为表项保存在数据库中，同时保证其结构不变；同样的，根据数据库...

【技术特征摘要】
1.一种任务处理流程的调度及故障恢复方法，其特征在于包括以下步骤：步骤一、执行调度任务时，对于由多个任务构成的一个流程定义为一个作业，作业进一步抽象为一个DAG图；流程调度模块加载作业信息对所述作业进行调度，并使用数据库保存一个作业中各任务的关键信息，在系统发生意外宕机的情况时依据保存的信息快速定位作业中尚未完成的任务，并根据其执行状态恢复调度现场，完成作业的快速恢复，重新调度，继续执行中断的任务；在流程调度模块接收到一个新的作业之后对此作业进行分析，将作业的信息由DAG图转化为表结构存储在数据库中；对于任一作业，将作业中的任务唯一的转化为表项保存在数据库中，同时保证其结构不变；同样的，根据数据库中保存的记录还原作业DAG图；将作业保存到数据库中；步骤二、流程调度模块获取作业的信息，针对一个作业中的不同任务，在不同的物理节点进行执行，流程调度模块将对此进行判定，将任务发往相应物理节点的任务执行模块进行处理执行；对于初次提交的作业，流程调度模块通过数据库获取作业的信息，取出作业中应最先执行的任务，将其加入预备执行队列中；针对预备执行队列中的任务，流程调度模块将其依次从队列中取出，根据其中保存的信息将任务依次发往对应的任务执行模块执行；；步骤三、任务到达执行节点后，任务执行模块为其分配节点的计算资源和数据；完成预定的任务后任务执行模块将计算结果和任务运行的状态信息一并返回给流程调度模块；流程调度模块接收任务执行模块发出的消息，消息包含任务状...

【专利技术属性】
技术研发人员：谷建华，周兴社，王云岚，侯正雄，兰学渊，郝莹，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：陕西;61