一种作业调度系统、方法及其存储介质技术方案

本申请涉及一种作业调度系统、方法及其存储介质，其作业调度系统包括流程总控文件和模块文件系统，所述模块文件系统包括多个模块文件，所述模块文件包括：串行组节点、并行组节点和任务节点，所述串行组节点下连接的节点以串行方式运行，所述并行组节点下连接的节点以并行方式运行，所述任务节点用于运行作业。本发明专利技术具有在大量作业面前使用更灵活、更快捷方便，完成同样调度设计，信息总量也相对较少的效果。效果。效果。

【技术实现步骤摘要】
一种作业调度系统、方法及其存储介质


[0001]本专利技术涉及计算机
，尤其是涉及一种作业调度系统、方法及其存储介质。

技术介绍

[0002]在调度业界，流程核心信息主要组织思路为:将作业节点化，并将作业控制策略属性化，其中依赖关系、并行关系是最主要的控制策略内容。在ETL调度界，流程图主要根据流程作业节点以及节点关系进行表达。
[0003]图形表达如图1所示，由图可知，该图简洁且直观描述了各作业的依赖关系与并行关系。数据表达思路如图2所示。传统设计思路比较简洁直观，每个节点之间相对独立。在面向用户实施方面，主要是对每个作业节点直接以记录方式描述。具体实施手段，主要是图形拖拽以及节点表单方式描述。比如Control
‑
M的作业对话框描述以及Excel方式描述。
[0004]上述中的现有技术方案存在以下缺陷：在大量作业面前，该组织思路的信息总量较大，使用更加繁琐。

技术实现思路

[0005]为了使设计组织思路在大量作业面前使用更灵活、更快捷方便，完成同样调度设计，信息总量也相对较少，本申请提供了一种作业调度系统、方法及其存储介质。
[0006]第一方面，本申请提供一种作业调度系统，采用如下的技术方案：
[0007]一种作业调度系统，所述作业调度系统包括流程总控文件和模块文件系统，所述模块文件系统包括多个模块文件，所述模块文件包括：串行组节点、并行组节点和任务节点，所述串行组节点下连接的节点以串行方式运行，所述并行组节点下连接的节点以并行方式运行，所述任务节点用于运行作业。
[0008]可选的，所述模块文件还包括开始节点和结束节点，所述开始节点与所述结束节点连接于串行组节点下，所述开始节点用于设置同一串行组节点下中节点的开始位置，所述结束节点用于设置同一串行组节点下中节点的结束位置。
[0009]可选的，所述模块文件还包括调度控制策略，用于模块文件中作业的调度方式。
[0010]可选的，所述调度控制策略包括条件分支策略，用于设定作业运行的运行条件，当至少两个作业之间设定有运行条件时，仅当满足运行条件时，对应作业开始运行。
[0011]可选的，所述调度控制策略还包括互斥策略，用于设定作业间的互斥条件，互斥条件中的作业不能同时运行。
[0012]可选的，所述调度控制策略还包括执行计划控制策略，用于设定作业的执行时间。
[0013]可选的，所述调度控制策略还包括容错策略，所述容错策略包括错误重做机制与错误忽略机制，所述错误重做机制中设置有最大次数，当作业重复次数达到最大次数还是失败时，依赖该作业的作业不会执行，所述错误忽略机制中设有最大次数，当作业重复次数达到最大次数还是失败时，则忽略该作业继续执行依赖该作业的作业。
[0014]第二方面，本申请提供一种作业调度方法，采用如下的技术方案：
[0015]一种作业调度方法，所述方法包括上述的作业调度系统，所述方法包括：对串行组节点下连接的节点以串行方式运行；对并行组节点下连接的节点以并行方式运行。
[0016]第三方面，本申请提供一种存储介质，存储有能够被处理器加载并执行上述方法的计算机程序。
[0017]综上所述，本申请包括以下至少一种有益技术效果：从设计思路的角度，传统方式比本身的调度思路简单，更容易让人理解，但由于采用了一定结构化特征，在面对大量作业面前，该思路在理解的基础上，使用会更灵活、更快捷方便，完成同样调度设计，信息总量也相对较少。
附图说明
[0018]图1是现有技术的非结构化示意图；
[0019]图2是图1的数据表达思路示意图；
[0020]图3是本申请其中一实施例的作业调度系统示意图；
[0021]图4是本申请中模块文件描述示意图；
[0022]图5是本申请中模块文件的结构化示意图；
[0023]图6是图5的数据表达思路示意图。
具体实施方式
[0024]以下结合附图对本专利技术作进一步详细说明。
[0025]本具体实施例仅仅是对本专利技术的解释，其并不是对本专利技术的限制，本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本专利技术的权利要求范围内都受到专利法的保护。
[0026]如图3所示，本专利技术实施例提供一种作业调度系统，包括：
[0027]流程总控文件和模块文件系统。
[0028]其中，总控文件，主要存放流程的总控信息。一个流程必须且只有一个总控文件。
[0029]在实际ETL应用中，一个流程可能包含几百甚至上千个作业，使其作业基本信息与相关控制策略等信息非常庞大，为了有效管理这些信息，本申请引入模块概念，模块指具有一定关系的作业集合。对于大流程，用户可以根据作业的运行顺序、运行关系以及作业间的业务关系等信息，通过模块来划分并对流程进行重新组织，这不仅方便流程管理，同时也使流程变得更清晰，如图4所示，在技术方面，一个模块通过一个文件来描述，且文件名称即模块名称。而一个流程包含一个或多个模块并有且只有一个主模块。主模块是流程的入口模块，就像程序的入口函数一样。对于流程主模块，由总控信息决定。另外，由图3得知，流程模块组织关系是以主模块为根节点树状结构关系，其中父子级联关系是通过父模块中相关节点定义确定的。
[0030]本申请设计思路与传统设计思路相比，共同点是将作业节点化，而不同点是对主要控制策略信息依赖并行关系表达方式的不同，本申请未采用对依赖以简单节点属性方式描述，而是站在整个流程的角度，采用串并节点方式进行结构化描述。该方式相对传统方式有一定的抽象。
[0031]如图5所示，模块文件包括串行组节点、并行组节点、任务节点、开始节点和结束节
点，串行组节点下连接的节点以串行方式运行，并行组节点下连接的节点以并行方式运行，任务节点用于运行作业。开始节点与结束节点连接于串行组节点下，开始节点用于设置同一串行组节点下中节点的开始位置，结束节点用于设置同一串行组节点中的结束位置。数据表达思路如图6。
[0032]从设计思路的角度，传统方式比本申请的思路简单，更容易让人理解，本申请中模块文件的流程思路相对有一定的抽象，但由于采用了一定结构化特征，在面对大量作业面前，该思路在理解的基础上，使用会更灵活、更快捷方便，完成同样调度设计，信息总量也相对较少。
[0033]本申请实施例中，模块文件还包括调度控制策略，用于模块文件中作业的调度方式。
[0034]其中，调度控制策略包括如下策略：
[0035]循环策略
[0036]循环指一个作业可以依次成功运行用户设计的次数。
[0037]条件分支策略
[0038]用于设定作业运行的运行条件，当至少两个作业之间设定有运行条件时，仅当满足运行条件时，对应作业开始运行。
[0039]参见图5，在串行组节点下的两个任务节点job3和job4，如按照串行规则，则会先运行job3再运行job4。但如果在jo本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种作业调度系统，其特征在于，所述作业调度系统包括流程总控文件和模块文件系统，所述模块文件系统包括多个模块文件，所述模块文件包括：串行组节点、并行组节点和任务节点，所述串行组节点下连接的节点以串行方式运行，所述并行组节点下连接的节点以并行方式运行，所述任务节点用于运行作业。2.根据权利要求1所述的作业调度系统，其特征在于，所述模块文件还包括开始节点和结束节点，所述开始节点与所述结束节点连接于串行组节点下，所述开始节点用于设置同一串行组节点下中节点的开始位置，所述结束节点用于设置同一串行组节点中的结束位置。3.根据权利要求1或2所述的作业调度系统，其特征在于，所述模块文件还包括调度控制策略，用于模块文件中作业的调度方式。4.根据权利要求3所述的作业调度系统，其特征在于，所述调度控制策略包括条件分支策略，用于设定作业运行的运行条件，当至少两个作业之间设定有运行条件时，仅当满足运行条件时，对应作业开始运行。5.根据权利要求3所述的作业调度系统...

【专利技术属性】
技术研发人员：施鹏飞，李荣杰，陈传冬，朱庆华，许志清，彭小兵，
申请(专利权)人：成都塔斯克信息技术有限公司，
类型：发明
国别省市：