System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及计算机数据处理,尤其涉及一种离线调度任务的优化方法、装置、电子设备及存储介质。
技术介绍
1、离线调度任务通常包含许多个节点任务,节点任务之间互相依赖形成一个庞大的任务链路。在离线调度任务定时运行的场景下,可能存在下游节点任务所设定的开始时间比其所依赖的上游节点任务的结束时间晚很多,会导致任务产出慢;并且各节点任务之间的间隔时间太长,会导致浪费资源空间。
2、现有技术中,通过采用人工调整每个节点任务的开始时间,在一个庞大的任务链路中会存在耗时、耗力且错误率很高的问题。因此,如何高效地精确地优化离线调度任务成为了亟待解决的问题。
技术实现思路
1、本申请提供了一种离线调度任务的优化方法、装置、电子设备及存储介质,可以高效地精确地优化离线调度任务,可以提高资源空间利用率。
2、第一方面,本申请提供了一种离线调度任务的优化方法,该方法包括:
3、确定离线调度任务中每个节点任务的运行时长和等待时长;
4、基于所述每个节点任务的运行时长确定所述离线调度任务中最长路径任务的总运行时长;
5、基于所述总运行时长和所述每个节点任务的等待时长计算对所述每个节点任务的执行时间进行调整的优化时长;
6、基于所述优化时长调整所述每个节点任务的执行时间。
7、进一步的,所述离线调度任务包括至少一条路径任务,每条路径任务中包括一个终止节点任务;所述基于所述总运行时长和所述每个节点任务的等待时长计算对所述每个节点任务的
8、进一步的,所述基于所述每条路径任务中终止节点任务的优化时长和所述每条路径任务中每个节点任务的等待时长依次计算出所述每条路径任务中每个节点任务的优化时长,包括:将所述终止节点任务作为下游节点任务;从所述离线调度任务的任务链路中确定所述下游节点任务对应的至少一个上游节点任务;相对所述至少一个上游节点任务中目标上游节点任务而言,确定所述下游节点任务的等待时长;基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长,从而得到所述至少一个上游节点任务中每个上游节点任务的优化时长;将所述至少一个上游节点任务作为新的下游节点任务,重复执行所述从所述离线调度任务的任务链路中确定所述下游节点任务对应的至少一个上游节点任务的操作,直至得到所述每个节点任务的优化时长。
9、进一步的,所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长,包括:计算所述下游节点任务的优化时长与所述下游节点任务的等待时长相减之后的数值结果;若所述数值结果为非负数,则确定所述目标上游节点任务的优化时长为所述数值结果;若所述数值结果为负数,则确定所述目标上游节点任务的优化时长为零。
10、进一步的,在所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长之前,还包括:确定所述下游节点任务的等待时长是否小于预设数值;若小于,则确定所述目标上游节点任务的优化时长为零;若不小于,则执行所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长的操作。
11、进一步的,所述基于所述每个节点任务的运行时长确定所述离线调度任务中最长路径任务的总运行时长,包括:确定所述离线调度任务中各节点任务的之间的依赖关系;基于所述依赖关系为所述离线调度任务生成任务链路;基于所述每个节点任务的运行时长确定出所述任务链路中从起始节点任务到终止节点任务之间所述运行时长之和最大的第一路径任务;将所述第一路径任务确定为所述最长路径任务,并确定所述最长路径任务对应的总运行时长。
12、进一步的,所述基于所述优化时长调整所述每个节点任务的执行时间,包括:确定所述每个节点任务的初始执行时间;将所述初始执行时间和所述优化时长进行数值运算得到所述每个节点任务的目标执行时间。
13、第二方面,本申请提供了一种离线调度任务的优化装置,该装置包括:
14、第一数据确定模块,用于确定离线调度任务中每个节点任务的运行时长和等待时长;
15、第二数据确定模块,用于基于所述每个节点任务的运行时长确定所述离线调度任务中最长路径任务的总运行时长;
16、优化时长确定模块,用于基于所述总运行时长和所述每个节点任务的等待时长计算对所述每个节点任务的执行时间进行调整的优化时长;
17、执行时间优化模块,用于基于所述优化时长调整所述每个节点任务的执行时间。
18、第三方面,本申请提供了一种电子设备,该电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本申请任意实施例所述的离线调度任务的优化方法。
19、第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本申请任意实施例所述的离线调度任务的优化方法。
20、为了解决
技术介绍
中现有技术的缺陷,本申请实施例提供了一种离线调度任务的优化方法,执行该方法能够带来以下有益效果:本申请在离线调度任务中引入最长链路的概念,先确定出离线调度任务的任务链路中最长路径任务的总运行时长,再确定出终止节点任务的优化时长,最后结合每个节点任务的等待时长依照从下游节点任务至上游节点任务的顺序依次计算得到每个节点任务的优化时长,可以解决现有技术中通过人工调整离线调度任务所存在的耗时、耗力且错误率很高的问题,可以高效地精确地优化离线调度任务,可以提高资源空间利用率。
21、需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与离线调度任务的优化装置的处理器封装在一起,也可以与离线调度任务的优化装置的处理器单独封装,本申请对此不做限定。
22、本申请中第二方面、第三方面以及第四方面的描述,可以参考第一方面的详细描述;并且,第二方面、第三方面以及第四方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。
23、应当理解,本部分所描述的内容并非旨在标识本申请的实施例的关键或重要特征,也不用于限制本申请的范围。本申请的其他特征将通过以下的说明书而变得容易理解。
24、可以理解的是,在使用本申请各实施例公开的技术方案之前,均应当依据相关法律法规通过恰当的方式对本申请所涉及个人信息的类型、使用范围以及使用场景等告知用户并获得用户的授权。本文档来自技高网...
【技术保护点】
1.一种离线调度任务的优化方法,其特征在于,所述方法包括:
2.根据权利要求1所述的离线调度任务的优化方法,其特征在于,所述离线调度任务包括至少一条路径任务,每条路径任务中包括一个终止节点任务;所述基于所述总运行时长和所述每个节点任务的等待时长计算对所述每个节点任务的执行时间进行调整的优化时长,包括:
3.根据权利要求2所述的离线调度任务的优化方法,其特征在于,所述基于所述每条路径任务中终止节点任务的优化时长和所述每条路径任务中每个节点任务的等待时长依次计算出所述每条路径任务中每个节点任务的优化时长,包括:
4.根据权利要求3所述的离线调度任务的优化方法,其特征在于,所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长,包括:
5.根据权利要求3所述的离线调度任务的优化方法,其特征在于,在所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长之前,还包括:
6.根据权利要求1所述的离线调度任务的优化方法,其特征在于,所述基于所述每个
7.根据权利要求1所述的离线调度任务的优化方法,其特征在于,所述基于所述优化时长调整所述每个节点任务的执行时间,包括:
8.一种离线调度任务的优化装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,所述电子设备包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1至7中任一所述的离线调度任务的优化方法。
...【技术特征摘要】
1.一种离线调度任务的优化方法,其特征在于,所述方法包括:
2.根据权利要求1所述的离线调度任务的优化方法,其特征在于,所述离线调度任务包括至少一条路径任务,每条路径任务中包括一个终止节点任务;所述基于所述总运行时长和所述每个节点任务的等待时长计算对所述每个节点任务的执行时间进行调整的优化时长,包括:
3.根据权利要求2所述的离线调度任务的优化方法,其特征在于,所述基于所述每条路径任务中终止节点任务的优化时长和所述每条路径任务中每个节点任务的等待时长依次计算出所述每条路径任务中每个节点任务的优化时长,包括:
4.根据权利要求3所述的离线调度任务的优化方法,其特征在于,所述基于所述下游节点任务的优化时长和所述下游节点任务的等待时长计算出所述目标上游节点任务的优化时长,包括:
5.根据权利要求3所述的离线...
【专利技术属性】
技术研发人员:胡育林,周斌,孙鑫炎,俞临曲,
申请(专利权)人:上海识装信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。