System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 任务调度方法及装置、计算机可读存储介质和电子设备制造方法及图纸_技高网

任务调度方法及装置、计算机可读存储介质和电子设备制造方法及图纸

技术编号:40540901 阅读:5 留言:0更新日期:2024-03-05 18:56
本公开涉及计算机技术领域,涉及任务调度方法方法及装置、计算机可读存储介质和电子设备,包括:对原始任务文件进行解析获得原始任务节点和所述原始任务节点之间的第一依赖关系信息;基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,所述任务依赖关系结构图中的目标任务节点携带有原始运行脚本文件;响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,所述目标指令为基于可交互界面展示的所述任务依赖关系结构图触发的指令。本公开可实现不同类型的数据文件的可视化调度,提高任务调度效率。

【技术实现步骤摘要】

本公开涉及计算机,更具体地,涉及一种任务调度方法、任务调度装置、计算机可读存储介质和电子设备。


技术介绍

1、随着计算机与互联网
的发展,数据量的生产和数据量的急剧增多,使得针对不同业务需求的数据分析方法广泛应用。数据分析任务通常包含多个任务处理步骤,其中有些任务可以并发执行,有些任务需要有依赖关系。通过任务调度系统可以将复杂的任务调度到分布式技术框架运行。

2、但是,任务调度系统所支持的任务调度类型有限,不同调度任务的类型适应的任务调度系统也千差万别,因此在不同业务需求的任务调度需求下,需频繁切换不同的任务调度系统来支持,影响任务处理效率。

3、需要说明的是,在上述
技术介绍
部分专利技术的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的目的在于提供一种任务调度方法及装置、计算机可读存储介质和电子设备,进而至少在一定程度上克服由于相关技术的限制而导致的不同类型的调度任务的处理效率低的技术问题。

2、本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。

3、根据本公开的一个方面,提供一种任务调度方法,包括:

4、对原始任务文件进行解析获得原始任务节点和所述原始任务节点之间的第一依赖关系信息;

5、基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,所述任务依赖关系结构图中的目标任务节点携带有原始运行脚本文件;

6、响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,所述目标指令为基于可交互界面展示的所述任务依赖关系结构图触发的指令。

7、在本公开的一种示例性实施例中,所述基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,包括:

8、基于所述第一依赖关系信息,对所述原始任务节点进行重定义,得到所述目标任务节点,所述目标任务节点符合所述任务调度系统的调度规则;

9、根据所述第一依赖关系信息,构建所述目标任务节点的第二依赖关系信息;

10、将所述目标任务节点按照所述第二依赖关系信息生成所述任务依赖关系结构图。

11、在本公开的一种示例性实施例中,在所述将所述目标任务节点按照所述第二依赖关系信息生成所述任务依赖关系结构图之前,所述方法还包括:

12、根据所述原始任务节点的第一位置坐标信息,获取所述目标任务节点的第二位置坐标信息;

13、响应于位置坐标调整指令,对所述第二位置坐标信息进行调整;

14、根据调整后的第二位置坐标信息确定所述目标任务节点的目标位置坐标信息,所述目标位置坐标信息用于指示所述目标任务节点在所述可交互界面的展示位置。

15、在本公开的一种示例性实施例中,所述目标指令还用于指示待调度的目标任务节点的任务调度时间信息;

16、所述响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,包括:

17、响应于目标指令,按照所述任务调度时间信息,调度并执行所述待调度的目标任务节点对应的原始运行脚本文件。

18、在本公开的一种示例性实施例中,所述响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,包括:

19、响应于所述目标指令,确定所述目标指令对应的待调度的目标任务节点;

20、以所述待调度的目标任务节点为起点,根据所述任务依赖关系结构图获取所述待调度的目标任务节点的下游依赖任务节点;

21、调度并执行所述待调度的目标任务节点和所述下游依赖任务节点所对应的原始运行脚本文件。

22、在本公开的一种示例性实施例中,所述方法还包括:

23、响应于任务调整指令,对所述任务调整指令对应的目标任务节点进行暂停、停止和重新执行中的至少一种调度操作。

24、在本公开的一种示例性实施例中,所述响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,还包括:

25、根据所述目标任务节点的调度执行结果,调整所述目标任务节点的节点状态。

26、根据本公开的一个方面,提供一种任务调度装置,应用于任务调度系统,所述装置包括:

27、解析模块,用于对原始任务文件进行解析获得原始任务节点和所述原始任务节点之间的第一依赖关系信息;

28、构建模块,用于基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,所述任务依赖关系结构图中的目标任务节点携带有原始运行脚本文件;

29、调度模块,用于响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,所述目标指令为基于可交互界面展示的所述任务依赖关系结构图触发的指令。

30、在本公开的一种示例性实施例中,所述构建模块包括:

31、定义单元,用于基于所述第一依赖关系信息,对所述原始任务节点进行重定义,得到所述目标任务节点,所述目标任务节点符合所述任务调度系统的调度规则;

32、关系确定单元,用于根据所述第一依赖关系信息,构建所述目标任务节点的第二依赖关系信息;

33、节点编排单元,用于将所述目标任务节点按照所述第二依赖关系信息生成所述任务依赖关系结构图。

34、根据本公开的一个方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任意一项所述的方法。

35、根据本公开的一个方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的方法。

36、本公开的示例性实施例中的任务调度方法,一方面,通过解析原始任务文件获得原始任务节点和原始任务节点之间的第一依赖关系信息,以基于原始任务节点和第一依赖关系信息,重新构建原始任务文件对应的任务依赖关系结构图,进而基于任务依赖关系结构图,实现在任务调度系统对各类原始任务的调度管理,针对不同业务需求的数据任务分析需求,无需更换管道重新加载数据,仅通过重新编排和组织为任务依赖关系结构图,即可进行可视化地数据调度分析,提高任务调度效率和数据分析效率;另一方面,在任务依赖关系结构图中的目标任务节点都携带有对应的原始运行脚本文件,基于可视化界面展示的任务依赖关系结构图可按需进行任务调度,能指示执行任意目标任务节点的原始运行脚本文件,而无需依顺序从头开始执行,节省运行时间和系统资源;再一方面,随着大数据时代的迅速发展,实现对不同类型的任务文件的解析、编排和可视化调度,对于数据分析效率的提高具有实际意义。

37、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

本文档来自技高网...

【技术保护点】

1.一种任务调度方法,应用于任务调度系统,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,包括:

3.根据权利要求2所述的方法,其特征在于,在所述将所述目标任务节点按照所述第二依赖关系信息生成所述任务依赖关系结构图之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述目标指令还用于指示待调度的目标任务节点的任务调度时间信息;

5.根据权利要求1所述的方法,其特征在于,所述响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至6中任一项所述的方法,其特征在于,所述响应于目标指令,调度并执行所述目标任务节点对应的原始运行脚本文件,还包括:

8.一种任务调度装置,应用于任务调度系统,其特征在于,所述任务调度装置包括:

9.根据权利要求8所述的装置,其特征在于,所述构建模块包括:

10.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现根据权利要求1至7中任一项所述的方法。

...

【技术特征摘要】

1.一种任务调度方法,应用于任务调度系统,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述原始任务节点和所述第一依赖关系信息,构建所述原始任务文件对应的任务依赖关系结构图,包括:

3.根据权利要求2所述的方法,其特征在于,在所述将所述目标任务节点按照所述第二依赖关系信息生成所述任务依赖关系结构图之前,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述目标指令还用于指示待调度的目标任务节点的任务调度时间信息;

5.根据权利要求1所述的方法,其特征在于,所述响应于目标指令,调度并...

【专利技术属性】
技术研发人员:郑永坤陈康韦登荣刘春罗昊然
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1