分布式作业调度方法及装置制造方法及图纸

技术编号:25834516 阅读:23 留言:0更新日期:2020-10-02 14:15
本发明专利技术提供了一种分布式作业调度方法及装置,涉及作业调度技术领域,该方法包括:获取分布式系统中各节点的作业依赖关系信息;根据作业依赖关系信息生成有向无环图;根据有向无环图确定作业调度信息;按照作业调度信息调度分布式系统中各节点执行作业任务。本发明专利技术可以减小分布式系统各个计算机节点上的作业的循环依赖关系的影响,保证按照作业间的依赖顺序执行作业,保证作业的及时高效执行。

【技术实现步骤摘要】
分布式作业调度方法及装置
本专利技术涉及作业调度
,尤其是涉及一种分布式作业调度方法及装置。
技术介绍
在分布式应用系统(特别是分布式批处理系统)中,经常需要在分布式系统的各个计算机节点上执行批量处理作业。由于各个批处理作业可能存在先后顺序和依赖关系,若作业间存在循环依赖关系,则会导致现有分布式系统调度过程复杂,容易出现调度错误,进而影响分布式系统中作业(尤其是批处理作业)的执行进度。
技术实现思路
本专利技术提供了一种分布式作业调度方法及装置,可以减小分布式系统各个计算机节点上的作业的循环依赖关系的影响,保证分布式系统中作业的及时高效执行。第一方面,本专利技术实施例提供了一种分布式作业调度方法,该方法包括:获取分布式系统中各节点的作业依赖关系信息;根据所述作业依赖关系信息生成有向无环图;根据所述有向无环图确定作业调度信息;按照所述作业调度信息调度所述分布式系统中各节点执行作业任务。第二方面,本专利技术实施例还提供一种分布式作业调度装置,该装置包括:获取模块,用于获取分布式系统中各节点的作业依赖关系信息本文档来自技高网...

【技术保护点】
1.一种分布式作业调度方法,其特征在于,包括:/n获取分布式系统中各节点的作业依赖关系信息;/n根据所述作业依赖关系信息生成有向无环图;/n根据所述有向无环图确定作业调度信息;/n按照所述作业调度信息调度所述分布式系统中各节点执行作业任务。/n

【技术特征摘要】
1.一种分布式作业调度方法,其特征在于,包括:
获取分布式系统中各节点的作业依赖关系信息;
根据所述作业依赖关系信息生成有向无环图;
根据所述有向无环图确定作业调度信息;
按照所述作业调度信息调度所述分布式系统中各节点执行作业任务。


2.根据权利要求1所述的方法,其特征在于,所述作业依赖关系信息包括依赖作业数据、本节点作业数据和后置作业数据;
根据所述作业依赖关系信息生成有向无环图,包括:
生成无作业开始节点和无作业结束节点;所述无作业开始节点包括后置作业数据,所述无作业结束节点包括依赖作业数据;
若第一节点的后置作业数据与第二节点的依赖作业数据相同,则确定所述第一节点和所述第二节点存在依赖关系;
根据存在依赖关系的多个节点的作业依赖关系信息,确定有向无环图;所述有向无环图包括所述无作业开始节点和所述无作业结束节点。


3.根据权利要求2所述的方法,其特征在于,根据存在依赖关系的多个节点的作业依赖关系信息,确定有向无环图,包括:
根据存在依赖关系的多个节点的作业依赖关系信息,确定包括所述无作业开始节点和所述无作业结束节点的多个调度信息数组;
判断每个所述调度信息数组中是否存在相同节点;
如果是,则将所述调度信息数组发送至提醒模块,以使所述提醒模块根据所述调度信息数组生成提醒信息;
如果否,则根据所述调度信息数组生成有向无环图。


4.根据权利要求2所述的方法,其特征在于,根据所述有向无环图确定作业调度信息,包括:
读取所述有向无环图中从所述无作业开始节点至所述无作业结束节点的作业依赖关系数据;
根据所述作...

【专利技术属性】
技术研发人员:王同庆
申请(专利权)人:中国银行股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1