一种基于云平台的作业调度方法及系统技术方案

技术编号:44496443 阅读:17 留言:0更新日期:2025-03-04 18:03
本申请实施例公开了一种基于云平台的作业调度方法及系统,涉及批量作业调度技术领域。该方法包括:通过接收器接收待处理任务,将待处理任务的任务文件存放至存储单元的信息存储器中,并在存储单元的预处理队列中建立对应于待处理任务的预处理任务;若通过预处理单元的抢占器在存储单元的锁存储器中抢占到针对预处理阶段的分布式锁,则在预处理队列中确定目标预处理任务并将目标预处理任务发送至预处理单元的分割器;通过预处理单元的分割器对位于信息存储器中的目标任务文件进行分割,将得到的子任务文件放置于信息存储器,并在存储单元的处理队列中建立对应于子任务文件的处理任务;通过处理单元对存储单元的处理队列中的目标处理任务进行处理。

【技术实现步骤摘要】

本专利技术涉及批量作业调度,尤其涉及一种基于云平台的作业调度方法及系统


技术介绍

1、在进行批量作业调度时,传统分布式批量作业调度方法支持集群部署和分布式任务调度,此类方法大多基于数据库的方式进行任务的注册发现,在调度中心集群部署时,需要保证集群机器时钟一致,且需根据服务器id等硬编码实现作业的分布式调度。

2、现有的批量作业调度框架由于依赖了硬编码等特殊硬件配置,而部分主流云平台产品不存在固定的硬件编码,所以存在批量作业调度框架难以直接上云的问题。


技术实现思路

1、本专利技术提供了一种基于云平台的作业调度方法及系统,在进行作业调度时与ip、机器硬编码等硬件配置均无关联,能够在云环境和云下虚拟机进行部署,提高了对于云端的适用性。

2、根据本专利技术的一方面,提供了一种基于云平台的作业调度方法,由作业调度系统执行,所述作业调度系统配置于云平台的节点中,所述作业调度系统包括:接收器、预处理单元、处理单元以及存储单元;所述方法包括:

3、通过接收器接收待处理任务,将所述待处理本文档来自技高网...

【技术保护点】

1.一种基于云平台的作业调度方法,其特征在于,由作业调度系统执行,所述作业调度系统配置于云平台的节点中,所述作业调度系统包括:接收器、预处理单元、处理单元以及存储单元;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,通过接收器在存储单元的预处理队列中建立对应于所述待处理任务的预处理任务,包括:

3.根据权利要求2所述的方法,其特征在于,通过预处理单元的抢占器在预处理队列中确定目标预处理任务,包括:

4.根据权利要求2所述的方法,其特征在于,通过预处理单元的状态守护器对位于预处理队列中的目标预处理任务的时间戳进行调整,包括:

5.根...

【技术特征摘要】

1.一种基于云平台的作业调度方法,其特征在于,由作业调度系统执行,所述作业调度系统配置于云平台的节点中,所述作业调度系统包括:接收器、预处理单元、处理单元以及存储单元;所述方法包括:

2.根据权利要求1所述的方法,其特征在于,通过接收器在存储单元的预处理队列中建立对应于所述待处理任务的预处理任务,包括:

3.根据权利要求2所述的方法,其特征在于,通过预处理单元的抢占器在预处理队列中确定目标预处理任务,包括:

4.根据权利要求2所述的方法,其特征在于,通过预处理单元的状态守护器对位于预处理队列中的目标预处理任务的时间戳进行调整,包括:

5.根据权利要求1所述的方法,其特征在于,通过预处理单元的分割器对位于所述信息存储器中的目标任务文件进行分割,将分割得到的子任务文件放置于所述信息存储器中,包括:

6...

【专利技术属性】
技术研发人员:赵英舒
申请(专利权)人:中国农业银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1