基于云原生的作业调度方法及装置制造方法及图纸

技术编号:43616497 阅读:20 留言:0更新日期:2024-12-11 14:59
本申请公开了一种基于云原生的作业调度方法及装置,该方法为:基于预设云原生环境的自定义资源,生成多个待处理作业所对应的流水线模型;基于每个有序任务集中的多个任务之间的依赖关系,确定与每个流水线模型匹配的容器荚;使用去中心化分布式设计的作业调度控制器,启动各个容器的运行,以及按照预设资源管控策略,控制各个容器的运行状况。该方法利用预设云原生环境的自定义资源,结合多个任务之间的依赖关系,确定多个待处理作业所对应的容器荚,通过作业调度控制器,启动多个容器荚中容器的运行,并按照预设资源管控策略,控制各个所述容器的运行状况,能够有效保障大规模作业场景下的资源调度效率。

【技术实现步骤摘要】

本申请涉及作业调度领域,尤其涉及一种基于云原生的作业调度方法及装置


技术介绍

1、在解决大规模作业调度问题上,目前主流方案为基于集群管理系统的方案,该方案主要通过集群管理系统来实现资源的分配和作业的调度,通常更侧重于整个集群的资源管理和调度。调度系统通过集群管理器获取集群中的资源信息,包括可用节点、cpu、内存等资源。用户提交作业请求给调度系统,指定作业类型、资源需求等信息。调度系统根据作业的资源需求和集群状态,决定将资源分配给哪个作业。调度系统为作业启动一个对应的applicationmaster(任务调度监控),applicationmaster负责与调度系统协调资源的申请和任务的调度。applicationmaster通过调度系统获取集群资源,并在相应的节点上启动任务,执行作业。作业执行完成后,调度系统释放已占用的资源,将其返回给资源池,等待下一个作业。

2、然而,由于基于集群管理系统的方案大多为了适应某一特定场景下的需求(例如大数据计算场景),缺乏对于容器化应用的能力支持,难以满足更多的通用作业调度场景,该方案的灵活性较差。其次,为了本文档来自技高网...

【技术保护点】

1.一种基于云原生的作业调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在确定与每个所述流水线模型匹配的容器荚之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在确定与每个所述流水线模型匹配的容器荚之后,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述预设资源管控策略包括资源限制策略和资源分配策略,按照预设资源管控策略,控制各个所述容器的运行状况,包括:

5.一种基于云原生的作业调度装置,其特征在于,包括:

6.根据权利要求5所述的装置,其特征在于,所述容器分配单元还用于:...

【技术特征摘要】

1.一种基于云原生的作业调度方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在确定与每个所述流水线模型匹配的容器荚之后,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,在确定与每个所述流水线模型匹配的容器荚之后,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述预设资源管控策略包括资源限制策略和资源分配策略,按照预设资源管控策略,控制各个所述容器的运行状况,包括:

5.一种基于云原生的作业调度装置,其特征在于,包括:

6.根据权...

【专利技术属性】
技术研发人员:何伟军
申请(专利权)人:北京搜狐新媒体信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1