一种基于Kubernetes的任务调度方法、控制器、节点及集群系统技术方案

技术编号:46469672 阅读:3 留言:0更新日期:2025-09-23 22:30
本申请提供了一种基于Kubernetes的任务调度方法及装置,应用于控制器,所述方法包括:接收任务提交请求;调用用户自定义的任务切分程序接口,通过任务切分程序将接收的任务拆分为若干子任务;基于获得Kubernetes的各节点的资源状态从中选择出匹配所述任务的若干目标节点;将所述若干子任务调度到相应的所述目标节点,以使各所述目标节点通过调用任务处理程序接口,通过任务处理程序处理所收到的所述子任务;调用用户自定义的结果合并程序接口,通过结果合并程序获取各目标节点对子任务的处理结果,并合并得到最终处理结果。本申请可提供一种能够动态感知节点资源状态、实现任务的细粒度切分与合并、并提高任务处理效率的基于Kubernetes的任务调度方法。

【技术实现步骤摘要】

本申请涉及一种云计算相关,尤其是指一种基于kubernetes的任务调度方法、控制器、节点及集群系统。


技术介绍

1、随着云计算和容器化技术的快速发展,企业对高效、灵活的任务调度系统的需求日益增加。现有的任务调度系统虽然在资源管理、任务分配等方面取得了一定的进展,但在处理资源密集型任务(如视频处理、机器学习推理等)时仍存在诸多问题。这些问题包括资源分配不均衡、任务处理效率低下、缺乏细粒度控制等,严重影响了系统的整体性能和用户体验。

2、现有技术中,主要通过传统的分布式任务调度框架(如yarn、mesos)和kubernetes原生调度器进行任务调度。这些技术在任务调度和资源管理方面具有一定的优势,但现有方法由于框架与资源设置等问题,故存在以下缺点:

3、一方面,传统分布式任务调度框架和kubernetes原生调度器都无法实时感知节点的资源状态变化,导致资源分配不均衡。尤其在面对视频推理任务等具有数据密集型、计算异构性、资源波动性特点任务场景无法根据节点历史性能动态调整权重缺乏细粒度控制,且无法实现视频帧级别的任务切分,单个pod仍需本文档来自技高网...

【技术保护点】

1.一种基于Kubernetes的任务调度方法,其特征在于,应用于控制器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于获得Kubernetes的各节点的资源状态从中选择出匹配所述任务的若干目标节点,包括:

3.一种基于Kubernetes的任务调度方法,其特征在于,应用于Kubernetes的节点,所述方法包括:

4.根据权利要求3所述的方法,其特征在于,每个所述Kubernetes的节点上具有节点资源收集组件,通过所述节点资源收集组件向所述控制器定时上报节点资源,所述节点资源包括硬件资源、网络状态和历史任务处理结果。

...

【技术特征摘要】

1.一种基于kubernetes的任务调度方法,其特征在于,应用于控制器,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于获得kubernetes的各节点的资源状态从中选择出匹配所述任务的若干目标节点,包括:

3.一种基于kubernetes的任务调度方法,其特征在于,应用于kubernetes的节点,所述方法包括:

4.根据权利要求3所述的方法,其特征在于,每个所述kubernetes的节点上具有节点资源收集组件,通过所述节点资源收集组件向所述控制器定时上报节点资源,所述节点资源包括硬件资源、网络状态和历史任务处理结果。

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:在处理所述子任务的过程中,向所述控制器上报所述子任务的处理进度。

6.一种基于kubernetes的任务调度方法,其特征在于,在kubernet...

【专利技术属性】
技术研发人员:艾力扎提·托乎提
申请(专利权)人:北京东土科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1