一种基于分布式存储的协程调度方法及装置制造方法及图纸

技术编号:45347200 阅读:23 留言:0更新日期:2025-05-27 19:02
本申请涉及一种基于分布式存储的协程调度方法及装置。本方法包括:调度器接收前后台ult,分别将其加入前台任务队列和后台任务队列;每次执行ult前计算前后台ult的cpu占用率,并根据其判断下一次执行哪个队列的ult,使前后台业务达到动态平衡;根据配额动态调整使前后台业务交替执行,在保证后台业务执行配额的情况下优先调度前台业务,降低时延;在前后台业务内部使用配额结合优先级调度策略,保证高优先级业务优先执行的同时,防止低优先级业务饿死。本方法能够根据集群状态动态调整业务的优先级,以函数消耗cpu资源指标代替ult个数作为调度策略的标准,动态平衡分布式存储业务,从而解决了单一协程调度策略不能满足分布式存储业务的精细化控制问题。

【技术实现步骤摘要】

本申请属于协程调度,特别涉及一种基于分布式存储的协程调度方法,更确切地说,是一种基于配额的可变优先级协程调度方法、装置、计算机可读存储介质以及电子设备。


技术介绍

1、协程因其切换开销小,无需系统调用,减少了用户态和内核态的切换,利用io多路复用技术实现了非阻塞io操作,提高了io的效率等优点,被广泛应用在io密集型业务场景中。

2、协程的实现原理,以argobots为例,使用用户级线程(user-level threads,ults)来实现并行计算。

3、argobots将计算任务封装为工作单元(work unit),工作单元是最小的执行单位,可以是一个函数、一个代码块或者一个任务,每个工作单元都会分配给一个ult(user-level threads,用户级线程)进行执行。每个ult都是一个独立的执行单元,可以独立地执行计算任务。

4、argobots中每个调度器维护了多个任务队列,其中包括需要执行的ult,当一个ult完成了当前任务后,调度器会从任务队列中获取新的ult进行执行。典型的协程调度策略包括fifo队列(本文档来自技高网...

【技术保护点】

1.一种基于分布式存储的协程调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述前台业务包括:副本、EC、ROW;所述后台业务包括:压缩、垃圾回收、重构、checkSum、snap、scrub。

3.根据权利要求1所述的方法,其特征在于,所述每次执行ult前计算前后台ult的cpu占用率,根据前后台ult的cpu占用率,判断下一次执行哪个队列的ult,使前后台业务达到动态平衡;包括:

4.根据权利要求3所述的方法,其特征在于,所述方法中还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法中还包括:分别...

【技术特征摘要】

1.一种基于分布式存储的协程调度方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述前台业务包括:副本、ec、row;所述后台业务包括:压缩、垃圾回收、重构、checksum、snap、scrub。

3.根据权利要求1所述的方法,其特征在于,所述每次执行ult前计算前后台ult的cpu占用率,根据前后台ult的cpu占用率,判断下一次执行哪个队列的ult,使前后台业务达到动态平衡;包括:

4.根据权利要求3所述的方法,其特征在于,所述方法中还包括:

5.根据权利要求1所述的方法,其特征在...

【专利技术属性】
技术研发人员:安佳星
申请(专利权)人:中电云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1