一种资源调度方法、装置及电子设备制造方法及图纸

技术编号:24852662 阅读:23 留言:0更新日期:2020-07-10 19:06
本发明专利技术提供一种资源调度方法、装置及电子设备,其中,所述资源调度方法包括:获取用户输入的任务;确定所述任务的优先级;将所述任务分配至与所述任务的优先级对应的任务队列中;按照所有任务队列的优先级高低,依次为每个任务队列中的任务调度GPU资源。本发明专利技术的实施例,可以根据任务的优先级动态地为任务调度GPU资源,满足任务执行需求,提高GPU资源的利用率。

【技术实现步骤摘要】
一种资源调度方法、装置及电子设备
本专利技术涉及通信
,尤其涉及一种资源调度方法、装置及电子设备。
技术介绍
随着大规模标记数据的积累、神经网络算法的成熟以及高性能通用GPU(GraphicsProcessingUnit,图形处理器)的推广,深度学习已经逐渐成为计算机领域以及大数据领域的研究重点。在深度学习平台上,深度学习模型的训练过程往往需要大量的计算资源,深度学习模型的数据量和参数规模巨大,需要使用GPU进行相关研究。目前,在深度学习过程中,常用的GPU资源调度方法为Kubernetes调度。该Kubernetes调度提供了容器编排功能,其中调度模块的作用主要是根据特定的调度算法将任务调度到指定的GPU资源上。具体的,Kubernetes调度的基础是FIFO(FirstInFirstOut,先进先出)调度过程,即任务输入时间越早越优先被调度执行。对于一个深度学习任务,如果当前系统的GPU资源满足任务的需求,则为该任务分配资源,而如果当前系统的GPU资源不满足任务的需求,则挂起该任务,直到有足够的GPU资源满足任务的需求。...

【技术保护点】
1.一种资源调度方法,其特征在于,包括:/n获取用户输入的任务;/n确定所述任务的优先级;/n将所述任务分配至与所述任务的优先级对应的任务队列中;/n按照所有任务队列的优先级高低,依次为每个任务队列中的任务调度图形处理器GPU资源。/n

【技术特征摘要】
1.一种资源调度方法,其特征在于,包括:
获取用户输入的任务;
确定所述任务的优先级;
将所述任务分配至与所述任务的优先级对应的任务队列中;
按照所有任务队列的优先级高低,依次为每个任务队列中的任务调度图形处理器GPU资源。


2.根据权利要求1所述的方法,其特征在于,所述确定所述任务的优先级,包括:
将所述任务的资源需求量和所述用户的历史资源使用信息输入到根据历史信息训练得到的任务分派模型中,得到所述任务的优先级。


3.根据权利要求1所述的方法,其特征在于,所述将所述任务分配至与所述任务的优先级对应的任务队列中之后,所述方法还包括:
当所述任务在第一任务队列中的等待时间超过预设时间阈值,且所述第一任务队列的优先级不是所有任务队列中的最高优先级时,将所述任务更新至第二任务队列;
其中,所述第二任务队列的优先级比所述第一任务队列的优先级高。


4.根据权利要求1所述的方法,其特征在于,所述依次为每个任务队列中的任务调度图形处理器GPU资源,包括:
依次针对每个任务队列执行如下操作:
按照所述每个任务队列中的任务的GPU资源需求的从小到大,依次为所述每个任务队列中的任务调度GPU资源。


5.一种资源调度装置,其特征在于,包括:
获取模块,用于获取用户输入的任务;
确定模块,用于确定所述任务的优先级;
分配模块,用于将所述任务分配...

【专利技术属性】
技术研发人员:丛鹏宇王斌赵琪琪王平辉
申请(专利权)人:中国移动通信有限公司研究院中国移动通信集团有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1