一种任务调度方法、装置以及电子设备制造方法及图纸

技术编号:25708116 阅读:59 留言:0更新日期:2020-09-23 02:55
本申请公开了一种任务调度方法、装置以及电子设备,涉及调度技术领域。具体实现方案为:接收针对待调度任务的调度请求;响应于调度请求,计算待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一相关度,获得N个第一相关度,N为大于1的整数;基于N个第一相关度,确定目标GPU,其中,目标GPU为N个GPU中相关度最小的GPU;将待调度任务调度至目标GPU执行。在选择执行待调度任务的目标GPU的过程中,考虑了待调度任务与GPU中运行的任务之间的相关度,将待调度任务调度至相关度最小的目标GPU上执行,如此,可提高GPU上任务的并发度,可提高GPU资源的利用率,可应用于自动驾驶系统、高性能计算机、机器学习训练平台等场景。

【技术实现步骤摘要】
一种任务调度方法、装置以及电子设备
本申请涉及计算机技术中的调度
,尤其涉及一种任务调度方法、装置以及电子设备。
技术介绍
随着计算任务复杂度的提高,以及对计算性能要求的提高,CPU+多GPU(图形处理器)的架构越来越多,该架构广泛用于各场景,例如,自动驾驶系统、高性能计算机、机器学习训练平台等。目前在对GPU任务进行调度过程中,通常采用的方式是将GPU任务调度到运行任务最少的GPU上运行,然而,这种方式容易导致GPU资源利用率较低的情况。
技术实现思路
本申请提供一种任务调度方法、装置和电子设备,以解决现有任务调度过程中GPU资源利用率较低的问题。第一方面,本申请一个实施例提供一种任务调度方法,包括:接收针对待调度任务的调度请求;响应于所述调度请求,计算所述待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一相关度,获得N个第一相关度,N为大于1的整数;基于所述N个第一相关度,确定目标GPU,其中,所述目标GPU为所述N个GPU中相关度最小的GPU;将所述本文档来自技高网...

【技术保护点】
1.一种任务调度方法,其特征在于,所述方法包括:/n接收针对待调度任务的调度请求;/n响应于所述调度请求,计算所述待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一相关度,获得N个第一相关度,N为大于1的整数;/n基于所述N个第一相关度,确定目标GPU,其中,所述目标GPU为所述N个GPU中相关度最小的GPU;/n将所述待调度任务调度至所述目标GPU执行。/n

【技术特征摘要】
1.一种任务调度方法,其特征在于,所述方法包括:
接收针对待调度任务的调度请求;
响应于所述调度请求,计算所述待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一相关度,获得N个第一相关度,N为大于1的整数;
基于所述N个第一相关度,确定目标GPU,其中,所述目标GPU为所述N个GPU中相关度最小的GPU;
将所述待调度任务调度至所述目标GPU执行。


2.根据权利要求1所述的方法,其特征在于,所述待调度任务包括M个第一阶段任务,M为正整数;
所述计算所述待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一相关度,包括:
获取每个GPU中运行的任务的剩余阶段任务;
确定每个GPU中的剩余阶段任务中与每个第一阶段任务之间的并行阶段任务;
对于每个GPU的并行阶段任务,计算每个第一阶段任务的第一参数与对应的并行阶段任务的第一参数之和,得到每个GPU的M个第一求和结果,其中,所述第一参数表示对所需资源的占用强度;
对每个GPU的M个第一求和结果分别进行求和,得到每个GPU中运行的任务与所述待调度任务之间的第一相关度。


3.根据权利要求2所述的方法,其特征在于,所述对每个GPU的M个第一求和结果分别进行求和,得到每个GPU中运行的任务与所述待调度任务之间的第一相关度,包括:
对每个GPU的M个第一求和结果分别进行求和,得到每个GPU的第二求和结果;
将每个GPU的第二求和结果与对应的预设权重相乘,得到每个GPU中运行的任务与所述待调度任务之间的第一相关度。


4.根据权利要求1所述的方法,其特征在于,所述基于所述N个第一相关度,确定目标GPU之前,还包括:
计算所述待调度任务与所述N个GPU的P个候选GPU中运行的任务之间的第二相关度,得到P个第二相关度;
其中,所述P为正整数,每个候选GPU的其他运行任务与接收所述调度请求后对应的候选GPU中运行的任务匹配,每个候选GPU的其他运行任务为每个候选GPU在历史时间里执行目标调度任务过程中除所述目标调度任务外其他运行的任务,所述目标调度任务与所述待调度任务匹配;
所述基于所述N个第一相关度,确定目标GPU,包括:
所述基于所述N个第一相关度以及所述P个第二相关度,确定所述目标GPU。


5.根据权利要求4所述的方法,其特征在于,所述计算所述待调度任务与所述N个GPU的P个候选GPU中运行的任务之间的第二相关度,得到P个第二相关度,包括:
获取所述P个候选GPU中目标调度任务的运行时长;
根据所述P个候选GPU中目标调度任务的运行时长,计算所述P个第二相关度,所述第二相关度与所述运行时长正相关。


6.一种任务调度装置,其特征在于,所述装置包括:
请求接收模块,用于接收针对待调度任务的调度请求;
第一计算模块,用于响应于所述调度请求,计算所述待调度任务与N个图形处理器GPU的每个GPU中运行的任务之间的第一...

【专利技术属性】
技术研发人员:张磊杨凯殷其娟张伍召王晓艳王柏生
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1