一种任务调度方法技术

本公开实施例提供一种任务调度方法

【技术实现步骤摘要】
一种任务调度方法、装置、电子设备及存储介质


[0001]本公开涉及计算机
，具体而言，涉及一种任务调度方法
、
装置
、
电子设备及存储介质
。

技术介绍

[0002]随着互联网用户的快速增长，数据量的急剧膨胀，数据中心对计算的需求也在迅猛上涨
。
诸如深度学习在线预测
、
视频转码以及图片压缩解压缩等各类新型应用的出现对计算的需求与日俱增
。
因此，对于数据中心而言，其任务调度和资源发放技术成为衡量其性能的重要指标
。
任务调度指定了一种将计算任务分配给处理计算任务的资源的方法
。
计算任务可以是例如待由处理器计算的基本计算元素，如线程
、
过程或数据流
。
资源发放，是指调度计算任务会涉及准备本地或分布式资源
。
例如，在分布至数据中心中的计算节点集群的虚拟环境中设置虚拟机
(virtual machine
，
VM)
，或对分布式计算集群进行计算等
。
[0003]资源可以是硬件资源，例如中央处理器
(central processing unit
，
CPU)、
系统内存
(RAM、ROM)、
系统存储器
(
硬盘驱动器
、
闪存
、
数据库
、
物理或虚拟存储介质
)、<br/>图形处理器
(graphics processing unit
，
GPU)、
输入输出
(input and output
，
IO)
设备
、
网络设备
(
用于接入和使用物理或虚拟网络的设备，例如
LAN
或
WAN)、
加密模块
(
例如可信平台模块
(Trusted Platform Module
，
TPM))、
数字信号处理器
(digital signal processor
，
DSP)、
现场可编程门阵列
(field programmable gate array
，
FPGA)、
协同处理器
、
网络包处理加速器或扩展卡
。
当然，这些资源也可以虚拟化，例如也可以为一个或多个
VM
的一部分
。
[0004]在传统任务调度系统中，每个任务需要持续占用一定硬件资源
。
任务按照提交时间进行排队，排在前的任务有较高的优先级，排在后的任务有较低的优先级
。
只有在先任务处理完成后，在后任务才能得以处理
。
这样传统的任务调度策略，对系统资源的利用率低，且容易造成任务队列阻塞的问题
。

技术实现思路

[0005]本公开实施例提供一种任务调度方法
、
装置
、
电子设备及存储介质
。
[0006]根据本公开实施例的第一方面，提供一种任务调度方法，包括：获取待调度任务的任务调度请求；所述任务调度请求中至少包括资源需求信息；所述资源需求信息中包括至少一个资源类型和对应于所述资源类型的资源需求数量；根据所述资源需求信息，在多个计算节点中对所述待调度任务进行匹配；所述计算节点中包括所述至少一个资源类型和对应于所述资源类型的若干个资源单元；所述资源单元的状态包括占用状态或空闲状态；响应于第一计算节点中处于空闲状态的资源单元满足所述资源需求信息，将所述待调度任务调度至所述第一计算节点进行处理；响应于没有所述计算节点中处于空闲状态的资源单元满足所述资源需求信息，选取第二计算节点中的目标资源单元标记为保留状态；响应于所述被标记为保留状态的所述目标资源单元处于所述空闲状态，将所述目标资源单元分配给所述待调度任务
。
[0007]在本公开的一些示例性实施例中，所述方法还包括：响应于所述待调度任务被进行处理，与所述待调度任务相关的被标记为保留状态的所述目标资源单元解除所述保留状态标记
。
[0008]在本公开的一些示例性实施例中，所述方法还包括：基于所述对应于所述资源类型的资源需求数量，按照预设的保留比例系数，在所述第二计算节点中选取多个所述目标资源单元标记为保留状态；所述保留比例系数，用于表示所述目标资源单元数量与所述资源需求数量的比值；所述保留比例系数大于等于
100%。
[0009]在本公开的一些示例性实施例中，所述方法还包括：所述待调度任务对应有任务优先级；根据所述待调度任务的任务优先级确定所述待调度任务的所述保留比例系数；所述任务优先级越高所对应的所述保留比例系数越大
。
[0010]在本公开的一些示例性实施例中，所述方法还包括：所述保留状态还包括保留层级；所述保留层级，用于表示所述待调度任务对应所述目标资源单元的保留状态所处于的层级；当低于所述保留层级的所述保留状态所对应的调度任务均已被进行处理后，响应于所述被标记为保留状态的所述目标资源单元处于所述空闲状态，将所述目标资源单元分配给所述待调度任务
。
[0011]在本公开的一些示例性实施例中，所述方法还包括：所述保留层级越高所对应的所述保留比例系数越大
。
[0012]在本公开的一些示例性实施例中，所述方法还包括：获取任务队列信息和所述多个计算节点的资源单元占用比例信息；所述任务队列信息，用于表示待调度的任务队列；所述资源单元占用比例信息，用于表示所述多个计算节点中所述资源单元处于占用状态的比例；根据所述任务队列信息和所述资源单元占用比例信息，确定所述保留比例系数
。
[0013]在本公开的一些示例性实施例中，所述选取第二计算节点中的目标资源单元标记为保留状态，包括：获取所述多个计算节点中所述资源单元的状态；选取所述多个计算节点中处于所述占用状态的资源单元数量最少的计算节点为所述第二计算节点；根据所述资源需求信息，从所述第二计算节点的资源单元中选取所述目标资源单元标记为保留状态
。
[0014]在本公开的一些示例性实施例中，所述选取第二计算节点中的目标资源单元标记为保留状态，包括：选取至少两个所述第二计算节点中的目标资源单元标记为保留状态；响应于所述至少两个所述第二计算节点中的第三计算节点中处于空闲状态的资源单元满足所述资源需求信息，将所述待调度任务调度至所述第三计算节点进行处理；响应于所述待调度任务被进行处理，所述至少两个所述第二计算节点中与所述待调度任务相关的被标记为保留状态的所述目标资源单元解除所述保留状态标记
。
[0015]根据本公开实施例的第二方面，提供一种任务调度装置，包括：任务调度请求模块，获取待调度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种任务调度方法，其特征在于，包括：获取待调度任务的任务调度请求；所述任务调度请求中至少包括资源需求信息；所述资源需求信息中包括至少一个资源类型和对应于所述资源类型的资源需求数量；根据所述资源需求信息，在多个计算节点中对所述待调度任务进行匹配；所述计算节点中包括所述至少一个资源类型和对应于所述资源类型的若干个资源单元；所述资源单元的状态包括占用状态或空闲状态；响应于第一计算节点中处于空闲状态的资源单元满足所述资源需求信息，将所述待调度任务调度至所述第一计算节点进行处理；响应于没有所述计算节点中处于空闲状态的资源单元满足所述资源需求信息，选取第二计算节点中的目标资源单元标记为保留状态；响应于所述被标记为保留状态的所述目标资源单元处于所述空闲状态，将所述目标资源单元分配给所述待调度任务
。2.
根据权利要求1所述的方法，其特征在于，还包括：响应于所述待调度任务被进行处理，与所述待调度任务相关的被标记为保留状态的所述目标资源单元解除所述保留状态标记
。3.
根据权利要求1所述的方法，其特征在于，基于所述对应于所述资源类型的资源需求数量，按照预设的保留比例系数，在所述第二计算节点中选取多个所述目标资源单元标记为保留状态；所述保留比例系数，用于表示所述目标资源单元数量与所述资源需求数量的比值；所述保留比例系数大于等于
100%。4.
根据权利要求3所述的方法，其特征在于，所述待调度任务对应有任务优先级；根据所述待调度任务的任务优先级确定所述待调度任务的所述保留比例系数；所述任务优先级越高所对应的所述保留比例系数越大
。5.
根据权利要求1所述的方法，其特征在于，所述保留状态还包括保留层级；所述保留层级，用于表示所述待调度任务对应所述目标资源单元的保留状态所处于的层级；当低于所述保留层级的所述保留状态所对应的调度任务均已被进行处理后，响应于所述被标记为保留状态的所述目标资源单元处于所述空闲状态，将所述目标资源单元分配给所述待调度任务
。6.
根据权利要求3所述的方法，其特征在于，所述保留状态还包括保留层级；所述保留层级，用于表示所述待调度任务对应所述目标资源单元的保留状态所处于的层级；所述保留层级越高所对应的所述保留比例系数越大
。7.

【专利技术属性】
技术研发人员：陈爌宇，王鲲，陈飞，邹懋，
申请(专利权)人：北京趋动智能科技有限公司，
类型：发明
国别省市：