任务调度系统及方法、设备技术方案

本申请实施例提供一种任务调度系统及方法、设备，包括接口服务模块、调度管理模块以及多个类型的多个工作节点；其中，每个类型包括多个工作节点；所述接口服务模块，用于接收目标任务的调度请求，并将所述调度请求发送至所述调度管理模块，所述调度请求包括所述目标任务的类型；所述调度管理模块，用于基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点，在所述目标节点上执行所述目标任务。本申请的技术方案实现了不同类型的任务调度，提高了任务调度系统的适用范围。围。围。

【技术实现步骤摘要】
任务调度系统及方法、设备


[0001]本申请实施例涉及任务调度领域，尤其涉及一种任务调度系统及方法、设备。

技术介绍

[0002]随着云原生技术的快速发展，越来越多的企业开始拥抱云原生，推动业务上云已成为业界趋势。在当前的业务场景下，存在大量的任务调度需求。例如，机器学习等智能算法在推荐、图像处理、风控等多个场景具有明显优势，该智能算法需要大量的数据来训练，会产生大量的离线训练任务的需求。又例如，联邦学习等技术在数据安全、隐私保护等多个场景具有广泛应用，也会产生大量的离线训练任务的需求，等等。
[0003]因此，如何实现能够支持不同类型的任务调度，成为亟待解决的问题。

技术实现思路

[0004]本申请实施例提供一种任务调度系统及方法、设备，用以解决现有技术中实现不同类型的任务调度。
[0005]第一方面，本申请实施例中提供了一种任务调度系统，包括接口服务模块、调度管理模块以及多个类型的多个工作节点；其中，每个类型包括多个工作节点；所述接口服务模块，用于接收目标任务的调度请求，并将所述调度请求发送至所述调度管理模块，所述调度请求包括所述目标任务的类型；所述调度管理模块，用于基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点，在所述目标节点上执行所述目标任务。
[0006]可选的，所述调度请求还包括所述目标任务的配置参数；所述调度管理模块，基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点包括：所述调度管理模块，用于结合所述配置参数，以及与所述目标任务的类型对应的多个工作节点中每个工作节点的负载情况，选择目标节点。
[0007]可选的，还包括统计服务模块；所述统计服务模块，用于统计所述任务调度系统中的运行数据，并将所述运行数据发送至所述调度管理模块。
[0008]可选的，还包括节点控制模块；所述调度管理模块，用于将所述运行数据发送至所述节点控制模块；所述节点控制模块，用于基于所述运行数据，计算所述任务调度系统中每个类型的工作节点数量。
[0009]可选的，所述运行数据包括所述任务调度系统中每个类型对应的正在执行的任务数量及等待执行的任务数量、每个类型对应的预设时间区间所需的工作节点数量的最大及最小值、每个工作节点的实际资源利用率、每个工作节点的资源利用率设定的最大及最小值、每个工作节点的平均资源量以及每个任务的平均资源占用量；
所述节点控制模块，用于基于所述运行数据，计算所述任务调度系统中每个类型的工作节点数量包括：对于任一类型，所述节点控制模块，用于在每个时间间隔内，按照如下方式计算所述任务调度系统中的工作节点数量：在所述工作节点的实际资源利用率低于资源利用率设定的最小值的情况下，将预设时间区间所需的工作节点数量的最小值作为所述任务调度系统中的工作节点数量；在所述工作节点的实际资源利用率高于资源利用率设定的最小值，且低于资源利用率设定的最大值的情况下，将预设时间区间所需的工作节点数量的最小值，与延迟预留的工作节点数量进行加和计算，获得第一和值，将所述第一和值作为所述任务调度系统中的工作节点数量；在所述工作节点的实际资源利用率高于资源利用率设定的最大值的情况下，将预设时间区间所需的工作节点数量的最小值，延迟预留的工作节点数量，与工作节点数量偏移量进行加和计算，获得第二和值，在所述第二和值不超过预设时间区间所需的工作节点数量的最大值的情况下，将所述第二和值作为所述任务调度系统中的工作节点数量，以及在所述第二和值超过预设时间区间所需的工作节点数量的最大值的情况下，将预设时间区间所需的工作节点数量的最大值作为所述任务调度系统中的工作节点数量；其中，所述工作节点数量偏移量基于预设比例参数、预设积分参数、预设微分参数、所述任务调度系统中正在执行的任务数量及等待执行的任务数量、每个工作节点的平均资源量、每个任务的平均资源占用量，每个时间间隔内所述任务调度系统中的工作节点数量，进行迭代处理获得；所述延迟预留的工作节点数量基于所述任务调度系统中的任务数量与预设时间区间所需的工作节点数量的最小值，进行迭代处理获得。
[0010]可选的，所述工作节点数量偏移量按照如下公式计算获得：N
delta
=K
p
[e(k)
‑
e(k
‑
1)]+K
I
e(k)+K
D
[e(k)
‑
2e(k
‑
1)+e(k
‑
2)]；其中，N
delta
表示工作节点数量偏移量，K
p
表示预设比例参数，K
I
表示预设积分参数，K
D
表示预设微分参数，k表示迭代轮数，e(k)表示工作节点数量误差，e(k)=(Task
waiting
+Task
running
)/S*S
avg
‑
N
container
，Task
waiting
表示所述任务调度系统中等待执行的任务数量，Task
running
表示所述任务调度系统中正在执行的任务数量，S表示每个工作节点的平均资源量，S
avg
表示每个任务的平均资源占用量，N
container
表示所述任务调度系统中的工作节点数量；所述延迟预留的工作节点数量按照如下公式计算获得：N
pre
=(Task
k
‑
Task
k
‑1)/Task
k
‑1*N
min
，其中，Task表示所述任务调度系统中的任务数量，k表示迭代轮数，N
min
表示预设时间区间所需的工作节点数量的最小值。
[0011]可选的，还包括灰度控制模块；所述调度管理模块，还用于将所述调度请求发送至所述灰度控制模块；所述灰度控制模块，用于基于预设的灰度配置文件，对符合灰度更新条件的目标任务所对应的执行版本进行灰度更新。
[0012]可选的，还包括调度备用模块；所述调度备用模块，用于对所述任务调度系统中的任务执行时的状态信息进行压缩合并处理。
[0013]可选的，所述调度管理模块，还用于接收所述工作节点按照预设时间间隔发送的
状态数据，确定所述工作节点上的任务状态并更新。
[0014]第二方面，本申请实施例中提供了一种任务调度方法，包括：接收目标任务的调度请求；所述调度请求包括所述目标任务的类型；基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点；在所述目标节点上执行所述目标任务。
[0015]第三方面，本申请实施例中提供了一种计算设备，包括存储组件及处理组件；所述存储组件存储一条或多条计算机指令，所述计算机指令供所述处理组件调用执行，所述处理组件执行所述一条或多条计算机指令以实现如第二方面所述的任务调度方法。
[0016]第四本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务调度系统，其特征在于，包括接口服务模块、调度管理模块以及多个类型的多个工作节点；其中，每个类型包括多个工作节点；所述接口服务模块，用于接收目标任务的调度请求，并将所述调度请求发送至所述调度管理模块，所述调度请求包括所述目标任务的类型；所述调度管理模块，用于基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点，在所述目标节点上执行所述目标任务；还包括统计服务模块和节点控制模块；所述统计服务模块，用于统计所述任务调度系统中的运行数据，并将所述运行数据发送至所述调度管理模块；所述调度管理模块，用于将所述运行数据发送至所述节点控制模块；所述节点控制模块，用于基于所述运行数据，计算所述任务调度系统中每个类型的工作节点数量；其中，所述运行数据包括所述任务调度系统中每个类型对应的正在执行的任务数量及等待执行的任务数量、每个类型对应的预设时间区间所需的工作节点数量的最大及最小值、每个工作节点的实际资源利用率、每个工作节点的资源利用率设定的最大及最小值、每个工作节点的平均资源量以及每个任务的平均资源占用量；所述节点控制模块，用于基于所述运行数据，计算所述任务调度系统中每个类型的工作节点数量包括：对于任一类型，所述节点控制模块，用于在每个时间间隔内，按照如下方式计算所述任务调度系统中的工作节点数量：在所述工作节点的实际资源利用率低于资源利用率设定的最小值的情况下，将预设时间区间所需的工作节点数量的最小值作为所述任务调度系统中的工作节点数量；在所述工作节点的实际资源利用率高于资源利用率设定的最小值，且低于资源利用率设定的最大值的情况下，将预设时间区间所需的工作节点数量的最小值，与延迟预留的工作节点数量进行加和计算，获得第一和值，将所述第一和值作为所述任务调度系统中的工作节点数量；在所述工作节点的实际资源利用率高于资源利用率设定的最大值的情况下，将预设时间区间所需的工作节点数量的最小值，延迟预留的工作节点数量，与工作节点数量偏移量进行加和计算，获得第二和值，在所述第二和值不超过预设时间区间所需的工作节点数量的最大值的情况下，将所述第二和值作为所述任务调度系统中的工作节点数量，以及在所述第二和值超过预设时间区间所需的工作节点数量的最大值的情况下，将预设时间区间所需的工作节点数量的最大值作为所述任务调度系统中的工作节点数量；其中，所述工作节点数量偏移量基于预设比例参数、预设积分参数、预设微分参数、所述任务调度系统中正在执行的任务数量及等待执行的任务数量、每个工作节点的平均资源量、每个任务的平均资源占用量，每个时间间隔内所述任务调度系统中的工作节点数量，进行迭代处理获得；所述延迟预留的工作节点数量基于所述任务调度系统中的任务数量与预设时间区间所需的工作节点数量的最小值，进行迭代处理获得。2.根据权利要求1所述的系统，其特征在于，所述调度请求还包括所述目标任务的配置参数；
所述调度管理模块，基于所述调度请求，从与所述目标任务的类型对应的多个工作节点中选择目标节点包括：所述调度管理模块，用于结合所述配置参数，以及与所述目标任务的类型对应的多个工作节点中每个工作节点的负载情况，选择目标节点。3.根据权利要求1所述的系统，其特征在于，所述工作节点数量偏移量按照如下公式计算获得：N
delta
=K
p
[e(k)
‑
e(k
‑
1)]+K
I
e(k)+K
D
[e(k)
‑
2e(k
‑
1)+e(k
‑
2)]；其中，N
delta
表示工作节点数量偏移量，K
p
表示预设比例参数，K
I
表示预设积分参数，K
D
表示预设微分参数，k表示迭代轮数，e(k)表示工作节点数量误差，e(k)=(Task
waiting
+Task
running
)/S*S
avg
‑
N
container
，Task

【专利技术属性】
技术研发人员：孙兵，张庆勇，胡进，
申请(专利权)人：北京信安世纪科技股份有限公司，
类型：发明
国别省市：