一种一致性低延迟的数据中心任务调度方法技术

本发明专利技术公开了一种一致性低延迟的数据中心任务调度方法，属于数据中心任务调度技术领域。该方法考虑了请求处理任务在各台服务器上处理的一致性问题，在作业级层面上降低延迟，并结合拥塞检测和核心动态分配算法，完成数据中心任务调度。本发明专利技术包括设计一种新的数据中心请求处理任务调度算法，主要包括以下步骤：首先进行任务的集群调度，将任务按照所属作业到达的顺序排序标号，然后由集群调度器按负载均衡原则将任务分派到主机上运行，进而完成任务的主机调度，在任务到达主机后，将任务按照处理时长进行分组，再根据核心动态分配算法以组为单位分配核心，组内任务根据集群调度所赋标号顺序执行，完成调度。完成调度。完成调度。

【技术实现步骤摘要】
一种一致性低延迟的数据中心任务调度方法


[0001]本专利技术属于数据中心任务调度
，具体涉及一种一致性低延迟的数据中心任务调度方法。

技术介绍

[0002]由于大型数据中心的灵活性和成本优势，越来越多的作业在数据中心中执行。数据中心中的许多作业具有分散
‑
聚合的模式，单个作业需要来自数千个软件服务的响应。特别是随着越来越多的云应用程序从批处理作业转向具有严格延迟要求的服务，为了向用户提供快速响应，需要支持高任务率和微秒级尾部延迟。为了进一步改善数据中心作业的运行，必须专注于有效利用每个大型基础设施中可用的数万台服务器，在快速有效地将任务调度到节点上的同时实现数据中心的高吞吐量和低延迟。
[0003]数据中心网络和内存系统越来越具有微秒延迟。在微秒级，任务处理时间的分布可能特别极端，例如，Redis可以在2微秒内处理GET/PUT任务，但更复杂的SCAN和EVAL任务可能需要数百微秒或毫秒才能完成。因此，单个长时间运行的任务可以阻止数百或数千个较短的任务。
[0004]为了限制尾延迟，特别是对于短任务，现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种一致性低延迟的数据中心任务调度方法，其特征在于，步骤如下：(1)制定作业的集群调度策略，当作业到达数据中心后，按照作业级先来先服务的规则，将作业按照到达的时间从小到大排序并编号，并将同一个作业中包含的所有任务都标识该序号作为该任务的作业级标识；作业标序后，由集群调度器按负载均衡的原则将任务分派到服务器上运行；(2)建立主机调度机制，包括任务分类和动态分配核心，对于每个组设置一个队列，每个组中所有任务按照作业级标识从小到大的顺序出队，再由主机调度器将任务分派到该组获得的核心上处理；所述的任务分类是将任务按照处理时长分类，主机调度器以组为单位进行主机核心分配；所述的动态分配核心是主机调度器为每组任务初始分配一个核心，在每组任务处理时长的时间粒度上为每组动态分配核心。2.根据权利要求1所述的一致性低延迟的数据中心任务调度方法，其特征在于：步骤(1)所述的集群调度策略具体如下：根据服务器节点的性能参数，首先将数据中心集群中的服务器按照任务的处理特定需求划分服务器组，再将剩下的泛用节点按照服务器的性能参数划分服务器组；对于服务器的性能计算，采用各服务器节点CPU(C)、内存(M)、磁盘I/O(I)和网络带宽(N)作为服务器的性能评价参数；当集群中存在n个节点，对于每个节点S
i
∈{S1,S2,S3,
…
,S
n
}(n>1)，服务器综合性能表示为C(S
i
)∈{C(S1),C(S2),C(S3),
…
,C(S
n
)}(n>1)，根据各项性能计算集群中各服务器的综合性能为：C(S
i
)＝σ
c
×
C
c
(S
i
)+σ
M
×
C
M
(S
i
)+σ
I
×
C
I
(S
i
)+σ
N
×
C
N
(S
i
)其中σ
i
为各个服务器性能的权值参数，可根据集群中的服务器性能自行设定，其和值为1；其中每个服务器节点各性能权值为：其中J∈{C,M,I,N}为各性能集合中的一项，E
j
(S
i
)为服务器集群中节点S
i
的一项初始性能数值；根据集群中每个服务器的初始性能将服务器进行排序，之后根据节点数量尽可能地进行均匀分组，使得每组服务器节点性能总和接近。3.根据权利要求1所述的一致性低延迟的数据中心任务调度方法，其特征在于：步骤(1)中根据各个服务器的实时负载情况对任务进行动态负载均衡分配如下：(1.1)节点实时负载信息收集采用服务器节点负载信息收集模块来进行各节点实时负载信息的收集，收集的信息包括某一时刻节点的CPU(C)、内存(M)、磁盘I/O(I)和网络带宽(N)性能参数，以及各性能的利用率；根据负载变化率ΔD来判断某节点S
i
在时间t1至t2时间段内的负载信息是否上传，其计
算式如下所示:D
i
＝σ
c
×
E
c
(S
i
)+σ
M
×
E
M
(S
i
)+σ
I
×
E
I
(S
i
)+σ
N
×
E
N
(S
i
)其中σ
i
为各个服务器性能的权值参数，可根据集群中的服务器性能自行设定，其和值为1；E
j
(S
i
)为服务器集群中某一时刻节点S
i
的一项性能数值，其中j∈{C,M,I,N}；在集群的实际运行环境中设置一个负载信息上报阈值Δd，当服务器计算的负载信息变化率小于该阈值时，那么本次的负载信息就不上报，并且只在该服务器收集模块更新本次数据，用于下一次的本地负载变化率计算；(1.2)为任务选择服务组对于特定需求任务类型将任务分配到对应的特定服务器组；对于非特定需求的任务，再将任务分配到平均性能利用率低的服务器组；根据节点的性能利用率L计算每个服务器组的平均性能利用率计算公式如下：L(S
i
)＝σ
c
×
W
c
(S
i
)+σ
M
×
W
M
(S
i
)+σ
I
×
W
I
(S
i
)+σ
...

【专利技术属性】
技术研发人员：张彤，余秋雨，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：