一种分层分簇调度方法、系统、介质及设备技术方案

本发明专利技术公开了一种分层分簇调度方法、系统、介质及设备，采集集群的各类资源数据、生成节点延迟矩阵；根据调度任务的一般容忍调用响应时间选择合适的延迟分层调度，查找当前选择的延迟分层是否存在，如果不存在则使用完全子图划分方法对集群节点组成的图进行分簇，分簇完成后将分簇信息以不同延迟标准分层保存，如果存在则读取当前延迟分层的分簇信息；然后依据簇群优先级公式计算各个簇群的优先级，选择优先级高的簇群进行调度。本发明专利技术通过将任务限制在簇群中调度，能够显著降低由节点间高延迟带来的任务响应时间过大的性能开销。带来的任务响应时间过大的性能开销。带来的任务响应时间过大的性能开销。

【技术实现步骤摘要】
一种分层分簇调度方法、系统、介质及设备


[0001]本专利技术属于云计算资源调度
，具体涉及一种分层分簇调度方法、系统、介质及设备。

技术介绍

[0002]面对日益增长的数据计算需求，构建一个灵活的新型分布式高性能低延迟计算系统显得尤为重要。新型分布式高性能低延迟计算系统通过体系资源的优化调度、单元的分布式协同和信息的聚合提高系统整体计算能力和资源利用效率。其中，“面向大数据处理的高性能计算”主要是建立在云计算的相关技术之上的，云计算是谷歌在“Google 101计划”中提出的概念，目前分为集中式云计算和边缘云计算。新型分布式高性能低延迟计算集群一方面与集中式云计算集群所处的局域网环境不同，另一方面也与边缘云计算集群的计算卸载不同，它建立在地理上跨度很广的大范围专用网中，网络拓扑结构不稳定，带宽资源有限，节点间的网络延迟差异大，中心节点的计算能力强，边缘节点不具备计算能力，因此中心节点的高性能计算存在着由网络延迟过高导致的计算瓶颈。
[0003]在面向大数据处理的高性能计算背后存在着大量具有低时延需求的任务，这类任务对任务间的调用响应时间要求严苛，需要集群的调度器在调度时将任务分配到合适的节点上运行，从而尽可能地降低任务间的调用响应时间，同时这类任务也关心同类型任务的分布状态，需要避免大量同类型任务集中到单个节点。目前没有一个完整的解决方案去合理调度这类任务，因此如何在地理跨度广的专用网环境下实现出一个便于部署这类低时延需求任务的分布式调度方法成为亟需解决的问题。

技术实现思路

[0004]本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种分层分簇调度方法、系统、介质及设备，用于解决针对地理分布集群中存在的网络拓扑结构不稳定，带宽资源有限，节点间的网络延迟差异大性能瓶颈的技术问题，能够显著减少任务间的调用响应时间。
[0005]本专利技术采用以下技术方案：
[0006]一种分层分簇调度方法，包括以下步骤：
[0007]S1、采集地理分布集群中的资源数据，生成节点延迟矩阵；
[0008]S2、指定待调度任务的一般容忍调用响应时间；
[0009]S3、根据步骤S2得到的调度任务一般容忍调用响应时间选择合适的延迟分层调度，判断当前选择的延迟分层；
[0010]S4、当步骤S3不存在当前选择的延迟分层，将步骤S1得到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分，对节点延迟矩阵进行建图，使用完全子图划分方法对新建图分簇，然后将分簇信息以该延迟标准命名的分层保存；
[0011]S5、当步骤S3存在当前选择的延迟分层，读取当前延迟分层的分簇信息或步骤S4得到的分簇信息，根据分簇选择算法计算各个簇群的优先级，选择优先级高的簇群进行调度，将待调度任务限制在对应簇群中，实现分层分簇调度。
[0012]具体的，步骤S1中，资源数据包括节点CPU资源拥有总量、节点CPU资源可分配总量、节点内存资源拥有总量和节点内存资源可分配总量。
[0013]具体的，步骤S4中，将步骤S1采集到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分具体为：
[0014]S401、在获取延迟矩阵后，先遍历整个矩阵将小于延迟标准的延迟值置0，作为给定延迟层的邻接矩阵；
[0015]S402、判断邻接矩阵内是否存在节点；如果存在节点，进行步骤S403；否则跳到步骤S405；
[0016]S403、根据分支界限法找到当前邻接矩阵组成的图中的最大团，并记录该最大团的节点，作为给定延迟层的一个簇群；
[0017]S404、将最大团节点从延迟矩阵中移出，返回步骤S402；
[0018]S405、给记录的簇群编号并存入给定延迟层内。
[0019]具体的，步骤S5中，计算各个簇群的优先级具体为：
[0020]S501、遍历选定的延迟层内的所有簇群，对每个簇群依次进行节点遍历操作，在节点遍历中，查找节点内的所有已部署任务对内存资源和CPU资源的使用量，求和分别得到内存资源使用总量USed
Memery
和CPU资源使用总量Used
CPU
；
[0021]S502、在步骤S501的基础上加上将要被调度的任务链需求的内存资源量和CPU资源量得到簇群内存消耗总量Need
Memery
和簇群的CPU消耗总量Need
CPU
；
[0022]S503、查找簇群内每个节点里内存和CPU两种资源拥有总量，对簇内每个节点进行求和得到簇群内存资源总量Total
Memery
和CPU资源总量Total
CPU
；
[0023]S504、在该延迟层上，对于每个簇群分别得到簇群的内存资源分数Score
Memery
和CPU资源分数Score
CPU
；
[0024]S505、加权计算簇群总分数，将总分数作为簇群选择的优先级。
[0025]进一步的，步骤S504中，如果簇群内存消耗总量Need
Memery
大于簇群内存资源总量Total
Memery
或者簇群CPU消耗总量Need
CPU
大于CPU资源总量Total
CPU
，设置Score
Memery
或Score
CPU
为0。
[0026]进一步的，步骤S505中，簇群总分数Score
Cluster
具体计算如下：
[0027][0028]更进一步的，簇群的内存资源分数Score
Memery
和CPU资源分数Score
CPU
具体计算如下：
[0029][0030][0031]第二方面，本专利技术实施例提供了一种分层分簇调度系统，包括：
[0032]采集模块，用于采集地理分布集群中的资源数据，生成节点延迟矩阵；
[0033]时间模块，用于指定待调度任务的一般容忍调用响应时间；
[0034]判断模块，用于根据时间模块得到的调度任务一般容忍调用响应时间选择合适的延迟分层调度，判断当前选择的延迟分层；
[0035]划分模块，用于当判断模块不存在当前选择的延迟分层，将采集模块得到的节点延迟矩阵以时间模块得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分，对节点延迟矩阵进行建图，使用完全子图划分方法对新建图分簇，然后将分簇信息以对应延迟标准命名的分层保存；
[0036]调度模块，用于当判断模块存在当前选择的延迟分层，读取当前延迟分层的分簇信息或直接读取划分模块得到的分簇信息，根据分簇选择算法计算各个簇群的优先级，选择优先级高的簇群进行调度，将待调度任务限制在对应簇群中，实现分层分簇调度。
[0037]第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分层分簇调度方法，其特征在于，包括以下步骤：S1、采集地理分布集群中的资源数据，生成节点延迟矩阵；S2、指定待调度任务的一般容忍调用响应时间；S3、根据步骤S2得到的调度任务一般容忍调用响应时间选择合适的延迟分层调度，判断当前选择的延迟分层；S4、当步骤S3不存在当前选择的延迟分层，将步骤S1得到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分，对节点延迟矩阵进行建图，使用完全子图划分方法对新建图分簇，然后将分簇信息以该延迟标准命名的分层保存；S5、当步骤S3存在当前选择的延迟分层，读取当前延迟分层的分簇信息或步骤S4得到的分簇信息，根据分簇选择算法计算各个簇群的优先级，选择优先级高的簇群进行调度，将待调度任务限制在对应簇群中，实现分层分簇调度。2.根据权利要求1所述的分层分簇调度方法，其特征在于，步骤S1中，资源数据包括节点CPU资源拥有总量、节点CPU资源可分配总量、节点内存资源拥有总量和节点内存资源可分配总量。3.根据权利要求1所述的分层分簇调度方法，其特征在于，步骤S4中，将步骤S1采集到的节点延迟矩阵以步骤S2得到的待调度任务的一般容忍调用响应时间作为延迟标准进行划分具体为：S401、在获取延迟矩阵后，先遍历整个矩阵将小于延迟标准的延迟值置0，作为给定延迟层的邻接矩阵；S402、判断邻接矩阵内是否存在节点；如果存在节点，进行步骤S403；否则跳到步骤S405；S403、根据分支界限法找到当前邻接矩阵组成的图中的最大团，并记录该最大团的节点，作为给定延迟层的一个簇群；S404、将最大团节点从延迟矩阵中移出，返回步骤S402；S405、给记录的簇群编号并存入给定延迟层内。4.根据权利要求1所述的分层分簇调度方法，其特征在于，步骤S5中，计算各个簇群的优先级具体为：S501、遍历选定的延迟层内的所有簇群，对每个簇群依次进行节点遍历操作，在节点遍历中，查找节点内的所有已部署任务对内存资源和CPU资源的使用量，求和分别得到内存资源使用总量Used
Memery
和CPU资源使用总量Used
CPU
；S502、在步骤S501的基础上加上将要被调度的任务链需求的内存资源量和CPU资源量得到簇群内存消耗总量Need
Memery
和簇群的CPU消耗总量Need
CPU
；S503、查找簇群内每个节点里内存和CPU两种资源拥有总量，对簇内每个节点进行求和得到簇群内存资源总量Total
Memery
和CPU资源总量...

【专利技术属性】
技术研发人员：董小社，杜维，陈衡，王龙翔，张兴军，王子衡，陈维多，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：