一种资源调度方法及装置制造方法及图纸

本申请公开了一种资源调度方法及装置，该方法包括以下步骤：根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，并根据综合性能情况，对多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果；根据测得计算节点的模拟响应时间，对多个计算节点进行排序，得到第二排序结果，并将第二排序结果与第一排序结果比对，若第二排序结果与第一排序结果之间的相似度高于预设阈值，则证明第一排序结果可信，将实际排序结果更新至第一排序结果，得到第三排序结果，并根据第三排序结果调度计算资源

【技术实现步骤摘要】
一种资源调度方法及装置


[0001]本申请属于计算机
，具体涉及一种资源调度方法及装置
。

技术介绍

[0002]云计算是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备
。
云计算的核心思想是将大量用网络连接的计算资源统一管理和调度，构成一个统一资源池向用户提供按需服务
。
[0003]目前，云计算资源调度策略只能人为设置，无法实现合理的资源调度，且效率低下，限制了云计算的自动化管理策略的进一步发展
。
[0004]申请内容
[0005]本申请实施例的目的是提供一种资源调度方法及装置，以解决现有技术中的云计算资源调度策略效率低下的缺陷
。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，提供了一种资源调度方法，包括以下步骤：
[0008]根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，并根据所述综合性能情况，对所述多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果；
[0009]根据所述第一排序结果和在虚拟机中运行的目标任务集的资源消耗情况，预测目标虚拟机中可能更需要的计算资源，筛选出与所述目标任务集匹配的计算节点集合；
[0010]根据所述虚拟机中最活跃的父子任务流的执行顺序优先级，获取样本任务集，并将所述样本任务集随机下发至所述计算节点集合中的部分计算节点，计算所述部分计算节点模拟运行所述样本任务集所花费的模拟响应时间；
[0011]根据测得计算节点的模拟响应时间，对所述多个计算节点进行排序，得到第二排序结果，并将所述第二排序结果与所述第一排序结果比对，若所述第二排序结果与所述第一排序结果之间的相似度高于预设阈值，则证明第一排序结果可信，将实际排序结果更新至所述第一排序结果，得到第三排序结果，并根据所述第三排序结果调度计算资源
。
[0012]第二方面，提供了一种资源调度装置，包括：
[0013]获取模块，用于根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，并根据所述综合性能情况，对所述多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果；
[0014]筛选模块，用于根据所述第一排序结果和在虚拟机中运行的目标任务集的资源消耗情况，预测目标虚拟机中可能更需要的计算资源，筛选出与所述目标任务集匹配的计算节点集合；
[0015]计算模块，用于根据所述虚拟机中最活跃的父子任务流的执行顺序优先级，获取样本任务集，并将所述样本任务集随机下发至所述计算节点集合中的部分计算节点，计算所述部分计算节点模拟运行所述样本任务集所花费的模拟响应时间；
[0016]调度模块，用于根据测得计算节点的模拟响应时间，对所述多个计算节点进行排序，得到第二排序结果，并将所述第二排序结果与所述第一排序结果比对，若所述第二排序结果与所述第一排序结果之间的相似度高于预设阈值，则证明第一排序结果可信，将实际排序结果更新至所述第一排序结果，得到第三排序结果，并根据所述第三排序结果调度计算资源
。
[0017]本申请实施例根据集群中的各个计算节点的硬件信息以及各个计算节点模拟运行样本任务集所花费的模拟响应时间，分别对集群中的各个计算节点进行排序，并根据排序结果调度计算资源，能够为不同偏向的任务集分配适合的计算资源，实现合理的资源调度，从而提升调度效率，降低能耗
。
附图说明
[0018]图1是本申请实施例提供的一种资源调度方法流程图；
[0019]图2是本申请实施例提供的一种资源调度装置的结构示意图
。
具体实施方式
[0020]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例
。
基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围
。
[0021]为了提高效率
、
降低能耗，为不同任务流所需的计算资源特性分配最适合的计算资源，本申请实施例提出一种基于云计算的集群计算资源调度方法及装置，该方法包括：根据每个计算节点的硬件算力为其标记期望算力并汇总，再对集群中多个计算节点进行排序分类
。
然后，获取目标虚拟机最活跃的部分父子任务流，得到任务集，确定任务集所占用物理资源的详细情况，估算该虚拟机任务集可能更依赖的计算资源，获取每个计算节点计算资源占用情况，得到可用计算集群；再依据虚拟机中运行的任务，为其初步分配可用的计算集群
。
最后，提取上述得到的部分任务集按顺序依次下发至每个计算节点并记录
、
比对完成单位任务的所需时间，在计算集群中挑选最优节点，从而得到最适合的调度方案
。
[0022]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的资源调度方法进行详细地说明
。
[0023]如图1所示，为本申请实施例提供的一种资源调度方法流程图，该方法包括以下步骤：
[0024]步骤
101
，根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，并根据所述综合性能情况，对所述多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果
。
[0025]其中，硬件信息包括
CPU
芯片数量
、
单颗
CPU
核心数量
、CPU
基准频率
、GPU
芯片数量
、
单颗
GPU CUDA
核心数量
、GPU
核心架构和
GPU
核心频率；
[0026]具体地，可以根据集群中的各个计算节点的硬件信息，通过以下公式分别计算各个计算节点的综合性能分数：
[0027][0028]FP
C
＝
S
C
×
CO
C
×
F
C
×
V
C
[0029]FP
G
＝
S
G
×
CU
G
×
F
G
×
α
[0030]其中，
N
P
为综合性能分数，
a
为
CPU
性能标准值，
b
为
GPU
性能标准值，
FP
C
为
CPU
双精度浮点计算理论算力，
FP
G
为
GPU
单精度浮点计算理论性能；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种资源调度方法，其特征在于，包括以下步骤：根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，并根据所述综合性能情况，对所述多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果；根据所述第一排序结果和在虚拟机中运行的目标任务集的资源消耗情况，预测目标虚拟机中可能更需要的计算资源，筛选出与所述目标任务集匹配的计算节点集合；根据所述虚拟机中最活跃的父子任务流的执行顺序优先级，获取样本任务集，并将所述样本任务集随机下发至所述计算节点集合中的部分计算节点，计算所述部分计算节点模拟运行所述样本任务集所花费的模拟响应时间；根据测得计算节点的模拟响应时间，对所述多个计算节点进行排序，得到第二排序结果，并将所述第二排序结果与所述第一排序结果比对，若所述第二排序结果与所述第一排序结果之间的相似度高于预设阈值，则证明第一排序结果可信，将实际排序结果更新至所述第一排序结果，得到第三排序结果，并根据所述第三排序结果调度计算资源
。2.
根据权利要求1所述的方法，其特征在于，所述硬件信息包括
CPU
芯片数量
、
单颗
CPU
核心数量
、CPU
基准频率
、GPU
芯片数量
、
单颗
GPU CUDA
核心数量
、GPU
核心架构和
GPU
核心频率；所述根据集群中的多个计算节点的硬件信息，分别获取各个计算节点的综合性能情况，具体包括：根据集群中的各个计算节点的硬件信息，通过以下公式分别计算各个计算节点的综合性能分数：
FP
C
＝
S
C
×
CO
C
×
F
C
×
V
C
FP
G
＝
S
G
×
CU
G
×
F
G
×
α
其中，
N
P
为综合性能分数，
a
为
CPU
性能标准值，
b
为
GPU
性能标准值，
FP
C
为
CPU
双精度浮点计算理论算力，
FP
G
为
GPU
单精度浮点计算理论性能；
S
C
为
CPU
芯片数量，
CO
C
为单颗
CPU
核心数量，
F
C
为
CPU
基准频率，
V
C
为
CPU
单核单周期单精度浮点计算系数；
S
G
为
GPU
芯片数量，
CU
G
为单颗
GPU CUDA
核心数量，
F
G
为
GPU
核心频率，
α
为核心架构权重；所述根据所述综合性能情况，对所述多个计算节点进行汇总分类，标记每个计算节点的类别，得到第一排序结果，具体包括：根据各个计算节点的综合性能分数
N
P
，对所述集群中的多个计算节点进行排序分类，并确定各个计算节点的类别，得到第一排序结果，所述类别包括
CPU
偏向
、GPU
偏向或无偏向
。3.
根据权利要求2所述的方法，其特征在于，所述根据所述第一排序结果和在虚拟机中运行的目标任务集的资源消耗情况，预测目标虚拟机中可能更需要的计算资源，筛选出与所述目标任务集匹配的计算节点集合，具体包括：获取虚拟机中运行的目标任务集的资源消耗情况，并根据所述目标任务集所消耗的
CPU、GPU
和内存资源，评估所述目标任务集偏向的硬件资源的类型；
根据评估结果
、
所述第一排序结果以及所述集群中的各个计算节点的类别，筛选出与所述目标任务集偏向的硬件资源匹配的多个计算节点
。4.
根据权利要求1所述的方法，其特征在于，所述将所述样本任务集随机下发至所述计算节点集合中的部分计算节点，计算所述部分计算节点模拟运行所述样本任务集所花费的模拟响应时间，具体包括：将所述样本任务集下发至所述计算节点集合中的部分计算节点，计算各个计算节点模拟运行所述样本任务集所花费的模拟响应时间；所述根据各个计算节点的模拟响应时间，对所述多个计算节点进行排序，得到第二排序结果，具体包括：根据模拟响应时间的长短顺序，对所述部分计算节点进行排序，得到第二排序结果；所述根据测得计算节点的模拟响应时间，对所述多个计算节点进行排序，得到第二排序结果之后，还包括：在所述第二排序结果与所述第一排序结果之间的相似度低于预设阈值的情况下，将所述样本任务集下发至所述计算节点集合中除所述部分计算节点之外的剩余计算节点，并计算所述剩余计算节点模拟运行所述样本任务集所花费的模拟响应时间；根据所述计算节点集合中的各个计算节点的模拟响应时间的长短顺序，对所述计算节点集合中的所有计算节点进行排序，得到实际最优节点集；按照实际最优节点集中的各个计算节点之间的排序，调度计算资源
。5.
根据权利要求1所述的方法，其特征在于，所述若所述第二排序结果与所述第一排序结果之间的相似度高于预设阈值，则证明第一排序结果可信，将实际排序结果更新至所述第一排序结果，得到第三排序结果，具体包括：在所述第二排序结果与所述第一排序结果之间的相似度高于预设阈值的情况下，则说明所述第一排序结果...

【专利技术属性】
技术研发人员：张肇晖，
申请(专利权)人：赛尔新技术北京有限公司，
类型：发明
国别省市：