一种基于任务的集群自动化控制方法技术

本申请提供一种基于任务的集群自动化控制方法，包括：根据任务量和所述执行顺序和相应的硬件配置，判断最少需要多少集群节点参与，得到最小参与节点数；根据预测的节点能耗水平，将预测能耗水平更高的节点选为扩展备用节点，得到扩展备用节点；监测任务的性质变化属性，判断何时需要加入所述扩展备用节点；基于所述节点执行策略，分析系统中的阻塞节点情况，确定阻塞的原因和位置，并根据需要增加应急节点；基于所述节点执行策略，动态调整节点配置，优化执行效率和降低能耗；根据系统运行结果，判断任务是否达到满足计算需求且降低能耗的目标，并对整个系统进行优化和迭代

【技术实现步骤摘要】
一种基于任务的集群自动化控制方法


[0001]本专利技术涉及信息
，尤其涉及一种基于任务的集群自动化控制方法
。

技术介绍

[0002]随着任务量的增加和集群内机器数量的增加，任务执行的效率和能耗管理成为了一个迫切需要解决的问题
。
现有任务调度方法往往无法根据任务类型和执行要求来确定任务的优先级，导致任务执行顺序混乱，影响整个系统的性能
。
由于忽略了任务的类型和执行要求，现有任务调度方法无法准确评估任务的关键性和紧急程度
。
结果是任务执行顺序混乱，可能导致任务之间的冲突和资源浪费
。
某些类型的任务可能需要更多的计算资源，但由于优先级低，却被在资源分配上被忽视，导致任务执行效率低下
。
另一方面，某些任务可能对存储资源有更高的需求，但由于调度方法无法识别这些差异，任务可能被分配到不合适的节点上，导致数据传输延迟和能耗浪费
。
不同类型的任务可能对硬件资源的要求有所不同，如果在节点管理过程中没有考虑到这些要求，这导致任务在执行过程中可能无法得到最优的硬件支持，影响了任务的执行效率和能耗消耗
。
同时，由于集群节点的负载不均衡，一些节点可能会出现阻塞现象，严重影响任务的执行效率
。
这导致在某些情况下存在阻塞节点的问题，影响了整个系统的性能和能耗
。
此外，由于每个节点的硬件配置不同，执行同样任务的节点的能耗也会存在差异
。
在现实情况下，节点的能耗水平是随着任务的执行而变化的，而现有方法未对此进行考虑
。
因此，当选择节点执行任务时，不能准确地预测节点的实际能耗情况，从而导致无法选择最佳节点来执行任务，进一步影响了整个系统的能耗效率
。
最后，系统无法根据任务的变动性来动态调整节点的配置，无法实现任务的优化执行和负载均衡控制
。
由于任务的特性和执行要求可能会随时间发生变化，现有方法未能实现对节点配置的动态调整
。
这会导致任务可能被分配给不适合的节点，从而影响任务的执行效率和负载均衡控制
。

技术实现思路

[0003]本专利技术提供了一种基于任务的集群自动化控制方法，主要包括：
[0004]获取集群内机器的硬件配置信息，根据任务类型和执行要求确定任务的优先级，并确定执行顺序和相应的硬件配置；根据任务量和所述执行顺序和相应的硬件配置，判断最少需要多少集群节点参与，得到最小参与节点数；基于所述最小参与节点数，预测节点的能耗水平，选择满足计算需求且能耗最低的节点进行执行，将能效比低于能效比阈值的节点置于休眠状态，得到节点执行策略；根据预测的节点能耗水平，将预测能耗水平更高的节点选为扩展备用节点，得到扩展备用节点；监测任务的性质变化属性，判断何时需要加入所述扩展备用节点；基于所述节点执行策略，分析系统中的阻塞节点情况，确定阻塞的原因和位置，并根据需要增加应急节点；基于所述节点执行策略，动态调整节点配置，优化执行效率和降低能耗；根据系统运行结果，判断任务是否达到满足计算需求且降低能耗的目标，并对整个系统进行优化和迭代
。
[0005]进一步地，所述获取集群内机器的硬件配置信息，根据任务类型和执行要求确定任务的优先级，并确定执行顺序和相应的硬件配置，包括：
[0006]通过集群管理系统，确定集群内可用的机器的列表；遍历机器列表，获取每台机器的硬件配置信息并记录，包括
CPU
信息
、
内存信息
、
存储信息
、
网络信息
、GPU
信息和特殊硬件信息；将获取到的硬件配置信息整理并使用数据库存储；根据任务的类型和执行要求，确定任务的优先级，所述任务类型包括紧急任务和常规任务，所述执行要求包括截止时间
、
执行时长；遍历任务列表，判断每个任务所需的资源，并根据资源的可用性和任务的优先级，确定任务的执行顺序；根据任务对资源的需求程度，匹配可用的硬件配置，选择相应的机器来执行任务
。
[0007]进一步地，所述根据任务量和所述执行顺序和相应的硬件配置，判断最少需要多少集群节点参与，得到最小参与节点数，包括：
[0008]根据节点的硬件配置信息，计算每个节点的权重值；将所有节点及其权重值存放在一个列表中，并按照权重值从高到低的顺序进行排序；初始化一个计数器，记录当前已经分配的任务数；当有新任务到来时，选择列表中权重值最高的节点，将任务分配给该节点；根据节点的负载情况，更新选中节点的权重值，包括执行任务后节点负载增加，权重值相应降低，负载减少则权重值相应增加；更新计数器，记录已经分配的任务数；重复任务分配和权重值更新，直到所有任务都被分配完毕；根据任务分配结果，判断最少需要多少集群节点参与，得到最小参与节点数
。
[0009]进一步地，所述基于所述最小参与节点数，预测节点的能耗水平，选择满足计算需求且能耗最低的节点进行执行，将能效比低于能效比阈值的节点置于休眠状态，得到节点执行策略，包括：
[0010]收集节点负载和能耗的历史数据，采用加权轮询算法进行能耗模型的建立，根据节点负载情况，预测节点的能耗；根据节点能耗预测结果，选择预测能耗最低的节点进行任务分配；基于均值和标准差的阈值划定，确定能效比阈值，当节点能效比低于能效比阈值时，将节点置于休眠状态；利用心跳机制，检测故障节点并将任务迁移到正常节点上，得到节点执行策略；还包括：采用加权轮询算法建立能耗模型，预测节点的能耗水平
。
[0011]所述采用加权轮询算法建立能耗模型，预测节点的能耗水平，具体包括：
[0012]根据节点的负载和能耗情况，收集历史数据，所述历史数据包括节点的任务执行情况
、
处理器利用率
、
内存使用情况
、
能源消耗信息
。
根据历史数据，提取节点的属性特征，所述节点的属性特征包括负载水平
、
能源利用效率
、
节点类型和环境因素
。
采用加权轮询算法，根据节点的属性特征作为输入，能耗水平作为输出，建立能耗预测模型
。
通过训练模型来学习节点属性特征与能耗水平之间的关系，实现对未来节点能耗的预测
。
使用收集的历史数据中的一部分作为训练集，将模型应用于剩余的数据作为测试集，通过评估模型预测的能耗水平与实际能耗水平的差异来验证模型的准确性
。
根据节点的实时负载和环境因素数据，通过模型预测节点的能耗水平
。
通过实时监控节点的能耗情况，将节点的实际能耗与预测结果进行分析，发现和解决能耗异常问题
。
根据节点的实际使用情况和反馈信息，持续改进和优化能耗预测模型和能源管理策略
。
[0013]进一步地，所述根据预测的节点能耗水平，将预测能耗水平更高的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于任务的集群自动化控制方法，其特征在于，所述方法包括：获取集群内机器的硬件配置信息，根据任务类型和执行要求确定任务的优先级，并确定执行顺序和相应的硬件配置；根据任务量和所述执行顺序和相应的硬件配置，判断最少需要多少集群节点参与，得到最小参与节点数；基于所述最小参与节点数，预测节点的能耗水平，选择满足计算需求且能耗最低的节点进行执行，将能效比低于能效比阈值的节点置于休眠状态，得到节点执行策略；根据预测的节点能耗水平，将预测能耗水平更高的节点选为扩展备用节点，得到扩展备用节点；监测任务的性质变化属性，判断何时需要加入所述扩展备用节点；基于所述节点执行策略，分析系统中的阻塞节点情况，确定阻塞的原因和位置，并根据需要增加应急节点；基于所述节点执行策略，动态调整节点配置，优化执行效率和降低能耗；根据系统运行结果，判断任务是否达到满足计算需求且降低能耗的目标，并对整个系统进行优化和迭代
。2.
根据权利要求1所述的方法，其中，所述获取集群内机器的硬件配置信息，根据任务类型和执行要求确定任务的优先级，并确定执行顺序和相应的硬件配置，包括：通过集群管理系统，确定集群内可用的机器的列表；遍历机器列表，获取每台机器的硬件配置信息，包括
CPU
信息
、
内存信息
、
存储信息
、
网络信息
、GPU
信息和特殊硬件信息；将获取到的硬件配置信息整理并使用数据库存储；遍历任务列表，判断每个任务所需的资源，确定任务的执行顺序；选择匹配任务需求的硬件配置来执行任务
。3.
根据权利要求1所述的方法，其中，所述根据任务量和所述执行顺序和相应的硬件配置，判断最少需要多少集群节点参与，得到最小参与节点数，包括：根据节点的硬件配置信息，计算每个节点的权重值；将节点及其权重值进行排序；初始化计数器记录分配的任务数；新任务到来时选择权重值最高的节点分配任务；根据节点负载情况更新权重值；重复任务分配和权重值更新直到任务分配完毕；根据任务分配结果得到参与节点数
。4.
根据权利要求1所述的方法，其中，所述基于所述最小参与节点数，预测节点的能耗水平，选择满足计算需求且能耗最低的节点进行执行，将能效比低于能效比阈值的节点置于休眠状态，得到节点执行策略，包括：获取节点负载与能耗...

【专利技术属性】
技术研发人员：蔺文龙，吴伟勇，周志平，
申请(专利权)人：广州有机云计算有限责任公司，
类型：发明
国别省市：