【技术实现步骤摘要】
本专利技术涉及高性能计算的作业调度，特别是涉及基于负载预测的能耗均衡作业调度方法及系统。
技术介绍
1、本部分的陈述仅仅是提到了与本专利技术相关的
技术介绍
，并不必然构成现有技术。
2、在当今的高性能计算(high performance computing，hpc)领域，集群系统已成为处理大规模计算任务的核心架构。hpc集群系统由众多节点组成，其规模日益扩大。与此同时，集群系统产生诸多问题，如集群负载不均衡，机柜间的能耗水平差异较大，存在不稳定的热量环境，导致集群整体稳定性下降。
3、为了提高集群系统的效率和性能，作业调度是至关重要的环节。作业调度负责将任务分配给不同的节点，以实现负载均衡、提高系统利用率和能耗优化等目的。传统的作业调度方法通常基于静态信息或简单的负载均衡策略，如轮询或随机分配。然而，这些方法无法适应节点负载的动态变化和时间相关性，导致负载不均衡和热点问题的产生。为了克服传统方法的局限性，近年来，基于机器学习和时间序列分析的方法受到广泛关注。现有的方法大多集中在利用历史负载数据，预测节点某一指标的数据，如cpu利用率等，并根据预测结果进行作业调度。然而，这些研究并未考虑影响负载的多个变量以及作业调度完成后是否做出调整。
技术实现思路
1、为了解决现有技术的不足，本专利技术提供了基于负载预测的能耗均衡作业调度方法及系统；其通过对集群中所有计算节点的负载进行预测，根据负载预测结果，将节点划分为不同的负载类别。作业调度过程中，优先选择低负载类别节点
2、一方面，提供了基于负载预测的能耗均衡作业调度方法，包括：获取历史时间段内，集群中节点的负载指标数据和功耗数据；对负载指标数据进行预处理并提取每个节点的历史负载特征变量；将每个节点的历史负载特征变量，输入到训练后的负载预测模型中，输出每个节点在未来时间点的负载预测值；根据每个节点在未来时间点的负载预测值，将集群中的每个节点划分为不同的负载类别；在每个负载类别中，按照功耗值由低到高的顺序对节点进行排序，优先选取低负载类别节点中的低功耗节点进行作业调度；完成调度后，对高负载类别节点上运行的作业，实施作业迁移。
3、另一方面，提供了基于负载预测的能耗均衡作业调度系统，包括：获取模块，其被配置为：获取历史时间段内，集群中节点的负载指标数据和功耗数据；对负载指标数据进行预处理并提取每个节点的历史负载特征变量；预测模块，其被配置为：将每个节点的历史负载特征变量，输入到训练后的负载预测模型中，输出每个节点在未来时间点的负载预测值；分类模块，其被配置为：根据每个节点在未来时间点的负载预测值，将集群中的每个节点划分为不同的负载类别；调度模块，其被配置为：在每个负载类别中，按照功耗值由低到高的顺序对节点进行排序，优先选取低负载类别节点中的低功耗节点进行作业调度；迁移模块，其被配置为：完成调度后，对高负载类别节点上运行的作业，实施作业迁移。
4、上述技术方案具有如下优点或有益效果：本专利技术基于所有节点多个特征的数据，实现大规模集群节点负载预测和作业调度的整合。本专利技术能够捕捉节点负载的时序特征和节点之间的关联性，提高负载预测的准确性。根据预测结果对集群节点进行分类，实施调度策略，并根据节点和作业的功耗特征进行作业迁移，实现集群系统整体的负载均衡和能耗均衡分布，可以有效的防止机房中热点的产生。
本文档来自技高网...【技术保护点】
1.基于负载预测的能耗均衡作业调度方法，其特征是，包括：
2.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述对负载指标数据进行预处理并提取每个节点的历史负载特征变量，预处理包括：
3.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，将每个节点的历史负载特征变量，输入到训练后的负载预测模型中，输出每个节点在未来时间点的负载预测值，其中，训练后的负载预测模型采用时间序列预测模型来实现。
4.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，根据每个节点在未来时间点的负载预测值，将集群中的每个节点划分为不同的负载类别，具体包括：
5.如权利要求4所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述根据每个节点在未来若干个时间点的负载预测值，计算每个节点在若干个时间点的负载预测值均值，具体包括：
6.如权利要求4所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述根据每个节点的负载预测值均值，将集群中的节点划分为五个类：高负载类别节点、较高负载类别节点、中负载类别节点、
7.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，在每个负载类别中，按照功耗值由低到高的顺序对节点进行排序，优先选取低负载类别节点中的低功耗节点进行作业调度，具体包括：
8.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，完成调度后，对高负载类别节点上运行的作业，实施作业迁移，具体包括：
9.如权利要求8所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述选取功耗水平波动幅度小于设定阈值的一类作业，将其迁移至低负载类别节点上运行，具体包括：根据K-Means聚类结果，选取功耗水平波动幅度小于设定阈值的一类作业，将其迁移至低负载类别节点上运行。
10.基于负载预测的能耗均衡作业调度系统，其特征是，包括：
...【技术特征摘要】
1.基于负载预测的能耗均衡作业调度方法，其特征是，包括：
2.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述对负载指标数据进行预处理并提取每个节点的历史负载特征变量，预处理包括：
3.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，将每个节点的历史负载特征变量，输入到训练后的负载预测模型中，输出每个节点在未来时间点的负载预测值，其中，训练后的负载预测模型采用时间序列预测模型来实现。
4.如权利要求1所述的基于负载预测的能耗均衡作业调度方法，其特征是，根据每个节点在未来时间点的负载预测值，将集群中的每个节点划分为不同的负载类别，具体包括：
5.如权利要求4所述的基于负载预测的能耗均衡作业调度方法，其特征是，所述根据每个节点在未来若干个时间点的负载预测值，计算每个节点在若干个时间点的负载预测值均值，具体包括：
6.如权利要求4所述的基于负载预测的能耗均衡作业调度方...
【专利技术属性】
技术研发人员：王继彬，徐基雅，郭莹，吴晓明，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。