基于功耗曲线和脚本信息的制造技术

本发明专利技术涉及高性能计算领域，提供了一种基于功耗曲线和脚本信息的

【技术实现步骤摘要】
基于功耗曲线和脚本信息的HPC作业功耗预测方法及系统


[0001]本专利技术属于高性能计算
(HPC)
领域，尤其涉及一种基于功耗曲线和脚本信息的
HPC
作业功耗预测方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]HPC
系统通常由大量的计算节点和复杂的互联网络组成，为充分利用资源并提高能效，对
HPC
作业的功耗进行的准确的预测和管理是至关重要的
。
[0004]当前进行
HPC
功耗预测的方法多种多样，主要包括基于统计回归模型
、
机器学习算法以及基于时间序列的分析方法
。
下面将对这些方法逐一进行介绍
。
[0005]统计回归模型是一种常见的功耗预测方法，它利用历史作业数据和功耗数据构建模型，通过分析作业的特征
(
如作业类型
、
数据规模
、
资源需求等
)
与功耗之间的关系来预测未来作业的功耗
。
常见的统计回归模型包括线性回归和多项式回归等
。
这些模型具有简单直观
、
易于实现和解释的优点
。
然而，这种方法忽略了作业之间复杂的关联性和动态性
。
此外，对于非线性关系较强的数据，预测的精准度可能会受到影响，对于新类型的作业，模型缺乏泛化的能力
。
[0006]机器学习方法在
HPC
功耗预测中也得到了广泛应用
。
这种方法利用机器学习算法，如决策树
、
支持向量机
、
神经网络等，从历史作业数据中学习作业特征与功耗之间的复杂映射关系，以预测未来作业的功耗
。
相较于统计回归模型，机器学习方法能够更好地捕捉复杂非线性关系和特征之间的相互关系，具有一定的泛化能力，适用于不同类型的作业和场景
。
然而，这种方法的弊端在于对数据集质量和规模有很大的依赖性，以及在处理不同类型数据时缺乏泛化能力
。
[0007]时间序列分析方法是一种应用于功耗预测的常见技术，它通过对历史功耗数据的时间序列进行建模和分析，来预测未来作业的功耗
。
常见的时间序列分析方法包括自回归移动平均模型
(ARMA)、
自回归积分移动平均模型
(ARIMA)、
季节性分解等
。
这些方法能够捕捉作业功耗数据的趋势
、
周期性和季节性等特征，适用于具有较强长期依赖和时间关联性的数据
。
然而，时间序列分析方法对数据的要求较高，需要具有一定的时间序列和连续性的功耗数据
。
若数据不完整
、
缺失或不连续，可能会对预测结果产生不利影响
。
此外，时间序列分析通常基于历史数据的模式和趋势进行预测，面对与历史数据不同的情况时，其预测能力可能会下降
。
[0008]综上所述，不同方法在
HPC
功耗预测中各有优劣
。
统计回归模型具有简单直观的特点，但在捕捉复杂关系方面有限
。
机器学习方法能够处理复杂非线性关系，但对数据质量和规模有依赖性
。
时间序列分析方法适用于具有时间相关性的数据，但要求数据的连续性和稳定性较高
。

技术实现思路

[0009]为了解决上述
技术介绍
中存在的技术问题，本专利技术提供一种基于功耗曲线和脚本信息的
HPC
作业功耗预测方法及系统，本专利技术以功耗曲线和脚本信息为指导，捕捉
HPC
作业在不同状态下的功耗变化，结合神经网络模型，进行
HPC
作业功耗预测，实现了更全面
、
精准的预测
HPC
作业功耗
。
[0010]为了实现上述目的，本专利技术采用如下技术方案：
[0011]本专利技术的第一个方面提供一种基于功耗曲线和脚本信息的
HPC
作业功耗预测方法
。
[0012]基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，包括：
[0013]获取历史作业功耗曲线数据和历史作业脚本信息数据；
[0014]基于历史作业功耗曲线数据，采用第一相似度算法，得到第一相似度值；
[0015]基于历史作业脚本信息数据，采用第二相似度算法，得到第二相似度值；
[0016]依据需求，为第一相似度值和第二相似度值分配权重，计算加权求和，得到综合相似度值，以此构建相似度邻接矩阵；
[0017]以最大化模块度指标为原则，按照相似度邻接矩阵，将
HPC
作业划分成不同的类别；
[0018]基于划分后不同类别中历史数据，分别训练不同的神经网络模型，得到已训练的神经网络模型；
[0019]获取目标
HPC
作业的脚本信息数据，匹配与目标
HPC
作业相似的历史作业类别，采用该历史作业类别的已训练的神经网络模型对目标
HPC
作业的脚本信息数据进行预测，得到预测结果
。
[0020]进一步地，所述基于历史作业功耗曲线数据，采用第一相似度算法，得到第一相似度值的过程包括：基于历史作业功耗曲线数据，选取若干项与功耗相关的指标，基于所述指标，采用
CBD
算法，得到第一相似度值
。
[0021]更进一步地，所述采用
CBD
算法的过程包括：
[0022]对每条
HPC
作业功耗曲线进行编码，采用
CBD
算法将连续的功耗值转换成离散的符号序列，构建一个字典，记录重复出现的符号序列和替换键；将每条作业功耗曲线的符号序列中的重复的序列替换成字典中的键，以对作业功耗曲线进行压缩；
[0023]计算每条作业功耗曲线单独压缩后的大小，比较压缩后的序列长度，计算压缩率，其中，压缩率表示压缩后的序列与原始序列长度的比率；
[0024]基于计算得到的压缩率，判断作业功耗曲线之间的相似性
。
[0025]进一步地，所述基于历史作业脚本信息数据，采用第二相似度算法，得到第二相似度值的过程包括：基于历史作业脚本信息数据，采用
KNN
算法，计算历史作业脚本信息数据之间的相似度，得到第二相似度值
。
[0026]进一步地，所述将
HPC
作业划分成不同的类别的过程包括：采用基于鲁汶算法的社区检测算法，将
HPC
作业划分为多个社区，每个社区代表一种类别，表示社区内的
HPC
作业在某种程度上相似
。...

【技术保护点】

【技术特征摘要】
1.
基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，其特征在于，包括：获取历史作业功耗曲线数据和历史作业脚本信息数据；基于历史作业功耗曲线数据，采用第一相似度算法，得到第一相似度值；基于历史作业脚本信息数据，采用第二相似度算法，得到第二相似度值；依据需求，为第一相似度值和第二相似度值分配权重，计算加权求和，得到综合相似度值，以此构建相似度邻接矩阵；以最大化模块度指标为原则，按照相似度邻接矩阵，将
HPC
作业划分成不同的类别；基于划分后不同类别中历史数据，分别训练不同的神经网络模型，得到已训练的神经网络模型；获取目标
HPC
作业的脚本信息数据，匹配与目标
HPC
作业相似的历史作业类别，采用该历史作业类别的已训练的神经网络模型对目标
HPC
作业的脚本信息数据进行预测，得到预测结果
。2.
根据权利要求1所述的基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，其特征在于，所述基于历史作业功耗曲线数据，采用第一相似度算法，得到第一相似度值的过程包括：基于历史作业功耗曲线数据，选取若干项与功耗相关的指标，基于所述指标，采用
CBD
算法，得到第一相似度值
。3.
根据权利要求2所述的基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，其特征在于，所述采用
CBD
算法的过程包括：对每条
HPC
作业功耗曲线进行编码，采用
CBD
算法将连续的功耗值转换成离散的符号序列，构建一个字典，记录重复出现的符号序列和替换键；将每条作业功耗曲线的符号序列中的重复的序列替换成字典中的键，以对作业功耗曲线进行压缩；计算每条作业功耗曲线单独压缩后的大小，比较压缩后的序列长度，计算压缩率，其中，压缩率表示压缩后的序列与原始序列长度的比率；基于计算得到的压缩率，判断作业功耗曲线之间的相似性
。4.
根据权利要求1所述的基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，其特征在于，所述基于历史作业脚本信息数据，采用第二相似度算法，得到第二相似度值的过程包括：基于历史作业脚本信息数据，采用
KNN
算法，计算历史作业脚本信息数据之间的相似度，得到第二相似度值
。5.
根据权利要求1所述的基于功耗曲线和脚本信息的
HPC
作业功耗预测方法，...

【专利技术属性】
技术研发人员：田学森，张杰，李响，赵志刚，王春晓，张俭，李传涛，耿丽婷，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：