【技术实现步骤摘要】
本公开涉及高性能计算、云计算，具体涉及基于用户行为的高性能计算集群能耗预测方法及系统。
技术介绍
1、本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
2、高性能计算(high performance computing，hpc)集群可以快速高效地完成复杂的科学计算任务，已经逐渐成为气象、药理分析、人工智能等科研领域不可或缺的基础设施。随着hpc集群性能和规模的快速增长，其能耗问题也日益突出，这些问题不仅会影响服务器的使用寿命、增加运营成本，还制约了集群规模的进一步增长。如何提高hpc集群的能源效率成为了当前面临的主要问题。
3、能耗预测是提高hpc集群能效水平、实现节能调度的基础，现有的预测方法通常将能耗数据看作一种时间序列数据，并使用(autoregressive integrated moving averagemodel, arima)、长短期记忆神经网络(long short term memory, lstm)等经典的时间序列预测模型进行预测，这些方法的核心思想是从时序数据中学习潜在的变化规律，并依据这些规律对未来的数据做出预测。但是将这些方法直接应用于hpc集群的能耗预测存在一些问题，用户的某些行为如提交、终止作业等会对集群能耗产生较大的影响，除非用户的这些行为在时间上存在明显的规律性，否则单纯使用时间序列预测模型无法预测这种突发波动，从而导致预测曲线在这种位置存在明显的滞后，当集群中存在大量运行时间较短的小规模作业时这种现象尤为明显，现有的能耗预测中由于不能精准捕捉
技术实现思路
1、本公开为了解决上述问题，提出了基于用户行为的高性能计算集群能耗预测方法及系统，通过建立用户行为预测模型实现对用户行为序列的准确预测；然后将预测获得的用户行为序列作为协变量与集群能耗数据进行合并，使其能够感知到用户行为对能耗的影响，从而实现对集群能耗更加准确的预测。
2、根据一些实施例，本公开采用如下技术方案：
3、基于用户行为的高性能计算集群能耗预测方法，包括：
4、获取实时监视的设定时间窗口内所有处于活跃状态的用户会话以及各节点、机柜的能耗数据；
5、提取用户会话中的用户行为序列，对所述用户行为序列进行分类编码并转换为图数据结构；将所述图数据结构输入至用户行为预测模型中，预测未来设定时间内的行为序列并作为协变量；
6、将所述协变量与能耗数据进行数据合并、扩充特征序列，获取包含用户行为信息的高维时序能耗数据，将所述高维时序能耗数据输入至能耗预测模型中，得到对集群各机柜、节点未来设定时间内的能耗预测值。
7、根据一些实施例，本公开采用如下技术方案：
8、基于用户行为的高性能计算集群能耗预测系统，包括：
9、数据采集模块，用于获取实时监视的所有处于活跃状态的用户会话以及各节点、机柜的能耗数据；
10、数据处理模块，用于提取用户会话中的用户行为序列，对所述用户行为序列进行分类编码并转换为图数据结构；
11、用户行为预测模块，用于将所述图数据结构输入至用户行为预测模型中，预测未来设定时间内的行为序列并作为协变量；
12、能耗预测模块，用于将所述协变量与能耗数据进行数据合并、扩充特征序列，获取包含用户行为信息的高维时序能耗数据，将所述高维时序能耗数据输入至能耗预测模型中，得到对集群各机柜、节点未来设定时间内的能耗预测值。
13、与现有技术相比，本公开的有益效果为：
14、本公开提供了一种基于用户行为的高性能计算集群能耗预测方法，首先通过建立用户行为预测模型对用户未来可能执行的行为序列做出预测，然后将预测获得的行为序列作为协变量与集群能耗数据进行合并，获得包含用户行为信息的高维时序数据；最后将这种高维时序数据输入到能耗预测模型进行处理，并生成对集群各机柜、节点能耗的预测。
15、本公开通过嵌入层编码用户行为，并使用图学习层和图卷积模块学习用户行为的局部关联，然后通过序列化模块将图卷积模块输出的数据重新组织为序列结构，并与原始数据建立残差连接；最后使用lstm模块学习用户行为的全局特征，并生成对用户行为序列的预测；相较于现有的能耗预测方法，本专利技术着重考虑了用户行为对能耗的影响，能耗时序数据中包含的用户行为信息可以让能耗预测模型及时发现可能影响能耗的用户行为，从而实现更精准的预测。
本文档来自技高网...【技术保护点】
1.基于用户行为的高性能计算集群能耗预测方法，其特征在于，包括：
2.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，用户会话包括一个用户从登录到退出期间执行的所有操作，用户会话中包含的所有数据都带有时间戳；能耗数据包括机房中所有机柜和计算节点的功率数据。
3.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，对所述用户行为序列进行分类编码，分类的操作类别包括登陆、查看资源、执行命令、提交作用、中止作业以及退出操作，其中，提交作用以及中止作用的行为根据作业的类型划分为多种不同的操作。
4.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，将所述协变量与能耗数据进行数据合并、扩充特征序列，包括：
5.如权利要求2所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，所述功率数据包括CPU功率、节点功率和机柜功率。
6.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，将所述图数据结构输入至用户行为预测模型中，预测未来设定时间内的
7.如权利要求4所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，数据合并的具体步骤包括：
8.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，所述集群能耗预测模型为Temporal Fusion Transformer模型，其将输入的高维时序能耗数据划分为静态变量、过去的动态变量和未来已知的动态变量三种类型，所述静态变量包含用户、队列以及资源池信息，过去的动态变量包含节点、机柜功率以及和集群相关的能耗数据，未来已知的动态变量包含工作日、节假日、季节的时间信息。
9.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，对预测得到的能耗值进行效果评估，包括：维护两个长度不同的误差值队列，同时累积与短队列相对应的输入数据，两个队列用于比较预测模型长期和短期的误差值分布情况，首先使用核密度估计法从数值序列中估计概率分布，然后使用JS散度衡量两个概率分布间的差异，当两组值的分布差异超过预先设定的阈值时，即认为输入数据产生了变化导致模型效果下降，此时使用累积的输入数据生成数据集并在线更新模型。
10.基于用户行为的高性能计算集群能耗预测系统，其特征在于，包括：
...【技术特征摘要】
1.基于用户行为的高性能计算集群能耗预测方法，其特征在于，包括：
2.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，用户会话包括一个用户从登录到退出期间执行的所有操作，用户会话中包含的所有数据都带有时间戳；能耗数据包括机房中所有机柜和计算节点的功率数据。
3.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，对所述用户行为序列进行分类编码，分类的操作类别包括登陆、查看资源、执行命令、提交作用、中止作业以及退出操作，其中，提交作用以及中止作用的行为根据作业的类型划分为多种不同的操作。
4.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，将所述协变量与能耗数据进行数据合并、扩充特征序列，包括：
5.如权利要求2所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，所述功率数据包括cpu功率、节点功率和机柜功率。
6.如权利要求1所述的基于用户行为的高性能计算集群能耗预测方法，其特征在于，将所述图数据结构输入至用户行为预测模型中，预测未来设定时间内的行为序列并作为协变量，包括：首先通过嵌入层编码用户行为，并使用图学习层和图卷积学习用户行为的局部关联，然后通过序列化将图卷积中输出的数据重新组织为序列结构，并与原始输入数据建立残差连接，最...
【专利技术属性】
技术研发人员：王继彬，娄燕涛，郭莹，吴晓明，
申请(专利权)人：山东省计算中心国家超级计算济南中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。