一种基于注意力机制的集群资源预测方法和装置制造方法及图纸

本发明专利技术公开提供了一种基于注意力机制的集群资源预测方法和装置，采用改进的注意力机制，并将其集成到LSTM中，可以挖掘多个时间序列之间的相关性，并提出使用多个时间序列进行集群内资源需求预测的方案，有效提高了预测的准确率，能更加有效的辅助资源规划，从而提高集群的资源利用率，更有效地降低数据中心的运维成本。

A Cluster Resource Prediction Method and Device Based on Attention Mechanism

【技术实现步骤摘要】
一种基于注意力机制的集群资源预测方法和装置
本专利技术涉及集群资源管理
，更具体的说是涉及一种基于注意力机制的集群资源预测方法和装置。
技术介绍
目前的数据中心的体量越来越大，有效地对数据中心内的集群进行资源管理可以提高硬件资源的利用率，减少运维成本，提高运维的利润。其中一个有效提高资源利用率的方法就是对集群未来的资源需求进行预测，从而提前进行资源规划，减少资源的浪费。目前进行集群资源需求预测主要是使用集群资源的时间序列数据。而常见的时间序列预测模型有ARIMA(整合移动平均自回归模型)，VAR(向量自回归模型)，GBRT(梯度提升回归树)LSTM(长短期记忆网络)等，他们都可以直接用于集群内的资源需求预测。但是目前集群资源预测方法存在两个主要的问题：1.这些方法主要使用单个时间序列作为特征进行预测的(如ARIMA)，几乎没有使用多个时间序列来进行资源需求预测的。预测的准确性依赖于这个时间序列的历史值是否蕴含明显的规律；2.目前虽然已有很多通用的多时间序列预测模型(如VAR)，这些模型方法没有考虑数据中心内集群的特点，特别是没有考虑集群内应用负载之间的相关性和相互干扰，上述两个本文档来自技高网...

【技术保护点】
1.一种基于注意力机制的集群资源预测方法，其特征在于，包括：S1：将上一时刻第一隐藏层状态、与目标实例同属于一个主机单元的所有时间序列数据、与目标实例同属于一个部署单元的所有时间序列数据以及历史时刻的目标时序作为输入注意力层的输入，得到第一输入向量；S2：将所述第一输入向量输入到LSTM编码器，得到当前第一隐藏层状态；S3：将所述当前第一隐藏层状态和上一时刻第二隐藏层状态输入到时间相关性注意力层，得到上下文向量；S4：将所述上下文向量、上一时刻第二隐藏层状态和历史时刻的目标时序输入到LSTM解码器，得到当前第二隐藏层状态；S5：将所述当前第二隐藏层状态和所述上下文向量进行线性变换，得到预测值。

【技术特征摘要】
1.一种基于注意力机制的集群资源预测方法，其特征在于，包括：S1：将上一时刻第一隐藏层状态、与目标实例同属于一个主机单元的所有时间序列数据、与目标实例同属于一个部署单元的所有时间序列数据以及历史时刻的目标时序作为输入注意力层的输入，得到第一输入向量；S2：将所述第一输入向量输入到LSTM编码器，得到当前第一隐藏层状态；S3：将所述当前第一隐藏层状态和上一时刻第二隐藏层状态输入到时间相关性注意力层，得到上下文向量；S4：将所述上下文向量、上一时刻第二隐藏层状态和历史时刻的目标时序输入到LSTM解码器，得到当前第二隐藏层状态；S5：将所述当前第二隐藏层状态和所述上下文向量进行线性变换，得到预测值。2.根据权利要求1所述的一种基于注意力机制的集群资源预测方法，其特征在于，步骤S1具体包括：S11：将上一时刻第一隐藏层状态以及与目标实例同属于一个主机单元的所有时间序列数据作为部署单元注意力层的输入，得到部署单元注意力层输出向量；S12：将上一时刻第一隐藏层状态以及与目标实例同属于一个部署单元的所有时间序列数据作为主机单元注意力层的输入，得到主机单元注意力输出向量；S13：将上一时刻第一隐藏层状态以及历史时刻的目标时序作为自相关性注意力层的输入，得到自相关性注意力层输出向量；S14：将部署单元注意力层输出向量、主机单元注意力输出向量和自相关性注意力层输出向量合并作为第一输入向量。3.根据权利要求2所述的一种基于注意力机制的集群资源预测方法，其特征在于，步骤S11具体包括：基于上一时刻第一隐藏层状态和与目标实例同属于一个主机单元的所有时间序列数据计算第一注意力权重；基于第一注意力权重，使用softmax函数计算出归一化部署单元注意力权重；基于上一时刻第一隐藏层状态、与目标实例同属于一个主机单元的所有时间序列数据以及归一化部署单元注意力权重，计算部署单元注意力层输出向量；步骤S12具体包括：计算与目标实例同属于一个部署单元的每个时间序列数据相对于历史目标时序的一阶时序相关性系数，并得到对应的主机单元内所有时间序列和历史目标时序的静态时间相关性权重；基于上一时刻第一隐藏层状态和目标实例同属于一个部署单元的所有时间序列数据计算第二注意力权重；基于静态时间相关性权重和第二注意力权重得到主机单元注意力权重，并进行归一化，得到归一化主机单元注意力权重；基于上一时刻第一隐藏层状态、与目标实例同属于一个部署单元的所有时间序列数据、历史时刻的目标时序以及归一化主机单元注意力权重，计算主机单元注意力输出向量；步骤S13具体包括：计算不同时间窗口内的历史时刻目标时序之间的相关性系数，并得到对应的自相关权重；基于上一时刻第一隐藏层状态和不同历史时刻目标时序计算第三注意力权重；基于自相关权重和第三注意力权重得到自相关单元注意力权重，并进行归一化，得到归一化自相关单元注意力权重；基于上一时刻第一隐藏层状态、历史时刻的目标时序、以及归一化自相关单元注意力权重，计算自相关性注意力层输出向量。4.根据权利要求1～3任意一项所述的一种基于注意力机制的集群资源预测方法，其特征在于，步骤S3具体包括：基于上一时刻第二隐藏层状态计算时间注意力层权重，并进行归一化，得到归一化后的时间注意力层权重；基于当前第一隐藏层状态和归一化后的时间注意力层权重计算上下文向量。5.一种基于注意力机制的集群资源预测装置，其特征在于，包括：第一输入向量计算模块，用于将上一时刻第一隐藏层状态、与目标实例同属于一个主机单元的所有时间序列数据、与目标实例同属于一个部署单元的所有时间序列数据以及历史时刻的目标时序作为输入注意力层的输入，得到第一输入向量；第一隐藏层状...

【专利技术属性】
技术研发人员：窦耀勇，唐家伟，吴维刚，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东,44