基于改进XGBoost模型的资源需求预测方法技术

本发明专利技术为克服采用XGBoost模型进行资源需求预测时存在输出限定在一定范围内，导致无法准确预测时序模式的缺陷，提出一种基于改进XGBoost模型的资源需求预测方法，包括以下步骤：采集集群中所有容器的时间段T内的多维度时序数据；将多维度时序数据输入XGBoost模型中，得到每棵回归树的输出W；将多维度时序数据输入第一卷积神经网络中学习时序的模式，确定每棵回归树的权重H；将多维度时序数据输入第二卷积神经网络中提取时序中的数据特征，并根据时序的数据特征所述得到偏移值B；根据XGBoost模型中每棵回归树的输出W及其对应的权重H进行加权相加，进一步结合偏移值B得到下一时刻的资源需求预测结果。

【技术实现步骤摘要】
基于改进XGBoost模型的资源需求预测方法
本专利技术涉及集群资源管理
，更具体地，涉及一种基于改进XGBoost模型的资源需求预测方法。
技术介绍
为了提高集群的资源利用率，目前主要采用混合部署的方法，即将在线服务和离线任务部署到同一集群中，当在线服务资源使用量较低时，调度上离线任务，减少资源闲置，从而提高总体资源利用率。目前主要通过预测在线服务未来的资源使用量进行合理调度离线任务，常见的时序预测模型主要有三类：第一类，基于统计学的模型，如ARIMA(整合移动平均自回归模型)；第二类，机器学习模型，如XGBoost(极度梯度提升树)；第三类，深度学习模型，如LSTM(长短期记忆网络)等。这些模型都可以直接用于集群内的资源需求预测，但从实际应用方面来看，这些方法都有各自的缺点。比如XGBoost的输出有一定限制范围，只能处理训练集中已有的情况，对超出训练集范围的数据(比如呈增长趋势的时序)预测效果会大打折扣。对于深度学习的方法，如果是简单结构的神经网络，则存在预测精度较低的问题；如果是复杂结构的神经网络，虽然能够提升预测效果，但本文档来自技高网...

【技术保护点】
1.基于改进XGBoost模型的资源需求预测方法，其特征在于，包括以下步骤：/n采集集群中所有容器的时间段T内的多维度时序数据；/n将多维度时序数据输入XGBoost模型中，得到每棵回归树的输出W；/n将多维度时序数据输入第一卷积神经网络中学习时序的模式，确定每棵回归树的权重H；/n将多维度时序数据输入第二卷积神经网络中提取时序中的数据特征，并根据时序的数据特征所述得到偏移值B；/n根据XGBoost模型中每棵回归树的输出W及其对应的权重H进行加权相加，进一步结合偏移值B得到下一时刻的资源需求预测结果。/n

【技术特征摘要】
1.基于改进XGBoost模型的资源需求预测方法，其特征在于，包括以下步骤：
采集集群中所有容器的时间段T内的多维度时序数据；
将多维度时序数据输入XGBoost模型中，得到每棵回归树的输出W；
将多维度时序数据输入第一卷积神经网络中学习时序的模式，确定每棵回归树的权重H；
将多维度时序数据输入第二卷积神经网络中提取时序中的数据特征，并根据时序的数据特征所述得到偏移值B；
根据XGBoost模型中每棵回归树的输出W及其对应的权重H进行加权相加，进一步结合偏移值B得到下一时刻的资源需求预测结果。


2.根据权利要求1所述的资源需求预测方法，其特征在于，所述多维度时序数据包括内存、CPU、网络I/O、时间中的一种或多种。


3.根据权利要求1所述的资源需求预测方法，其特征在于，采集集群中所有容器的时间段T内的多维度时序数据的步骤包括：设置一个大小为T的时间窗口，集群中所有容器采用所述时间窗口获取多维度时序。


4.根据权利要求1所述的资源需求预测方法，其特征在于，所述XGBoost模型包括多棵回归树，每棵回归树通过加性方式进行组合。


5.根据权利要求4所述的资源需求预测方法，其特征在于，还包括以下步骤：将采集的n个多维度时序数据样本及其对应的k个特征组成训练数据集D，将所述训练数集输入XGBoost模型中进行训练；计算XGBoost模型的目标函数L并使其最小化；
其中训练数据集D＝{(xi,yi)}xi为第i时刻多维度时序的取值，中的上标k表示多维度时序的维度数；yi为目标时序在时刻i的取值；
所述XGBoost模型的目标函数L的表达公式如下：






式中，表示损失函数，为目标时序在时刻i的预测值；Ω(fk)表示正则项，fk表示XGBoost中的第k棵树；μ为学习率，T为回归树中叶子的数量，λ为正则参数，ω为叶子权重。


6.根据权利要求5所述的资源需求预测方法，其特征在于，所述损失函数采用均方损失函数，其表达公式为：

【专利技术属性】
技术研发人员：肖楚铭，吴维刚，尹烨，常红立，
申请(专利权)人：中山大学，腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44