集群内节点的资源需求的预测和资源配置的调整制造技术

本申请涉及资源管理技术，特别涉及用于预测与节点相关联的资源需求的方法和装置、用于调整集群内多个节点的资源配置的方法和装置以及其上存储用于实施上述方法的计算机可读存储介质。按照本申请的一方面，提供一种用于预测与节点相关联的资源需求的方法，包括下列步骤：生成一个或多个性能指标的时间序列，其中，所述性能指标指示所述节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值。预测值。预测值。

【技术实现步骤摘要】
集群内节点的资源需求的预测和资源配置的调整


[0001]本申请涉及资源管理技术，特别涉及用于预测与节点相关联的资源需求的方法和装置、用于调整集群内多个节点的资源配置的方法和装置以及其上存储用于实施上述方法的计算机可读存储介质。

技术介绍

[0002]集群资源伸缩是指根据业务需求来调整集群内各节点的资源，主要分为横向(水平)及纵向(垂直)两个方向。横向伸缩指在系统中添加/删除节点；纵向指调整单个节点的资源，如处理器(CPU)、内存或存储器等计算资源。
[0003]虚拟机或容器按照不同的资源套餐配置以构成各种应用系统并由运维人员管理。但是传统的资源管理模式无法实现系统资源的弹性伸缩，主要依赖人工定期回顾集群中各个节点的资源数据，评估资源使用情况，并挑选合适的套餐类型进行配置。这种模式人力投入高、执行周期长且灵活性较低。

技术实现思路

[0004]按照本申请一个方面，提供一种用于预测与节点相关联的资源需求的方法，包括下列步骤：
[0005]生成一个或多个性能指标的时间序列，其中，所述性能指标指示所述节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；
[0006]基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值。
[0007]可选地，在上述方法中，所述性能指标包括下列中的至少一种：所述节点对处理器的使用率、对内存的使用率、网络流量和磁盘占用率，所述节点为下列中的一种：物理机、虚拟机、容器和数据库。
[0008]可选地，在上述方法中，生成每个性能指标的时间序列的步骤包括：
[0009]将该性能指标在每个资源管理周期内的样本值的最大值取为实际值；
[0010]利用趋势分解算法，由实际值构成的序列得到趋势分量的序列作为该性能指标的时间序列。
[0011]可选地，在上述方法中，所述趋势分解算法为中心化移动均值法。
[0012]可选地，在上述方法中，所述卷积神经网络模型包括作为特征提取层的时域卷积网络，并且每个性能指标的时间序列中包含的历史值以时序特征矩阵的形式被输入所述时域卷积网络。
[0013]可选地，在上述方法中，所述时域卷积网络的膨胀因子被设定为等于资源管理周期。
[0014]按照本申请的还有一个方面，提供一种用于预测与节点相关联的资源需求的装
置，包括：
[0015]数据采集单元，其配置为生成一个或多个性能指标的时间序列，其中，所述性能指标指示所述节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；
[0016]预测单元，其配置为基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值。
[0017]按照本申请的还有一个方面，提供一种用于调整集群内多个节点的资源配置的方法，对于每个节点，执行下列步骤：
[0018]生成一个或多个性能指标的时间序列，其中，所述性能指标指示该节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值为该性能指标的实际值所包含的趋势分量；
[0019]基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值；
[0020]基于性能指标的历史值和预测值确定与该节点相关联的资源伸缩策略。
[0021]可选地，在上述方法中，进一步包括：
[0022]基于设定的运行维护策略执行与节点相关联的资源伸缩策略。
[0023]可选地，在上述方法中，所述性能指标包括所述节点对处理器的使用率或对内存的使用率，所述集群为下列中的一种：物理机集群、虚拟机集群、容器集群和数据库集群。
[0024]可选地，在上述方法中，对于每个节点，确定资源伸缩策略的步骤包括：
[0025]对于每个性能指标，基于该性能指标的历史值和预测值确定该性能指标的演变趋势；
[0026]对于每个性能指标，从预定义的资源配置模板集中选择与所述演变趋势匹配的资源配置方案；
[0027]从预定义的节点资源配置模板中选择与全部性能指标的资源配置方案匹配程度最高的节点资源配置方案作为与该节点相关联的资源伸缩策略。
[0028]可选地，在上述方法中，每个性能指标具有预设的目标区间，按照下列方式选择与所述演变趋势匹配的资源配置方案：
[0029]当所述演变趋势为上升趋势时，所选择的与所述演变趋势匹配的资源配置方案使得与该资源配置方案对应的性能指标最接近所述目标区间的下限，当所述演变趋势为下降趋势及维持趋势时，所选择的与所述演变趋势匹配的资源配置方案使得该资源配置方案对应的性能指标最接近所述目标区间的上限。
[0030]按照本申请的另外一个方面，提供一种用于调整集群内多个节点的资源配置的装置，包括：
[0031]数据采集单元，其配置为对于每个节点，生成一个或多个性能指标的时间序列，其中，所述性能指标指示该节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；
[0032]预测单元，其配置为对于每个节点，基于该节点的每个性能指标的时间序列，利用
卷积神经网络模型来确定该性能指标的预测值；
[0033]资源伸缩策略确定单元，其配置为对于每个节点，基于该节点的性能指标的历史值和预测值确定与该节点相关联的资源伸缩策略。
[0034]按照本申请的还有一个方面，提供一种计算机可读存储介质，其上存储计算机程序，其特征在于，该计算机程序被处理器执行时实现如上所述的方法。
[0035]在基于传统机器学习或数据统计的算法中，需要对每个时间序列进行重新分析并重新拟合，与之相比，在本申请的一些实施例中，神经网络模型的训练集可覆盖集群内多种时序指标变化数据，从而能够达到一次训练适配多种趋势变化的效果。此外，在本申请的一些实施例中，仅利用性能指标的时间序列即可完成模型训练，无需数据标注。再者，本申请的实施例不局限于性能指标的具体类型、数量以及集群类型和架构，因此具有更强的泛化能力。
附图说明
[0036]本申请的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：
[0037]图1为按照本申请一些实施例的用于预测与节点相关联的资源需求的方法的流程图。
[0038]图2为按照本申请的另外一些实施例的用于生成每个性能指标的时间序列的方法的流程图。
[0039]图3为刻画当前周期与先前周期的性能指标取值之间映射关系的卷积神经网络的示意图。
[0040]图4为按照本申请另外一些实施例的用于预测与节点相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于预测与节点相关联的资源需求的方法，包括下列步骤：生成一个或多个性能指标的时间序列，其中，所述性能指标指示所述节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值。2.如权利要求1所述的方法，其中，所述性能指标包括下列中的至少一种：所述节点对处理器的使用率、对内存的使用率、网络流量和磁盘占用率，所述节点为下列中的一种：物理机、虚拟机、容器和数据库。3.如权利要求1或2所述的方法，其中，生成每个性能指标的时间序列的步骤包括：将该性能指标在每个资源管理周期内的样本值的最大值取为实际值；利用趋势分解算法，由实际值构成的序列得到趋势分量的序列作为该性能指标的时间序列。4.如权利要求3所述的方法，其中，所述趋势分解算法为中心化移动均值法。5.如权利要求1或2所述的方法，其中，所述卷积神经网络模型包括作为特征提取层的时域卷积网络，并且每个性能指标的时间序列中包含的历史值以时序特征矩阵的形式被输入所述时域卷积网络。6.如权利要求5所述的方法，其中，所述时域卷积网络的膨胀因子被设定为等于资源管理周期。7.一种用于预测与节点相关联的资源需求的装置，包括：数据采集单元，其配置为生成一个或多个性能指标的时间序列，其中，所述性能指标指示所述节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值是该性能指标的实际值所包含的趋势分量；预测单元，其配置为基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值。8.如权利要求7所述的装置，其中，所述性能指标包括下列中的至少一种：所述节点对处理器的使用率、对内存的使用率、网络流量和磁盘占用率，所述节点为下列中的一种：物理机、虚拟机、容器和数据库。9.如权利要求7或8所述的装置，其中，所述数据采集单元按照下列方式生成每个性能指标的时间序列：将该性能指标在每个资源管理周期内的样本值的最大值取为实际值；利用趋势分解算法，由实际值构成的序列得到趋势分量的序列作为该性能指标的时间序。10.如权利要求9所述的装置，其中，所述趋势分解算法为中心化移动均值法。11.如权利要求7或8所述的装置，其中，所述卷积神经网络模型包含作为特征提取层的时域卷积网络，并且每个性能指标的时间序列中包含的历史值以时序特征矩阵的形式被输入所述时域卷积网络。12.如权利要求11所述的装置，其中，所述时域卷积网络的膨胀因子被设定为等于资源管理周期。
13.一种计算机可读存储介质，其上存储计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1
‑
6中任意一项所述的方法。14.一种用于调整集群内多个节点的资源配置的方法，对于每个节点，执行下列步骤：生成一个或多个性能指标的时间序列，其中，所述性能指标指示该节点的资源耗用状态，每个性能指标的时间序列包含与该性能指标相关联的多个历史值，并且每个性能指标的时间序列中包含的历史值为该性能指标的实际值所包含的趋势分量；基于每个性能指标的时间序列，利用卷积神经网络模型来确定该性能指标的预测值；基于性能指标的历史值和预测值确定与该节点相关联的资源伸缩策略。15.如权利要求14所述的方法，进一步包括：基于设定的运行维护策略执行与节点相关联的资源伸缩策略。16.如权利要求14或15所述的方法，其中，所述性能指标包括下列中的至少一种：所述节点对处理器的使用率、对内存的使用率、网络流量和磁盘占用率，所述集群为下列中的一种：物理机集群、虚拟机集群、容器集群和数据库集群。17.如权利要求16所述的方法，其中，生成每个性能指标的时间序列的步骤包括：将该性能指标在每个资源管理周期内的样本值的最大值取为实际值；利用趋势分解算法，由实际值构成的序列得到趋势分量的序列作为该性能指标的时间序。18.如权利要求17所述的方法，其中，所述趋势分解算法为中心化移动均...

【专利技术属性】
技术研发人员：彭家骏，窦同东，周红霞，郑瑾，涂康垚，
申请(专利权)人：中国银联股份有限公司，
类型：发明
国别省市：