一种集群资源预伸缩方法及装置制造方法及图纸

本发明专利技术实施例提供一种集群资源预伸缩方法及装置，该方法包括：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。本发明专利技术实施例提供的方法及装置可以有效避免资源过载，并提高资源利用率。

【技术实现步骤摘要】
一种集群资源预伸缩方法及装置
本专利技术实施例涉及云计算领域，特别涉及一种集群资源预伸缩方法及装置。
技术介绍
目前，在云计算平台中，伸缩集群需要和伸缩规则以及监控模块配合实现。架构设计如图1所示，监控模块不断采集云主机集群的数据，伸缩规则由监控项以及对应的阈值构成，监控模块和伸缩规则配合使用，通过分析当前集群的负载状况来决定云主机集群是否需要进行伸缩。显而易见，对于云主机集群资源的利用率存在一个最佳的阈值点，一般是100％，在该点到达的时候，正好完成伸/缩的动作，这是最完美的调整方式。但是，目前的设计由于是通过对某些监控项设置固定阈值点实现云主机集群资源的伸缩，这种设计机制会存在以下问题：1.阈值不能设置为100％：因为无论是任何资源的负载，都是动态变化的，而且伸缩动作本身都是需要一定的时间来完成的，也即存在延迟。一旦阈值设置为100％，很有可能会导致资源过载，为用户带来损失。2.不可避免的资源闲置：如果阈值设置为x(x<100％)，那么对于整个资源池来说，始终都是存在着(1-x)的闲置资源。3.阈值设置的复杂性：监控项的不同、云平台的不同、伸缩延迟时间的不同以及为用户提供的服务类型的不同都会影响阈值的设置。总之，目前基于阈值的方式实现集群资源的伸缩不可避免地存在资源浪费、用户操作难度大以及易出现资源过载等问题。
技术实现思路
为解决现有的集群资源伸缩方法中的资源浪费、用户操作难度大以及易出现资源过载的问题，本专利技术实施例提供一种集群资源预伸缩方法及装置。第一方面，本专利技术实施例提供一种集群资源预伸缩方法，该方法包括：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。第二方面，本专利技术实施例提供一种集群资源预伸缩装置，该装置包括：获取模块，获取待预测集群预设时间段的负载监控数据；第一归一化模块，对所述负载监控数据进行时间归一化，确定待拟合数据；确定模块，根据所述待拟合数据和在模式库中查询到的、与所述待拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。第三方面，本专利技术实施例提供一种电子设备，该电子设备包括：存储器和处理器，所述处理器和所述存储器通过总线完成相互间的通信；所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下方法：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。本专利技术实施例提供的集群资源预伸缩方法及装置，通过获取集群近期的负载监控数据，并对负载监控数据进行预处理，从而与模式库中的预设模型进行匹配，进而确定待测集群的预伸缩时刻。如此，可以有效避免资源过载，并且提高资源利用率。附图说明图1为本专利技术实施例提供的集群资源预伸缩方法的流程示意图；图2为本专利技术实施例提供的预设模型拟合过程的示意图；图3为本专利技术实施例提供的集群资源预伸缩装置的结构示意图；图4为本专利技术实施例提供的电子设备的结构框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1为本专利技术实施例提供的集群资源预伸缩方法的流程示意图。如图1所示，该方法包括以下步骤：S101、获取单个待预测集群预设时间段的负载监控数据；具体地，负载监控数据指待预测集群在最近一段时间内的资源使用率信息，包括cpu负载信息、内存负载信息、磁盘负载信息以及网络负载信息中至少一种。时间段的长短可根据具体情况进行调整，若需要精确预伸缩，可以将时间段设置的长一些；反之，可将时间段设置的短一些。S102、对所述负载监控数据进行时间归一化，确定待拟合数据；具体地，集群资源预伸缩装置(下称预伸缩装置)获取的是一段时间内的负载监控数据，时间段若跨度较长，不便于数据的集中，预伸缩装置通过将时间进行归一化处理，统一到{0,1}区间，使得集群的负载监控数据更加集中，归一化后的待拟合数据也更能反映待预测集群的运行趋势。S103、根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。具体地，预伸缩装置确定好待拟合数据后，利用所述待拟合数据与模式库中的多个预设模型进行比较，选取与之相匹配的预设模型作为所述待预测集群的预期运行模式，认为待预测集群在接下来的一段时间会按着预设模型进行运行，由此可确定待预测集群的预伸缩时刻。本专利技术实施例提供的集群资源预伸缩方法，通过获取集群近期的负载监控数据，并对负载监控数据进行预处理，从而与模式库中的预设模型进行匹配，进而确定待测集群的预伸缩时刻。如此，可以有效避免资源过载，提高资源利用率。在上述实施例的基础上，该方法中的所述根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻，具体包括：根据所述待拟合数据，确定当前时刻所述待预测集群的负载值和负载运行趋势；具体地，不同时刻的待预测集群的负载值组成了待拟合数据。预伸缩装置通过待拟合数据可知当前时刻(也即进行预测时)的待预测集群的负载值；以当前时刻作为参考点，以最接近当前时刻的多个负载值的变化趋势作为该集群当前时刻的运行趋势。待拟合数据在{0，1}区间可能既有上升趋势也有下降趋势，以最接近当前时刻为依据，如果最接近当前时刻的运行趋势为上升趋势，则认为从当前时刻起，待预测集群的负载值在接下来的运行趋势也将继续上升，反之则认为继续下降。若所述负载运行趋势为上升，根据所述预设模型，确定所述负载值升至第一预设负载阈值的第一时长；并根据所述第一时长和所述当前时刻，确定所述待预测集群的预伸时刻；具体地，预伸缩装置若判断获知待预测集群的负载运行趋势为上升，根据预设模型，确定所述负载值在{0，1}时间区间的位置a和所述第一预设负载阈值在在{0，1}时间区间的位置b，根据二者之间的差(即b-a)以及预设时间段进行反归一化，确定(b-a)所对应的真正的第一时长；然后根据第一时长和当前时刻即可确定所述待预测集群的预伸时刻。若所述负载运行趋势为下降，根据所述预设模型，确定所述负载值降至第二预设负载阈值的第二时长；并根据所述第二时长和所述当前时刻，确定所述待预测集群的预缩时刻。具体地，预伸缩装置若判断获知待预测集群的负载运行趋势为下降，根据预设模型，确定所述负载值在{0，1}时间区间的位置c和所述第二预设负载阈值在在{0，1}时间本文档来自技高网...

【技术保护点】
一种集群资源预伸缩方法，其特征在于，包括：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。

【技术特征摘要】
1.一种集群资源预伸缩方法，其特征在于，包括：获取单个待预测集群预设时间段的负载监控数据；对所述负载监控数据进行时间归一化，确定待拟合数据；根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻。2.根据权利要求1所述的方法，其特征在于，所述根据所述待拟合数据和在模式库中查询到的、与所述拟合数据相匹配的预设模型，确定所述待预测集群的预伸缩时刻，具体包括：根据所述待拟合数据，确定当前时刻所述待预测集群的负载值和负载运行趋势；若所述负载运行趋势为上升，根据所述预设模型，确定所述负载值升至第一预设负载阈值的第一时长；并根据所述第一时长和所述当前时刻，确定所述待预测集群的预伸时刻；若所述负载运行趋势为下降，根据所述预设模型，确定所述负载值降至第二预设负载阈值的第二时长；并根据所述第二时长和所述当前时刻，确定所述待预测集群的预缩时刻。3.根据权利要求1或2所述的方法，其特征在于，所述预设运行模型的建立过程具体包括：根据云计算平台中每个集群的历史负载数据，选取以第三预设负载阈值为起点，以所述第一预设负载阈值为终点的所述历史负载数据为采样数据，其中所述第三预设负载阈值小于所述第一预设负载阈值；获取所述采样数据的起始时刻和终止时刻，并根据所述起始时刻和所述终止时刻对所述采样数据进行时间归一化，确定每个集群的待训练数据；根据预设的多项式回归算法和所述待训练数据，确定每个集群的预设模型。4.根据权利要求3所述的方法，其特征在于，还包括：计算每两个预设模型之间的距离，将所述距离小于预设距离阈值的多个预设模型进行聚类，确定每类集群的类模型。5.根据权利要求4所述的方法，其特征在于，还包括：根据所述待拟合数据，在模式库中查询与所述待拟合数据相匹配的类模型；根据所述类模型，在模式库中查询与所述待拟合数据相匹配的预设...

【专利技术属性】
技术研发人员：张兵兵，靳春孟，杨清强，林子皇，
申请(专利权)人：厦门集微科技有限公司，
类型：发明
国别省市：福建,35