一种智能化的弹性策略生成方法和系统技术方案

本发明专利技术提供了一种智能化的弹性策略生成方法和系统，属于云计算技术领域。该方法利用指标监控组件监测和记录应用运行环境、应用实例负载和应用特性等多个维度的指标数据。随后，利用应用运行环境数据进行时序预测，并将预测结果、应用实例负载运行状态和应用特性标签等多维度数据作为训练数据集，采用机器学习方法构建应用扩缩容监控模块。利用该监控模块生成扩缩容策略候选项，并使用图算法对其进行修正，生成最终的扩缩容策略。该方法结合虚拟化平台和容器管理平台的弹性伸缩能力，实现智能化的云应用负载扩缩容，提高云资源的利用效率。率。率。

【技术实现步骤摘要】
一种智能化的弹性策略生成方法和系统


[0001]本专利技术涉及云计算
，具体涉及一种智能化的弹性策略生成方法和系统。

技术介绍

[0002]过去十年，云计算凭借集约化和按需取用的特点在各行业广泛应用，业务应用运行在公有云或私有云上，已经成为常态。因为云计算的灵活性，弹性伸缩技术应运而生，当云上应用处于业务高峰期时，通过弹性伸缩技术自动增加运行资源，以应对业务高负载。当云上应用处于业务低谷期时，通过弹性伸缩技术自动减少资源的分配，节约资源成本，达到合理利用资源的目的。通过弹性伸缩技术，云平台能实现自动化调控资源，完全不需要人工参与，大大提升资源调控效率，且分配更合理、科学。
[0003]弹性伸缩技术的模式主要有两类，一类是预测式伸缩，一类是响应式伸缩。
[0004]预测式弹性伸缩技术是根据云上应用相关指标的历史序列数据，构建相应的预测模型，根据预测模型给出预测结果和指标的当前状态，决定扩容或缩容。预测式弹性伸缩技术适用于业务负载变化情况长时间处于稳定状态并可预测的情形。由于该模式需要预先建立一个较为精准的应用实例负载预测模型，而实际生产环境的负载变化情况复杂得多和难以预测，导致预测模型准确率不够，进而导致云平台作出错误的伸缩决策，因此在生产环境中应用较少。
[0005]响应式弹性伸缩技术是根据应用实例负载监测指标的阈值规则来触发弹性伸缩，即当应用实例负载高于某个阈值触发弹性扩容或低于某个阈值时触发弹性缩容。弹性扩容通过创建更多的应用实例来间接提高应用的资源供给，将应用对应的所有实例组成的集合作为一个整体提供外部访问，通过负载均衡算法，将负载分摊到每个节点上，扩展方便且能有效克服单点瓶颈和单点故障的问题。该模式是当前各类云平台上主流使用的弹性伸缩模式，但仍存在如下问题：一是在大部分云平台中，应用实例负载监测指标单一，只有CPU利用率、内存利用率和网络带宽利用率三个指标；二是现有的弹性策略不够灵活，触发条件仅考虑应用实例的监测指标，容易出现扩缩容不及时和频繁伸缩的现象。

技术实现思路

[0006]针对云平台主流使用的响应式弹性伸缩模式中应用实例监测指标单一和弹性伸缩策略机械僵硬的问题，本专利技术提出一种智能化的弹性策略生成方法和系统，利用人工智能算法构建弹性策略模型，综合考虑应用实例运行环境指标、应用实例负载指标和应用实例特性，生成弹性策略，驱动虚拟化平台或容器管理平台弹性扩缩容虚拟机实例或容器实例，以及一种智能化的应用弹性策略生成系统，包括环境指标时序预测模块，应用扩缩容监控模块以及扩缩容策略生成模块。
[0007]为达到上述目的，本专利技术采用如下技术方案：
[0008]一种智能化的弹性策略生成方法，包括：
[0009]步骤1、准备指标数据，由指标监控组件监控并记录应用运行环境指标和应用性能
指标数据，运行环境指标数据用于构建环境指标时序预测模块，应用性能指标数据用于构建应用扩缩容监控模块；
[0010]步骤2、构建环境指标时序预测模块，利用监控得到的所述应用运行环境指标数据构建时序预测模块，具体包括时序数据特征工程、构建时序预测模型、预测环境指标结果；
[0011]步骤3、构建应用扩缩容监控模块，应用运行环境、应用实例负载和应用特性及时序预测结果多个维度构建应用扩缩容监控模块，具体包括扩缩容数据标签记录收集、特征工程、构建机器学习模型、扩缩容预警和扩缩容策略生成；
[0012]步骤4、构建扩缩容策略生成模块，利用所述扩缩容监控模块生成应用扩缩容策略候选项，并由图算法修正后生成最终扩缩容策略。
[0013]进一步地，所述应用运行环境指标包括CPU内核总量、CPU内核占用、CPU使用率、可用物理内存、可用虚拟内存、物理内存使用率、物理磁盘总量、物理磁盘使用量、线程数量总量、当前线程使用量、磁盘读取速率、磁盘写入速率、下行bps、下行pps、下行错包率、上行bps、上行pps、上行错包率、总bps、可用磁盘空间、磁盘读写状态、磁盘使用率、磁盘空间容量、显存容量、显存使用率、显存使用量、GPU使用率、显卡温度、最大句柄数和当前句柄使用率中的一种或多种组合。
[0014]进一步地，所述应用性能指标包括CPU内核总量、CPU内核占用、CPU使用率、线程数、物理内存总量、物理内存使用率、物理内存使用量、虚拟内存总量、吞吐量(calls/min)、平均响应时间(ms)、平均成功率(％)、句柄数和最大句柄数中的一种或多种组合。
[0015]进一步地，应用标签数据包括高GPU、高IO、高CPU、高内存、高连接数、高数据库查询、高存储访问，通过标签标记应用实例的特性。
[0016]进一步地，所述特征工程的自动评价模型首先采用基于统计检验的过滤法以及相关性的各项指标来选择特征，其次使用基于直方图的梯度提升模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征，筛选对模型贡献较大的特征构成最终特征数据集。
[0017]进一步地，所述图算法的修正策略根据业务逻辑及算法逻辑，确定每个应用执行顺序，将其绘制成有向无环图，并进行线性排序构造具有顺序和依赖关系的应用耦合模板拓扑序列，在排序中的每条有向边(u,v)，其中u,v分别表示待确定顺序的两个应用，计算两个顶点之间的调整容器步长如果Δe＞1，则调整为否则维持不变。
[0018]本专利技术还提供一种智能化的弹性策略生成系统，包括环境指标时序预测模块，应用扩缩容监控模块以及扩缩容策略生成模块。
[0019]所述环境指标时序预测模块用于预测未来一段时间后的环境指标结果数据，该模块包括如下子模块：环境指标监控，由指标监控组件监控并记录应用运行环境指标和应用性能指标；时序模型特征工程，用于构建满足时序模型训练及预测的时序数据集；时序预测模型，利用时间序列数据集构建时间序列模型。
[0020]所述应用扩缩容监控模块应用运行环境、应用实例负载和应用特性及时序预测结果等多个维度构建应用扩缩容监控模块。该模块包括如下子模块：特征工程，对多个数据来源的数据进行多维度融合，以每个应用及应用实例为记录，构成原始数据，并处理得到满足机器学习模型训练及预测的候选数据集；机器学习模型，训练阶段：利用最终特征数据集来
构建训练数据集，并训练机器学习模型，得到用于应用扩缩容监控模型。预测阶段：经由特征工程处理后的预测数据输入到应用扩缩容监控模型，得到以应用案例级别的预测结果选项。
[0021]所述扩缩容策略生成模块处理经由应用扩缩容监控模块得到的预测结果选项，得到扩缩容候选项，并由图算法修正后生成最终扩缩容策略，该模块包括如下子模块：容器扩缩容组件：根据具体业务所自定义的规则，制定扩缩容策略；应用耦合模板：作为图算法(拓扑排序)的输入，并生成最终扩缩容策略；扩缩容决策：根据修正后的应用扩缩容策略生成最终的策略。
[0022]本专利技术的有益效果在于：
[0023]通过本专利技术的一种智能化的弹性策略生成方法和系统，使得云平台中的虚拟机或容器化应用根据运行环境和应用负载状态灵活的进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种智能化的弹性策略生成方法，其特征在于，包括：步骤1、准备指标数据，由指标监控组件监控并记录应用运行环境指标和应用性能指标数据，运行环境指标数据用于构建环境指标时序预测模块，应用性能指标数据用于构建应用扩缩容监控模块；步骤2、构建环境指标时序预测模块，利用监控得到的所述应用运行环境指标数据构建时序预测模块，具体包括时序数据特征工程、构建时序预测模型、预测环境指标结果；步骤3、构建应用扩缩容监控模块，应用运行环境、应用实例负载和应用特性及时序预测结果多个维度构建应用扩缩容监控模块，具体包括扩缩容数据标签记录收集、特征工程、构建机器学习模型、扩缩容预警和扩缩容策略生成；步骤4、构建扩缩容策略生成模块，利用所述扩缩容监控模块生成应用扩缩容策略候选项，并由图算法修正后生成最终扩缩容策略。2.根据权利要求1所述的一种智能化的弹性策略生成方法，其特征在于，所述应用运行环境指标包括CPU内核总量、CPU内核占用、CPU使用率、可用物理内存、可用虚拟内存、物理内存使用率、物理磁盘总量、物理磁盘使用量、线程数量总量、当前线程使用量、磁盘读取速率、磁盘写入速率、下行bps、下行pps、下行错包率、上行bps、上行pps、上行错包率、总bps、可用磁盘空间、磁盘读写状态、磁盘使用率、磁盘空间容量、显存容量、显存使用率、显存使用量、GPU使用率、显卡温度、最大句柄数和当前句柄使用率中的一种或多种组合。3.根据权利要求1所述的一种智能化的弹性策略生成方法，其特征在于，所述应用性能指标包括CPU内核总量、CPU内核占用、CPU使用率、线程数、物理内存总量、物理内存使用率、物理内存使用量、虚拟内存总量、吞吐量(calls/min)、平均响应时间(ms)、平均成功率(％)、句柄数和最大句柄数中的一种或多种组合。4.根据权利要求1所述的一种智能化的弹性策略生成方法，其特征在于，应用标签数据包括高GPU、高IO、高CPU、高内存、高连接数、高数据库查询、高存储访问，通过标签标记应用实例的特性。5.根据权利要求1所述的一种智能化的弹性策略生成方法，其特征在于，所述特征工程的自动评价模型首先采用基于统计检验的过滤法以及相关性的各项指标来选择特征，其次使用基于直方图的...

【专利技术属性】
技术研发人员：熊明俊，王哲敏，王梓葳，
申请(专利权)人：金航数码科技有限责任公司，
类型：发明
国别省市：