一种基于容量预警的智能扩缩容方法和系统技术方案

本发明专利技术提供一种基于容量预警的智能扩缩容方法和系统，所述方法包括：实时感知服务的CPU和内存信息，根据CPU和内存的利用率判断是否存在风险，触发容量报警；获取当前周期服务的CUP分配量、CUP利用率和用户请求速率信息，以及通过判断容量变化趋势为容量增长趋势或容量下降趋势，以及结合服务的容量阈值和增长基数来生成容量调整需求；根据所述容量调整需求，分析筛选当前资源池内所有服务器以及服务下的所有实例，筛选对应的服务器以生成扩缩容任务；根据所述扩缩容任务执行扩缩容操作。本发明专利技术能够根据容量调整计划，编排当前服务部署，以最优的部署方式做到成本和效率兼顾。以最优的部署方式做到成本和效率兼顾。以最优的部署方式做到成本和效率兼顾。

【技术实现步骤摘要】
一种基于容量预警的智能扩缩容方法和系统


[0001]本专利技术涉及网络
，尤其涉及一种基于容量预警的智能扩缩容方法和系统。

技术介绍

[0002]随着互联网时代的高速发展以及移动互联网时代的到来，各大网站和平台的用户高速上涨，因此对于服务的请求处理能力提出更高要求，要求服务能支撑高并发大流量的考验，应对这种流量突增或者持续大流量场景能保持正常服务，做到用户无感提升用户体验，在各大活动以及节日，当用户进行高密度访问时，应对突增大量请求的冲击，网站服务的部署服务器能做到不延迟、不中断、不宕机且快速响应等要求。
[0003]当前，网站分布式服务应对节日和各个流量突增访问的方式大多都是提前进行人工布局，也就是提前扩容增加机器，大流量当天进行人工值班，配合服务特征监控，判断服务的请求数和机器的资源使用情况，判断服务和机器特征，发现不符合预期时，判断服务需要扩缩容，之后根据经验决策人工操作平台完成服务扩缩容。
[0004]应对服务容量压力产生的调整需求依赖人工决策和操作时主要存在以下缺点：人工感知能力延迟，人工只有收到报警或者容量预警才能做出反应，中间难免产生时间差可能造成处理不及时等问题；调整目标机器选择难度大，人工调整只能申请新机器进行布局或者选择已有机器混部，无法做到最优布局，可能出现资源分配不均匀导致CPU分配率和利用率低；稳定性风险大，当人工疲劳时，失误率高是在所难免的，扩缩容操作容易出现失误，高流量期间的操作失误可能会被无限放大造成重大故障。
[0005]现有技术中在服务大规模混部的场景下，当产生服务部署容量问题时，也提出了云存储弹性伸缩的方法，但是很少有技术方案能够做到成本和效率兼顾，并且对于服务器的资源利用率和分配率并不能达到最优化。

技术实现思路

[0006]为了解决现有技术的问题，本专利技术实施例提供了一种基于容量预警的智能扩缩容方法和系统。本专利技术的具体技术方案如下：
[0007]根据本专利技术的一方面，提供了一种基于容量预警的智能扩缩容方法，所述方法包括：
[0008]步骤一：实时感知服务的CPU和内存信息，根据CPU和内存的利用率判断是否存在风险，触发容量报警；
[0009]步骤二：获取当前周期服务的CUP分配量、CUP利用率和用户请求速率信息，以及通过判断容量变化趋势为容量增长趋势或容量下降趋势，以及结合服务的容量阈值和增长基数来生成容量调整需求；
[0010]步骤三：根据所述容量调整需求，分析筛选当前资源池内所有服务器以及服务下的所有实例，筛选对应的服务器以生成扩缩容任务；
[0011]步骤四：根据所述扩缩容任务执行扩缩容操作。
[0012]优选的，在所述方法的步骤二中判断所述容量变化趋势为容量增长趋势的条件为CPU的利用率以及当前周期对应的每日容量变化曲线两个因素同时增长，判断所述容量变化趋势为容量下降趋势的条件为CPU的利用率、当前周期对应的每日容量变化曲线以及用户请求速率三个因素同时下降。
[0013]优先的，所述容量调整需求包括容量调整类型和需要调整服务器的数量，所述容量调整类型为扩容需求类型以及需要扩容的服务器数量基于以下公式进行判断和计算：
[0014](下周期资源预测上升比例*当前服务资源使用量*资源预留Buffer基数—当前服务资源使用量)/单实例资源占有量；
[0015]其中所述资源预留Buffer基数：指需要Cpu预留的空间；
[0016]所述单实例资源占有量：指单个实例在单台服务器的占有量。
[0017]优先的，所述容量调整需求包括容量调整类型和需要调整服务器的数量，所述容量调整类型为缩容需求类型以及需要缩容的服务器数量基于以下公式进行判断和计算：
[0018](下周期资源预测下降比例*当前服务资源使用量—当前服务资源使用量*最低资源保留阈值)/单实例资源占有量；
[0019]其中所述最低资源保留阈值：指系统正常运行设定的CPU最低占用率；
[0020]所述单实例资源占有量：指单个实例在单台服务器的占有量。
[0021]优先的，在步骤三中，当判断需求类型为缩容需求时，将当前服务所有实例对应的服务器按照服务器的服务部署数量排序，获取服务部署数量最少的前N个服务器作为缩容目标服务器。
[0022]优先的，在步骤三中，当判断需求类型为扩容需求时，将当前所有服务器按照空闲服务器资源余量排序，判断所述余量充足服务器的资源是否满足需求，若资源不足，则从备选服务器池中申请新的服务器，在资源充足或分配所述新服务器的情况下，按照CPU利用率排序，取前N个服务器作为扩容目标服务器。
[0023]优先的，所述方法还包括：步骤五：在流量低频阶段按一定周期对当前资源池内的所有服务器做统一调整。
[0024]优先的，步骤五包括：计算当前资源池中可优化的服务器数量Y；
[0025]获取资源池内所有服务器的部署信息，按照服务器上部署的服务数排序，筛选出服务数最少的前Y个服务器作为待下线服务器，将所述待下线服务器上所有实例挨个插空部署在预计保留服务器。
[0026]优先的，计算当前资源池中可优化的所述服务器数量Y的具体公式如下：
[0027]可优化的服务器数量Y＝(allCpu*rate
‑
needCpu*buffer)/instanceCost；
[0028]needCpu＝useCpu*当前利用率/标准利用率；
[0029]其中：allCpu：指资源池总核心数；
[0030]needCpu：指资源池实际Cpu需求总量；
[0031]rate：指服务器预期分配率；
[0032]buffer：指需要Cpu再预留的空间；
[0033]instanceCost:指单个服务器的核心数；
[0034]useCpu：指资源池内已经分配核心数。
是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本专利技术中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0049]需要注意，本专利技术中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0050]本专利技术实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
[0051]图1示出了示例性实施例的基于容量预警的智能扩缩容方法100，该智能扩缩容方法100包括步骤101：容量监控模块实时感知服务的CPU和内存信息，根据CPU和内存的利用率判断是否存在风险，触发容量报警，具体是根据CPU和内存的利用率判断是否满足需求，报警分为利用率过小或本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于容量预警的智能扩缩容方法，其特征在于，所述方法包括：步骤一：实时感知服务的CPU和内存信息，根据CPU和内存的利用率判断是否存在风险，触发容量报警；步骤二：获取当前周期服务的CUP分配量、CUP利用率和用户请求速率信息，通过判断容量变化趋势为容量增长趋势或容量下降趋势，以及结合服务的容量阈值和增长基数来生成容量调整需求；步骤三：根据所述容量调整需求，分析筛选当前资源池内所有服务器以及服务下的所有实例，筛选对应的服务器以生成扩缩容任务；步骤四：根据所述扩缩容任务执行扩缩容操作。2.根据权利要求1所述的基于容量预警的智能扩缩容方法，其特征在于，步骤二中判断所述容量变化趋势为容量增长趋势的条件为CPU的利用率以及当前周期对应的每日容量变化曲线两个因素同时增长，判断所述容量变化趋势为容量下降趋势的条件为CPU的利用率、当前周期对应的每日容量变化曲线以及用户请求速率三个因素同时下降。3.根据权利要求1所述的基于容量预警的智能扩缩容方法，其特征在于，所述容量调整需求包括容量调整类型和需要调整服务器的数量，所述容量调整类型为扩容需求类型以及需要扩容的服务器数量基于以下公式进行判断和计算：(下周期资源预测上升比例*当前服务资源使用量*资源预留Buffer基数—当前服务资源使用量)/单实例资源占有量；其中所述资源预留Buffer基数：指需要CPU预留的空间；所述单实例资源占有量：指单个实例在单台服务器的占有量。4.根据权利要求1所述的基于容量预警的智能扩缩容方法，其特征在于，所述容量调整需求包括容量调整类型和需要调整服务器的数量，所述容量调整类型为缩容需求类型以及需要缩容的服务器数量基于以下公式进行判断和计算：(下周期资源预测下降比例*当前服务资源使用量—当前服务资源使用量*最低资源保留阈值)/单实例资源占有量；其中所述最低资源保留阈值：指系统正常运行设定的CPU最低占用率；所述单实例资源占有量：指单个实例在单台服务器的占有量。5.根据权利要求1所述的基于容量预警的智能扩缩容方法，其特征在于，在步骤三中，当判断需求类型为缩容需求时，将当前服务所有实例对应的服务器按照服务器的服务部署数量排序，获取服务部署数量最少的前N个服务器作为缩容目标服务器。6.根据权...

【专利技术属性】
技术研发人员：罗瑶，司禹，陈存利，
申请(专利权)人：度小满科技北京有限公司，
类型：发明
国别省市：