【技术实现步骤摘要】
一种基于机器学习的容器混合扩缩容方法及系统
[0001]本申请涉及云计算领域领域，具体涉及一种基于机器学习的容器混合扩缩容方法及系统。
技术介绍
[0002]在当前的云计算产品中，弹性伸缩通常是根据应用需求和策略，触发阈值后自动调整弹性计算资源，降低实际需求与预估资源的差距，其本质是解决资源与业务负载之间供需平衡的问题，对产品的功能和性能起到至关重要的作用。
[0003]Kubernetes在容器扩缩容方面主要包括两种策略：一种是容器水平扩缩容，根据容器的实时负载，自动调整pod控制器的实例副本数。另一种是容器垂直扩缩容，依赖业务负载指标，自动计算或调整pod控制器中Pod模板的CPU和内存的配额。
[0004]水平扩缩容主要是调整pod控制器的副本数，扩缩容是在触发阈值后进行调整，不可避免会产生滞后性；而且同一个pod控制器下每个副本的配额规格是相同的，每个副本的配额相同会造成扩缩容不精准，造成资源浪费。垂直扩缩容主要是调整pod的资源配额，目前亟待解决的问题是每次都需要重启pod的，这对于业务方来说是难以...
【技术保护点】
【技术特征摘要】
1.一种基于机器学习的容器混合扩缩容方法，其特征在于，包括以下步骤：metrics server通过kubelet收集系统资源使用状态数据，包括pod的CPU，内存，GPU，磁盘IO使用情况；PrometheusAdaptar通过Prometheus收集自定义收集的数据类型，包括：每秒请求数，并发数，PPS，延迟，接口响应成功率；每个pod控制器收集实时数据组成一个n维数组，n维数组中的数据为n个影响资源使用量的因素，n维数组的内容为：[pod名称，时间戳，pod的CPU使用量，pod的内存使用量，pod的GPU使用量，pod的磁盘IO使用量，pod的每秒请求数，pod的并发数，pod的PPS，pod的延迟，pod的接口响应成功率]，按时间排序，将数据存储到数据库中；基于历史数据，在数据表中增加两列，分别为pod控制器中设置的CPU配额和pod控制器中设置的内存配额，记录在当前规模下的配额设定。2.根据权利要求1所述的方法，其特征在于，还包括：在数据表中增加人工标签列，0代表异常，1代表正常，2代表无法判断，如果有错误的数据，通过标记可去除数据，剔除掉数据的异常值。3.根据权利要求1所述的方法，其特征在于，还包括：根据历史数据加载数据并绘制图表，修补失真数据，提高数据质量；综合历史同时期的数据，当天相邻数据，进行修补；收集待预测的pod控制器的资源使用量，机器学习预测算法计算出未来x小时pod控制器的期望配额，限制期望配额的最小配额MinDesiredValue和最大配额MaxDesiredValue，MaxDesiredValue根据当前集群资源剩余量变化，防止预测出的数据过小或过大影响其他组件运行。4.根据权利要求3所述的方法，其特征在于，还包括：收集被预测的pod控制器的n维数组x与历史数据中n维数组y的距离，根据欧氏距离的计算方法，计算历史数据n维数组间的距离：其中，i＝1至n，xi为数组x的元素，yi为数组y的元素。5.根据权利要求4所述的方法，其特征在于，还包括：圈定与待预测的样本距离最近的m个样本，作为待预测样本的近邻；需要不断对m值进行训练，重复直至取得误差率最小的m值；根据近邻中的大部分样本所需要的资源配额来决定待分类样本所需要的资源配额；输出期望配额DesiredBasicValue。6.根据权利要求5所述的方法，其特征在于，还包括：基于基本的期望配额DesiredBasicValue，增加由于时间影响的周期性变化因...
【专利技术属性】
技术研发人员：景宇，闫海娜，刘磊，杨帆，甄富，鞠娜，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。