一种云计算环境分布式应用性能预测方法技术

本发明专利技术公开了一种云计算环境分布式应用性能预测方法，步骤1、进行数据训练，即：将采集的所有应用单独运行下的各个容器资源层、微体系结构层的指标以及多应用混合运行干扰后的真实性能下降作为机器学习的训练数据集，对该训练数据集进行指标刻画，进而建立性能指标与应用性能之间的预测模型；步骤2、应用针对无干扰情况下的性能指标以及各个应用组件间的“时空重叠”编码信息输入训练好的模型中，从而得到应用在混部干扰下的性能下降预测结果。与现有技术相比，本发明专利技术可在4毫秒时间内完成预测的机器学习算法，并达到了98.48％的准确度；弥补了相关技术的不足，并且可以用于各种场景下的多分布式应用干扰的性能预测。

【技术实现步骤摘要】
一种云计算环境分布式应用性能预测方法
本专利技术涉及大数据和云计算
，特别涉及分布式计算的任务调度技术。
技术介绍
近年来云计算飞速发展。然而随着云上业务的增加，系统的资源利用率却不高。目前技术中，通过混合放置云工作负载是提高云资源利用率的有效方法。但由于工作负载之间存在严重的资源争用，尤其是对于LC(latency-critical)服务，在服务器中的混合负载很容易导致违反QoS(QualityofService)的问题。因此，对云计算环境混合负载下的应用性能预测至关重要。由于精确的性能预测有助于有效地调度混合负载，因此，目前已经广泛地存在很多关于性能预测问题探讨。几乎所有工作都受限于在单服务器上构建干扰预测模型，因此现有的性能预测方法还不够实用。随着云工作负载的复杂性和规模不断增加，以分布式方式部署工作负载非常普遍，现有模型还无法处理分布式工作负载的“服务组件敏感性不一致”和“时空重叠”带来的干扰问题。现有方法大多不能适用于当前最流行的分布式应用场景下的时空干扰问题，现存的性能预测模型多是针对“全重叠”的干扰场景，它们本文档来自技高网...

【技术保护点】
1.一种云计算环境分布式应用性能预测方法，其特征在于，该方法包括以下步骤：/n步骤1、进行数据训练，即：将采集的所有应用单独运行下的各个容器资源层、微体系结构层的指标以及多应用混合运行干扰后的真实性能下降作为机器学习的训练数据集，对该训练数据集进行指标刻画，进而建立性能指标与应用性能之间的预测模型；/n步骤1-1、进行指标刻画，即为了更好地刻画云服务的负载特征，从应用层、资源层和微体系结构层采集应用性能相关的指标；具体的：分布式应用的各个组件服务跨服务器分布式地部署在多台机器所构成的容器之中，各个容器的配置可以不一样，但是必须满足应用服务的初始配置要求，使其可以成功运行；给每个容器分配一定量的...

【技术特征摘要】
1.一种云计算环境分布式应用性能预测方法，其特征在于，该方法包括以下步骤：
步骤1、进行数据训练，即：将采集的所有应用单独运行下的各个容器资源层、微体系结构层的指标以及多应用混合运行干扰后的真实性能下降作为机器学习的训练数据集，对该训练数据集进行指标刻画，进而建立性能指标与应用性能之间的预测模型；
步骤1-1、进行指标刻画，即为了更好地刻画云服务的负载特征，从应用层、资源层和微体系结构层采集应用性能相关的指标；具体的：分布式应用的各个组件服务跨服务器分布式地部署在多台机器所构成的容器之中，各个容器的配置可以不一样，但是必须满足应用服务的初始配置要求，使其可以成功运行；给每个容器分配一定量的资源以保障应用的初始配置使其可以成功运行，记录下此刻每个容器的CPU内核、内存、LLC和网络带宽的分配量；
在服务器上不加干扰地单独运行该应用，记录该应用运行时所部署的各个容器的性能指标使用情况，至少包括CPU内核、内存、网络、内存带宽和磁盘IO带宽等应用层指标以及指令未命中数、上下文切换次数、缓存未命中数、MLP，IPC在内的微体系结构层指标；同时记录这些容器的初始资源配置情况；
排除了相关系数绝对值小于0.1的指标，最后选择剩余的14个性能指标进行训练；
步骤1-2、建立性能指标与应用性能之间的预测模型：
在B，C，...的干扰下预测应用A的性能模型，表达式如下：



其中，RA，RB，RC，...分别表示应用程序A，B，C，...的组件配置的资源分配向量；UA，UB，UC，...分别表示采集的应用各种资源的实际利用率向量；DA，DB，DC，...分别表示应用A，B，C，...之间的启动延迟，DA＝0，并且DB，DC，..分别表示应用程序B，C，....与A相比的启动延迟；
Ri和都是二维向量，专门为应用程序组件之间的空间重叠信息编码而设计的，Ui的表达式如下：



其中，m表示应用程序组件的最大数量，而ukil表示Ui的在第l个组件上采集的第k个指标；如果不存在Ui的第l个分量，则(u1il,u2il,...,u13il)全部设置为0；...

【专利技术属性】
技术研发人员：赵来平，周贤，杨亚南，李克秋，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12