【技术实现步骤摘要】
本专利技术属于大数据和云计算，具体的说是一种混合分布式工作负载在时空干扰下的性能预测方法。
技术介绍
1、现代云计算平台通常由数千台服务器和数百万个复杂的工作负载组成，在云环境中每天都运行着具有不同特征的服务和应用程序，而这些应用程序每天都处理着海量的数据并服务于数十亿的用户请求，因此，为了支撑如此大规模的用户需求，云服务提供商通常采用扩大服务器规模的方式，以提供充足的资源来保障云应用的服务质量。在大规模数据中心的建设下，服务器的实际使用效率其实并不高，研究表明，大多数数据中心的服务器利用率相对较低，目前平均利用率在10％到50％之间。然而，经过商业验证表明，将工作负载混合部署运行是提高资源利用率的有效方式，这在一定程度上可以增加云数据中心服务器的实际使用效率。
2、在现有的云环境中，通常将混合运行的云工作负载分为两类：延迟关键型(latency critical type，lc)的在线服务和尽力而为(best effort，be)的离线任务。前一种类型的工作负载往往需要在运行时保持一定的资源，甚至预留该资源以响应请求峰值，并且它们需要满足规定服务质量的约束；而后一种类型的工作负载则是需要相对确定的任务完成时间，并尽可能地达到更高的吞吐量，以充分利用系统资源。但是，由于混合工作负载资源竞争的影响，lc和be类型的工作负载的资源分配对于混合场景来说是一项巨大的挑战。因此，如何部署云数据中心的混合工作负载成为了云计算领域的一项重要挑战。
3、如申请公开号为cn114286984a的中国专利公开了工作负载性能预
4、如授权公告号为cn105512264b的中国专利公开了分布式数据库中并发工作负载的性能预测方法，本专利技术包括：查询延时l的度量值选择；查询组合并发情况下的相互作用建立线性回归模型；实验论证线性回归模型的正确性和有效性。通过反复实验证明查询延时，网络延时和i/o块读次数总的平均相对误差分别为14％，30％和37％，从实验结果可以看出提出的线性回归模型可以很好的对分布式数据库进行并发工作负责的性能预测，从而便于数据库后续的任务分配，可以缩短查询的平均等待时间。
5、以上现有技术均存在以下问题：1)只适用于重复性的工作负载，要为云环境中新到来的工作负载重新配置；2)仅限于单节点的场景。
技术实现思路
1、针对现有技术的不足，本专利技术提出了一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，通过考虑混合分布式工作负载的资源特征、位置感知干扰和运行阶段感知干扰，建立一个准确的、低开销的在线性能预测模型，进一步提高混合分布式工作负载运行时性能的确定性。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种混合分布式工作负载在时空干扰下的性能预测方法，包括：
4、步骤s1：采集工作负载单独运行时的性能特征指标，进行性能特征分析；
5、步骤s2：根据性能特征指标计算容器指标向量和应用指标向量；
6、步骤s3：对容器指标向量和应用指标向量进行增量分析，并根据增量后的指标向量构建性能预测模型；
7、步骤s4：使用随机森林回归算法训练性能预测模型，选择在线性能预测器对随机森林回归预测模型进行预测，计算平均性能预测误差，并输出负载性能下降结果。
8、具体的，所述步骤s1中性能特征指标包括：lc服务的ipc值和be任务的作业完成时间。
9、具体的，所述步骤s1的具体步骤包括：
10、步骤s101：选取应用层、系统层和微架构层的指标信息；
11、步骤s102：采用皮尔森相关系数和斯皮尔曼相关系数，评估工作负载的目标性能与其它性能指标之间的相关性，筛选与目标性能相关度高的指标；
12、步骤s103：筛选出与目标性能相关度高的指标信息；
13、步骤s104：聚合相关度高的指标信息细粒度的测量值。
14、具体的，所述步骤s2中容器指标向量和应用指标向量的具体公式为：
15、
16、
17、其中，aij和bik分别表示第i台服务器上的工作负载a的第j个容器和b的第k个容器，和分别表示第i台服务器上工作负载a的第j个容器指标向量和工作负载b的第k个容器指标向量，和分别表示工作负载a和b在第i台服务器上的应用指标向量。
18、具体的，所述步骤s3的具体步骤包括：
19、步骤s301：定义一个与容器指标向量具有相同的维度的零指标向量；
20、步骤s302：计算增量后的容器指标向量和应用指标向量，具体公式为：
21、
22、
23、其中，和分别表示工作负载a和b分别增加(s-j)和(s-k)个零指标向量后的应用指标向量；
24、步骤s303：细化增量后的容器指标向量；
25、步骤s304：根据增量的应用指标向量和细化增量的容器指标向量构建性能预测模型。
26、具体的，所述步骤s303的具体步骤包括：
27、步骤s3031：工作负载a和b进行混部运行时，判断工作负载a在第i台服务器上的第β个容器与同一台服务器上的工作负载b的第δ个容器是否产生干扰；
28、步骤s3032：若产生干扰，将工作负载a和b的容器指标向量组成一对，构成一个新的指标向量1≤β≤j,1≤δ≤k；
29、步骤s3033：将其它未受干扰的容器的非零指标向量与零指标向量匹配，构成新的指标向量1≤θ≤j,θ≠β；
30、步骤s3034：将工作负载a剩余的(s-j)个零指标向量分别与工作负载b的剩余指标向量进行配对。
31、具体的，所述步骤s304中性能预测模型的具体公式为：
32、
33、其中，pavsb表示在权利要求6所述环境下工作负载a和b在混合运行时相比各自单独运行时的下降所构成的性能下降对，qpsa和qpsb分别表示工作负载a和b的请求输入负载，tinter表示工作负载a和b之间的启动时间间隔，ta和tb分别表示工作负载a和b在无干扰的情况下单独运行所需的完成时间，表示工作负载b在第i台服务器上的容器之一，表示工作负载b在第i台服务器上的其中一个容器指标向量。
34、具体的，所述步骤s4中随机森林回归算法的具体步骤包括：
35、步骤s401：导入所需的库本文档来自技高网...
【技术保护点】
1.一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，包括：
2.如权利要求1所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S1中性能特征指标包括：LC服务的IPC值和BE任务的作业完成时间。
3.如权利要求2所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S1的具体步骤包括：
4.如权利要求3所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S2中容器指标向量和应用指标向量的具体公式为：
5.如权利要求41所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S3的具体步骤包括：
6.如权利要求5所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S303的具体步骤包括：
7.如权利要求6所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S304中性能预测模型的具体公式为：
8.如权利要求7所述的一种混合分布式工作负载在时空干扰下
9.如权利要求1所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤S4中平均性能预测误差的公式为：
10.如权利要求1所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，包括：数据收集模块、特征分析模块、增量分析模块、模型训练模块、性能预测模块，
...【技术特征摘要】
1.一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，包括：
2.如权利要求1所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤s1中性能特征指标包括：lc服务的ipc值和be任务的作业完成时间。
3.如权利要求2所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤s1的具体步骤包括：
4.如权利要求3所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤s2中容器指标向量和应用指标向量的具体公式为：
5.如权利要求41所述的一种混合分布式工作负载在时空干扰下的性能预测方法，其特征在于，所述步骤s3的具体步骤包括：
6.如权利要求5所述的一种...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。