基于随机回报网的在线云服务尾延迟预测方法技术

本发明专利技术涉及在线服务性能评估领域，为实现预测在线云服务请求的响应时间的分布和尾延迟，以用于系统性能预测，动态容量配置，瓶颈识别。为此，本发明专利技术采用的技术方案是，基于随机回报网的在线云服务尾延迟预测方法，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。本发明专利技术主要应用于在线服务性能评估。

Prediction method of online cloud service tail delay based on Stochastic Reward Net

The present invention relates to the field of online service performance evaluation, in order to predict the response time distribution and tail delay of online cloud service requests for system performance prediction, dynamic capacity configuration, and bottleneck identification. Therefore, the technical scheme adopted by the invention is that the online cloud service tail delay prediction method based on the random return network includes two parts: model building and response time cumulative distribution calculation. The model building obtains a random return network model based on the open-loop queuing network by analyzing the processing process of user requests passing through the server. The cumulative response time distribution solves the cumulative response time distribution by simulating the state of the system when any request arrives and the absorption state of the request. The invention is mainly applied to online service performance evaluation.

【技术实现步骤摘要】
基于随机回报网的在线云服务尾延迟预测方法
本专利技术涉及在线服务性能评估领域，具体讲,涉及基于随机回报网的在线云服务尾延迟预测方法。
技术介绍
近年来，云计算市场迅速增长。大量企业应用程序，如社交网络、电子商务、视频流、电子邮件、网络搜索、MapReduce、Spark等，正在向云系统变迁。传统环境下，为保证用户体验质量，应用程序部署在数据中心的一个孤立的服务器集群上。为了提高云平台的资源利用率和节省成本，在同一物理服务器上部署不同的应用程序是一种新趋势。然而，应用程序部署在同一台服务器上会存在性能干扰，导致不可预测的性能和高尾延迟，严重影响用户体验质量甚至违反服务级别协议。在这种情况下，性能预测对维护用户体验质量有着关键作用。然而，干扰使云服务的性能预测面临挑战，尤其是对采用多层体系结构的云服务而言，因为在多层架构下，性能预测的错误可以跨层传播并具有级联效应。在性能测试中，用户最关心的性能指标是响应时间。传统上以平均响应时间作为衡量在线服务处理能力的性能指标，而且计算平均响应时间的方法已成熟。但在云环境中，资源共享、多租户干扰和突发性工作负载会使响应时间分布存在长尾现象，使得响应时本文档来自技高网...

【技术保护点】
1.一种基于随机回报网的在线云服务尾延迟预测方法，其特征是，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。

【技术特征摘要】
1.一种基于随机回报网的在线云服务尾延迟预测方法，其特征是，包括模型构建和响应时间累计分布计算两部分，模型构建通过分析用户请求经过服务器的处理过程，得到一个基于开环排队网络的随机回报网模型；响应时间累积分布求解通过模拟任意一个请求到达时系统所处状态以及该请求的吸收态来求该请求的响应时间从而得出请求响应时间的累计分布。2.如权利要求1所述的基于随机回报网的在线云服务尾延迟预测方法，其特征是，模型构建具体步骤如下：1)确定模型的层数n，即为请求经过服务器处理的不同服务器类型总数；2)每类服务器的请求处理过程即一层可以表示成一个并发的队列，每层可以有一个或多个服务器，假设一层有m个服务器，一个服务器可以同时处理多个请求，当请求到达服务器时，如果服务器正在处理的请求数没有达到自身所能处理的最大请求数请求立即接受服务器的处理，其中Cij为第i层第j个服务器能够处理的最大请求数，反之，需要排队等待，若等待队列长度qi已达上限容量则该请求被拒绝，Qij为第i层第j个服务器的等待队列容量；每一层模型架构用随机回报网由四个库所和四个变迁组成，四个库所分别为PR_i，PQ_i，PS_i，Ptrans_i_i+1，其中库所PR_i表示第i层的资源处于可用状态，库所PR_i中的令牌数有初始值Ci，即可用资源数，即每层服务器一次能够处理的请求连接的总数，库所PS_i表示第i层正在接受服务，库所PQ_i表示第i层请求正在等待接受服务，库所Ptrans_i_i+1表示请求在第i层处理完成，转向第i+1层，四个变迁为ttrans_i_i+1，ts_i，TS_i，tdrop_i_0，ttrans_i_i+1，ts_i，tdrop_i_0为瞬时变迁，TS_i为延时变迁，其中变迁ttrans_i_i+1表示请求从第i层到达第i+1层，变迁ts_i表示请求接受服务，变迁TS_i表示请求接受处理的过程，变迁tdrop_i_0表示请求被丢弃因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi，变迁TS_i的发生是依赖于库所PS_i的，表示一个请求并发处理的过程，变迁TS_i的发生率等于库所PS_i的令牌数k乘以该层服务器处理一个请求的速度μi，在模型中，当请求到达任意一层时，如果库所PQ_i中的令牌数小于Ci，则库所PQ_i中的令牌数加1，表示请求连接建立成功；3)根据服务器处理请求的顺序将每层单独的队列连成一个排队网络，前一层服务器的处理队列的输出是后一层服务器处理队列的输入，第一层服务器的处理队列有一个来自用户请求从客户端到达服务器端的过程，请求到达过程满足以λ为参数的泊松分布，每层队列可以接受请求，也可以根据等待队列容量拒绝请求，这里用变迁Tarri表示请求到达服务器端，库所Ptrans_i_i+1表示层与层之间的交互，既可以表示上一层的输出，也可以表示下一层的输入，变迁tdrop_i_0表示请求被丢弃，因为第i+1层的等待队列长度qi等于等待队列的最大容量Qi，变迁ttrans_i_i+1表示请求由第i层到达第i+1层；4)由以上三步确定模型的输入：每层队列的资源数Ci，等待队列的长度Qi，请求到达服务器端的速率λ，第i层服务器的请求处理速率μi；并且所有的延时变迁服从指数分布；5)由前三步确定模型相关实施函数如表1所示，实施函数为变迁发生的条件函数，其中#(P)表示库所P中...

【专利技术属性】
技术研发人员：张蓉琦，赵来平，周晓波，蔡斌雷，李克秋，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津,12