一种对象云存储系统响应时延预测方法技术方案

本发明专利技术公开了一种对象云存储系统响应时延分布预测方法，包括：对象云存储响应时延分布预测模型的参数采集方法；对象云存储系统后端进程响应时延分布预测方法；对象云存储系统后端进程上的请求在前端层上的响应时延分布预测方法；对象云存储系统总体响应时延分布预测方法。本发明专利技术提出一种基于排队论的操作合并方法，将对象云存储系统中请求处理过程中涉及的多种复杂操作整合成有利于使用排队论建模的操作，从而实现对象云存储系统响应时延分布的预测，本发明专利技术能提高对象云存储系统响应时延预测准确度，解决现有技术存在的时延预测误差大的技术问题。

A method for prediction of response time delay of object cloud storage system

The invention discloses a method for predicting the response delay distribution, object cloud storage system includes: the prediction model parameters acquisition method of delay distribution of the response object cloud storage; prediction method of delay distribution of the response object back-end cloud storage system process; object cloud storage system on the request in the front-end back-end process layer on the response prediction method of delay distribution object; cloud storage system overall response prediction method of delay distribution. The invention provides a combined operation method based on queuing theory, the request object cloud storage system in the process involves complicated operation into the benefit of using queuing theory to modeling operation, so as to realize the prediction of delay distribution of the response object cloud storage system, the invention can improve the object cloud storage system response delay prediction degree, solve the technical problem that the current delay prediction error big technical problems.

【技术实现步骤摘要】
一种对象云存储系统响应时延预测方法
本专利技术属于对象云存储领域，更具体地，涉及一种对象云存储系统响应时延分布的预测方法。
技术介绍
对象云存储系统是指使用对象方式(相对于以文件或者块的数据组织管理方式)进行数据组织管理的存储系统，例如，亚马逊SimpleStorageService，OpenStackSwift。对象云存储系统在现代网络应用中发挥十分重要的作用，通常对象云存储需要存储数百万甚至数十亿的数据对象，数据对象包括图片，视频，音频，文档等。在需要存储海量数据的前提下，性价比是衡量对象云存储系统优劣的重要指标。能够准确的预测对象云存储系统响应时延的分布具有重要的意义。通常在对象云系统部署阶段都需要执行容量规划，即，根据对用户对响应时延的要求和期望的负载决定需要投入的资源数量。容量规划的目的是找出满足用户对响应时延的要求需要投入的最小资源(包括网络资源、计算资源和存储资源)数量。准确预测在不同数量资源投入的情况下，对象云存储系统的响应时延的分布是实现容量规划目的核心。现有的预测对象云存储系统响应时延的方法可以被分为两类：基于分析的预测方法和基于模拟的预测方法。基于分析的预测方法根据对象云存储系统处理请求的操作流程构建性能模型，根据性能模型预测响应时延。目前这类方法只能够预测平均响应时延，而不能够预测响应时延的分布。然而对于对象云存储系统而言，通常1％的访问请求也对应于大量的用户，因此预测响应时延分布相对与预测平均响应时延具有更大的价值。除此之外，在对象云存储系统存储海量小文件的情况下，其数据访问过程中需要多次访问磁盘，然而已有的基于分析的预测方法一般基于每次数据只访问一次磁盘的假设，这就导致已有的基于分析的预测方法不能准确预测对象云存储系统存储海量小文件时的响应时延。基于模拟的预测方法通过多次实验分别测试小规模对象云存储系统在不同配置以及不同的负载时响应时延的分布，并以此推测大规模对象云存储系统在不同负载时响应时延的分布。这种方法的缺点是：对于实验过程中没有涉及的配置和负载，基于模拟的预测方法会导致巨大的预测误差。
技术实现思路
针对现有技术的以上缺陷，本专利技术提供一种对象云存储系统响应时延预测方法，将对象云存储系统处理请求涉及的多种操作进行合并，形成联合操作，提高预测准确度，解决现有技术存在的时延预测误差大的技术问题。本专利技术合并请求处理过程中的多个不同种类的操作形成一个联合操作，并面向联合操作建立对象云存储系统的排队论模型。由于在很多应用场景下，对象云存储系统的请求以读为主(读请求占比大于95％)，因此本专利技术提出的响应时延分布预测方法只用于预测读请求的响应时延分布。本专利技术提出的一种对象云存储系统响应时延分布预测方法，包括如下步骤：(1)采集参数需要采集的参数包括前端层处理请求的进程个数n、前端进程请求解析的处理时延分布pfe(t)及平均处理时延后端进程请求解析的处理时延分布pbe(t)及平均处理时延索引查找操作不命中时的处理时延分布imiss(t)及平均处理时延元数据读操作不命中时的处理时延分布mmiss(t)及平均处理时延数据块读操作不命中时的处理时延分布dmiss(t)及平均处理时延索引查找操作的不命中率hi，元数据读操作的不命中率hm，数据块读操作的不命中率hd，对象云存储系统总的请求到达速率v，任一后端进程j上的请求到达速率vj，任一后端进程j上的数据读操作速率rj；本专利技术中，对象云存储系统包含前端服务器集群(前端层)和后端服务器集群(后端层)。其中前端进程指运行在前端层上的进程，其通过请求解析确定需要将请求发送给哪个后端进程；后端进程指运行在后端层上的进程，其通过请求解析确定需要访问存储设备上的哪个文件。在本专利技术中，处理时延与响应时延不同之处在于，响应时延包括请求到达后等待被处理的时间和处理时间两部；所述前端进程处理读访问请求依次需要执行的操作为：前端进程请求解析，请求解析后发送到其相应的后端进程；所述后端进程处理读访问请求依次需要执行的操作包括：后端进程请求解析、索引查询、元数据读和至少一个数据块读；(2)预测后端进程响应时延分布将后端进程操作队列中请求解析操作及其后连续的非请求解析操作合并为一个联合操作；非请求解析操作包括索引查询操作，元数据读操作，数据块读操作；由于在对象云存储系统中，请求到达过程一般可使用泊松过程近似，不同请求的到达是独立不相关的，因此这里根据联合操作队列构建后端进程M/G/1队列模型；联合操作处理时间服从一般分布；所述M/G/1模型指请求到达过程服从泊松过程，请求处理时延分布服从一般分布(即任意分布)，同一时间最多只有一个请求得到处理；一个联合操作中包含多个操作，不同联合操作中包含的操作是不同的；一个联合操作中可能包含的操作包括：后端进程请求解析操作、索引查询操作、元数据读操作和数据块读操作，将其中包含的所有操作的处理时延分布函数进行卷积计算，得到联合操作的处理时延分布；通过将一个联合操作中包含的所有操作的平均处理时延相加，得到联合操作的平均处理时延；根据所构建的后端进程M/G/1队列模型，可以得到的所述联合操作在后端进程操作队列中的等待时延分布Wbe(t)；将Wbe(t)和后端进程请求解析操作处理时延分布pbe(t)、索引查询操作处理时延分布i(t)和元数据读操作处理时延分布m(t)进行卷积计算(进行卷积计算的方法是：(Wbe*pbe*i*m)(t))，得到后端进程的访问请求响应时延分布Sbe(t)；(3)预测后端进程上的请求在前端层上的响应时延分布由于所有的前端进程都是对等的，即所有前端进程的功能完全相同，到达系统的请求可由任一前端进程处理，且请求由任意一个前端进程处理的概率相等；因此，请求在前端层上的排队时延分布等于任一前端进程请求处理队列响应时延分布；根据前端进程请求处理队列建立前端进程M/G/1队列模型；由于在对象云存储系统中，请求到达过程一般可使用泊松过程近似，不同请求的到达是独立不相关的，因此这里根据所建前端进程M/G/1队列模型，可以得到前端进程请求处理队列的响应时延分布Sq(t)；对于由一个后端进程服务的所有请求，这些请求在前端层上的响应时延分布，即该后端进程上的请求在前端层上的响应时延分布Sfe(t)，为前端进程请求处理队列响应时延分布Sq(t)和该后端进程响应时延分布的卷积；(4)预测系统总体响应时延分布对于每一个后端进程，以该后端进程上请求的到达速率vj与对象云存储系统总的请求到达速率v的比值vj/v作为权值，计算同一时段内所有后端进程上的请求在前端层上的响应时延分布的混合分布，得到系统总体响应时延分布。优选地，所述步骤(1)中对象云存储系统数据访问过程中不同操作处理时延的分布和平均值是分别通过对测试得到的数据进行分布拟合和计算平均值的方法得到的；优选地，所述步骤(2)中后端进程M/G/1队列模型的输入参数包括：请求到达速率，请求处理时延分布以及平均处理时延；其中请求到达速率为vj，请求处理时延分布为联合操作的处理时延分布Bbe(t)，和请求平均处理时延为联合操作平均处理时延其中Bbe(t)和的计算方法如下：式中，为联合操作中平均包含的数据块读操作的个数，索引查询操作处理时延分布i(t)及平均处理时延元数据读处理时延分布m(t)及本文档来自技高网...

【技术保护点】
一种对象云存储系统响应时延分布预测方法，其特征在于，包括如下步骤：(1)采集参数需要采集的参数包括前端层处理请求的进程个数n、前端进程请求解析的处理时延分布pfe(t)及平均时延

【技术特征摘要】
1.一种对象云存储系统响应时延分布预测方法，其特征在于，包括如下步骤：(1)采集参数需要采集的参数包括前端层处理请求的进程个数n、前端进程请求解析的处理时延分布pfe(t)及平均时延后端进程请求解析的处理时延分布pbe(t)及平均处理时延索引查找操作不命中时的处理时延分布imiss(t)及平均处理时延元数据读操作不命中时的处理时延分布mmiss(t)及平均处理时延数据块读操作不命中时的处理时延分布dmiss(t)及平均处理时延索引查找操作的不命中率hi，元数据读操作的不命中率hm，数据块读操作的不命中率hd，对象云存储系统总的请求到达速率v，任一后端进程j上的请求到达速率vj，任一后端进程j上的数据读操作的速率rj；(2)预测后端进程响应时延分布将后端进程操作队列中请求解析操作及其后连续的非请求解析操作合并为一个联合操作，并根据联合操作队列构建后端进程M/G/1队列模型，所述M/G/1模型指请求到达过程服从泊松过程，请求处理时延分布服从一般分布，同一时间最多只有一个请求得到处理；一个联合操作中包含多个操作；将其中包含的所有操作的处理时延分布函数进行卷积计算，得到联合操作的处理时延分布；通过将一个联合操作中包含的所有操作的平均处理时延相加，得到联合操作的平均处理时延；根据所构建的后端进程M/G/1队列模型，得到的所述联合操作在后端进程操作队列中的等待时延分布Wbe(t)；将Wbe(t)和步骤(1)得到的后端进程请求解析操作处理时延分布pbe(t)、索引查询操作处理时延分布i(t)和元数据读操作处理时延分布m(t)进行卷积计算(进行卷积计算的方法是：(Wbe*pbe*i*m)(t))，得到后端进程的访问请求响应时延分布Sbe(t)；(3)预测后端进程上的请求在前端层上的响应时延分布根据前端进程的请求处理队列建立前端进程M/G/1队列模型；根据所建前端进程M/G/1队列模型，得到前端进程请求处理队列的响应时延分布Sq(t)；用前端进程请求处理队列响应时延分布Sq(t)和步骤(2)得到的一个后端进程响应时延分布进行卷积，得到该后端进程上的请求在前端层上的响应时延分布Sfe(t)；(4)预测系统总体响应时延分布对于每一个后端进程，以该后端进程上请求的到达速率vj与对象云存储系统总的请求到达速率v的比值vj/v作为权值，计算同一时段内所有后端进程上的请求在前端层上的响应时延分布的混合分布，得到系统总体响应时延分布。2.如权利要求1所述的方法，其特征在于，所述步骤(1)中对象云存储系统数据访问过程中、前端进程请求解析操作、后端进程请求解析操作、内存不命中的索引查询操作、内存不命中的元数据读操作和内存不命中的数据块读操作的处理时延的分布和平均值是分别通过对测试得到的数据进行分布拟合和计算平均值的方法得到的。3.如权利要求1所述的方法，其特征在于，所述步骤(2)中后端进程M/G/...

【专利技术属性】
技术研发人员：冯丹，苏毅，华宇，施展，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42