多负载元数据I/O服务质量性能保障方法和系统技术方案

本发明专利技术涉及一种多负载元数据I/O服务质量性能保障方法和系统，根据不同应用的元数据访问性能需求描述，基于反馈信息动态分配元数据服务器SSD存储资源来保障应用的元数据I/O服务质量，同时在负载访问客户端时采用特殊的替换数据块机制来延长SSD使用寿命。本发明专利技术的方法包括如下步骤：1)在服务器端初始时为下一时间间隔确定每个负载分配的SSD空间大小；2)在该时间间隔内，为每个负载维护一个最近最久未使用链表与附表，根据分配的SSD空间大小与该负载在SSD实际所用空间进行该负载数据块的添加、更新与替换；3)本时间间隔结束，确定下一时间段内每个负载分配的SSD空间大小，转而进入步骤2。

【技术实现步骤摘要】

本专利技术涉及一种多负载元数据I/O服务质量性能保障方法和系统，属于计算机

技术介绍
国内外对于多个负载共享存储环境下I/O服务质量的研究主要包括I/O服务质量性能需求描述、I/O存储资源的分配两个方面。具体来说，I/O服务质量性能需求描述就是不同应用呈现服务质量需求的度量指标，目前的研究主要集中在如何使服务质量的性能需求描述更好地刻画I/O负载的特征上；I/O存储资源的分配方面主要包括对处理器时间以及存储器带宽资源以及缓存资源的分配。在I/O服务质量性能需求描述方面，对于存储系统来讲最常使用的指标就是吞吐量和响应时延。服务质量性能接口是制定的要求达到的度量指标，针对服务质量的相关研究主要是针对于普通数据。在相关研究中，其性能需求指标总结有如下几项：权重、优先级、吞吐量与时延。多负载下服务器端SSD空间分配算法背景如下。针对SSD的研究主要集中在将SSD作为读缓存改善系统存储性能以及如何提高SSD使用寿命的问题上。有论文提出一种基于热区跟踪(HZT)的缓存替换算法.HZT算法充分考虑了IO工作流的空间局部性和时间局部性，利用IO工作流的历史访问信息，跟踪当前热区，并为热区数据块赋予更高的驻留SSD的优先级，能够有效提高混合存储中SSD缓存的命中率。还有基于SSD的集群文件系统元数据存储系统，提出了如何利用SSD和HDD组成的混合存储来提高元数据访问的性能。SSD相对于HDD具有高带宽低时延的特性，但代价相对于HDD昂贵，另外由于目前元数据的组织一般以目录的方式或者数据库的方式，以小数据量的读写为主，并不适合使用SSD存储，因此MDSL将多个元数据项合并存储，并使用bloomfilter+hash的方法索引，在DRAM中使用一个元数据缓冲区作为一个单位，当这个单位写满以后就更新到SSD中，这样就解决了小数据量访问的问题。以上算法与模型大多是针对于普通数据的，没有针对元数据文件较小但数量较大的特点，并且都是针对单一负载情况下底层资源分配的解决方法。
技术实现思路
1、目的本专利技术的目的是解决混合存储下并行文件系统中多类型应用共享存储时元数据性能瓶颈问题，研究多负载元数据I/O服务质量的保障方法，根据不同应用的元数据访问性能需求描述，基于反馈信息动态分配元数据服务器SSD存储资源来保障应用的元数据I/O服务质量，同时在负载访问客户端时采用特殊的替换数据块机制来延长SSD使用寿命。2、技术方案采用本专利技术实施例提供的方法，根据负载性能需求指标以及实际时延指标，动态调整负载SSD分配空间大小，并为每一负载维护一个特殊的LRU结构以减少写操作对SSD寿命的消耗，实现负载I/O需求性能指标。其中，本专利技术实施例所采取的负载性能指标选取为一个四元组<N,W,MAX,MIN>,代表该负载的I/O性能指标。其中N表示负载编号，W表示负载权重，MAX表示最大的时延，即负载能容忍的时延，MIN表示最小时延，当负载的实际时延小于该最小时延时。本专利技术实验例会根据上述性能指标分配每个负载的SSD最大容量。本专利技术实验例将整个系统运行周期分配大小相同的若干个时间间隔，在该时间间隔内，为每个负载在SSD维护一个独立的LRU列表，进行相应负载数据在SSD中的添加与删除。每个时间间隔结束后，在每个客户端统计该客户端上所有负载的trace信息，汇总之后计算出其负载的实际性能指标，并将其发送给总分配模块。总分配模块根据汇总之后的实际性能指标与负载的需求性能指标做对比，并结合SSD空间分配情况进行下一阶段的分配。具体的技术方案步骤如下：一种多负载元数据I/O服务质量性能保障方法，其特征在于，包括以下步骤：步骤201、将整个系统运行周期分配若干个时间间隔，在元数据服务器端初始时为下一时间间隔确定每个负载分配的SSD空间大小，该空间大小值是一个较小的常量值；步骤202、在该时间间隔内，为每个负载维护一个最近最久未使用链表与附表，记录每个负载在SSD存储的数据块信息，根据分配的SSD空间大小与该负载在SSD实际所用空间进行该负载数据块的添加、更新与替换；步骤203、本时间间隔结束，从客户端统计汇总信息，并计算每个负载实际时延，根据负载权重以及实际时延与负载需求时延指标进行比较，确定下一时间段内每个负载分配的SSD空间大小，转而进入步骤202。在本算法中，采用一个四元组<N,W,MAX,MIN>,代表该负载的I/O性能指标。其中N表示负载编号，W表示负载权重，MAX表示最大的时延，MIN表示最小时延。原则上，MIN为MAX的0.5倍。这里，用时延的上下界可以防止时延的抖动，如果只用一个时延指标，当实际时延大于该时延指标是增加SSD容量，当时间时延指标小于该时延指标时减小SSD容量，这样做容易造成负载实际时延的不停抖动。同时，为了保证各个负载不会相互干扰，对每个负载的SSD空间分别采用独立的LRU队列进行管理。一种多负载元数据I/O服务质量性能保障系统，其特征在于，包括若干个客户端、数据服务器以及元数据服务器，所述客户端和元数据服务器分别通过路由器与数据服务器相连；所述客户端包括信息统计模块，所述元数据服务器端包括空间分配模块，所述信息统计模块从客户端统计汇总负载信息，并将此信息整合后发给所述空间分配模块，所述空间分配模块计算每个负载实际时延，根据负载权重以及实际时延与负载需求时延指标进行比较，计算下一时间间隔的每个负载分配的SSD空间大小，并将其发给数据服务器。3、优点及功效本专利技术提出的一种多负载元数据I/O服务质量性能保障方法和系统，，具有以下优点：1.针对了元数据I/O特点，确定以性能指标时延上下界以及负载权重作为刻画服务质量性能指标的方法；2.实现了基于客户端反馈的方法动态调整负载SSD空间分配大小；3.为每个负载维护一个单独的LRU数据结构，保障了各负载之间互不干扰，并通过此特殊LRU数据结构减少对SSD的写操作，延长SSD使用寿命。附图说明图1本专利技术的系统结构图图2本专利技术的方法流程图图3时间间隔内数据请求相应步骤图4SSD双LRU表数据结构示意图图5空间分配流程图具体实施方式如图1所示，本专利技术运行在并行文件系统集群之上，本系统中有若干个客户端，数据服务器以及元数据服务器，客户端和元数据服务器分别通过路由器与数据服务器相连。在客户端有信息统计模块，在元数据服务器端有空间分配模块，信息统计模块从客户端汇总负载信息，并将此信息整合后发给空间分配模块，空间分配模块根据此信息计算负载分配到的下一时间间隔的SSD大小，并将其发给数据服务器。本专利技术设计的一种混合存储下并行文件系统中密集型元数据I/O服务质量性能指标为采用一个四元组<N,W,MAX,MIN>,代表该负载的I/O性能指标。其中N表示负载编号，W表示负载权重，MAX表示最大的时延，MIN表示最小时延。原则上，MIN为MAX的0.5倍。如图2所示，本专利技术的方法包括的步骤如下：步骤201、将整个系统运行周期分配若干个时间间隔，在服务器端初始时为下一时间间隔确定每个负载分配的SSD空间大小，该空间大小值是一个较小的常量值；步骤202、在该时间间隔内，为每个负载维护一个最近最久未使用链表与附表，记录每个负载在SSD存储的本文档来自技高网...

【技术保护点】
一种多负载元数据I/O服务质量性能保障方法，其特征在于：该方法包括以下步骤：步骤1、将整个系统运行周期分配若干个时间间隔，在服务器端初始时为下一时间间隔确定每个负载分配的SSD空间大小，该空间大小值是一个较小的常量值；步骤2、在该时间间隔内，为每个负载维护一个最近最久未使用链表与附表，记录每个负载在SSD存储的数据块信息，根据分配的SSD空间大小与该负载在SSD实际所用空间进行该负载数据块的添加、更新与替换；步骤3、本时间间隔结束，从客户端统计汇总信息，并计算每个负载实际时延，根据负载权重以及实际时延与负载需求时延指标进行比较，确定下一时间段内每个负载分配的SSD空间大小，转而进入步骤2。

【技术特征摘要】
1.一种多负载元数据I/O服务质量性能保障方法，其特征在于：该方法包括以下步骤：步骤1、将整个系统运行周期分配若干个时间间隔，在服务器端初始时为下一时间间隔确定每个负载分配的SSD空间大小，该空间大小值是一个较小的常量值；步骤2、在该时间间隔内，为每个负载维护一个最近最久未使用链表与附表，记录每个负载在SSD存储的数据块信息，根据分配的SSD空间大小与该负载在SSD实际所用空间进行该负载数据块的添加、更新与替换；步骤3、本时间间隔结束，从客户端统计汇总信息，并计算每个负载实际时延，根据负载权重以及实际时延与负载需求时延指标进行比较，确定下一时间段内每个负载分配的SSD空间大小，转而进入步骤2。2.根据权利要求1所述的多负载元数据I/O服务质量性能保障方法，其特征在于：所述服务质量性能指标为采用一个四元组<N,W,MAX,MIN>,代表该负载的I/O性能指标，其中N表示负载编号，W表示负载权重，MAX表示最大的时延，MIN表示最小时延。3.根据权利要求1所述的多负载元数据I/O服务质量性能保障方法，其特征在于：所述步骤2中具体包括如下步骤：(1)负载i的数据请求到来时，查看请求数据是否在负载i的SSD空间中，若在，修改LRU列表，将其放在对头(最新使用)，并访问该数据，否则转向(2)；(2)若不在SSD中，则通过判断机制判断是否将请求数据的数据块放入SSD中；若是转向(3)，若否，转向(4)；(3)若将数据块放到SSD中，查看该负载的SSD空间剩余容量是否大于请求的数据块，若大于则在该负载的LRU列表中的队尾数据块(最近最久未使用)从SSD中一直HDD中，并将请求的数据块放入列表头(最新使用)，若小于请求的数据，则直接将该数据块加入LRU队列头，转向(5)；(4)若判断机制判断不讲请求的数据块放入SSD中，则直接进行HDD存取，转向(5)；(5)将请求数据发送回客户端。4.根据权利要求3所述的多负载元数据I/O服务质量性能保障方法，其特征在于，所述步骤(2)的判断机制为，为每个负载维护两个LRU数据结构L1、L2,L1记录该负载所有在SSD数据块，队尾表示最近最久未使用的数据块，L2记录未在SSD中但是该负载最近访问一次的数据块，也就是说，当某数据块第一次被访问时，并不将其直接放入SSD(L1)中，而将其放入L2中缓存下来，当该数据块再次被访问...

【专利技术属性】
技术研发人员：肖利民，李昂，霍志胜，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11