一种保证延迟敏感应用延迟SLO的动态调控资源方法及系统技术方案

本发明专利技术提出一种保证延迟敏感应用延迟SLO的动态调控资源方法及系统。在分布式存储系统的服务节点中创建多个请求队列，不同类型的请求位于不同的队列，根据该服务节点的逻辑线程资源和目标尾延迟需求，为请求队列分配线程组并实时动态调控线程资源，且各请求队列的线程组与的物理CPU资源相绑定；客户端发送应用访问请求至该服务节点，该服务节点根据该应用访问请求的类型，将该应用访问请求存入与其类型相对应的请求队列作为当前队列，并使用为该当前队列分配的线程组处理该应用访问请求，将处理结果发送给该客户端。本发明专利技术能够保证延迟敏感型应用的尾延迟满足目标需求，同时还能够使得批处理类应用的带宽维持在较高水平。

【技术实现步骤摘要】
一种保证延迟敏感应用延迟SLO的动态调控资源方法及系统
本专利技术涉及分布式存储系统
，尤其是保证延迟敏感型应用低尾延迟需求

技术介绍
分布式存储系统采取典型的客户端-服务器(Client-Server)模型。访问分布式存储系统的请求处理过程为：(1)应用(Application)请求访问分布式存储系统的客户端；(2)客户端将请求通过网络发送给服务器；(3)服务器从网络上接受请求并开始处理，请求到达服务器后会首先进入队列中排队，若有空闲线程，则会从队列中取请求并进行处理；(4)请求在服务器端被处理完成后，其响应将通过网络发送给客户端；(5)客户端接收到请求的响应后将其发送给应用。至此，一个请求就被处理完成，如图1所示。上述步骤(3)中在服务器端对请求的处理过程复杂，同时涉及到请求排队，线程处理，资源分配，存储访问等。服务器端从网络上接收请求后，将请求放入到相应的队列上，服务器端的请求队列可采取单队列或多队列模式，真正处理请求是服务器端的线程资源，通常服务器端在系统初始时会启动由多个线程组成的线程池，以用于后续处理请求。线程根据不本文档来自技高网...

【技术保护点】
1.一种保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，包括：/n步骤1、在分布式存储系统的服务节点中创建多个请求队列，不同类型的请求位于不同的队列，并根据该服务节点的逻辑线程资源和延迟敏感型应用的目标尾延迟需求，为请求队列分配线程组，且各请求队列的线程组与该服务节点的物理CPU资源相绑定；/n步骤2、服务节点内部延迟敏感型应用队列请求按窗口划分，结合窗口信息与延迟敏感型队列目标尾延迟需求分配线程资源，并实时监控窗口內请求处理速率以及后续请求的到达速率，实时动态调控延迟敏感型队列的线程资源以保证目标尾延迟需求，剩余线程资源将用于服务其他应用；/n步骤3、客户端发送应用访问请求至该服务...

【技术特征摘要】
1.一种保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，包括：
步骤1、在分布式存储系统的服务节点中创建多个请求队列，不同类型的请求位于不同的队列，并根据该服务节点的逻辑线程资源和延迟敏感型应用的目标尾延迟需求，为请求队列分配线程组，且各请求队列的线程组与该服务节点的物理CPU资源相绑定；
步骤2、服务节点内部延迟敏感型应用队列请求按窗口划分，结合窗口信息与延迟敏感型队列目标尾延迟需求分配线程资源，并实时监控窗口內请求处理速率以及后续请求的到达速率，实时动态调控延迟敏感型队列的线程资源以保证目标尾延迟需求，剩余线程资源将用于服务其他应用；
步骤3、客户端发送应用访问请求至该服务节点，该服务节点根据该应用访问请求的类型，将该应用访问请求存入与其类型相对应的请求队列作为当前队列，并使用为该当前队列分配的线程组处理该应用访问请求，将处理结果发送给该客户端。


2.如权利要求1所述的保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，该访问类型包括访问延迟敏感类型，该步骤3包括：
步骤31、将访问延迟敏感类型的请求队列设为延迟敏感队列，将延迟敏感队列中应用访问请求以窗口为单位进行划分，当延迟敏感队列中第一个请求被处理时，当前延迟敏感队列中所有请求视为一个窗口Wi，则后续进入敏感队列的第一个请求为下一个窗口Wi+1的第一个请求；
步骤32、对于窗口Wi，在其生命周期内维护如下信息：{ERi，QLi，TWi，DRi}，其中，ERi为窗口Wi的请求入队速率，QLi为窗口Wi大小，TWi为等待时间，DRi为窗口Wi的请求出队速率；窗口Wi的窗口大小未确定时，其DRi≡0且ERi＞0，此时仍有请求入队，一旦窗口Wi确定后，其ERi≡0且DRi＞0，此时窗口Wi内的请求将出队被分配的线程组处理。


3.如权利要求2所述的保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，该步骤3包括：
步骤33、根据延迟敏感型应用的目标尾延迟Tslo和请求的I/O时间Tio，并结合窗口Wi所维护的状态信息，在窗口Wi初始时为其分配Ni个线程，Ni按照如下公式进行估算：


4.如权利要求3所述的保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，该步骤3包括：
步骤34、对于窗口Wi，假定在Ti时刻第i个请求出队，在Tj时刻第j个请求出队，在时间Tj-Ti内，出队的请求数为DQi，则请求的出队速率DRi为DQi/(Tj-Ti)，窗口Wi的理想出队速率为QLi/(Tslo-Tio-TWi)；
步骤25、实时监测窗口Wi内请求出队速率DRi与理想出队速率之间的差距，若则将窗口Wi内的所需线程数Ni设置为系统总线程数N；若则根据计算窗口Wj所需的线程数。


5.如权利要求4所述的保证延迟敏感应用延迟SLO的动态调控资源方法，其特征在于，该步骤3包括：
步骤36、对于窗口Wi，假定在Ti时刻第i个请求入队，在Tj时刻第j个请求入队，在时间Tj-Ti内，入队的请求数为EQi，则请求的出队速率ERi为EQi/(Tj-Ti)；
步骤37、实时监测窗口Wi内请求出队速率DRi与窗口Wi+1的请求入队速率ERi+1，对于窗口Wi来说，若DRi＜ERi+1，则将窗口Wi内的线程数量设置为系统总线程N；若DRi≥ERi+1，则再次根据计算窗口Wj所需的线程数。


6.如权利要求5所述的保证分布式存储系统延迟敏感型应用尾延迟SLO的基于窗口动态调控线程资源的方法，其特征在于，该线程组包括备用线程和主线程，当主线程被底层I/O操作阻塞时，备用线程会被唤醒处理队列上的请求。

【专利技术属性】
技术研发人员：马留英，刘振青，熊劲，蒋德钧，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京;11