一种跨存储集群的流量调度方法和系统技术方案

本发明专利技术公开了一种跨存储集群的流量调度方法和系统，涉及计算机信息处理领域，方法包括：设定每个存储集群的期望带宽和容量，定时上报已用带宽和已用容量；将期望带宽容量以及已用带宽容量一同带入PID控制器计算并发修正值并得到最终修正值；如果资源池的最终修正值为正，则将该资源池的修正信息发送到增量队列，否则发送到减量队列；依次消费S3中获得的两个队列，生成调度指引。系统包括：均连接于多个资源池的跨集群存储网关和PID控制器、由所述PID控制器生成的消息队列，以及与所述消息队列通讯的流量调度策略生成装置，所述流量调度策略生成装置数据输送于所述跨集群存储网关。本发明专利技术提升了跨集群流量调度的稳定性、准确性。确性。确性。

【技术实现步骤摘要】
一种跨存储集群的流量调度方法和系统


[0001]本专利技术涉及计算机信息处理领域，更具体地说，涉及一种跨存储集群的流量调度方法和系统。

技术介绍

[0002]在EB级的海量存储场景下，往往需要进行跨存储集群的流量调度。由于每个存储集群的承载能力在某个时刻都是固定的，如果流量太小，会导致系统带宽、容量利用率不高，造成资源浪费；如果流量太大，又会导致系统网络环境变差，丢包率增加，时延增大、容量饱和进而影响客户业务。如果某个存储集群出现磁盘故障导致可用容量降低、带宽被高优先级业务占用时就需要降低资源池的负载；而系统带宽扩容、集群规模扩容就需要增加资源池的负载。现在进行流量调度往往由运维人员根据经验进行，往往不能快速、准确收敛到期望值，而且随着集群数量的迅速增加，运维成本也在迅速上升。
[0003]为了解决现有流量调度方案自动化程度低，存储集群的容量使用率和带宽使用率不能有效利用或者超出了当前集群的承载能力，提出一种基于PID算法的跨存储集群的流量调度系统的实现方法，通过负反馈实现了存储系统流量精准调度，使存储集群的带宽、容量快速收敛到合理区间，同时提升了运维自动化水平。

技术实现思路

[0004]本专利技术要解决的技术问题是提供一种跨存储集群的流量调度方法和系统，通过负反馈实现了存储系统流量精准调度，使存储集群的带宽、容量快速收敛到合理区间，同时提升了运维自动化水平。
[0005]为了达到上述目的，本专利技术采取以下技术方案：
[0006]一种跨存储集群的流量调度方法，包括如下步骤：
[0007]S1：设定每个资源池的期望带宽和容量，定时上报已用带宽和已用容量；
[0008]S2：将S1中的期望带宽、容量以及已用带宽、已用容量一同带入PID控制器计算各个资源池的并发修正值，综合带宽和容量的修正值得到最终修正值；
[0009]S3：如果资源池的最终修正值为正，说明该资源池需要增加并发，则将该资源池的修正信息发送到增量队列；如果资源池的最终修正值为负，说明该资源池需要降低并发，则将该资源池的修正信息发送到减量队列；
[0010]S4：依次消费S3中获得的两个队列，生成调度指引，并将调度指引发送到跨集群存储网关，由跨集群存储网关执行实际的调度动作。
[0011]优选的，所述PID控制的算法为增量式PID算法。
[0012]优选的，S2中，最终修正值为取带宽修正值和容量修正值中的最小值。
[0013]优选的，S3中，如果资源池的最终修正值为正，则将该资源池的修正信息发送到增量队列队尾，否则发送到减量队列队尾。
[0014]优选的，S4中生成调度指引的过程包括：
[0015]首先从减量队列取出A资源池的修正数据dec_C，然后从增量队列取出B资源池的修正数据inc_C，如果|dec_C|≥|inc_C|，则生成调度指引“从A资源池调度inc_C个并发到B资源池”，并将A资源池的修正数值改为|inc_C|
‑
|dec_C|后插入到减量队列队首；如果|dec_C|≤|inc_C|，则生成调度指引“从A资源池调度|dec_C|个并发到B资源池”，并将B资源池的修正数值改为|inc_C|
‑
|dec_C|后插入到增量队列队首。
[0016]本专利技术还公开一种跨存储集群的流量调度系统，包括均连接于多个资源池的跨集群存储网关和PID控制器、由所述PID控制器生成的消息队列，以及与所述消息队列通讯的流量调度策略生成装置，所述流量调度策略生成装置数据输送于所述跨集群存储网关。
[0017]优选的，所述PID控制器通过输入带宽的偏差值，按照比例、积分、微分的函数关系进行运算，得到各个资源池的并发增量，并基于此进行后续的流量调度。
[0018]优选的，所述PID控制器包括容量PID控制器和带宽PID控制器。
[0019]优选的，所述消息队列包括增量队列和减量队列。
[0020]优选的，所述流量调度策略生成装置用于遍历增量队列和减量队列，通过正负抵消的策略来消费队列中的数据，进而生成调度指引。
[0021]本专利技术相对于现有技术的优点在于：
[0022]1.基于容量和带宽使用率进行多存储集群之间的流量调度，综合考虑二者情况，调度更加适配实际使用情况。
[0023]2.利用PID控制器的负反馈机制提升了流量调度的稳定性、准确性。
[0024]3.由于PID控制器等自动化程度高，从而提升了流量调度系统的自动化程度。
附图说明
[0025]图1是本专利技术系统示意图；
[0026]图2是本专利技术PID控制器模型示意图；
[0027]图3是本专利技术最终修正值的计算方法示意图；
[0028]图4是本专利技术调度策略生成示意图。
具体实施方式
[0029]下面结合附图对本专利技术的具体实施方式作描述。
[0030]如图1为本专利技术系统总体架构，在使用时，本专利技术运维人员设定每个存储集群的期望带宽和容量，各个存储资源池定时上报已用带宽和容量，与设定的期望值一同带入PID控制器计算各个资源池的并发修正值，综合带宽和容量的修正值得到最终修正值。如果最终修正值为正，则将该资源池的修正信息发送到增量队列，否则发送到减量队列。流量调度策略生成装置依次消费两个队列生成调度指引，并将调度指引发送到跨集群存储网关，由网关执行实际的调度动作。运维人员只需要设定期望带宽和容量，系统就可以自动、快速收敛到该期望值。
[0031]该系统主要包括：PID控制器、消息队列、流量调度策略生成装置。
[0032]第一部分是PID控制器。
[0033]PID控制器；是结合比例、积分和微分三种环节于一体的控制算法，它通过输入带宽的偏差值，按照比例、积分、微分的函数关系进行运算，得到各个资源池的并发增量，并基
于此进行后续的流量调度。其中Kp表示比例增益、Tt表示积分时间常数、TD表示微分时间常数。u(t)表示PID控制器的输出，e(t)表示给定值与测量值的差。PID控制器模型如图2所示。
[0034]位置式PID的公式如下所示。
[0035][0036]增量式PID的公式如下所示，其中本专利技术使用的是增量式PID方案。
[0037]Δu(k)＝K
p
(e(k)
‑
e(k
‑
1))+K
i
e(k)+K
d
(e(k)
‑
2e(k
‑
1)+e(k
‑
2))
[0038]PID控制器分为容量PID控制器和带宽PID控制器：容量PID控制器计算得到的修正值为容量修正值C_store，带宽PID控制器计算得到的修正值为带宽修正值C_bw，综合计算得到的修正值为最终的修正值C_final，计算流程如图3所示。
[0039]如果容量修正值为正值，带宽修正值也为正值，则取两者的最小值作为最终的修正值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨存储集群的流量调度方法，其特征在于，包括如下步骤：S1：设定每个资源池的期望带宽和容量，定时上报已用带宽和已用容量；S2：将S1中的期望带宽、容量以及已用带宽、已用容量一同带入PID控制器计算各个资源池的并发修正值，综合带宽和容量的修正值得到最终修正值；S3：如果资源池的最终修正值为正，说明该资源池需要增加并发，则将该资源池的修正信息发送到增量队列；如果资源池的最终修正值为负，说明该资源池需要降低并发，则将该资源池的修正信息发送到减量队列；S4：依次消费S3中获得的两个队列，生成调度指引，并将调度指引发送到跨集群存储网关，由跨集群存储网关执行实际的调度动作。2.根据权利要求1所述方法，其特征在于，所述PID控制的算法为增量式PID算法。3.根据权利要求1所述方法，其特征在于，S2中，最终修正值为取带宽修正值和容量修正值中的最小值。4.根据权利要求1所述方法，其特征在于，S3中，如果资源池的最终修正值为正，则将该资源池的修正信息发送到增量队列队尾，否则发送到减量队列队尾。5.根据权利要求1所述方法，其特征在于，S4中生成调度指引的过程包括：首先从减量队列取出A资源池的修正数据dec_C，然后从增量队列取出B资源池的修正数据inc_C，如果|dec_C|≥|inc_C|，则生成调度...

【专利技术属性】
技术研发人员：张一飞，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：