一种存储系统流控方法和系统技术方案

本发明专利技术属于存储技术领域，具体涉及一种存储系统流控方法和系统。该方法监控存储系统底层当前时间段的关键指标数据，以确定存储系统底层负载当前时间段的变化趋势并分析存储系统底层的负载是否过载；若过载，则根据监控的前端业务当前时间段的关键指标数据分析前端业务性能当前时间段和未来时间段的变化趋势；若前端业务性能当前时间段的变化趋势为下降且超过相应阈值，则分析存储系统底层当前时间段的关键指标数据和前端业务当前时间段的关键指标数据之间的相似度，若相似度较高或者前端业务性能未来时间段的变化趋势为下降，则启动对前端业务的流控。本发明专利技术保证有效缓解存储系统底层的过载现象，也避免出现对前端业务的过度流控现象。过度流控现象。过度流控现象。

【技术实现步骤摘要】
一种存储系统流控方法和系统


[0001]本专利技术属于存储
，具体涉及一种存储系统流控方法和系统。

技术介绍

[0002]在存储
中，流控是一个非常重要的技术，它是保证存储系统在过载情况下仍然可以提供较为稳定的服务质量的关键技术点。大多数的流控方案均围绕以下两个方面展开：
[0003]1、准确识别业务类型的特征，有差别地处理各种业务。具体为：将存储系统中的业务进行分类处理，不同类型的业务赋予不同的优先级，通过控制优先级来保证前端业务的服务质量。例如，后台的删除业务和周期性数据校验的业务都设置为低优先级，数据重构的业务设置为中优先级，前端读写业务设置为高优先级。
[0004]2、通过流控算法，将系统共处理能力分配给不同的业务。具体为：将存储系统的处理能力折算成令牌，例如按照不同的存储介质类型，折算出单盘可发放的令牌数，进一步根据系统中的存储介质总数折算出可发放的总令牌数，然后，按照某种算法，给不同优先级的业务发放不同数量的令牌。
[0005]针对以上两方面的技术，存在一些改进方案，包括：
[0006]1、针对业务类型，进一步细分和扩展。例如，将读写类型业务分开管理，将某个子系统的内部元数据请求设置为更高的优先级，将热点迁移独立管理。总之，业务类型分得越细，流控越精细。
[0007]2、针对流控算法，除了存储介质的处理能力之外，其他资源如CPU、内存、网络也作为一种折算处理能力的因子。
[0008]3、为了让算法更急安灵活以应对不同的业务场景，将算法中的各种因子以配置项的方式呈现，允许用户进行微调。
[0009]但是，以上这些流控技术仍存在一定的不足，包括：
[0010]1、触发流控时会使前端业务受损。在某些场景如服务器故障导致数据重构时，如果上层没有业务或业务压力非常小时，即使为数据重构业务分配更多的带宽(发放更多的令牌)也不会影响业务时，并不能动态地调整数据重构的优先级，因为业务优先级基本上都是静态设置的，是否进行流控，完全是根据底层资源的利用率判断的。这种情况可称之为“过度流控”。
[0011]2、流控对象不合理。不管前端业务是块、对象、还是文件，不同的卷、桶、目录，分别承载不同的业务，消耗不同的IOPS或带宽。现有技术中的方案为，触发流控时不能将底层需要削减下去的IOPS或带宽合理的分配到前端的卷、桶或目录上。
[0012]3、盲目通过限制前端业务压力的方式来降低存储系统的负载，某些情况下前端业务压力已限制地足够多但存储系统负载的过载情况却没有达到相应程度的缓解，对前端业务过度流控的同时无法有效缓解存储系统过载。

技术实现思路

[0013]本专利技术的目的在于提供一种存储系统流控方法和系统，用以解决采用现有技术中的方法造成对前端业务过度流控的同时无法有效缓解存储系统过载的问题。
[0014]为解决上述技术问题，本专利技术提供了一种存储系统流控方法，包括如下步骤：
[0015]1)监控存储系统底层当前时间段的关键指标数据，以确定存储系统底层负载当前时间段的变化趋势并分析存储系统底层的负载是否过载；若过载，则根据监控的前端业务当前时间段的关键指标数据分析前端业务性能当前时间段和未来时间段的变化趋势；
[0016]2)若前端业务性能当前时间段的变化趋势为下降且超过预设变化趋势阈值，则分析存储系统底层当前时间段的关键指标数据和前端业务当前时间段的关键指标数据之间的相似度，若相似度超过预设相似度阈值或者前端业务性能未来时间段的变化趋势为下降，则启动对前端业务的流控。
[0017]上述技术方案的有益效果为：在发现存储系统底层的负载出现过载以及前端业务性能为下降且下降一定幅度的情况下，对存储系统底层的关键指标数据和前端业务的关键指标数据之间的相似度进行分析，以判断存储系统底层的过载与前端业务性能下降之间是否有关联，且为强的关联，若为强关联，则表明此时对前端业务进行流控是有效的，另外或者发现前端业务性能未来时间段的变化趋势为下降的情况下进行流控，保证有效缓解存储系统底层的过载现象，也避免出现对前端业务的过度流控现象，保证系统各资源可以得到充分利用。
[0018]进一步地，步骤1)中存储系统底层的关键指标包括各种关键资源和各种业务模块各自的关键指标；各种关键资源包括存储资源、网络资源、以及CPU和内存资源中的至少两种资源；存储资源对应的关键指标包括盘的利用率、请求的读写时延、读写IOPS和读写带宽中的至少一种关键指标；网络资源对应的关键指标包括网卡的读写带宽和网卡的收发包数中的至少一种关键指标；CPU和内存资源对应的关键指标包括CPU和内存的利用率；各种业务模块包括用于处理数据一致性和数据冗余的业务模块、用于性能加速的缓存模块、以及用于与存储介质交互完成数据读写的业务模块中的至少一种模块；缓存模块对应的关键指标包括缓存池的当前水位和历史水位、缓存池中脏数据刷盘速度、缓存池中存储介质的利用率、缓存池中存储介质的读写带宽和读写IOPS中的至少一种关键指标。
[0019]上述技术方案的有益效果为：对各种关键资源和各种业务模块各自的关键指标进行评判综合评价存储系统底层的负载。
[0020]进一步地，步骤1)中分析前端业务性能未来时间段的变化趋势的手段为：根据ARIMA差分自回归移动平均模型对前端业务当前时间段的关键指标的时间序列数据进行拟合，以预测出未来时间段的该关键指标的变化趋势，即所述前端业务性能未来时间段的变化趋势。
[0021]上述技术方案的有益效果为：ARIMA差分自回归移动平均模型可以准确分析数据的变化趋势。
[0022]进一步地，若存储系统底层的关键指标包括多个指标，则分析存储系统底层当前时间段的关键指标数据和前端业务当前时间段的关键指标数据之间的相似度的手段为：首先将存储系统底层当前时间段的每个关键指标数据均进行归一化处理；然后对于某个时刻，将该时刻存储系统底层归一化处理后的所有关键指标数据进行求平均处理，得到存储
系统底层该时刻的负载，从而得到存储系统底层当前时间段各个时刻的负载；接着对前端业务当前时间段的关键指标数据进行归一化处理；进而采用相关性分析算法对存储底层当前时间段各个时刻的负载和归一化处理后的前端业务当前时间段的关键指标数据进行相关性分析。
[0023]进一步地，步骤2)中所述相关性分析算法为皮尔逊相关系数法。
[0024]进一步地，若不满足前端业务性能当前时间段的变化趋势为下降且超过预设变化趋势阈值，并满足有背景业务压力且前端业务压力小于预设压力阈值，则放开对背景业务的流控。
[0025]进一步地，步骤2)中对前端业务的流控的手段为：从前端业务中筛选出需要被流控的对象，在该对象未设置在白名单中且该对象未设置静态QoS值，则将该对象加入待设置QoS的流控对象列表中；其中，处于白名单的对象不能被流控，被设置静态QoS值的对象表示其被流控后的QoS值不能低于设置的静态QoS值；对处于流控对象列表中的各对象进行流控。
[0026]上述技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存储系统流控方法，其特征在于，包括如下步骤：1)监控存储系统底层当前时间段的关键指标数据，以确定存储系统底层负载当前时间段的变化趋势并分析存储系统底层的负载是否过载；若过载，则根据监控的前端业务当前时间段的关键指标数据分析前端业务性能当前时间段和未来时间段的变化趋势；2)若前端业务性能当前时间段的变化趋势为下降且超过预设变化趋势阈值，则分析存储系统底层当前时间段的关键指标数据和前端业务当前时间段的关键指标数据之间的相似度，若相似度超过预设相似度阈值或者前端业务性能未来时间段的变化趋势为下降，则启动对前端业务的流控。2.根据权利要求1所述的存储系统流控方法，其特征在于，步骤1)中存储系统底层的关键指标包括各种关键资源和各种业务模块各自的关键指标；各种关键资源包括存储资源、网络资源、以及CPU和内存资源中的至少两种资源；存储资源对应的关键指标包括盘的利用率、请求的读写时延、读写IOPS和读写带宽中的至少一种关键指标；网络资源对应的关键指标包括网卡的读写带宽和网卡的收发包数中的至少一种关键指标；CPU和内存资源对应的关键指标包括CPU和内存的利用率；各种业务模块包括用于处理数据一致性和数据冗余的业务模块、用于性能加速的缓存模块、以及用于与存储介质交互完成数据读写的业务模块中的至少一种模块；缓存模块对应的关键指标包括缓存池的当前水位和历史水位、缓存池中脏数据刷盘速度、缓存池中存储介质的利用率、缓存池中存储介质的读写带宽和读写IOPS中的至少一种关键指标。3.根据权利要求1所述的存储系统流控方法，其特征在于，步骤1)中分析前端业务性能未来时间段的变化趋势的手段为：根据ARIMA差分自回归移动平均模型对前端业务当前时间段的关键指标的时间序列数据进行拟合，以预测出未来时间段的该关键指标的变化趋势，即所述前端业务性能未来时间段的变化趋势。4.根据权利要求1所述的存储系统流控方法，其特征在于，若存储系统底层的关键指标包括多个指标，则分析存储系统底层当前时间段的关键指标数据和前端业务当前时间段的关键指标数据之间的相似度的手段为：首先将存储系统底层当前时间段的每个关键指标数据均进行归一化处理；然后对于某个时刻，将该时刻存储系统底层归一化处理后的所有关键指标数据进行求平均处理，得到存储系统底层该时刻的负载，从而得到存储系统底层当前时间段各个时刻的负载；接着对前端业务当前时间段的关键指标...

【专利技术属性】
技术研发人员：周文明，曹羽中，于强，
申请(专利权)人：华瑞指数云科技深圳有限公司，
类型：发明
国别省市：