流量控制方法、装置及计算机可读存储介质制造方法及图纸

本公开提供了一种流量控制方法、装置及计算机可读存储介质，涉及分布式存储技术领域，所述方法包括：采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；利用每个存储节点的业务流量模型预测下一时间区间内每个存储节点的业务流量；利用每个存储节点的重构流量模型预测下一时间区间内每个存储节点的重构流量；对预测的下一时间区间内每个存储节点的业务流量和重构流量求和，以得到下一时间区间内全部存储节点的总流量；在所述总流量大于预设总流量上限的情况下，根据预测的下一时间区间内每个存储节点的业务流量和重构流量确定瓶颈存储节点，并对瓶颈存储节点内具有重构流量的磁盘进行限流控制。

Flow Control Method, Device and Computer Readable Storage Media

【技术实现步骤摘要】
流量控制方法、装置及计算机可读存储介质
本公开涉及分布式存储
，尤其是一种流量控制方法、装置及计算机可读存储介质。
技术介绍
分布式块存储主流采用X86服务器作为数据存储节点，数据存储在存储节点内的磁盘，例如SATA磁盘上。通常，在使用一段时间后，例如2-3年后，会出现大量的磁盘故障，从而引发较大规模的数据重构，即，将一节点的故障磁盘上的数据复制一份到另一节点的健壮磁盘上。数据重构会产生较多的读写操作，产生较多的重构流量，重构流量会占据存储节点正常的业务流量，从而影响存储节点的业务运行。
技术实现思路
本公开的一个目的是：减小重构流量对瓶颈存储节点的业务运行造成的不利影响。根据本公开实施例的一方面，提供一种流量控制方法，包括：采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的业务流量模型预测下一时间区间内每个存储节点的业务流量；根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的重构流量模型预测下一时间区间内每个存储节点的重构流量；对预测的下一时间区间内每个存储节点的业务流量和重构流量求和，以得到下一时间区间内全部存储节点的总流量；在所述总流量大于预设总流量上限的情况下，根据预测的下一时间区间内每个存储节点的业务流量和重构流量确定瓶颈存储节点，并对瓶颈存储节点内具有重构流量的磁盘进行限流控制。在一些实施例中，所述方法还包括：采集每个存储节点在不同时间区间内的业务流量、重构流量和每个存储节点内的磁盘的运行状态；以每个存储节点在相邻两个时间区间中的前一时间区间内的业务流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的业务流量为训练样本，对每个存储节点的业务流量模型进行训练，以使得每个存储节点的业务流量模型能够根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的业务流量；以每个存储节点在相邻两个时间区间中的前一时间区间内的重构流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的重构流量为训练样本，对每个存储节点的重构流量模型进行训练，以使得每个存储节点的重构流量模型能够根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的重构流量。在一些实施例中，在对预测的下一时间区间内每个存储节点的业务流量和重构流量求和之前，还包括：根据预测的下一时间区间内存储节点的业务流量和重构流量之和调整该存储节点内具有重构流量的磁盘的读写速率、以及当前时间区间内该存储节点的重构流量；根据调整后的当前时间区间内该存储节点的重构流量和该存储节点内的磁盘的运行状态，利用该存储节点的重构流量模型重新预测下一时间区间内该存储节点的重构流量。在一些实施例中，所述对瓶颈存储节点内具有重构流量的磁盘进行限流控制包括：将瓶颈存储节点内正在向其他存储节点的第一磁盘写入数据的第二磁盘重定向为向该瓶颈存储节点内的第三磁盘写入数据，并且，禁止其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。在一些实施例中，所述方法还包括：在所述总流量小于预设总流量下限的情况下，将从所述第二磁盘写入所述第三磁盘的流量写入所述第一磁盘，并且，恢复其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。根据本公开实施例的另一方面，提供一种流量控制装置，包括：第一采集模块，用于采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；第一预测模块，用于根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的业务流量模型预测下一时间区间内每个存储节点的业务流量；第二预测模块，用于根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的重构流量模型预测下一时间区间内每个存储节点的重构流量；求和模块，用于对预测的下一时间区间内每个存储节点的业务流量和重构流量求和，以得到下一时间区间内全部存储节点的总流量；控制模块，用于在所述总流量大于预设总流量上限的情况下，根据预测的下一时间区间内每个存储节点的业务流量和重构流量确定瓶颈存储节点，并对瓶颈存储节点内具有重构流量的磁盘进行限流控制。在一些实施例中，所述装置还包括：第二采集模块，用于采集每个存储节点在不同时间区间内的业务流量、重构流量和每个存储节点内的磁盘的运行状态；第一训练模块，用于以每个存储节点在相邻两个时间区间中的前一时间区间内的业务流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的业务流量为训练样本，对每个存储节点的业务流量模型进行训练，以使得每个存储节点的业务流量模型能够根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的业务流量；第二训练模块，用于以每个存储节点在相邻两个时间区间中的前一时间区间内的重构流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的重构流量为训练样本，对每个存储节点的重构流量模型进行训练，以使得每个存储节点的重构流量模型能够根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的重构流量。在一些实施例中，所述装置还包括：调整模块，用于根据预测的下一时间区间内存储节点的业务流量和重构流量之和调整该存储节点内具有重构流量的磁盘的读写速率、以及当前时间区间内该存储节点的重构流量；所述第二预测模块用于根据调整后的当前时间区间内该存储节点的重构流量和该存储节点内的磁盘的运行状态，利用该存储节点的重构流量模型重新预测下一时间区间内该存储节点的重构流量。在一些实施例中，所述控制模块用于将瓶颈存储节点内正在向其他存储节点的第一磁盘写入数据的第二磁盘重定向为向该瓶颈存储节点内的第三磁盘写入数据，并且，禁止其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。在一些实施例中，所述控制模块还用于在所述总流量小于预设总流量下限的情况下，将从所述第二磁盘写入所述第三磁盘的流量写入所述第一磁盘，并且，恢复其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。根据本公开实施例的又一方面，提供一种流量控制装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器的指令执行上述任意一个实施例所述的方法。根据本公开实施例的再一方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述任意一个实施例所述的方法。本公开实施例中，根据当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态，利用业务流量模型和重构流量模型可以预测下一时间区间内每个存储节点的业务流量和重构流量。进而，对即将出现重构流量和业务流量争抢的瓶颈存储节点内具有重构流量的磁盘进行限流控制，以减小重构流量对瓶颈存储节点的业务运行造成的不利影响。下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要本文档来自技高网...

【技术保护点】
1.一种流量控制方法，包括：采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的业务流量模型预测下一时间区间内每个存储节点的业务流量；根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的重构流量模型预测下一时间区间内每个存储节点的重构流量；对预测的下一时间区间内每个存储节点的业务流量和重构流量求和，以得到下一时间区间内全部存储节点的总流量；在所述总流量大于预设总流量上限的情况下，根据预测的下一时间区间内每个存储节点的业务流量和重构流量确定瓶颈存储节点，并对瓶颈存储节点内具有重构流量的磁盘进行限流控制。

【技术特征摘要】
1.一种流量控制方法，包括：采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的业务流量模型预测下一时间区间内每个存储节点的业务流量；根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，利用每个存储节点的重构流量模型预测下一时间区间内每个存储节点的重构流量；对预测的下一时间区间内每个存储节点的业务流量和重构流量求和，以得到下一时间区间内全部存储节点的总流量；在所述总流量大于预设总流量上限的情况下，根据预测的下一时间区间内每个存储节点的业务流量和重构流量确定瓶颈存储节点，并对瓶颈存储节点内具有重构流量的磁盘进行限流控制。2.根据权利要求1所述的方法，还包括：采集每个存储节点在不同时间区间内的业务流量、重构流量和每个存储节点内的磁盘的运行状态；以每个存储节点在相邻两个时间区间中的前一时间区间内的业务流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的业务流量为训练样本，对每个存储节点的业务流量模型进行训练，以使得每个存储节点的业务流量模型能够根据当前时间区间内每个存储节点的业务流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的业务流量；以每个存储节点在相邻两个时间区间中的前一时间区间内的重构流量和每个存储节点内的磁盘的运行状态、以及在后一时间区间内的重构流量为训练样本，对每个存储节点的重构流量模型进行训练，以使得每个存储节点的重构流量模型能够根据当前时间区间内每个存储节点的重构流量和每个存储节点内的磁盘的运行状态，预测下一时间区间内每个存储节点的重构流量。3.根据权利要求1所述的方法，其中，在对预测的下一时间区间内每个存储节点的业务流量和重构流量求和之前，还包括：根据预测的下一时间区间内存储节点的业务流量和重构流量之和调整该存储节点内具有重构流量的磁盘的读写速率、以及当前时间区间内该存储节点的重构流量；根据调整后的当前时间区间内该存储节点的重构流量和该存储节点内的磁盘的运行状态，利用该存储节点的重构流量模型重新预测下一时间区间内该存储节点的重构流量。4.根据权利要求1-3任意一项所述的方法，其中，所述对瓶颈存储节点内具有重构流量的磁盘进行限流控制包括：将瓶颈存储节点内正在向其他存储节点的第一磁盘写入数据的第二磁盘重定向为向该瓶颈存储节点内的第三磁盘写入数据，并且，禁止其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。5.根据权利要求4所述的方法，还包括：在所述总流量小于预设总流量下限的情况下，将从所述第二磁盘写入所述第三磁盘的流量写入所述第一磁盘，并且，恢复其他存储节点的磁盘向该瓶颈存储节点的磁盘写入数据。6.一种流量控制装置，包括：第一采集模块，用于采集当前时间区间内每个存储节点的业务流量、重构流量和每个存储节点内的磁盘的运行状态；第一预测模块，用于根据当前时间区间内每个存...

【专利技术属性】
技术研发人员：龚靖，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京,11