一种IO流控制的方法、系统、设备和存储介质技术方案

本发明专利技术提供一种IO流控制的方法、系统、设备和存储介质，方法包括：响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及将调整后的IO请求分配不同队列和存储池进行落盘操作。本发明专利技术改善IO流性能，降低性能开销，充分利用系统空闲资源。充分利用系统空闲资源。充分利用系统空闲资源。

【技术实现步骤摘要】
一种IO流控制的方法、系统、设备和存储介质


[0001]本专利技术涉及分布式存储系统领域，更具体地，特别是指一种IO流控制的方法、系统、设备和存储介质。

技术介绍

[0002]随着不断增长的数据存储需求，使得企业更加迫切地需要保证业务信息和记录进行准确而有效地存档。视频领域作为最重要的存储方向，日益增长的存储的数据，给存储带来了交换与传输的困难，后台数据的爆发式增长，使得对后端存储设备的性能要求越来越高。目前不同的数据ssd(Solid State Disk或Solid State Drive，固态硬盘)只服务单个io(Input/Output，输入/输出)实例，往往都无法充分发挥性能。

技术实现思路

[0003]有鉴于此，本专利技术实施例的目的在于提出一种IO流控制的方法、系统、计算机设备及计算机可读存储介质，本专利技术动态探测磁盘性能和业务IO的模式通过，动态调整权重和IO throttle，提升算法的自适应能力，随着负载变化，调整实际iops、统一带宽分配资源和最大带宽，保证不同IO场景下的存储性能和隔离效果，实现更简单高效配置接口，降低应用难度；降低性能开销，充分利用系统空闲资源。
[0004]基于上述目的，本专利技术实施例的一方面提供了一种IO流控制的方法，包括如下步骤：响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及将调整后的IO请求分配不同队列和存储池进行落盘操作。
[0005]在一些实施方式中，所述采用读写分离控制的节流策略对所述IO请求进行调整包括：将读写的IO性能稳定在节流策略的设定值以下，并使用默认存储池写入。
[0006]在一些实施方式中，所述采用读写分离控制的节流策略对所述IO请求进行调整包括：对顺序IO请求的每秒读写的数据量进行控制，并对随机IO请求的每秒IO的次数进行限制。
[0007]在一些实施方式中，所述采用读写统一控制的权重策略对所述IO请求进行调整包括：在权重策略中设置不同的优先级策略，根据底层的IOPS和IO流的反馈对IO请求分配不同的调度权重，并根据调度权重的配比分配对应的资源池和IO优先级。
[0008]在一些实施方式中，所述根据底层的IOPS和IO流的反馈对IO请求分配不同的调度权重包括：根据文件是否大于第一阈值将业务分为大文件读写、小文件读写和混合文件读写三种不同业务，根据三种不同业务传递的IO请求分配对应的调度权重。
[0009]在一些实施方式中，所述采用读写统一控制的权重策略对所述IO请求进行调整包括：根据分配的调度权重为不同的队列分配对应的带宽资源，并根据所述调度权重的改变
实时调整最大IO通道和存储池资源。
[0010]在一些实施方式中，方法还包括：实时获取CPU和存储器的使用率，并响应于使用率超过第二阈值，通过告警的方式通知管理员。
[0011]本专利技术实施例的另一方面，提供了一种IO流控制的系统，包括：判断模块，配置用于响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；节流模块，配置用于响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；权重模块，配置用于响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及落盘模块，配置用于将调整后的IO请求分配不同队列和存储池进行落盘操作。
[0012]本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。
[0013]本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。
[0014]本专利技术具有以下有益技术效果：动态探测磁盘性能和业务IO的模式通过，动态调整权重和IO throttle，提升算法的自适应能力，随着负载变化，调整实际iops、统一带宽分配资源和最大带宽，保证不同IO场景下的存储性能和隔离效果，实现更简单高效配置接口，降低应用难度；降低性能开销，充分利用系统空闲资源。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0016]图1为本专利技术提供的IO流控制的方法的实施例的示意图；
[0017]图2为本专利技术提供的IO流控制的流程示意图；
[0018]图3为本专利技术提供的IO流控制的系统的实施例的示意图；
[0019]图4为本专利技术提供的IO流控制的计算机设备的实施例的硬件结构示意图；
[0020]图5为本专利技术提供的IO流控制的计算机存储介质的实施例的示意图。
具体实施方式
[0021]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。
[0022]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0023]本专利技术实施例的第一个方面，提出了一种IO流控制的方法的实施例。图1示出的是本专利技术提供的IO流控制的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步
骤：
[0024]S1、响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；
[0025]S2、响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；
[0026]S3、响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及
[0027]S4、将调整后的IO请求分配不同队列和存储池进行落盘操作。
[0028]为提高资源使用率，在单机中部署多个固态硬盘，为更好的控制各个容器的资源使用，需要支持固态硬盘的IO隔离，而常规的做法就是选择隔离指标、带宽、IOPS(Input/Output Operations Per Second，每秒进行读写操作的次数)、磁盘时间进行数据隔离，即不同的数据进行不同的磁盘落盘行为。本专利技术提供的是一种采用读写分离控制的IO Throttle(节流本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种IO流控制的方法，其特征在于，包括如下步骤：响应于接收到IO请求，获取所述IO请求的IO流大小，并根据所述IO流大小判断底层存储的存储池是否能够满足所述IO请求；响应于底层存储的存储池能够满足所述IO请求，采用读写分离控制的节流策略对所述IO请求进行调整；响应于底层存储的存储池不能满足所述IO请求，采用读写统一控制的权重策略对所述IO请求进行调整；以及将调整后的IO请求分配不同队列和存储池进行落盘操作。2.根据权利要求1所述的IO流控制的方法，其特征在于，所述采用读写分离控制的节流策略对所述IO请求进行调整包括：将读写的IO性能稳定在节流策略的设定值以下，并使用默认存储池写入。3.根据权利要求2所述的IO流控制的方法，其特征在于，所述采用读写分离控制的节流策略对所述IO请求进行调整包括：对顺序IO请求的每秒读写的数据量进行控制，并对随机IO请求的每秒IO的次数进行限制。4.根据权利要求1所述的IO流控制的方法，其特征在于，所述采用读写统一控制的权重策略对所述IO请求进行调整包括：在权重策略中设置不同的优先级策略，根据底层的IOPS和IO流的反馈对IO请求分配不同的调度权重，并根据调度权重的配比分配对应的资源池和IO优先级。5.根据权利要求4所述的IO流控制的方法，其特征在于，所述根据底层的IOPS和IO流的反馈对IO请求分配不同的调度权重包括：根据文件是否大于第一阈值将业务分为大文件读写、小文件读写和混合文件读写三种不同业务，根据三种不同业务传递的IO请求分...

【专利技术属性】
技术研发人员：聂东旭，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：