一种控制数据下刷速度的方法、系统、设备及介质技术方案

本发明专利技术公开了一种控制数据下刷速度的方法、系统、设备和存储介质，方法包括以下步骤：响应于接收到集群写入的数据，判断数据是否满足写入缓存盘的条件；响应于数据满足写入缓存盘的条件，将数据写入缓存盘并判断集群是否处于故障恢复状态；响应于集群处于故障恢复状态，判断缓存盘当前的磁盘水位是否小于基准水位；以及响应于缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。本发明专利技术提出的方案通过获取存储集群的状态，综合集群状态及自身状态调整缓存盘中的数据下刷速度，可以使得缓存盘中的磁盘水位保持在健康状态。

【技术实现步骤摘要】
一种控制数据下刷速度的方法、系统、设备及介质
本专利技术涉及分布式存储领域，更具体地，特别是指一种控制数据下刷速度的方法、系统、计算机设备及可读介质。
技术介绍
随着云计算技术的兴起和普及，分布式共享存储系统越来越开始受到业界的关注。在视频监控和广电媒资场景要求持续稳定的性能，当前故障场景下数据恢复对性能影响很大，会导致业务访问异常，因此要控制数据重构的速度，降低数据恢复对业务的影响；另外在集群中出现磁盘故障和节点故障时，为了避免数据丢失，要尽快完成数据恢复和均衡，因此同时提升数据恢复速度，保证数据恢复在短时间能够完成。当前在分布式存储系统中，一般将用户读写数据首先保存在缓存数据盘中，然后随着数据访问频率及缓存数据盘水位的变化，会将部分数据从Cache高性能存储介质中下刷到性能相对较低的存储介质中方式提升集群的读写性能。当集群发生故障时，数据的下刷会严重影响数据恢复的性能，同时数据恢复也使得数据下刷速率很慢，导致整个集群的读写长时间不能恢复正常。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种控制数据下刷速度的方法、系统、计算机设备及计算机可读存储介质，通过获取存储集群的状态，综合集群状态及自身状态调整缓存盘中的数据下刷速度，从而达到故障场景下减缓下刷，使得数据恢复能尽快完成，减少对用户业务的读写，同时在集群恢复正常后，加速下刷，保持缓存健康的磁盘水位。基于上述目的，本专利技术实施例的一方面提供了一种控制数据下刷速度的方法，包括如下步骤：响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。在一些实施方式中，还包括：响应于所述集群不处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于第一阈值；以及响应于所述缓存盘当前的磁盘水位不小于第一阈值，加快数据下刷速度。在一些实施方式中，还包括：响应于所述缓存盘当前的磁盘水位小于第一阈值，判断所述缓存盘当前的磁盘水位是否小于第一阈值以下的第二阈值；以及响应于所述缓存盘当前的磁盘水位小于第二阈值，减缓数据下刷速度。在一些实施方式中，所述判断所述数据是否满足写入缓存盘的条件包括：判断所述数据的大小是否小于预设值；和/或判断所述缓存盘的磁盘水位是否小于极限水位。本专利技术实施例的另一方面，还提供了一种控制数据下刷速度系统，包括：第一判断模块，配置用于响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；第二判断模块，配置用于响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；第三判断模块，配置用于响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及执行模块，配置用于响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。在一些实施方式中，还包括第四判断模块，配置用于：响应于所述集群不处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于第一阈值；以及响应于所述缓存盘当前的磁盘水位不小于第一阈值，加快数据下刷速度。在一些实施方式中，还包括第五判断模块，配置用于：响应于所述缓存盘当前的磁盘水位小于第一阈值，判断所述缓存盘当前的磁盘水位是否小于第一阈值以下的第二阈值；以及响应于所述缓存盘当前的磁盘水位小于第二阈值，减缓数据下刷速度。在一些实施方式中，所述第一判断模块还配置用于：判断所述数据的大小是否小于预设值；和/或判断所述缓存盘的磁盘水位是否小于极限水位。本专利技术实施例的又一方面，还提供了一种计算机设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现如上方法的步骤。本专利技术实施例的再一方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。本专利技术具有以下有益技术效果：通过获取存储集群的状态，综合集群状态及自身状态调整缓存盘中的数据下刷速度，从而达到故障场景下减缓下刷，使得数据恢复能尽快完成，减少对用户业务的读写，同时在集群恢复正常后，加速下刷，保持缓存健康的磁盘水位。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的控制数据下刷速度的方法的实施例的示意图；图2为本专利技术提供的控制数据下刷速度的计算机设备的实施例的硬件结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种控制数据下刷速度的方法的实施例。图1示出的是本专利技术提供的控制数据下刷速度的方法的实施例的示意图。如图1所示，本专利技术实施例包括如下步骤：S1、响应于接收到集群写入的数据，判断数据是否满足写入缓存盘的条件；S2、响应于数据满足写入缓存盘的条件，将数据写入缓存盘并判断集群是否处于故障恢复状态；S3、响应于集群处于故障恢复状态，判断缓存盘当前的磁盘水位是否小于基准水位；以及S4、响应于缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。本专利技术实施例为分布式存储系统中控制数据下刷的方法，包括一个监控模块，一个客户端，三个或三个以上对象存储设备(Object-basedStorageDevice，OSD)节点。首先根据缓存盘的磁盘水位及用户写入对象大小确定是否写入到缓存盘中；其次，获取集群的状态，判断集群是否处于故障恢复状态，如果集群处于故障恢复状态，则暂缓下刷数据；最后，如果集群处于正常状态，并且缓存盘水位较高，则加速下刷数据；从而达到故障场景下减缓下刷，使得数据恢复能尽快完成，减少对用户业务的读写。具体步骤如下：配置集群的缓存盘的第一阈值、第二阈值、极限水位和预设值，第一阈值可以是高水位high_level，例如可以设置为70％，第二阈值可以是低水位low_level，例如可以设置为20％，极限水位可以设置为90％，当磁盘水位超过极限水位则停止数据的写入并加快数据下刷速度，预设值为数据写入缓存的最大大小max_data_size。响应于接收到集群写入的数据，判断数据是否满足写入缓存盘的条件。在一些实施方式中，所述判断所本文档来自技高网...

【技术保护点】
1.一种控制数据下刷速度的方法，其特征在于，包括以下步骤：/n响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；/n响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；/n响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及/n响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。/n

【技术特征摘要】
1.一种控制数据下刷速度的方法，其特征在于，包括以下步骤：
响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；
响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断所述集群是否处于故障恢复状态；
响应于所述集群处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于基准水位；以及
响应于所述缓存盘当前的磁盘水位小于基准水位，暂停数据下刷。


2.根据权利要求1所述的方法，其特征在于，还包括：
响应于所述集群不处于故障恢复状态，判断所述缓存盘当前的磁盘水位是否小于第一阈值；以及
响应于所述缓存盘当前的磁盘水位不小于第一阈值，加快数据下刷速度。


3.根据权利要求2所述的方法，其特征在于，还包括：
响应于所述缓存盘当前的磁盘水位小于第一阈值，判断所述缓存盘当前的磁盘水位是否小于所述第一阈值以下的第二阈值；以及
响应于所述缓存盘当前的磁盘水位小于第二阈值，减缓数据下刷速度。


4.根据权利要求1所述的方法，其特征在于，所述判断所述数据是否满足写入缓存盘的条件包括：
判断所述数据的大小是否小于预设值；和/或
判断所述缓存盘的磁盘水位是否小于极限水位。


5.一种控制数据下刷速度的系统，其特征在于，包括：
第一判断模块，配置用于响应于接收到集群写入的数据，判断所述数据是否满足写入缓存盘的条件；
第二判断模块，配置用于响应于所述数据满足写入缓存盘的条件，将所述数据写入缓存盘并判断...

【专利技术属性】
技术研发人员：许银龙，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32