一种云存储系统中的踢盘方法及装置制造方法及图纸

技术编号:14865747 阅读:41 留言:0更新日期:2017-03-20 12:09
本申请公开了一种云存储系统中的踢盘方法,在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;找出数据写入队列中阻塞的任务数大于或等于第一阈值且写入速度小于或等于第二阈值磁盘,将所述磁盘踢出云存储系统。本申请方案可以避免写入速度大大下降的磁盘影响云存储系统的性能。

【技术实现步骤摘要】

本申请涉及云存储
,尤其涉及一种云存储系统中的踢盘方法及装置
技术介绍
云存储系统的规模越大,节点数越多,该云存储系统的磁盘数量就越多,针对坏盘以及慢盘等异常的管理就越困难。大部分云存储系统都是只有在磁盘完全坏掉的情况下,才能检测并做出相应的操作。如果磁盘处于将坏但未坏的情况,磁盘的写入速度相对于正常磁盘大大下降,但是对于这些“慢盘”并未做任何的处理。这些所谓的“慢盘”将会影响整个云存储系统的性能。
技术实现思路
本申请提供了一种云存储系统中的踢盘方法及装置,可以避免写入速度大大下降的磁盘影响云存储系统的性能。本申请实施例提供的一种云存储系统中的踢盘方法,包括:A、在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;B、在云存储系统中找出数据写入队列中阻塞的任务数大于或等于第一阈值且写入速度小于或等于第二阈值磁盘,将所述磁盘踢出云存储系统。可选地,步骤B包括:B1、监控云存储系统中每一个数据存储节点的每一块硬盘的写入数据队列;所有的写任务进入数据写入队列排队,对数据写入队列中阻塞的任务数进行统计;B2、判断数据写入队列中阻塞的任务数是否大于或等于第一阈值,若是,针对数据写入队列中阻塞的任务数大于第一阈值的磁盘执行步骤B3,否则返回步骤B1;B3、获取所述磁盘写入速度,判断所述写入速度是否小于或等于第二阈值,若是,执行步骤B4,否则返回步骤B1;B4、将所述磁盘踢出云存储系统,然后返回步骤B1。可选地,所述第一阈值取值为500-1000之间的任一值。可选地,所述第二阈值取值范围为1MB/s至5MB/s。可选地,同一云存储系统中,相同型号的磁盘的第一阈值以及第二阈值分别相等。本申请实施例还提供了一种云存储系统中的踢盘策略执行装置,该装置位于数据存储节点,包括:阈值设置模块,用于设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;写入数据队列维护模块,用于监控数据存储节点的每一块硬盘的写入数据队列;所有的写任务进入数据写入队列排队,对数据写入队列中阻塞的任务数进行统计;判断模块,用于判断所述数据写入队列中阻塞的任务数是否大于或等于第一阈值,若是,针对数据写入队列中阻塞的任务数大于第一阈值的磁盘,获取所述磁盘写入速度,判断所述写入速度是否小于或等于第二阈值,若是,将所述磁盘的标识通知执行模块;执行模块,用于根据来自判断模块的磁盘标识,将所述磁盘标识对应的磁盘踢出云存储系统。可选地,所述第一阈值取值为500-1000之间的任一值。可选地,所述第二阈值取值范围为1MB/s至5MB/s。从以上技术方案可以看出,通过对磁盘的写入数据队列进行监控,并根据磁盘的写入性能来综合判断磁盘是否正常,针对坏盘或者性能低下的盘进行踢盘处理,本申请方案可以对处于将要损坏边缘的所谓“慢盘”进行处理,确保云存储的整体性能以及安全性。附图说明图1为本申请实施例提供的云存储系统中的踢盘处理流程示意图。具体实施方式本申请提供了一种云存储系统中的踢盘方法,其基本设计思想是:通过对磁盘的写入数据队列进行监控,并根据磁盘的写入性能来综合判断磁盘是否正常,针对坏盘或者性能低下的盘进行踢盘处理。具体地说,A、在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;B、在云存储系统中找出数据写入队列中阻塞的任务数大于或等于第一阈值且写入速度小于或等于第二阈值磁盘,将所述磁盘踢出云存储系统。为使本申请技术方案的技术原理、特点以及技术效果更加清楚,以下结合具体实施例对本申请技术方案进行详细阐述。本申请实施例提供的云存储系统中的踢盘处理流程如图1所示,包括如下步骤:步骤101:在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列“write_queue”的最大阈值,第二阈值为磁盘最低写入性能阈值;步骤102:监控云存储系统中每一个数据存储节点的每一块硬盘的写入数据队列“write_queue”;所有的写任务进入数据写入队列排队,对数据写入队列中阻塞的任务数进行统计;步骤103:判断数据写入队列中阻塞的任务数是否大于或等于第一阈值,若是,针对数据写入队列中阻塞的任务数大于第一阈值的磁盘执行步骤104,否则返回步骤102;步骤104:获取所述磁盘写入速度,判断所述写入速度是否小于或等于第二阈值,若是,执行步骤105,否则返回步骤102。步骤105:将所述磁盘踢出云存储系统。然后返回步骤102,继续监控其它磁盘的情况。以上的所有阈值的设定可以通过参数模式在数据存储服务启动时自动配置;第一阈值为写入数据队列“write_queue”中的任务数,综合考虑数据写入时磁盘是否读写忙,以及网络延时等状态,第一阈值通常取值在500-1000之间的任一值;第二阈值为磁盘的最低写入性能阈值,主要是根据磁盘的理论值以及实际应用中每块盘上实际的读写性能综合考虑,通常设置第二阈值的取值范围为1MB/s至5MB/s。例如,可以将第二阈值设置为2MB/s。通常,同一个云存储系统使用的是相同型号的磁盘,因此可以使所有的第一阈值以及第二阈值取值一致。如果云存储系统中混合使用了多种型号的磁盘,则可以根据不同型号磁盘的性能不同,对第一阈值和/或第二阈值进行调整。本申请另一实施例给出了数据存储节点的操作系统为linux系统时,获取磁盘写入速度的方法,包括:从/proc/diskstats获取当前磁盘的写性能。获取磁盘速度性能命令为:cat/proc/diskstats|grep-Esda|awk'{print$3\\$6\\$10本文档来自技高网...

【技术保护点】
一种云存储系统中的踢盘方法,其特征在于,包括A、在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;B、在云存储系统中找出数据写入队列中阻塞的任务数大于或等于第一阈值且写入速度小于或等于第二阈值磁盘,将所述磁盘踢出云存储系统。

【技术特征摘要】
1.一种云存储系统中的踢盘方法,其特征在于,包括
A、在云存储系统中设置每块磁盘第一阈值和第二阈值,所述第一阈值为写入数
据队列的最大阈值,第二阈值为磁盘最低写入性能阈值;
B、在云存储系统中找出数据写入队列中阻塞的任务数大于或等于第一阈值且写
入速度小于或等于第二阈值磁盘,将所述磁盘踢出云存储系统。
2.根据所述权利要求1所述的方法,其特征在于,步骤B包括:
B1、监控云存储系统中每一个数据存储节点的每一块硬盘的写入数据队列;所有
的写任务进入数据写入队列排队,对数据写入队列中阻塞的任务数进行统计;
B2、判断数据写入队列中阻塞的任务数是否大于或等于第一阈值,若是,针对数
据写入队列中阻塞的任务数大于第一阈值的磁盘执行步骤B3,否则返回步骤B1;
B3、获取所述磁盘写入速度,判断所述写入速度是否小于或等于第二阈值,若是,
执行步骤B4,否则返回步骤B1;
B4、将所述磁盘踢出云存储系统,然后返回步骤B1。
3.根据权利要求1或2所述的方法,其特征在于,所述第一阈值取值为500-1000
之间的任一值。
4.根据权利要求1或2所述的方法,其特征在于,所述第二阈值取值范围为1MB/s
至5MB...

【专利技术属性】
技术研发人员:侯湘华
申请(专利权)人:创新科存储技术深圳有限公司创新科软件技术深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1