一种基于分布式存储的慢盘检测处理方法技术

技术编号:40872080 阅读:30 留言:0更新日期:2024-04-08 16:39
本发明专利技术属于分布式存储磁盘检测技术领域,具体涉及一种基于分布式存储的慢盘检测处理方法,首先将各存储节点进行主、从节点划分,并且从节点定期向主节点进行注册;然后从主节点读取维护的各节点相关信息,通知各节点完成一定时间内的磁盘数据采集,汇总后完成一次数据收集过程;在达到一定数据量后,基于聚类算法对磁盘根据不同业务场景进行分组;再对各不同业务场景的分组中是否存在慢盘进行识别;最后采用积分的方式对慢盘情况进行累加,达到积分阈值识别为慢盘。通过上述慢盘检测的方法,能够有效提高慢盘识别的准确率,防止出现正常盘误识别为慢盘的情况出现。

【技术实现步骤摘要】

本专利技术属于分布式存储磁盘检测,尤其涉及一种基于分布式存储的慢盘检测处理方法


技术介绍

1、分布式存储是目前广泛使用的数据存储方法,原理是将数据分散的存储于多个节点或服务器上,而不是简单的存储在单个地点。其通过提高存储系统的可靠性、可拓展性、性能和灵活性,为现代应用提供了强大的数据存储基础,在面对大规模数据和复杂应用需求时,分布式存储已经成为一个关键的技术基石。

2、慢盘指的是存储系统中某个磁盘相比于其它磁盘而言性能较差(包括读写速率、处理io请求的能力等)的情况,类似木桶效应慢盘可能会成为整个系统的瓶颈,从而对整个存储系统的性能产生负面影响,因此及时检测、处理慢盘问题是维护存储系统稳定性和性能的关键。

3、现有技术中通常采用直接对所有节点进行数据收集的方式,没有充分考虑到分布式存储的分布式特点;此外通常通过对i/o响应时间做阈值的方法来进行慢盘检测,即获取待检测的磁盘组在特定时间内的i/o响应时间,若某磁盘若干次的时间超过预设值,则确定为慢盘。此种方式仅局限于某一指标缺乏对慢盘成因分析的依据数据,此外并未考虑不同磁盘可能处于不本文档来自技高网...

【技术保护点】

1.一种基于分布式存储的慢盘检测处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,步骤S1包括以下具体过程:

3.根据权利要求1所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,步骤S2包括以下具体过程:

4.根据权利要求3所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,采集的磁盘数据包括型号、序列号、时间戳的基本信息,还包括Q2Q、Q2G、G2I、Q2M、I2D、M2D、D2C、Q2C、svtime、r_per_sec、w_per_sec、avg_rrq_sz、avg_wrq...

【技术特征摘要】

1.一种基于分布式存储的慢盘检测处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,步骤s1包括以下具体过程:

3.根据权利要求1所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,步骤s2包括以下具体过程:

4.根据权利要求3所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,采集的磁盘数据包括型号、序列号、时间戳的基本信息,还包括q2q、q2g、g2i、q2m、i2d、m2d、d2c、q2c、svtime、r_per_sec、w_per_sec、avg_rrq_sz、avg_wrq_sz的磁盘性能指标;

5.根据权利要求1所述的一种基于分布式存储的慢盘检测处理方法,其特征在于,步骤s3包括以下具体过...

【专利技术属性】
技术研发人员:王锐杜小华黄耀年梁山虎王皓刘林曹学贵侯栋
申请(专利权)人:四川省华存智谷科技有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1