一种分布式存储系统的磁盘故障处理方法及装置制造方法及图纸

技术编号:30896314 阅读:21 留言:0更新日期:2021-11-22 23:38
本发明专利技术公开了一种分布式存储系统的磁盘故障处理方法及装置,在从分布式存储系统中的目标磁盘上读取数据失败时,根据数据读取失败的情况,确定导致数据读取失败的故障类型;根据故障类型,判断目标磁盘是否仍可用;若是,则按照故障类型对应的故障处理策略,处理目标磁盘的故障,并保持目标磁盘的可用状态;若否,则将目标磁盘的原有数据重构至分布式存储系统中剩余可用的磁盘上,并将目标磁盘标记为不可用状态。可见,本申请根据磁盘的故障类型识别出磁盘是否仍可用,只有在磁盘不可用时才换盘恢复不可用磁盘的数据,减少了数据重构量,节约了系统带宽。约了系统带宽。约了系统带宽。

【技术实现步骤摘要】
一种分布式存储系统的磁盘故障处理方法及装置


[0001]本专利技术涉及分布式存储领域,特别是涉及一种分布式存储系统的磁盘故障处理方法及装置。

技术介绍

[0002]目前,基于机械硬盘(磁盘的一种)的低成本优势,分布式存储系统大都使用机械硬盘来存储数据。但机械硬盘在实际使用过程中的年故障率在2%左右,这就说明系统存储的数据容易因机械硬盘损坏而丢失,因此仅仅靠单个机械硬盘存储很难保证存储数据的安全。
[0003]现有技术中,在分布式存储系统中,通常采用多副本的方式保存数据,即将同一数据同时保存在不同的磁盘上(这些磁盘互为备用关系),以通过一份数据多次存储的方式提高存储系统的可靠性。基于此,在从一磁盘上读取数据失败时,认为此磁盘故障,并切换至此磁盘的备用磁盘重新读取数据。对于故障的磁盘,目前采用换盘恢复数据的方式进行故障处理,即将故障磁盘的原有数据重构至系统的其它磁盘上。但是,磁盘故障并不代表磁盘完全不可用,可能只是读取故障的那部分存储不可用,此情况下直接换盘恢复数据会造成大量不必要的数据重构,浪费系统的带宽。
[0004]因此,如何提供一种解决上述技术问题的方案是本领域的技术人员目前需要解决的问题。

技术实现思路

[0005]本专利技术的目的是提供一种分布式存储系统的磁盘故障处理方法及装置,根据磁盘的故障类型识别出磁盘是否仍可用,只有在磁盘不可用时才换盘恢复不可用磁盘的数据,减少了数据重构量,节约了系统带宽。
[0006]为解决上述技术问题,本专利技术提供了一种分布式存储系统的磁盘故障处理方法,包括:
[0007]在从分布式存储系统中的目标磁盘上读取数据失败时,根据数据读取失败的情况,确定导致数据读取失败的故障类型;
[0008]根据所述故障类型,判断所述目标磁盘是否仍可用;
[0009]若是,则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障,并保持所述目标磁盘的可用状态;
[0010]若否,则将所述目标磁盘的原有数据重构至所述分布式存储系统中剩余可用的磁盘上,并将所述目标磁盘标记为不可用状态。
[0011]优选地,根据数据读取失败的情况,确定导致数据读取失败的故障类型的过程,包括:
[0012]若数据读取失败的情况为读取目标数据时的数据校验信息与写入所述目标数据时的数据校验信息不一致,则确定导致数据读取失败的故障类型为数据校验错误。
[0013]优选地,在所述数据校验错误的故障类型下,所述目标磁盘仍可用;
[0014]则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障的过程,包括:
[0015]从所述目标磁盘的备用磁盘中重新读取所述目标数据,并将数据校验错误的数据对象添加到所述目标磁盘的数据恢复任务队列中,以将重新读取的目标数据重新写入所述目标磁盘的剩余存储空间中。
[0016]优选地,根据数据读取失败的情况,确定导致数据读取失败的故障类型的过程,包括:
[0017]若数据读取失败的情况为未读取到目标数据,则确定导致数据读取失败的故障类型为磁盘坏道。
[0018]优选地,在所述磁盘坏道的故障类型下,所述目标磁盘仍可用;
[0019]则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障的过程,包括:
[0020]从所述目标磁盘的备用磁盘中重新读取所述目标数据,并将磁盘坏道的数据对象添加到所述目标磁盘的数据恢复任务队列中,以将重新读取的目标数据重新写入所述目标磁盘的剩余存储空间中。
[0021]优选地,所述分布式存储系统的磁盘故障处理方法还包括:
[0022]在每次确定导致数据读取失败的故障类型为磁盘坏道时,将所述目标磁盘的坏道个数加1;
[0023]当所述坏道个数超过预设坏道阈值时,将所述目标磁盘标记为不可用状态。
[0024]优选地,根据数据读取失败的情况,确定导致数据读取失败的故障类型的过程,包括:
[0025]若数据读取失败的情况为在预设时间内所述目标磁盘的读写故障次数突增超过预设次数阈值,则确定导致数据读取失败的故障类型为磁盘瞬时故障。
[0026]优选地,在所述磁盘瞬时故障的故障类型下,所述目标磁盘仍可用;
[0027]则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障的过程,包括:
[0028]从所述目标磁盘的备用磁盘中重新读取所述目标数据,并将所述目标磁盘暂时标记为不可用状态;
[0029]待所述目标磁盘的瞬时故障恢复后,将所述目标磁盘重新标记为可用状态。
[0030]优选地,根据所述故障类型,判断所述目标磁盘是否仍可用的过程,包括:
[0031]判断所述故障类型是否属于数据校验错误、磁盘坏道及磁盘瞬时故障中的任一种故障类型;
[0032]若是,则确定所述目标磁盘仍可用;
[0033]若否,则确定所述目标磁盘不可用。
[0034]为解决上述技术问题,本专利技术还提供了一种分布式存储系统的磁盘故障处理装置,包括:
[0035]存储器,用于存储计算机程序;
[0036]处理器,用于在执行所述计算机程序时实现上述任一种分布式存储系统的磁盘故
障处理方法的步骤。
[0037]本专利技术提供了一种分布式存储系统的磁盘故障处理方法,在从分布式存储系统中的目标磁盘上读取数据失败时,根据数据读取失败的情况,确定导致数据读取失败的故障类型;根据故障类型,判断目标磁盘是否仍可用;若是,则按照故障类型对应的故障处理策略,处理目标磁盘的故障,并保持目标磁盘的可用状态;若否,则将目标磁盘的原有数据重构至分布式存储系统中剩余可用的磁盘上,并将目标磁盘标记为不可用状态。可见,本申请根据磁盘的故障类型识别出磁盘是否仍可用,只有在磁盘不可用时才换盘恢复不可用磁盘的数据,减少了数据重构量,节约了系统带宽。
[0038]本专利技术还提供了一种分布式存储系统的磁盘故障处理装置,与上述磁盘故障处理方法具有相同的有益效果。
附图说明
[0039]为了更清楚地说明本专利技术实施例中的技术方案,下面将对现有技术和实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0040]图1为本专利技术实施例提供的一种分布式存储系统的磁盘故障处理方法的流程图;
[0041]图2为本专利技术实施例提供的一种分布式存储系统的磁盘故障处理装置的结构示意图。
具体实施方式
[0042]本专利技术的核心是提供一种分布式存储系统的磁盘故障处理方法及装置,根据磁盘的故障类型识别出磁盘是否仍可用,只有在磁盘不可用时才换盘恢复不可用磁盘的数据,减少了数据重构量,节约了系统带宽。
[0043]为使本专利技术实施例的目的、技术方案和优点更加清楚,下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种分布式存储系统的磁盘故障处理方法,其特征在于,包括:在从分布式存储系统中的目标磁盘上读取数据失败时,根据数据读取失败的情况,确定导致数据读取失败的故障类型;根据所述故障类型,判断所述目标磁盘是否仍可用;若是,则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障,并保持所述目标磁盘的可用状态;若否,则将所述目标磁盘的原有数据重构至所述分布式存储系统中剩余可用的磁盘上,并将所述目标磁盘标记为不可用状态。2.如权利要求1所述的分布式存储系统的磁盘故障处理方法,其特征在于,根据数据读取失败的情况,确定导致数据读取失败的故障类型的过程,包括:若数据读取失败的情况为读取目标数据时的数据校验信息与写入所述目标数据时的数据校验信息不一致,则确定导致数据读取失败的故障类型为数据校验错误。3.如权利要求2所述的分布式存储系统的磁盘故障处理方法,其特征在于,在所述数据校验错误的故障类型下,所述目标磁盘仍可用;则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障的过程,包括:从所述目标磁盘的备用磁盘中重新读取所述目标数据,并将数据校验错误的数据对象添加到所述目标磁盘的数据恢复任务队列中,以将重新读取的目标数据重新写入所述目标磁盘的剩余存储空间中。4.如权利要求1所述的分布式存储系统的磁盘故障处理方法,其特征在于,根据数据读取失败的情况,确定导致数据读取失败的故障类型的过程,包括:若数据读取失败的情况为未读取到目标数据,则确定导致数据读取失败的故障类型为磁盘坏道。5.如权利要求4所述的分布式存储系统的磁盘故障处理方法,其特征在于,在所述磁盘坏道的故障类型下,所述目标磁盘仍可用;则按照所述故障类型对应的故障处理策略,处理所述目标磁盘的故障的过程,包括:从所述目标磁盘的备用磁盘中重新读取所述目标数据,并将磁盘坏道的数...

【专利技术属性】
技术研发人员:张义坤
申请(专利权)人:济南浪潮数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1