一种磁盘坏块处理的方法及装置制造方法及图纸

本发明专利技术公开了一种磁盘坏块处理的方法及装置，该方法应用于分布式存储文件系统，首先当检测分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的数据块对应的数据块标识；然后，根据数据块标识获取数据块标识对应的关联数据；最后根据关联数据恢复已经丢失的数据，并将恢复的数据存储至目标磁盘的预留数据块区域中。本发明专利技术通过在分布式存储文件系统中每个磁盘上增加预留数据块区域，当检测到磁盘中的数据块发生坏块时对坏块数据进行数据恢复，在进行数据恢复后，将恢复的数据存储在发生坏块对应磁盘中的预留数据块区域中的数据块中，不需要再去占用其他磁盘，从而保证各磁盘上的数据均衡。

【技术实现步骤摘要】
一种磁盘坏块处理的方法及装置
本专利技术涉及计算机磁盘处理
，特别是涉及一种磁盘坏块处理的方法及装置。
技术介绍
目前，绝大多数磁盘属于HDFS(HadoopDistributedFileSystem，分布式文件系统)，从工厂里出来时数据块就可能存在有坏块，而对HDFS的坏块处理，通过扫描器定期扫描节点上的所有的块来发现坏块，则将坏块上报给磁盘管理器，通过磁盘管理器进行修复坏块，但对于坏块的修复可能在其他磁盘上创建坏块的副本，恢复坏块中的数据内容，并不一定存储在当前已经损坏的磁盘；经过实验验证，现有技术中的HDFS的坏块处理在进行已经丢失的数据恢复时可能寻找新的数据块，将数据恢复到其他磁盘上，无法保证各磁盘上的数据均衡。
技术实现思路
本专利技术的目的在于提出一种磁盘坏块处理的方法及装置，以解决现有技术中由于HDFS的坏块处理方式在发现坏块时，进行数据恢复时可能将数据恢复到新的磁盘上，无法保证各磁盘上的数据均衡的问题。为达到上述目的，本专利技术提供了以下技术方案：一种磁盘坏块处理的方法，应用于分布式存储文件系统，该方法包括：当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的所述数据块对应的数据块标识；获取所述数据块标识对应的关联数据，所述关联数据用于表征与所述目标磁盘相关联的关联磁盘中存储的与所述数据块相关联的数据；根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中。进一步的，该方法还包括：检测所述分布式存储文件系统中的目标磁盘中的数据块是否存在坏块。进一步的，检测所述分布式存储文件系统中的目标磁盘中的数据块是否存在坏块的步骤，具体为：根据操作系统返回的错误码来检测所述目标磁盘中的数据块是否存在坏块；若所述错误码指示为坏块，则确定所述目标磁盘中的数据块存在坏块。进一步的，当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块对应的数据块标识的步骤，具体为：当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，将所述坏块对应的磁盘节点信息中的占位标志置为无效状态；将所述坏块对应的磁盘节点信息中的逻辑块号作为所述坏块对应的数据块标识。进一步的，所述获取所述数据块标识对应的关联数据的步骤，具体为：根据所述数据块标识确定与所述数据块对应的关联磁盘，所述关联磁盘用于表征存储与所述数据块相关联的关联数据；根据所述数据块标识从所述关联磁盘中读取相对应的关联数据。进一步的，根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中的步骤，具体为：根据所述关联数据通过编解码或者备份数据复制的形式恢复已经丢失的数据，得到恢复的数据；根据所述坏块的逻辑块号查找并获得对应的索引节点，从所述目标磁盘的预留数据块区域中获取一个预留数据块，并将所述恢复的数据存储至所述预留数据块中；将所述预留数据块的物理块编号写入到所述索引节点信息中的物理块号中，对所述物理块号进行更新。一种磁盘坏块处理的装置，包括：第一处理单元，用于检测所述分布式存储文件系统中的目标磁盘中的数据块是否存在坏块；第二处理单元，用于当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的所述数据块对应的数据块标识；第三处理单元，用于获取所述数据块标识对应的关联数据，所述关联数据用于表征与所述目标磁盘相关联的关联磁盘中存储的与所述数据块相关联的数据；第四处理单元，用于根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中。进一步的，所述第二处理单元包括：置位单元，用于当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，将所述坏块对应的磁盘节点信息中的占位标志置为无效状态；标识确定单元，用于确定所述坏块对应的磁盘节点信息中的逻辑块号作为所述坏块对应的数据块标识。进一步的，所述第三处理单元包括：关联磁盘确定单元，用于根据所述数据块标识确定与所述数据块对应的关联磁盘，所述关联磁盘用于表征存储与所述数据块相关联的关联数据；读取单元，用于根据所述数据块标识从所述关联磁盘中读取相对应的关联数据。进一步的，所述第四处理单元包括：恢复单元，用于根据所述关联数据通过编解码或者备份数据复制的形式恢复已经丢失的数据，得到恢复的数据；存储单元，用于根据所述坏块的逻辑块号查找并获得对应的索引节点，从所述目标磁盘的预留数据块区域中获取一个预留数据块，并将所述恢复的数据存储至所述预留数据块中；更新单元，用于将所述预留数据块的物理块编号写入到所述索引节点信息中的物理块号中，对所述物理块号进行更新。经由上述的技术方案可知，与现有技术相比，本专利技术公开了一种磁盘坏块处理的方法及装置，该方法应用于分布式存储文件系统，首先当检测分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的数据块对应的数据块标识；然后，根据数据块标识获取数据块标识对应的关联数据；最后根据关联数据恢复已经丢失的数据，并将恢复的数据存储至目标磁盘的预留数据块区域中。本专利技术通过在分布式存储文件系统中每个磁盘上增加预留数据块区域，当检测到磁盘中的数据块发生坏块时对坏块数据进行数据恢复，在进行数据恢复后，将恢复的数据存储在发生坏块对应磁盘中的预留数据块区域中的数据块中，不需要再去占用其他磁盘，从而保证各磁盘上的数据均衡。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的一种分布式存储文件系统的整体结构示意图；图2为本专利技术实施例提供的一种磁盘坏块处理的方法流程图；图3为本专利技术实施例提供的索引服务器中的磁盘节点信息结构图；图4为本专利技术实施例提供的图2中的步骤S204的一种具体实现方式流程图；图5为本专利技术实施例提供的一种磁盘坏块处理的装置结构图。具体实施方式术语解释：文件系统：是操作系统用于明确存储设备(常见的是磁盘，也有基于NANDFlash的固态硬盘)或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：文件系统的接口，对对象操纵和管理的软件集合，对象及属性。从系统角度来看，文件系统是对文件存储设备的空间进行组织和分配，负责文件存储并对存入的文件进行保护和检索的系统。具体地说，它负责为用户建立文件，存入、读出、修改、转储文件，控制文件的存取，当用户不再使用时撤销文件等。磁盘：本文档来自技高网...

【技术保护点】
1.一种磁盘坏块处理的方法，其特征在于，应用于分布式存储文件系统，该方法包括：/n当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的所述数据块对应的数据块标识；/n获取所述数据块标识对应的关联数据，所述关联数据用于表征与所述目标磁盘相关联的关联磁盘中存储的与所述数据块相关联的数据；/n根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中。/n

【技术特征摘要】
1.一种磁盘坏块处理的方法，其特征在于，应用于分布式存储文件系统，该方法包括：
当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块的所述数据块对应的数据块标识；
获取所述数据块标识对应的关联数据，所述关联数据用于表征与所述目标磁盘相关联的关联磁盘中存储的与所述数据块相关联的数据；
根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中。


2.根据权利要求1所述的方法，其特征在于，还包括：
检测所述分布式存储文件系统中的目标磁盘中的数据块是否存在坏块。


3.根据权利要求2所述的方法，其特征在于，检测所述分布式存储文件系统中的目标磁盘中的数据块是否存在坏块的步骤，具体为：
根据操作系统返回的错误码来检测所述目标磁盘中的数据块是否存在坏块；
若所述错误码指示为坏块，则确定所述目标磁盘中的数据块存在坏块。


4.根据权利要求1所述的方法，其特征在于，当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，确定发生坏块对应的数据块标识的步骤，具体为：
当检测所述分布式存储文件系统中的目标磁盘中的数据块存在坏块时，将所述坏块对应的磁盘节点信息中的占位标志置为无效状态；
将所述坏块对应的磁盘节点信息中的逻辑块号作为所述坏块对应的数据块标识。


5.根据权利要求1所述的方法，其特征在于，所述获取所述数据块标识对应的关联数据的步骤，具体为：
根据所述数据块标识确定与所述数据块对应的关联磁盘，所述关联磁盘用于表征存储与所述数据块相关联的关联数据；
根据所述数据块标识从所述关联磁盘中读取相对应的关联数据。


6.根据权利要求1所述的方法，其特征在于，根据所述关联数据恢复已经丢失的数据，并将恢复的数据存储至所述目标磁盘的预留数据块区域中的步骤，具体为：
根据所述关联数据通过编解码或者备份数据复制的形式恢复已经丢失的数据，得到恢复的数据；
根据所述坏块的逻辑块号查找并获得对应的索引节点，从所...

【专利技术属性】
技术研发人员：徐佳宏，李银，
申请(专利权)人：深圳市茁壮网络股份有限公司，
类型：发明
国别省市：广东;44