一种存储管理方法及分布式文件系统技术方案

本发明专利技术提供了一种存储管理方法及分布式文件系统，存储管理方法包括：将分布式文件系统的所有磁盘分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，从健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。通过本发明专利技术的实施，首先将所有磁盘分组管理，并且进一步区分磁盘分组的可服务性状态，在存储数据时，优先从健康组中分配副本位置，多块磁盘(大于M)出现故障时，只要这些磁盘不属于同一个磁盘分组，就不会造成文件内容丢失，可以提高系统整体可靠性。

【技术实现步骤摘要】

本专利技术涉及分布式文件系统的存储应用领域，尤其涉及一种存储管理方法及分布式文件系统。
技术介绍
大规模应用的分布式文件系统，使用纠删码作为底层文件存储策略，可以显著的减少文件占用物理空间，并保持和多副本一样的可靠性，而企业应用中，系统规模变大后且长时间运行后，磁盘损坏或者故障已经不是小概率事件，而是日常维护中经常面对的常态。例如，企业应用一般使用纠删码时，配置文件存储策略原始块N：校验块M为6:2，可以同时损坏2个分片副本，系统整体可靠性同3副本模式一样。结合企业应用现状以及不可避免的存储集群本身软硬件问题，一个存储系统中损坏3块磁盘，可能会导致部分数据损坏。一个存储集群包含数百甚至数千块磁盘，经过长时间运行后，每个磁盘中存储几千万数目的副本。若在某一时间段内，系统同时损坏超过2块磁盘，会因为部分文件的数据块无法修复，导致文件内容不可读。因此，如何提供一种可缓解现有分布式文件系统存在的因同时损坏超过2块磁盘会导致文件内容不可读问题的存储管理方法，是本领域技术人员亟待解决的技术问题。
技术实现思路
本专利技术提供了一种存储管理方法及分布式文件系统，以缓解现有分布式文件系统存在的因同时损坏超过2块磁盘会导致文件内容不可读问题。本专利技术提供了一种用于分布式文件系统的存储管理方法，存储管理方法包括磁盘分组步骤及数据存储步骤，其中，磁盘分组步骤包括：将分布式文件系统的所有磁盘分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，数据存储步骤包括：从健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。进一步的，将分布式文件系统的所有磁盘分为多个磁盘分组包括：根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组。进一步的，根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组包括：将所有存储服务器内具备一个或多个相同槽位信息的磁盘分为一个磁盘分组。进一步的，获取各磁盘分组的可服务性包括：获取各磁盘分组的可用卷数目，根据存储策略及各磁盘分组的可用卷数目确定各磁盘分组的可服务性。进一步的，数据存储步骤还包括：当无法从健康组集合中选择磁盘分组时，从亚健康组集合中选择磁盘分组，若无法从亚健康组集合中选择磁盘分组，则数据存储失败。进一步的，从健康组集合或亚健康组集合中选择磁盘分组包括：根据健康组集合或亚健康组集合中各磁盘分组的可用空间的比例选择磁盘分组。本专利技术提供了一种分布式文件系统，其包括，多个磁盘，以及位置寄存器，其中，位置寄存器用于将分布式文件系统的所有磁盘分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，位置寄存器还用于从健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。进一步的，位置寄存器用于根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组。进一步的，位置寄存器具体用于将所有存储服务器内具备一个或多个相同槽位信息的磁盘分为一个磁盘分组。进一步的，位置寄存器用于获取各磁盘分组的可用卷数目，根据存储策略及各磁盘分组的可用卷数目确定各磁盘分组的可服务性。进一步的，位置寄存器还用于当无法从健康组集合中选择磁盘分组时，从亚健康组集合中选择磁盘分组，若无法从亚健康组集合中选择磁盘分组，则数据存储失败。进一步的，位置寄存器具体用于根据健康组集合或亚健康组集合中各磁盘分组的可用空间的比例选择磁盘分组。本专利技术的有益效果：本专利技术提供的存储管理方法，首先将所有磁盘分组管理，并且进一步区分磁盘分组的可服务性状态，在存储数据时，优先从健康组中分配副本位置，多块磁盘(大于M)出现故障时，只要这些磁盘不属于同一个磁盘分组，就不会造成文件内容丢失，可以提高系统整体可靠性。附图说明图1为本专利技术第一实施例提供的存储管理方法的流程图；图2为本专利技术第二实施例提供的分布式文件系统的示意图；图3为本专利技术第三实施例提供的存储管理方法中磁盘分组步骤的流程图；图4为本专利技术第三实施例提供的存储管理方法中数据存储步骤的流程图。具体实施方式现通过具体实施方式结合附图的方式对本专利技术做出进一步的诠释说明。第一实施例：图1为本专利技术第一实施例提供的存储管理方法的流程图，由图1可知，在本实施例中，本专利技术提供的存储管理方法包括以下步骤：S101：将分布式文件系统的所有磁盘分为多个磁盘分组；S102：获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；S103：在需要存储数据时，从健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。在一些实施例中，上述实施例中的将分布式文件系统的所有磁盘分为多个磁盘分组包括：根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组。在一些实施例中，上述实施例中的根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组包括：将所有存储服务器内具备一个或多个相同槽位信息的磁盘分为一个磁盘分组。在一些实施例中，上述实施例中的获取各磁盘分组的可服务性包括：获取各磁盘分组的可用卷数目，根据存储策略及各磁盘分组的可用卷数目确定各磁盘分组的可服务性。在一些实施例中，上述实施例还包括：当无法从健康组集合中选择磁盘分组时，从亚健康组集合中选择磁盘分组，若无法从亚健康组集合中选择磁盘分组，则数据存储失败。在一些实施例中，上述实施例中的从健康组集合或亚健康组集合中选择磁盘分组包括：根据健康组集合或亚健康组集合中各磁盘分组的可用空间的比例选择磁盘分组。第二实施例：图2为本专利技术第二实施例提供的分布式文件系统的示意图，由图2可知，在本实施例中，本专利技术提供的分布式文件系统包括多个磁盘22，这些磁盘属于不同的存储服务器，以及一个或多个位置寄存器21(图2仅示例性的给出了一个位置寄存器)，具体的，位置寄存器21用于将分布式文件系统的所有磁盘22分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，还用于从健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。在一些实施例中，位置寄存器21用于根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组。在一些实施例中，位置寄存器21具体用于将所有存储服务器内具备一个或多个相同槽位信息的磁盘分为一个磁盘分组。在一些实施例中，位置寄存器21用于获取各磁盘分组的可用卷数目，根据存储策略及各磁盘分组的可用卷数目确定各磁盘分组的可服务性。在一些实施例中，位置寄存器21还用于当无法从健康组集合中选择磁盘分组时，从亚健康组集合中选择磁盘分组，若无法从亚健康组集合中选择磁盘分组，则数据存储失败。在一些实施例中，位置寄存器21具体用于根据健康组集合或亚健康组集合中各磁盘分组的可用空间的比例选择磁盘分组。现结合具体应用实例对本专利技术做进一步的诠释说明。第三实施例：图3为本专利技术第三实施例提供的存储管理方法中磁盘分组步骤的流程图，由图3可知，在本实施例中，本专利技术提供的存储管理方法中磁盘分组步骤包括以下本文档来自技高网...

【技术保护点】
一种用于分布式文件系统的存储管理方法，其特征在于，所述存储管理方法包括磁盘分组步骤及数据存储步骤，其中，所述磁盘分组步骤包括：将所述分布式文件系统的所有磁盘分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，所述数据存储步骤包括：从所述健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。

【技术特征摘要】
1.一种用于分布式文件系统的存储管理方法，其特征在于，所述存储管理方法包括磁盘分组步骤及数据存储步骤，其中，所述磁盘分组步骤包括：将所述分布式文件系统的所有磁盘分为多个磁盘分组；获取各磁盘分组的可服务性，根据各磁盘分组的可服务性将各磁盘分组分为健康组集合、亚健康组集合、坏组集合；在需要存储数据时，所述数据存储步骤包括：从所述健康组集合中选择磁盘分组，从所选择的磁盘分组选择磁盘存储数据。2.如权利要求1所述的存储管理方法，其特征在于，将所述分布式文件系统的所有磁盘分为多个磁盘分组包括：根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组。3.如权利要求2所述的存储管理方法，其特征在于，根据各磁盘在其所属存储服务器内的槽位信息将所有磁盘分为多个磁盘分组包括：将所有存储服务器内具备一个或多个相同槽位信息的磁盘分为一个磁盘分组。4.如权利要求1所述的存储管理方法，其特征在于，获取各磁盘分组的可服务性包括：获取各磁盘分组的可用卷数目，根据存储策略及各磁盘分组的可用卷数目确定各磁盘分组的可服务性。5.如权利要求1至4任一项所述的存储管理方法，其特征在于，所述数据存储步骤还包括：当无法从所述健康组集合中选择磁盘分组时，从所述亚健康组集合中选择磁盘分组，若无法从所述亚健康组集合中选择磁盘分组，则数据存储失败。6.如权利要求5所述的存储管理方法，其特征在于，从所述健康组集合或所述亚健康组集合中选择磁盘分组包括：根据所述...

【专利技术属性】
技术研发人员：王波，雷爱民，洪建峰，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44