一种集群分布式存储的方法、装置、设备及介质制造方法及图纸

本发明专利技术提供了一种集群分布式存储的方法、装置、设备及可读介质，方法包括：将集群中所有节点的存储资源按照种类进行分类；响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID；响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除；响应于集群RAID不再被使用，删除RAID结构并释放存储资源。通过使用本发明专利技术的方案，能够使分布式存储中存储资源的利用率得到提高，能够在集群中的少数节点资源发生故障时保证集群的正常运行，降低故障对性能的影响。降低故障对性能的影响。降低故障对性能的影响。

【技术实现步骤摘要】
一种集群分布式存储的方法、装置、设备及介质


[0001]本专利技术涉及计算机领域，并且更具体地涉及一种集群分布式存储的方法、装置、设备及可读介质。

技术介绍

[0002]在大数据时代，传统的集群存储因自身可靠性和安全性不足难以满足大规模存储应用的需要，随后出现了将数据分散存储至不同的节点上的分布式存储方案。为了避免发生数据丢失，分布式存储系统采取数据冗余存储的方式，在多个节点存储相同数据，每份数据称为一个数据副本。当一个节点出现故障时，节点上的数据均可以在其余节点找到数据备份，不会影响服务的正常运行。
[0003]RAID是一种磁盘阵列构建技术，将多块独立的磁盘组合成容量巨大的磁盘组，通过磁盘条带化、同时读写、镜像或奇偶校验的技术来提升磁盘性能，实现数据保护。RAID包含RAID0、RAID1等数个级别，每个级别有不同的特性和构建方式。当前的集群存储数据的副本数量较多，磁盘利用率较低，不能够根据需求灵活进行数据存储。

技术实现思路

[0004]有鉴于此，本专利技术实施例的目的在于提出一种集群分布式存储的方法、装置、设备及可读介质，通过使用本专利技术的技术方案，能够使分布式存储中存储资源的利用率得到提高，能够在集群中的少数节点资源发生故障时保证集群的正常运行，降低故障对性能的影响。
[0005]基于上述目的，本专利技术的实施例的一个方面提供了一种集群分布式存储的方法，包括以下步骤：
[0006]将集群中所有节点的存储资源按照种类进行分类；
[0007]响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID；
[0008]响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除；
[0009]响应于集群RAID不再被使用，删除RAID结构并释放存储资源。
[0010]根据本专利技术的一个实施例，将集群中所有节点的存储资源按照种类进行分类包括：
[0011]创建空闲资源列表和故障列表；
[0012]将每个种类的存储资源中未被使用的存储资源按照容量从高到低的顺序排序，并存储到空闲资源列表中；
[0013]将每个种类的存储资源中发生故障的存储资源存储到故障列表中。
[0014]根据本专利技术的一个实施例，响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID包括：
[0015]根据请求信息中的RAID类型选取存储资源的个数；
[0016]根据请求信息中的冗余度选取存储资源分布的节点；
[0017]根据请求信息中的组成模式和容量大小在空闲资源列表中选取相应种类和适当容量的存储资源构建集群RAID。
[0018]根据本专利技术的一个实施例，响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除包括：
[0019]响应于集群RAID发生故障，监控故障恢复的时间；
[0020]响应于故障恢复的时间小于阈值时间，根据最新数据进行集群RAID内数据同步；
[0021]响应于超过阈值时间故障未恢复，将发生故障的存储资源从集群RAID中移除并加入故障列表中，并在空闲资源列表中选取合适的替代资源加入集群RAID；
[0022]响应于发生故障的存储资源恢复，将存储资源从故障列表中移除并添加到空闲资源列表中。
[0023]本专利技术的实施例的另一个方面，还提供了一种集群分布式存储的装置，装置包括：
[0024]分类模块，分类模块配置为将集群中所有节点的存储资源按照种类进行分类；
[0025]构建模块，构建模块配置为响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID；
[0026]恢复模块，恢复模块配置为响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除；
[0027]删除模块，删除模块配置为响应于集群RAID不再被使用，删除RAID结构并释放存储资源。
[0028]根据本专利技术的一个实施例，分类模块还配置为：
[0029]创建空闲资源列表和故障列表；
[0030]将每个种类的存储资源中未被使用的存储资源按照容量从高到低的顺序排序，并存储到空闲资源列表中；
[0031]将每个种类的存储资源中发生故障的存储资源存储到故障列表中。
[0032]根据本专利技术的一个实施例，构建模块还配置为：
[0033]根据请求信息中的RAID类型选取存储资源的个数；
[0034]根据请求信息中的冗余度选取存储资源分布的节点；
[0035]根据请求信息中的组成模式和容量大小在空闲资源列表中选取相应种类和适当容量的存储资源构建集群RAID。
[0036]根据本专利技术的一个实施例，恢复模块还配置为：
[0037]响应于集群RAID发生故障，监控故障恢复的时间；
[0038]响应于故障恢复的时间小于阈值时间，根据最新数据进行集群RAID内数据同步；
[0039]响应于超过阈值时间故障未恢复，将发生故障的存储资源从集群RAID中移除并加入故障列表中，并在空闲资源列表中选取合适的替代资源加入集群RAID；
[0040]响应于发生故障的存储资源恢复，将存储资源从故障列表中移除并添加到空闲资源列表中。
[0041]本专利技术的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
[0042]至少一个处理器；以及
[0043]存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实
现上述任意一项方法的步骤。
[0044]本专利技术的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
[0045]本专利技术具有以下有益技术效果：本专利技术实施例提供的集群分布式存储的方法，通过将集群中所有节点的存储资源按照种类进行分类；响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID；响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除；响应于集群RAID不再被使用，删除RAID结构并释放存储资源的技术方案，能够使分布式存储中存储资源的利用率得到提高，能够在集群中的少数节点资源发生故障时保证集群的正常运行，降低故障对性能的影响。
附图说明
[0046]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0047]图1为根据本专利技术一个实施例的集群分布式存储的方法的示意性流程图；
[0048]图2为根据本专利技术一个实施例的集群分布式存储的装置的示意图；
[0049]图3为根据本专利技术一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种集群分布式存储的方法，其特征在于，包括以下步骤：将集群中所有节点的存储资源按照种类进行分类；响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID；响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除；响应于集群RAID不再被使用，删除RAID结构并释放存储资源。2.根据权利要求1所述的方法，其特征在于，将集群中所有节点的存储资源按照种类进行分类包括：创建空闲资源列表和故障列表；将每个种类的存储资源中未被使用的存储资源按照容量从高到低的顺序排序，并存储到空闲资源列表中；将每个种类的存储资源中发生故障的存储资源存储到故障列表中。3.根据权利要求2所述的方法，其特征在于，响应于接收到存储资源使用请求，根据请求信息选取存储资源的种类和个数构建集群RAID包括：根据请求信息中的RAID类型选取存储资源的个数；根据请求信息中的冗余度选取存储资源分布的节点；根据请求信息中的组成模式和容量大小在空闲资源列表中选取相应种类和适当容量的存储资源构建集群RAID。4.根据权利要求2所述的方法，其特征在于，响应于集群RAID发生故障，基于故障的持续时间执行集群RAID的重建或删除包括：响应于集群RAID发生故障，监控故障恢复的时间；响应于故障恢复的时间小于阈值时间，根据最新数据进行集群RAID内数据同步；响应于超过阈值时间故障未恢复，将发生故障的存储资源从集群RAID中移除并加入故障列表中，并在空闲资源列表中选取合适的替代资源加入集群RAID；响应于发生故障的存储资源恢复，将存储资源从故障列表中移除并添加到空闲资源列表中。5.一种集群分布式存储的装置，其特征在于，所述装置包括：分类模块，所述分类模块配置为将集群中所有节点的存储资源按照种类进行分类；构建模块，所述构建模块配置为响应于接收到存储资源使用请求，根据...

【专利技术属性】
技术研发人员：付雨航，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：