数据存储方法及系统技术方案

本发明专利技术实施例提供一种数据存储方法，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。本发明专利技术实施例通过配置传输阈值，即每个存储装置进行数据迁移的最大个数，达到限制数据迁移带宽的目的，从而实现数据迁移和用户请求之间的平衡。

【技术实现步骤摘要】

本专利技术涉及数据存储领域，尤其涉及一种数据存储方法及系统。
技术介绍
分布式存储系统，是将数据按照一定规则切分并打散存储在多台独立通用存储存储模块上。传统的网络存储系统采用集中的存储存储模块存放所有数据，存储存储模块成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式存储系统采用可扩展的系统结构，利用多台存储存储模块分担存储负荷，利用位置存储模块定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。存储集群的成千上万台存储模块可以将数据充分冗余，从而可以显著提高数据的安全性。在存储领域，通常使用年故障率(AFR)来表征磁盘的可靠性，现在市场上通用的磁盘的AFR一般是4％左右，即如果一个集群中有365块磁盘，那么一年中有磁盘损害的概率为pow(0.96，365)＝0.9999996619351175，即一年中几乎肯定有磁盘失效。而对于分布式存储集群，实际上磁盘个数通常都达到了上千块，因此应对磁盘损坏成为了每一个存储系统都要解决的问题。在分布式存储系统中，除了处理用户正常的读写请求之外，通常还会有在磁盘之间进行的数据迁移，考虑以下两种情况：第一、为了解决磁盘失效问题，通常在一块磁盘损坏之后，在相同位置插入一块新的磁盘，之后分布式存储系统会将其他磁盘的相关数据写入到这块被替换的磁盘中。第二，分布式存储集群通常面临着扩容的问题，当已有的数据量不足以支撑业务时，会通过增加服务器和磁盘的方式来提供更多的容量，为了让每一个磁盘都拥有相近的磁盘使用量，从而最大限度发挥所有磁盘的读写性能，通常会有一部分位于老集群的数据会迁移到新的磁盘中。专利技术人在实现本专利技术的过程中发现，对于上述两种数据迁移问题，不论是对于数据迁出的一方，还是数据迁入的一方，都需要耗费一定量的CPU、内存和网络带宽资源，特别是集群扩容时，数据迁移量会比较大，从而会影响到已有用户的正常读写请求，在业务高峰期，过多的数据迁移会严重消耗资源，甚至会出现正常服务完全无法进行的情况，造成了服务的不可用。
技术实现思路
本专利技术实施例提供一种用于分布式存储的数据存储方法及系统，通过配置传输阈值，即每个存储装置进行数据迁移的最大个数，达到限制数据迁移带宽的目的，从而实现数据迁移和用户请求之间的平衡。当进行集群扩容或者替换失效的存储装置时，利用集群中的存活存储装置向每个新增加的存储装置或替换后的可用存储装置迁入数据。对于新存储装置或替换后的可用存储装置而言，都会有一个迁入执行队列和迁入等待队列。迁入执行队列表示正在向新存储装置或可用存储装置迁入的数据组，该队列的最大长度即为传输阈值，迁入等待队列表示等待向新存储装置或可用存储装置迁入的数据组。对于集群中的存活存储装置而言，会有一个迁出执行队列和迁出等待队列。迁出执行队列表示存活存储装置正在迁出的数据组，该队列的最大长度即为传输阈值，迁出等待队列表示存活存储装置等待迁出的数据组。本专利技术实施例提供一种数据存储方法，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。本专利技术实施例提供一种数据存储系统，包括：监控模块，监控存储集群中各存储装置的工作状态；迁移数据确定模块，当存在失效存储装置时，确定所述失效存储装置所在的至少一个存储阵列、所述至少一个存储阵列中剩余的存活存储装置及与所述至少一个存储阵列相关的全部数据组；存储修复模块，从集群中选择可用存储装置替换所述失效存储装置；迁移队列生成模块，遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例用于分布式存储的数据存储方法的流程图；图2为本专利技术数据存储方法的一个实施例的流程图；图3为本专利技术数据存储方法的另一个实施例的流程图；图4为本专利技术数据存储方法的再一个实施例的流程图；图5为本专利技术实施例用于分布式存储的数据存储系统的结构示意图；图6为本专利技术数据存储系统的一个实施例的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。根据本专利技术实施例提供的一种用于分布式存储的数据存储方法，如图1所示，包括：监控分布式存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。在一些可选的实施例中，如图2所示，在生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列之后，还包括查询迁出执行队列中的数据组是否在所述迁入执行队列中，若在，则利用所述存活存储装置向所述可用存储装置迁移该数据组，若不在，可以每隔固定时间例如10分钟进行一次查询。分布式存储是将每个数据组均存储到集群中的N个存储装置上，N为常数，在优选的实施例中，N＝3。在可选的实施例中，将每个数据组均存储到集群中的3个存储装置上，并建立数据组对应存储阵列的映射列表和集群中的可用存储装置列表，其中，可用存储装置可以是已经使用但还有存储空间的存储装置，也可以是没有被使用的存储装置。在一些可选的实施例中，存储装置可以是各式存储器，如RAM、ROM等，也可以是磁盘或软盘等其他能够存储数据的存储介质。在本公开实施例中存储装置为磁盘。在一些可选的实施例中，在每个存储装置上承载至少一组数据组，以便提高存储装置的利用率，降低存储成本。在一些可选的实施例中，将每组数据组均存储到集群中的3个磁盘上，以形成数据组对应存储阵列的映射列表和集群中的可用磁盘列表，所述映射列表中的部分列表如下表1所示，所述可用磁盘列表中的部分列表如下表2所示，表1：表2：在本实施例中，“dg+常数”用于标记不同的数据组，“d+常数”用于标记不同的磁盘，本公开在此方面没有限制。在一些可选的实施例中，存储阵列中存储装置的位置是有顺序的，一方面，在存储阵列中本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。2.根据权利要求1所述的数据存储方法，其特征在于，在生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列后，还包括查询所述迁出执行队列中的数据组是否在所述迁入执行队列中，若在，则利用所述存活存储装置向所述可用存储装置迁移该数据组。3.根据权利要求2所述的数据存储方法，其特征在于，在确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组后，包括：当剩余的存活存储装置的数量为两个以上时，根据剩余的各存活存储装置在存储阵列中的位置，生成存储装置恢复顺序；利用所述存活存储装置向所述可用存储装置迁移该数据组包括：按照所述存储装置恢复顺序，利用所述存活存储装置向所述可用存储装置迁移该数据组。4.根据权利要求2所述的数据存储方法，其特征在于，在确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组后，包括：当失效存储装置的数量为两个以上时，根据与所述失效存储装置对应的至少两个可用存储装置在存储阵列中的位置，生成存储装置恢复顺序；利用所述存活存储装置向所述...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11