数据存储方法及系统技术方案

本发明专利技术实施例提供一种数据存储方法，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。本发明专利技术实施例通过配置传输阈值，即每个存储装置进行数据迁移的最大个数，达到限制数据迁移带宽的目的，从而实现数据迁移和用户请求之间的平衡。

【技术实现步骤摘要】

本专利技术涉及数据存储领域，尤其涉及一种数据存储方法及系统。
技术介绍
分布式存储系统，是将数据按照一定规则切分并打散存储在多台独立通用存储存储模块上。传统的网络存储系统采用集中的存储存储模块存放所有数据，存储存储模块成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要，而分布式存储系统采用可扩展的系统结构，利用多台存储存储模块分担存储负荷，利用位置存储模块定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。存储集群的成千上万台存储模块可以将数据充分冗余，从而可以显著提高数据的安全性。在存储领域，通常使用年故障率(AFR)来表征磁盘的可靠性，现在市场上通用的磁盘的AFR一般是4％左右，即如果一个集群中有365块磁盘，那么一年中有磁盘损害的概率为pow(0.96，365)＝0.9999996619351175，即一年中几乎肯定有磁盘失效。而对于分布式存储集群，实际上磁盘个数通常都达到了上千块，因此应对磁盘损坏成为了每一个存储系统都要解决的问题。在分布式存储系统中，除了处理用户正常的读写请求之外，通常还会有在磁盘之间进行的数据迁移，考虑以下两种情本文档来自技高网...

【技术保护点】
一种数据存储方法，其特征在于，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。

【技术特征摘要】
1.一种数据存储方法，其特征在于，包括：监控存储集群中各存储装置的工作状态；当存在失效存储装置时，确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组；从集群中选择可用存储装置替换所述失效存储装置；遍历所述全部数据组，生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列，其中，迁入执行队列和迁出执行队列中数据组的数量均小于或等于传输阈值。2.根据权利要求1所述的数据存储方法，其特征在于，在生成用于可用存储装置的迁入执行队列、迁入等待队列以及用于存活存储装置的迁出执行队列、迁出等待队列后，还包括查询所述迁出执行队列中的数据组是否在所述迁入执行队列中，若在，则利用所述存活存储装置向所述可用存储装置迁移该数据组。3.根据权利要求2所述的数据存储方法，其特征在于，在确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组后，包括：当剩余的存活存储装置的数量为两个以上时，根据剩余的各存活存储装置在存储阵列中的位置，生成存储装置恢复顺序；利用所述存活存储装置向所述可用存储装置迁移该数据组包括：按照所述存储装置恢复顺序，利用所述存活存储装置向所述可用存储装置迁移该数据组。4.根据权利要求2所述的数据存储方法，其特征在于，在确定所述失效存储装置所在的存储阵列、所述存储阵列中剩余的存活存储装置及与所述存储阵列相关的全部数据组后，包括：当失效存储装置的数量为两个以上时，根据与所述失效存储装置对应的至少两个可用存储装置在存储阵列中的位置，生成存储装置恢复顺序；利用所述存活存储装置向所述...

【专利技术属性】
技术研发人员：吴兴义，
申请(专利权)人：乐视控股北京有限公司，乐视云计算有限公司，
类型：发明
国别省市：北京;11