一种存储系统的数据存储方法及装置制造方法及图纸

一种存储系统的数据存储方法及装置，在该方法中，在存储系统的拓扑结构为第一拓扑结构时，生成与该第一拓扑结构对应的M个第一存储分区组，该M个第一存储分区组中的每个第一存储分区组对应K个第一存储设备；当存储系统的拓扑结构由第一拓扑结构更新为与所述第一拓扑结构不同的第二拓扑结构时，则生成与该第二拓扑结构对应的N个第二存储分区组，该N个第二存储分区组中的每个第二存储分区组对应P个第二存储设备，然后，使用该N个第二存储分区组更新该存储系统中存储的M个第一存储分区组，从而在接收待存储的新数据后，将该待存储的新数据存储在与该N个第二存储分区组中的至少一个第二存储分区组对应的第二存储设备中。

A Data Storage Method and Device for Storage System

A data storage method and device for a storage system in which M first storage partition groups corresponding to the first topology are generated when the storage system's topology structure is the first one, and each of the first storage partition groups in the M first storage partition group corresponds to K first storage devices; when the storage system's topology structure is updated from the first topology structure to and When the second topology of the first topology is different, N second storage partition groups corresponding to the second topology are generated. Each second storage partition group in the N second storage partition groups corresponds to P second storage devices. Then, M first storage partition groups stored in the storage system are updated using the N second storage partition groups to receive the storage to be stored. After the new data is stored, the new data to be stored is stored in the second storage device corresponding to at least one second storage partition group in the N second storage partition groups.

【技术实现步骤摘要】
一种存储系统的数据存储方法及装置
本申请涉及存储
，尤其涉及一种存储系统的数据存储方法及装置。
技术介绍
随着互联网用户的激增以及业务的多样性发展，越来越多的数据(例如，用户数据、业务配置数据等)需要使用存储系统进行存储，以便用来分析和指导业务。为了提高存储系统的存储性能，提出了通过虚拟化技术对硬盘进行分区的方法，具体的做法是：首先按照预设的规则(例如用户需求或者存储系统的存储池对应的数据冗余模式等)，建立若干个分区组(partitionteam，PT)，例如，创建2053个PT，每个PT中包括6个分区(partition，pt)，然后，根据均衡度和/或位置均衡度等原则，将该若干个PT打散到存储系统的所有硬盘上，这样每个PT都固定映射到存储系统的6个硬盘中的分区上，这样，在该存储系统上存储数据时，存储系统便只需从多个PT中选择一个PT，然后根据PT与存储系统的硬盘之间的映射关系，自动将该分条存储在相应的硬盘上，可以简化存储系统在进行数据存储的步骤，并且，该存储系统中只需要存储与该分条对应的PT的索引号，后续便可以根据该PT的索引号，从硬盘中获取该数据，可以节省存储系统的开销。然而由于存储系统是一个动态的系统，例如，存储系统中的某些存储节点可能会发生故障，从而导致存储系统的存储容量减小(减容)，或者可以向该存储系统中增加新的存储节点来扩容等，那么，当存储系统发生变化，例如，存储系统减容时，该预先创建的若干个PT组的某些PT则无法使用，从而与该PT对应的其他硬盘中的分区也无法使用，从而降低存储系统中的空间利用率。
技术实现思路
本申请提供一种数据存储方法及装置，用以提高存储系统的空间利用率。第一方面，提供一种存储系统的数据存储方法，在该方法中，在存储系统的拓扑结构为第一拓扑结构时，生成与该第一拓扑结构对应的M个第一存储分区组，该M个第一存储分区组中的每个第一存储分区组对应K个第一存储设备；当存储系统的拓扑结构由第一拓扑结构更新为与所述第一拓扑结构不同的第二拓扑结构时，则生成与该第二拓扑结构对应的N个第二存储分区组，该N个第二存储分区组中的每个第二存储分区组对应P个第二存储设备，然后，使用该N个第二存储分区组更新该存储系统中存储的M个第一存储分区组，从而在接收待存储的新数据后，将该待存储的新数据存储在与该N个第二存储分区组中的至少一个第二存储分区组对应的第二存储设备中，N、P、M和K为正整数。在上述技术方案中，存储系统支持动态的存储分区组，当存储系统的拓扑结构发生变化时，存储系统的存储分区组也会发生改变，例如，存储系统由3个存储节点且每个存储节点有3个硬盘，为避免发生单节点故障而导致整个存储系统无法使用的问题，该存储系统中每一个存储分区组中可以包括4个数据盘和2个校验盘，在这种情况下，存储系统的空间利用率为4/(4+2)＝66.6％；当存储系统发生扩容，扩容到5个存储节点且每个存储节点有3个硬盘，则存储系统可以生成新的存储分区组，每个存储分区组中可以包括8个数据盘和2个检验盘，则空间利用率为8/(8+2)＝80％，从而可以提高存储系统的空间利用率。当存储系统发生减容，由于3个存储节点中的某一个硬盘发生故障，则存储系统也可以生成新的存储分区组以适应减容后的存储系统，新的存储分区组中的每一个存储分区组都可以使用，可以提高存储系统的空间利用率。在一种可能的设计中，P的值与该存储系统在该第二拓扑结构下所配置的数据冗余模式相同，K的值与该存储系统在该第一拓扑结构下所配置的数据冗余模式相同。在上述技术方案中，存储系统中的存储分区组所包括的存储设备的数量可以根据该存储系统在不同的拓扑结构下所配置的数据冗余模式相同，从而可以使得该存储系统的硬盘的空间得到充分地应用，可以提高存储系统的硬盘的利用率。在一种可能的设计中，在P大于K时，该每个第一存储分区组对应的L个第一存储设备中的每个第一存储设备中存储的一部分数据，与M个第二存储分区组对应的P个第二存储设备中的一个第二存储设备中存储的数据相同，L为小于P的正整数。在上述技术方案中，当存储系统扩容后，在第一拓扑结构下生成的每个第一存储分区组中包括的L个第一存储设备，可能分别与对应的第二存储分区组中处于相同位置上的第二存储设备相同，例如，第一个第一存储分区组中包括的用于存储第一个数据分片的第一存储设备和用于存储第三个数据分片的第一存储设备，与第一个第二存储分区组中包括的用于存储第一个数据分片的第二存储设备和用于存储第三个数据分片的第二存储设备相同，也就是说，每个第二存储分区组中包括的P个第二存储设备可以和每个第一存储分区组中包括的K个第一存储设备相关联。由于存储系统发生扩容后，第二存储分区组中每个存储设备中存储的数据量变小，因此，当需要将存储系统中已经存储的数据按照M个第二存储分区组进行存储时，该L个第一存储设备中存储的部分数据与对应的第二存储分区组中处于相同位置上的第二存储设备中存储的数据相同，从而该部分数据则可以不用迁移，可以减少数据迁移所消耗的资源。在一种可能的设计中，存储系统可以将每个存储在该M个第一存储分区组中的一个存储分区组对应的K个存储设备的原始数据中的部分数据按照该N个第二存储分区组中的一个第二存储分区组进行数据迁移，该每个原始数据中的部分数据与该L个第二存储设备中的每个第二存储设备中存储的数据均不同。在上述技术方案中，若每个第一存储分区组中包括的L个第一存储设备，分别与对应的第二存储分区组中处于相同位置上的第二存储设备相同，则存储系统可以只需要将每个第一存储分区组中的除L个第一存储设备的一部分数据外的其他数据进行迁移，该L个第一存储设备的一部分数据为与该L个第一存储设备对应的L个第二存储设备中存储的数据，从而可以减少进行迁移的数据量。在一种可能的设计中，在P小于K时，该每个第一存储分区组对应的S个第一存储设备中的每个第一存储设备中存储的数据，与M个第二存储分区组对应的P个第二存储设备中的一个第二存储设备中存储的一部分数据相同，S为小于P的正整数。在上述技术方案中，当存储系统减容后，在第一拓扑结构下生成的每个第一存储分区组中包括的S个第一存储设备，可能分别与对应的第二存储分区组中处于相同位置上的第二存储设备相同，例如，第一个第一存储分区组中包括的用于存储第一个数据分片的第一存储设备，与第一个第二存储分区组中包括的用于存储第一个数据分片的第二存储设备相同，也就是说，每个第二存储分区组中包括的P个第二存储设备可以和每个第一存储分区组中包括的K个第一存储设备相关联。由于存储系统发生减容后，第二存储分区组中每个存储设备存储的数据量变大，因此，当需要将存储系统中已经存储的数据按照M个第二存储分区组进行存储时，该S个第一存储设备中存储的数据与对应的第二存储分区组中处于相同位置上的第二存储设备中存储的部分数据相同，从而该S个第一存储设备中存储的数据则可以不用迁移，可以减少数据迁移所消耗的资源。在一种可能的设计中，存储系统可以将每个存储在该M个第一存储分区组中的一个存储分区组对应的K个存储设备的原始数据中的部分数据按照该N个第二存储分区组中的一个第二存储分区组进行数据迁移，该每个原始数据中的部分数据与该P个第二存储设备中的每个第二存储设备中存储的任意一部分数据均不同本文档来自技高网...

【技术保护点】
1.一种存储系统的数据存储方法，其特征在于，包括：在存储系统的拓扑结构由第一拓扑结构更新为第二拓扑结构时，生成与所述第二拓扑结构对应的N个第二存储分区组，所述N个第二存储分区组中的每个第二存储分区组对应P个第二存储设备，N和P为正整数；其中，所述第一拓扑结构与所述第二拓扑结构不同；使用所述N个第二存储分区组更新所述存储系统中存储的M个第一存储分区组，所述M个第一存储分区组与所述第一拓扑结构对应，所述M个第一存储分区组中的每个第一存储分区组对应K个第一存储设备，M和K为正整数；在接收待存储的新数据后，将所述待存储的新数据存储在与所述N个第二存储分区组中的至少一个第二存储分区组对应的第二存储设备中。

【技术特征摘要】
1.一种存储系统的数据存储方法，其特征在于，包括：在存储系统的拓扑结构由第一拓扑结构更新为第二拓扑结构时，生成与所述第二拓扑结构对应的N个第二存储分区组，所述N个第二存储分区组中的每个第二存储分区组对应P个第二存储设备，N和P为正整数；其中，所述第一拓扑结构与所述第二拓扑结构不同；使用所述N个第二存储分区组更新所述存储系统中存储的M个第一存储分区组，所述M个第一存储分区组与所述第一拓扑结构对应，所述M个第一存储分区组中的每个第一存储分区组对应K个第一存储设备，M和K为正整数；在接收待存储的新数据后，将所述待存储的新数据存储在与所述N个第二存储分区组中的至少一个第二存储分区组对应的第二存储设备中。2.根据权利要求1所述的方法，其特征在于，P的值与所述存储系统在所述第二拓扑结构下所配置的数据冗余模式相同，K的值与所述存储系统在所述第一拓扑结构下所配置的数据冗余模式相同。3.根据权利要求1或2所述的方法，其特征在于，在P大于K时，所述每个第一存储分区组对应的L个第一存储设备中的每个第一存储设备中存储的一部分数据，与M个第二存储分区组对应的P个第二存储设备中的一个第二存储设备中存储的数据相同，L为小于P的正整数。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将每个原始数据中的部分数据按照所述N个第二存储分区组中的一个第二存储分区组进行数据迁移，所述每个原始数据存储在所述M个第一存储分区组中的一个存储分区组对应的K个存储设备，所述每个原始数据中的部分数据与所述L个第二存储设备中的每个第二存储设备中存储的数据均不同。5.根据权利要求1或2所述的方法，其特征在于，在P小于K时，所述每个第一存储分区组对应的S个第一存储设备中的每个第一存储设备中存储的数据，与M个第二存储分区组对应的P个第二存储设备中的一个第二存储设备中存储的一部分数据相同，S为小于P的正整数。6.根据权利要求5所述的方法，其特征在于，所述方法还包括：将每个原始数据中的部分数据按照所述N个第二存储分区组中的一个第二存储分区组进行数据迁移，所述每个原始数据存储在所述M个第一存储分区组中的一个存储分区组对应的K个存储设备，所述每个原始数据中的部分数据与所述P个第二存储设备中的每个第二存储设备中存储的任意一部分数据均不同。7.根据权利要求1或2所述的方法，其特征在于，所述N个第二存储分区组中的任意一个第二存储分区组对应的P个第二存储设备，与所述M个第一存储分区组中任意一个第一存储分区组中包括的K个第一存储设备不相同。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：将每个原始数据按照所述N个第二存储分区组中的一个第二存储分区组进行数据迁移，所述每个原始数据为，所述存储系统在所述第一拓扑结构时，按照所述M个第一存储分区组中的至少一个第一存储分区组存储所述存储系统中的数据。9.一种存储系统的数据存储装置，其特征在于，包括通信接口和处理器，其中：所述处理器，用于在存储系统的拓扑结构由第一拓扑结构更新为第二拓扑结构时，生成与所述第二拓扑结构对应的N个第二存储分区组，所述N个第二存储...

【专利技术属性】
技术研发人员：董如良，姬朋立，付克博，张进毅，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44