分布式集群的管理方法和装置制造方法及图纸

本申请提供一种分布式集群的管理方法和装置，该集群包括多个节点，每个节点包括多个硬盘，该集群中包括第一DP和第二DP。其中，第一DP中的硬盘来自于集群中的第一节点，第一DP对应的PT和第一DP中的复数个硬盘对应，目标数据按照EC分片的形式分布于第一DP对应的第一PT；第二DP中的硬盘来自于集群中的复数个节点，第二DP对应的PT和第二DP中的复数个硬盘对应，且第二DP对应的PT中的硬盘来自于复数个节点。集群中的第一节点根据目标数据的标识，从第一DP对应的第一PT中读取目标数据，并从第二DP对应的PT中选择第二PT，使用第二PT存储目标数据。从而完成将第一DP中的数据迁移至第二DP，并且数据迁移过程中不会影响新数据的写入，提高了分布式集群的在线扩展能力和可靠性。

Management Method and Device of Distributed Cluster

This application provides a management method and device for a distributed cluster comprising multiple nodes, each node comprising multiple hard disks, including the first DP and the second DP. Among them, the hard disk in the first DP comes from the first node in the cluster, the PT corresponding to the first DP corresponds to the complex disk in the first DP, and the target data is distributed in the first PT corresponding to the first DP in the form of EC fragmentation; the hard disk in the second DP comes from the complex nodes in the cluster, the PT corresponding to the second DP corresponds to the complex disk in the second DP, and the hard disk in the PT corresponding to the second DP. The disk comes from a plurality of nodes. The first node in the cluster reads the target data from the first PT corresponding to the first DP according to the identification of the target data, and selects the second PT from the PT corresponding to the second DP, and stores the target data using the second PT. Thus the data in the first DP can be migrated to the second DP, and the writing of new data will not be affected in the process of data migration, which improves the online expansion ability and reliability of the distributed cluster.

【技术实现步骤摘要】
分布式集群的管理方法和装置
本申请涉及存储技术，尤其涉及一种分布式集群的管理方法和装置。
技术介绍
分布式集群(也称为分布式存储系统)将数据分散存储在多台独立的存储服务器上，利用多台存储服务器分担存储负荷，不但提高了系统的可靠性、可用性和存取效率，还易于扩展。分布式集群通常包括一个或多个节点池，一个节点池中包括多个节点，每个节点即一个存储服务器，每个节点中包括多个硬盘。通过将节点池中的所有节点的硬盘按照硬盘类型划分为多个硬盘池(DiskPool，DP)，在DP内按照纠删码(ErasureCode，EC)的冗余保护将DP划分成多个逻辑分组，逻辑分组也称为分区(Partition，PT)。每个PT覆盖一定个数的硬盘，每个硬盘会在多个PT中出现，每个PT覆盖的硬盘个数与配置的EC冗余配比相关，例如，18+2的冗余配比每个PT覆盖20个硬盘。采用EC进行数据保护时，需要将原始数据分割成多个EC分片数据，EC分片数据以PT为粒度写入PT覆盖的一组硬盘内。现有技术中DP和PT覆盖的硬盘位于多个节点上，因此，DP和PT也称为节点间DP和PT，相应的，数据的存储方式也称为节点间EC。现有的分布式集群使用高冗余配比的EC时，分布式集群包括的节点个数必须满足EC冗余配比要求的最少节点个数，例如，18+2冗余配比的情况下，最多允许故障2个硬盘或者故障2个节点，为满足该冗余配比可靠性保护的要求，至少需要20个服务器节点，系统所要求的节点个数越多意味着成本越高。
技术实现思路
本申请提供一种分布式集群的管理方法和装置，提高了分布式集群的在线扩展能力和可靠性。本申请第一方面提供一种分布式集群的管理方法，所述分布式集群包括多个节点，每个节点包括多个硬盘，所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点；所述方法包括：所述第一节点根据所述目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据；所述第一节点从所述第二硬盘池对应的分区中选择第二分区，使用所述第二分区存储所述目标数据，所述第二分区的EC冗余配比等于所述第一分区的EC冗余配比。通过为集群创建第一硬盘池和第二硬盘池，第一硬盘池为节点内硬盘池，第二硬盘池节点间硬盘池，将第一硬盘池中的数据迁移至第二硬盘池，数据迁移过程中不会影响新数据的写入，提高了分布式集群的在线扩展能力和可靠性。可选的，所述第一节点根据目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据之前，还包括：所述第一节点获取所述目标数据所属的节点标识和硬盘池的信息；当所述目标数据所属的节点的标识和所述第一节点的节点标识相同时，所述第一节点根据所述目标数据所属的硬盘池的信息确定所述目标数据存储在所述第一硬盘池中。通过由每个节点独立将节点内硬盘池中的数据迁移到节点间硬盘池中，各个节点可以并行执行，提高了数据迁移的效率，并且可以使得各节点的负载均衡。可选的，在所述方法之前，还包括：当所述集群包括的节点个数小于EC冗余配比要求的最少节点个数时，所述集群中的创建节点从所述第一节点内选择一组硬盘，为所述第一节点创建第一硬盘池；所述创建节点为所述第一节点的第一硬盘池创建一个或多个分区。所述方法在集群包括的节点个数小于EC冗余配比要求的最少节点个数时，通过创建节点内硬盘池，可以完成数据的存储，使得数据的存储不在受限于EC冗余配比要求的最少节点个数，即使集群中只有一个节点，也可以进行数据存储。可选的，还包括：当检测到所述集群增加新的节点，当所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数，则所述创建节点从所述集群包括的复数个节点内选择一组硬盘，创建所述第二硬盘池；所述创建节点为所述第二硬盘池创建一个或多个分区。所述方法在集群中节点个数增加时，可以由节点内硬盘池向节点间硬盘池扩展，增强了分布式集群的可扩展性。可选的，还包括：当检测到所述集群增加新的节点，如果所述集群创建了第二硬盘池，且所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数时，则所述创建节点根据增加的新的节点更新第二硬盘池和第二硬盘池对应的分区。本申请第二方面提供一种节点，所述节点属于分布式集群，所述分布式集群包括多个节点，每个节点包括多个硬盘和处理器，所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点；所述处理器用于：根据所述目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据；从所述第二硬盘池对应的分区中选择第二分区，使用所述第二分区存储所述目标数据，所述第二分区的EC冗余配比等于所述第一分区的EC冗余配比。可选的，所述处理器还用于：获取所述目标数据所属的节点标识和硬盘池的信息；当所述目标数据所在的节点的标识和所述第一节点的节点标识相同时，根据所述目标数据所属的硬盘池的信息确定所述目标数据存储在所述第一硬盘池中。可选的，所述处理器还用于：当所述集群包括的节点个数小于EC冗余配比要求的最少节点个数时，从所述第一节点内选择一组硬盘，为所述第一节点创建第一硬盘池；为所述第一节点的第一硬盘池创建一个或多个分区。可选的，所述处理器还用于：当检测到所述集群增加新的节点，当所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数，则从所述集群包括的复数个节点内选择一组硬盘，创建所述第二硬盘池；为所述第二硬盘池创建一个或多个分区。可选的，所述处理器还用于：当检测到所述集群增加新的节点，如果所述集群创建了第二硬盘池，且所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数时，则根据增加的新的节点更新第二硬盘池和第二硬盘池对应的分区。本申请第二方面提供的节点用于执行本申请第一方面提供的方法，因此，本申请第二方面提供的节点带来的有益效果，参照本申请第一方面对应方法的描述，这里不再赘述。本申请第三方面提供一种分布式集群，所述集群包括多个节点，每个节点包括多个硬盘；所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点。不同于现有技术，该本文档来自技高网...

【技术保护点】
1.一种分布式集群的管理方法，所述分布式集群包括多个节点，每个节点包括多个硬盘，其特征在于：所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点；所述方法包括：所述第一节点根据所述目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据；所述第一节点从所述第二硬盘池对应的分区中选择第二分区，使用所述第二分区存储所述目标数据，所述第二分区的EC冗余配比等于所述第一分区的EC冗余配比。

【技术特征摘要】
1.一种分布式集群的管理方法，所述分布式集群包括多个节点，每个节点包括多个硬盘，其特征在于：所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点；所述方法包括：所述第一节点根据所述目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据；所述第一节点从所述第二硬盘池对应的分区中选择第二分区，使用所述第二分区存储所述目标数据，所述第二分区的EC冗余配比等于所述第一分区的EC冗余配比。2.根据权利要求1所述的方法，其特征在于，所述第一节点根据目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据之前，还包括：所述第一节点获取所述目标数据所属的节点标识和硬盘池的信息；当所述目标数据所属的节点的标识和所述第一节点的节点标识相同时，所述第一节点根据所述目标数据所属的硬盘池的信息确定所述目标数据存储在所述第一硬盘池中。3.根据权利要求1或2所述的方法，其特征在于，在所述方法之前，还包括：当所述集群包括的节点个数小于EC冗余配比要求的最少节点个数时，所述集群中的创建节点从所述第一节点内选择一组硬盘，为所述第一节点创建第一硬盘池；所述创建节点为所述第一节点的第一硬盘池创建一个或多个分区。4.根据权利要求3所述的方法，其特征在于，还包括：当检测到所述集群增加新的节点，当所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数，则所述创建节点从所述集群包括的复数个节点内选择一组硬盘，创建所述第二硬盘池；所述创建节点为所述第二硬盘池创建一个或多个分区。5.根据权利要求1或2所述的方法，其特征在于，还包括：当检测到所述集群增加新的节点，如果所述集群创建了第二硬盘池，且所述集群增加新的节点后的节点个数大于或等于EC冗余配比要求的最少节点个数时，则所述创建节点根据增加的新的节点更新第二硬盘池和第二硬盘池对应的分区。6.一种节点，所述节点属于分布式集群，所述分布式集群包括多个节点，每个节点包括多个硬盘和处理器，其特征在于：所述集群中包括第一硬盘池，所述第一硬盘池中的硬盘来自于所述集群中的第一节点，所述第一硬盘池对应的分区和所述第一硬盘池中的复数个所述硬盘对应，目标数据按照纠删码EC分片的形式分布于所述第一硬盘池对应的第一分区；所述集群中包括第二硬盘池，所述第二硬盘池中的硬盘来自于所述集群中的复数个节点，所述第二硬盘池对应的分区和所述第二硬盘池中的复数个所述硬盘对应，且所述第二硬盘池对应的分区中的硬盘来自于复数个节点；所述处理器用于：根据所述目标数据的标识，从所述第一硬盘池对应的所述第一分区中读取所述目标数据；从所述第二硬盘池对应的分区中选择第二分区，使用所述第二分区存储所述目标数据，所述第二分区的EC冗余配比等于所述第一分区的EC冗余配比。7.根据权利要求6所述的节点，其特征在于，所述处理器还用于：获取所述目标数据所属的节点标识和硬盘池的信息；当所述目标数据所在的节点的标识和所述第一节点的节点标识相同时，根据所述目标数据所属的硬盘池的信息确定所述目标数据存储在所述第一硬盘池中。8.根据权利要求6或7所述的节点，其特征在于，所述处理器还用于：当所述集群包括的...

【专利技术属性】
技术研发人员：魏杨，温涛，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44