【技术实现步骤摘要】
一种数据分区的方法及装置
本专利技术涉及数据处理
，尤其涉及一种数据分区的方法及装置。
技术介绍
分布式存储系统是将数据分散存储在多台独立的存储设备上的存储系统，每个存储设备相当于一个存储节点。目前比较常见的数据分布方法为哈希分布，通过哈希分布算法可以把数据对应的哈希空间划分为固定数量的分区，然后再建立分区与存储节点之间的映射关系，一般会将分区尽可能均匀地分配至各存储节点，分区与存储节点之间的映射关系被称为分区视图。其中，可以将一个分区映射到一个存储节点上，或者当需要对分区中的数据进行备份时，也可以将一个分区映射到多个存储节点上。例如，如图1所示，假设有3个分区，且当前存在6个存储节点，如果需要两份备份数据，则需要将每个分区分别映射到三个存储节点上，比如分区1对应存储节点1、3、5，分区2对应存储节点2、4、6，分区3对应存储节点3、5、6。然而，分布式存储系统中的分区数量是固定的，而存储节点的数量会随着数据量的增多而增加，当存储节点较多时，会使得映射到每个节点上的分区个数太少，例如，当分区数量为100，存储节点的数量为1000时，如果每个分区只需要映射到3...
【技术保护点】
1.一种数据分区的方法，其特征在于，包括：当检测到新增存储节点时，确定分布式存储系统中每个存储节点承载的平均分区数量，所述平均分区数量为当前分区总数量与存储节点总数量的比值；若所述平均分区数量小于预设值，则根据所述预设值以及所述存储节点总数量，将分区总数量增加至目标分区总数量，以使得所述平均分区数量达到所述预设值；按照所述目标分区总数量进行数据分区。
【技术特征摘要】
1.一种数据分区的方法，其特征在于，包括：当检测到新增存储节点时，确定分布式存储系统中每个存储节点承载的平均分区数量，所述平均分区数量为当前分区总数量与存储节点总数量的比值；若所述平均分区数量小于预设值，则根据所述预设值以及所述存储节点总数量，将分区总数量增加至目标分区总数量，以使得所述平均分区数量达到所述预设值；按照所述目标分区总数量进行数据分区。2.根据权利要求1所述的数据分区的方法，其特征在于，在所述确定分布式存储系统中每个存储节点承载的平均分区数量之后，所述方法还包括：若所述平均分区数量大于所述预设值，则重新确定分区视图；按照重新确定的分区视图将分区分配至各存储节点。3.根据权利要求2所述的数据分区的方法，其特征在于，所述目标分区总数量为所述当前分区总数量的2^X倍，其中，2^X为大于或等于所述存储节点总数量*所述预设值/所述当前分区总数量的最小值，X为正整数。4.根据权利要求1至3中任一项所述的数据分区的方法，其特征在于，所述方法还包括：确定每个存储节点能够承载的最佳分区数量区间；根据所述最佳分区数量区间的上限值以及存储节点数量确定初始分区数量；根据所述初始分区数量进行分区；确定初始分区视图；按照所述初始分区视图将分区分配至各存储节点；将所述初始分区数量和所述初始分区视图发送给所述分布式存储系统中的对象存储设备OSD。5.根据权利要求4所述的数据分区的方法，其特征在于，所述初始分区数量为对2^[log2(N*M)]进行取整操作得到的值，其中，N为所述分布式存储系统中的初始存储节点数量，M为所述最佳分区数量区间的上限值。6.一种数据分区的装置，其特征在于，包括：确定模块，用于当检测到新增存储节点时，确定分布式存储系统中每个存储...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。