一种数据存储分配方案获取方法组成比例

本发明专利技术涉及一种数据存储分配方案获取方法，属于数据存储空间分配技术领域，解决了现有技术中分区算法会导致数据倾斜的问题。获取待处理数据集，并确定处理该待处理数据集的集群；计算分区数量；基于第一分区算法计算所述待处理数据集中的每一条数据所对应的初始目标分区，并计算每个初始目标分区的数据量；判断各个初始目标分区的数据量是否超过所述预设分区大小，对于超过预设分区大小的初始目标分区，依次执行数据初次分配操作，使得各个初始目标分区的数据量均小于所述预设分区大小；计算当前分配方案下的平衡系数，若平衡系数满足预设阈值范围区间，则依据当前分配方案将所述待处理数据集中每一条数据分配至对应的初始目标分区；若不满足，则执行再次分配操作。实现了一种数据资源均匀分配，数据查询效率高，资源使用均衡的数据存储分配方法。

【技术实现步骤摘要】

本专利技术涉及数据存储空间分配，尤其涉及一种数据存储分配方案获取方法。

技术介绍

1、面对大规模数据存储时，需要根据数据特性和业务需求采用分区算法对数据进行分区处理，以确保数据动态分布均衡。常见的分区算法有：范围分区(rangepartitioning)、列表分区(list partitioning)、哈希分区(hash partitioning)、复合分区(composite partitioning)、键值分区(key partitioning)、轮转分区(round robinpartitioning)。

2、现有技术中，采用分区算法的初衷是为了均匀分配数据，但如果分配算法执行逻辑设计不当或者数据本身具有某种模式，可能会导致某些分区的数据量远大于其他分区，形成数据倾斜。而当大量数据集中在一个区域时，会存在如下问题：(1)导致访问速度下降，这是因为存储系统的性能通常受到硬件资源(如磁盘i/o、网络带宽等)的限制，如果多个用户或应用程序同时访问这个区域的数据，可能会造成资源竞争，从而增加数据访问的延迟；(2)导致该区域的存储系统负载过重，而其本文档来自技高网...

【技术保护点】

1.一种数据存储分配方案获取方法，其特征在于，包括：

2.根据权利要求1所述的一种数据存储分配方案获取方法，其特征在于，步骤S1还包括：

3.根据权利要求2所述的一种数据存储分配方案获取方法，其特征在于，所述对于超过预设分区大小的初始目标分区，依次执行数据初次分配操作，包括：

4.根据权利要求2所述的一种数据存储分配方案获取方法，其特征在于，所述对于超过预设分区大小的初始目标分区，依次执行数据初次分配操作，包括：

5.根据权利要求3或者权利要求4所述的一种数据存储分配方案获取方法，其特征在于，所述执行再次分配操作，包括：

6.根...

【技术特征摘要】

1.一种数据存储分配方案获取方法，其特征在于，包括：

2.根据权利要求1所述的一种数据存储分配方案获取方法，其特征在于，步骤s1还包括：

3.根据权利要求2所述的一种数据存储分配方案获取方法，其特征在于，所述对于超过预设分区大小的初始目标分区，依次执行数据初次分配操作，包括：

4.根据权利要求2所述的一种数据存储分配方案获取方法，其特征在于，所述对于超过预设分区大小的初始目标分区，依次执行数据初次分配操作，包括：

5.根据权利要求3或者权利要求4所述的一种数据存储分配方案获取方法，其特征在于，所述执行再次分配操作，包括：

6.根据权利要求5所述的一种数据存储分配方案获取方法，其特征在于...

【专利技术属性】
技术研发人员：路杨，宋兆君，蒋金荣，陈孟轩，彭志宗，辛腾龙，吴波，何君伟，简步超，杭龙，
申请(专利权)人：北方云景科技北京有限公司，
类型：发明
国别省市：