数据存储方法、装置、设备及计算机存储介质制造方法及图纸

本申请实施例提供了一种数据存储方法、装置、设备及计算机存储介质。其中方法包括：计算不同分布键对应的目标数据在多个存储节点的数据分布均匀度，基于分布均匀度最高的目标数据的目标分布键及目标阶段存储目标数据。根据本申请实施例的数据存储方法，能够避免数据分配时因数据倾斜造成的存储空间不足的问题。配时因数据倾斜造成的存储空间不足的问题。配时因数据倾斜造成的存储空间不足的问题。

【技术实现步骤摘要】
数据存储方法、装置、设备及计算机存储介质


[0001]本申请属于互联网
，尤其涉及一种数据分配方法、装置、设备及计算机存储介质。

技术介绍

[0002]目前，大规模并行处理(Massively Parallel Processing，MPP)数据库作为数据库架构的新型数据库集群，包含多个节点，每个节点都是一个单独的数据库。在数据存储时，通过哈希分布中记录的键值哈希至桶，再将桶存储至每个节点，进而实现数据的分配，其中每个“桶”中包含键值相同的数据。
[0003]上述方法在对数据进行分配存储时，如果分布列选择不当，会出现数据倾斜的现象，导致某个节点存储数据过多，存储空间不足。

技术实现思路

[0004]本申请实施例提供一种数据存储方法、装置、设备及计算机存储介质，能够通过确定基于不同分布键的数据分布情况，确定数据分布最均匀的存储方案，避免了数据倾斜的情况。
[0005]第一方面，本申请实施例提供一种数据存储方法，方法包括：
[0006]获取多个分布键对应的目标数据；
[0007]分别计算多个分布本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法，其特征在于，所述方法包括：获取多个分布键对应的目标数据；分别计算所述多个分布键中每个分布键对应的目标数据的哈希值；分配所述每个分布键对应的目标数据至所述目标数据的哈希值对应的存储节点；分别计算所述每个分布键对应的目标数据在存储节点的数据分布均匀度，所述数据分布均匀度用于描述所述目标数据的分配情况；确定最高分布均匀度的目标数据存储的目标节点，以及目标数据对应的目标分布键；根据目标分布键对应的目标数据哈希值将所述目标数据存储至目标节点。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据分布均匀度最高的目标数据对应的分布键为多个分布键时，确定其中任一分布键为所述目标分布键。3.根据权利要求1所述的方法，其特征在于，所述数据分布均匀度为所述各个节点存储的数据数量之差的平均值。4.一种数据存储装置，其特征在于，所述装置包括：获取模块，用于获取多个分布键对应的目标数据；计算模块，用于分别计算所述多个分布键中每个分布键对应的目标数据的哈希值；分配模块，用于分配所述每个分布键对应的目标数据至所述目标数据的哈希值对应的存储节点；所述计算模块，还用于分别计算所述每个分布键对应的...

【专利技术属性】
技术研发人员：冯建辉，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：