一种数据分布方法、装置、设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据分布方法、装置、设备和存储介质，其中该方法包括：确定哈希分布表的分槽数和哈希值，哈希值的数量为至少两个；分配节点给各哈希值，并存储分槽数以及哈希分布表中各哈希值与节点的分布映射关系，以将各哈希值的数据分布在对应节点中，其中，分布映射关系是非固定的；当添加新增节点之后，基于预设的重分布方式进行数据重分布并更新对应的分布映射关系。采用上述技术方案，通过在MPP系统中存储非固定的哈希值与节点的分布映射关系，实现数据分布的逻辑与物理分离，当MPP系统中添加新节点时，可以更加高效地实现数据重分布，进而实现快速的系统扩展。

【技术实现步骤摘要】
一种数据分布方法、装置、设备和存储介质
本专利技术实施例涉及数据库
，尤其涉及一种数据分布方法、装置、设备和存储介质。
技术介绍
大规模并行处理(MassivelyParallelProcessing，MPP)系统处理任务时，通过将任务并行地分散到多个节点上，在每个节点完成各自的计算后，将所得的部分数据结果汇总在一起得到最终的结果。MPP系统中常用的分布方式可以包括随机分布、范围分布和哈希(HASH)分布等，而数据分布情况对于MPP系统的计算性能有很大影响。其中哈希分布与MPP系统中的节点数量有直接关系。目前，大多MPP系统中哈希分布的方式采用直接与整个MPP系统中的节点相关联的方式，即将系统中的节点数量作为哈希分布表的分槽数，当MPP系统中增加或删除节点时，数据分布的哈希值发生改变，则系统中的数据需要重新分布，将数据在节点间移动。而上述分布方式在增加节点时对原有数据的分布情况影响较大，重分布的效率较低，且不能实现高效的扩展。
技术实现思路
本专利技术实施例提供一种数据分布方法、装置、设备和存储介质，可以优化M本文档来自技高网...

【技术保护点】
1.一种数据分布方法，其特征在于，包括：/n确定哈希分布表的分槽数和哈希值，所述哈希值的数量为至少两个；/n分配节点给各所述哈希值，并存储所述分槽数以及所述哈希分布表中各所述哈希值与节点的分布映射关系，以将各所述哈希值的数据分布在对应节点中，其中，所述分布映射关系是非固定的；/n当添加新增节点之后，基于预设的重分布方式进行数据重分布并更新对应的分布映射关系。/n

【技术特征摘要】
1.一种数据分布方法，其特征在于，包括：
确定哈希分布表的分槽数和哈希值，所述哈希值的数量为至少两个；
分配节点给各所述哈希值，并存储所述分槽数以及所述哈希分布表中各所述哈希值与节点的分布映射关系，以将各所述哈希值的数据分布在对应节点中，其中，所述分布映射关系是非固定的；
当添加新增节点之后，基于预设的重分布方式进行数据重分布并更新对应的分布映射关系。


2.根据权利要求1所述的方法，其特征在于，在所述分配节点给各所述哈希值之前，还包括：
将各节点上的表空间确定为物理表空间，并创建所述物理表空间逻辑所在的逻辑表空间。


3.根据权利要求2所述的方法，其特征在于，一个所述逻辑表空间中包括至少一个所述物理表空间，一个所述物理表空间属于至少一个所述逻辑表空间。


4.根据权利要求2所述的方法，其特征在于，所述分配节点给各所述哈希值，包括：
基于所述逻辑表空间为各所述哈希值分配存储其数据的物理表空间。


5.根据权利要求4所述的方法，其特征在于，所述存储所述哈希分布表中各所述哈希值与节点的分布映射关系，包括：
在数据字典中存储所述哈希分布表的各所述哈希值与物理表空间的分布映射关系。


6.根据权利要求1所述的方法，其特征在于，所述基于预设的重分布方式进行数据重分布，包括：<...

【专利技术属性】
技术研发人员：王攀，郭琰，韩朱忠，
申请(专利权)人：上海达梦数据库有限公司，
类型：发明
国别省市：上海;31