数据分片处理方法、装置以及存储介质制造方法及图纸

技术编号:28622897 阅读:26 留言:0更新日期:2021-05-28 16:18
本公开提供了一种数据分片处理方法、装置以及存储介质,其中的方法包括:生成多个分片键,设置分片键预留池,将多个分片键放入分片键预留池中,并设置与每个分片键相对应的状态信息;当为目标数据分配分片键时,获取当前设置的全部分片的第一分片数量,基于第一分片数量并使用预设的分片分配规则在分片键预留池中选取目标分片键,确定用于存储目标数据的目标分片;将目标分片键分配给目标数据并将目标数据存储在目标分片,并将与目标分片键相对应的状态信息设置为使用状态。本公开的方法、装置以及存储介质,能够保证数据分片当前可用,并实现存储节点扩容时不用进行数据迁移,并能快速实现数据的均衡,达到数据节点的平稳扩容。

【技术实现步骤摘要】
数据分片处理方法、装置以及存储介质
本专利技术涉及数据库
,尤其涉及一种数据分片处理方法、装置以及存储介质。
技术介绍
分布式数据库为了保证数据的均衡性,需要对数据进行分片。随着时间的增加,数据量越来越大,需要增加资源进行数据扩容;为了保证分片策略的可读以及数据的均衡性,需要对已经分片的数据进行数据迁移,满足对分片策略的数据的控制。目前,对于数据库的分片方案,现有的分片键生成方式会面临分配不均衡、扩容数据难迁移等问题。
技术实现思路
有鉴于此,本专利技术要解决的一个技术问题是提供一种数据分片处理方法、装置以及存储介质。根据本公开的一个方面,提供一种数据分片处理方法,包括:生成多个分片键;其中,每个分片键都为唯一标识;设置分片键预留池,将所述多个分片键放入所述分片键预留池中,并设置与每个分片键相对应的状态信息;当为目标数据分配分片键时,获取当前设置的全部分片的第一分片数量,基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键,确定用于存储所述目标数据的目标分片;将所述目标分片键分配给所述本文档来自技高网...

【技术保护点】
1.一种数据分片处理方法,包括:/n生成多个分片键;其中,每个分片键都为唯一标识;/n设置分片键预留池,将所述多个分片键放入所述分片键预留池中,并设置与每个分片键相对应的状态信息;/n当为目标数据分配分片键时,获取当前设置的全部分片的第一分片数量,基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键,确定用于存储所述目标数据的目标分片;/n将所述目标分片键分配给所述目标数据并将所述目标数据存储在所述目标分片,并将与所述目标分片键相对应的状态信息设置为使用状态。/n

【技术特征摘要】
1.一种数据分片处理方法,包括:
生成多个分片键;其中,每个分片键都为唯一标识;
设置分片键预留池,将所述多个分片键放入所述分片键预留池中,并设置与每个分片键相对应的状态信息;
当为目标数据分配分片键时,获取当前设置的全部分片的第一分片数量,基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键,确定用于存储所述目标数据的目标分片;
将所述目标分片键分配给所述目标数据并将所述目标数据存储在所述目标分片,并将与所述目标分片键相对应的状态信息设置为使用状态。


2.如权利要求1所述的方法,所述基于所述第一分片数量并使用预设的分片分配规则在所述分片键预留池中选取目标分片键包括:
获取所述分片键预留池中的预留分片键;其中,所述预留分片键的状态信息为预留状态;
将所述预留分片键对预设的分片总数量进行取模运算,如果余数小于或等于所述第一分片数量,则选取所述预留分片键作为所述目标分片键。


3.如权利要求2所述的方法,所述确定用于存储所述目标数据的目标分片包括:
获取所述目标分片键与所述第一分片量进行取模运算的余数,基于此余数确定所述目标分片。


4.如权利要求3所述的方法,还包括:
如果进行存储节点扩容,则设置新存储节点并在所述新存储节点中设置新分片;
当为所述目标数据分配分片键时,获取扩容后的全部分片的第二分片数量,基于所述第二分片数量并使用所述分片分配规则在所述分片键预留池中选取目标分片键,确定用于存储所述目标数据的目标分片。


5.如权利要求4所述的方法,所述基于所述第二分片数量并使用所述分片分配规则在所述分片键预留池中选取目标分片键包括:
获取所述分片键预留池中的所述预留分片键;
将所述预留分片键对所述分片总数量进行取模运算,如果余数小于或等于所述第二分片数量,或者此余数小于或等于所述第二分片数量并且大于所述第一分片数量,则选取所述预留分片键作为所述目标分片键,并基于此余数确定所述目标分片。


6.如权利要求2所述的方法,还包括:
如果在所述分片键预留池中没有所述预留分片键,则生成多个新分片键并将所述多个新分片键放入所述分片键预留池中,并设置与每个新分片键相对应的状态信息。


7.一种数据分片处理装置,包括:
片键生成模块,用于生成多个分片键;其中,每个分片键都为唯一标识;
预留池设置模块,用于设置分片键预留池,将所述多个分片键放入所述...

【专利技术属性】
技术研发人员:池炜成刘智琼伍运珍朱明英俞科峰华竹轩张金娟陈娜李舒婷
申请(专利权)人:中国电信股份有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1