用于分布式数据库的数据分片转换方法、装置及设备制造方法及图纸

技术编号:44333825 阅读:16 留言:0更新日期:2025-02-18 20:42
本发明专利技术提供了一种用于分布式数据库的数据分片转换方法、装置及设备,可以应用于数据库技术领域。该方法包括:响应于分片事务请求,在分布式数据库包括的I个数据节点上分别创建目标业务数据空表;将初始业务数据表中的数据均衡分配到多个线程上,得到与多个线程各自对应的目标数据;基于目标业务数据空表的分片规则,确定目标数据对应的待存储的数据节点;基于第一映射关系和待存储的数据节点,将第i数据节点的线程上的目标数据存储到第i数据节点上与待存储的数据节点对应的目标存储池中;在目标存储池中的数据量等于预设数量阈值的情况下,将目标存储池中的目标数据封装并保存至待存储的数据节点上的目标业务数据空表中。

【技术实现步骤摘要】

本专利技术涉及数据库,具体地涉及一种用于分布式数据库的数据分片转换方法、装置及设备


技术介绍

1、在分布式事务数据库中,列表分片的数据分布比较直观,可以根据业务灵活自定义分片规则,方便查询,但是由于分片是自定义的,可能导致数据倾斜。哈希分片将数据分布到不同的数据节点上,能够使数据节点之间分配到均匀的数据,再直接利用数据节点上对应的各线程去拉取数据,无法在保证数据节点数据分配均匀的前提下保证同一数据节点上多个线程之间的数据负载均衡,同一数据节点上的多个线程之间负载不均衡问题,降低了数据传输效率和高并发性能。


技术实现思路

1、鉴于上述问题,本专利技术提供了一种用于分布式数据库的数据分片转换方法、装置及设备。

2、根据本专利技术的第一个方面,提供了一种用于分布式数据库的数据分片转换方法,包括: 响应于针对初始业务数据表的分片事务请求,在分布式数据库包括的i个数据节点上分别创建目标业务数据空表,其中, i为正整数将初始业务数据表中的数据均衡分配到多个线程上,得到与多个线程各自对应的目标数据,其中,每个本文档来自技高网...

【技术保护点】

1.一种用于分布式数据库的数据分片转换方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,每个所述数据节点上均包括与I个存储池一一对应的消息队列;

3.根据权利要求1所述的方法,其特征在于,所述基于所述目标业务数据空表的分片规则,确定每个所述线程上的所述目标数据对应的待存储的数据节点包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述目标业务数据空表的分片规则,确定每个所述线程上的所述目标数据对应的待存储的数据节点还包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述初始业务数据表中的数据均衡分配到...

【技术特征摘要】

1.一种用于分布式数据库的数据分片转换方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,每个所述数据节点上均包括与i个存储池一一对应的消息队列;

3.根据权利要求1所述的方法,其特征在于,所述基于所述目标业务数据空表的分片规则,确定每个所述线程上的所述目标数据对应的待存储的数据节点包括:

4.根据权利要求1所述的方法,其特征在于,所述基于所述目标业务数据空表的分片规则,确定每个所述线程上的所述目标数据对应的待存储的数据节点还包括:

5.根据权利要求1所述的方法,其特征在于,所述将所述初始业务数据表中的数据均衡分配到多个线程上,得到与多个...

【专利技术属性】
技术研发人员:张利辉
申请(专利权)人:天津南大通用数据技术股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1