【技术实现步骤摘要】
本专利技术涉及大数据领域、金融科技领域或其他相关,具体而言,涉及一种数据在线重分布方法及其装置、电子设备及存储介质。
技术介绍
1、随着大数据技术的快速发展,对于大容量的业务数据进行分库分表存储成为当前主流的数据库数据存储方式,当数据量增大或业务发展需要时,原先的分库分表规则可能不再适用,存在一些数据热点或负载不均衡的情况,此时对源数据库存储的数据进行重分布,可以重新平衡数据的存储和访问,提高查询效率和系统的整体性能,进而提高数据访问效率和负载均衡。
2、相关技术中,在对源数据库的数据进行重分布时,对源数据库设置只读权限,禁止数据写入数据库,保证在数据重分布过程中不会修改、删除、新增数据,通过重分布工具读取源数据库数据,获取分片字段的值,根据新的算法路由到新分片,将数据写入目标分片,等待全量数据重分布结束后,应用程序切流到重分布后的新数据库,对新的数据库进行读写,现有的重分布方案停写数据库时间太长,应用禁写数据库时间与迁移的数据量成正比,数据重分布速率受到数据库集群规模、重分布工具集群规模、网络带宽等因素影响,占用大量的时间
...【技术保护点】
1.一种数据在线重分布方法,其特征在于,包括:
2.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:
3.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:
4.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之后,还包括:
5.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤包括:
6.根...
【技术特征摘要】
1.一种数据在线重分布方法,其特征在于,包括:
2.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:
3.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:
4.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之后,还包括:
5.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤包括:
6.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤还包括:
7.根据权利要求1所述的重分布方法,其特征在于,在将所述...
【专利技术属性】
技术研发人员:黄海鹏,武文斌,许小斌,钟悦,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。