数据在线重分布方法及其装置、电子设备及存储介质制造方法及图纸

技术编号:40596246 阅读:18 留言:0更新日期:2024-03-12 21:59
本发明专利技术公开了一种数据在线重分布方法及其装置、电子设备及存储介质,涉及大数据领域、金融科技领域或其他相关技术领域,其中,该数据在线重分布方法包括:响应数据重分布请求,确定待执行重分布操作的源数据库;基于数据重分布请求断开源数据库和从数据库的连接,并获取断开操作时的全局事务标识;基于全局事务标识对源数据库的日志数据进行监控,得到源数据库的增量数据,并将增量数据写入正向消息组件中;将从数据库的存量数据和正向消息组件的增量数据重分布至目标数据库。发明专利技术解决了相关技术中,在对大容量数据进行重分布时,将源数据库设置为只读权限进行数据重分布的方式,停写数据库时间长,影响业务的正常进行的技术问题。

【技术实现步骤摘要】

本专利技术涉及大数据领域、金融科技领域或其他相关,具体而言,涉及一种数据在线重分布方法及其装置、电子设备及存储介质


技术介绍

1、随着大数据技术的快速发展,对于大容量的业务数据进行分库分表存储成为当前主流的数据库数据存储方式,当数据量增大或业务发展需要时,原先的分库分表规则可能不再适用,存在一些数据热点或负载不均衡的情况,此时对源数据库存储的数据进行重分布,可以重新平衡数据的存储和访问,提高查询效率和系统的整体性能,进而提高数据访问效率和负载均衡。

2、相关技术中,在对源数据库的数据进行重分布时,对源数据库设置只读权限,禁止数据写入数据库,保证在数据重分布过程中不会修改、删除、新增数据,通过重分布工具读取源数据库数据,获取分片字段的值,根据新的算法路由到新分片,将数据写入目标分片,等待全量数据重分布结束后,应用程序切流到重分布后的新数据库,对新的数据库进行读写,现有的重分布方案停写数据库时间太长,应用禁写数据库时间与迁移的数据量成正比,数据重分布速率受到数据库集群规模、重分布工具集群规模、网络带宽等因素影响,占用大量的时间进行重分布,会导致业本文档来自技高网...

【技术保护点】

1.一种数据在线重分布方法,其特征在于,包括:

2.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:

3.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:

4.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之后,还包括:

5.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤包括:

6.根...

【技术特征摘要】

1.一种数据在线重分布方法,其特征在于,包括:

2.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:

3.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之前,还包括:

4.根据权利要求1所述的重分布方法,其特征在于,在响应数据重分布请求,确定待执行重分布操作的源数据库之后,还包括:

5.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤包括:

6.根据权利要求1所述的重分布方法,其特征在于,将所述从数据库的存量数据和所述正向消息组件的增量数据重分布至目标数据库的步骤还包括:

7.根据权利要求1所述的重分布方法,其特征在于,在将所述...

【专利技术属性】
技术研发人员:黄海鹏武文斌许小斌钟悦
申请(专利权)人:中国工商银行股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1