一种增量数据断点续传方法、装置、设备及存储介质制造方法及图纸

技术编号:31229340 阅读:33 留言:0更新日期:2021-12-08 09:58
本发明专利技术实施例公开了一种增量数据断点续传方法、装置、设备及存储介质,所述方法包括:当数据迁移连接断开时,向目标数据库发送位置获取请求获取迁移事务节点位置,其中,迁移事务节点位置是目标数据库从接收到的迁移数据包中获取并存储的;根据迁移事务节点位置确定断点续传位置,并生成包含断点续传位置的重连请求,将重连请求发送至源数据库;当与源数据库重新建立连接时,获取源数据库基于断点续传位置发送的数据续传事务,并将数据续传事务发送到目标数据库进行迁移。本发明专利技术实施例提供的方法实现了数据库之间数据迁移时增量数据的断点续传,提高了数据迁移效率。提高了数据迁移效率。提高了数据迁移效率。

【技术实现步骤摘要】
一种增量数据断点续传方法、装置、设备及存储介质


[0001]本专利技术实施例涉及计算机
,尤其涉及一种增量数据断点续传方法、装置、设备及存储介质。

技术介绍

[0002]随着互联网业务的不断发展,业务平台数据库的访问量不断增多、数据量持续累加,需要对现有的数据库进行扩容或者迁移。在扩容或者迁移过程中最关键的是数据库中数据的迁移。
[0003]在实现本专利技术的过程中,专利技术人发现现有技术中至少存在以下技术问题:在数据同步工具进行数据同步的过程中,无法避免会遇到各种异常情况(源数据库故障、宕机、网络抖动、中断、迁移工具故障重启等),造成正在同步中的任务终止,无法继续进行同步。需要将目标库已同步的数据清空后,再重新做数据同步,如果碰到分库分表或者数据量十分庞大的情况将会大大增加人力和时间成本。

技术实现思路

[0004]本专利技术实施例提供了一种增量数据断点续传方法、装置、设备及存储介质,以实现数据库中增量数据迁移时的断点续传。
[0005]第一方面,本专利技术实施例提供了一种增量数据断点续传方法,包括:...

【技术保护点】

【技术特征摘要】
1.一种增量数据断点续传方法,其特征在于,包括:当数据迁移连接断开时,向目标数据库发送位置获取请求获取迁移事务节点位置,其中,所述迁移事务节点位置是所述目标数据库从接收到的迁移数据包中获取并存储的;根据所述迁移事务节点位置确定断点续传位置,并生成包含所述断点续传位置的重连请求,将所述重连请求发送至源数据库;当与所述源数据库重新建立连接时,获取所述源数据库基于所述断点续传位置发送的数据续传事务,并将所述数据续传事务发送到目标数据库进行迁移。2.根据权利要求1所述的方法,其特征在于,所述根据所述迁移事务节点位置确定断点续传位置,包括:当所述源数据库故障时,将所述迁移事务节点位置作为所述断点续传位置。3.根据权利要求1所述的方法,其特征在于,所述根据所述迁移事务节点位置确定断点续传位置,包括:当数据迁移工具故障时,获取所述源数据库中的当前迁移位置;将所述当前迁移位置与所述迁移事务节点位置进行比对,当所述当前迁移位置在所述迁移事务节点位置之前时,将所述当前迁移位置作为所述断点续传位置。4.根据权利要求1所述的方法,其特征在于,还包括:获取消息队列中的待迁移事务信息;获取消息队列中末端待迁移事务在所述源数据库中的待迁移源位置;基于所述待迁移源位置和所述待迁移事务信息生成迁移数据包;将所述迁移数据包发送至目标数据库,以使所述目标数据库获取所述迁移数据包中的待迁移源位置,并将所述待迁移源位置作为迁移事务节点位置进行存储。5.根据权利要求4所述的方法,其特征在于,所述获取消息队列中末端待迁移事务在所述源数据库中的待迁移源位置,包括:调用节点状态查看指令获取所述源数据库的二进制日志文件,从所述二进制日志文件中获取所述待迁移源位置。6.根据权利要求5所述的方法,其特征在于,所述待迁移源位置为所述末端待...

【专利技术属性】
技术研发人员:张师聪
申请(专利权)人:北京京东世纪贸易有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1