一种数据迁移方法、装置、系统及介质制造方法及图纸

技术编号:39178998 阅读:25 留言:0更新日期:2023-10-27 08:26
本发明专利技术公开了一种数据迁移方法、装置、系统及介质,方法包括:从源端数据库采集待迁移的目标数据,并将目标数据迁移至目标端数据库;按预设分段迁移策略,在每完成一段目标数据的迁移时,分别从源端数据库和目标端数据库拉取第一比对数据和第二比对数据进行比对;若比对一致,则保存记录当前时刻的迁移标识,若比对不一致,则获取指定历史时刻的目标迁移标识;根据目标迁移标识对目标端数据库进行回滚操作,将目标端数据库回滚至指定历史时刻的状态。通过分段的数据比对与标识记录,不仅确保了当前已完成迁移数据的正确性,还在迁移异常时可快速回滚到指定历史时刻的状态,实现数据迁移的断点续迁,确保了数据迁移的准确性与效率。率。率。

【技术实现步骤摘要】
一种数据迁移方法、装置、系统及介质


[0001]本专利技术涉及数据库
,尤其涉及一种数据迁移方法、装置、系统及介质。

技术介绍

[0002]随着分布式数据库的不断发展,很多生产数据库类型从集中式数据库向分布式数据库转移。由于数据迁移一般是在生产环境上不停业务的情况下直接进行的,因此同步过程中不可避免会遇到如网络问题等导致的异常场景。
[0003]目前在数据迁移过程中,比如增量数据同步过程中若遇到同步异常的情况,还无法满足大数量异常的修复功能,只能通过重建任务等方式规避,而通过全量任务的补救手段耗费时间成本过大,降低了数据迁移效率。

技术实现思路

[0004]鉴于上述现有技术的不足,本专利技术的目的在于提供可应用于金融科技或其它相关领域的一种数据迁移方法、装置、系统及介质,旨在对数据迁移过程中的异常进行断点续迁,同时确保数据迁移的准确性与效率。
[0005]本专利技术的技术方案如下:一种数据迁移方法,包括:从源端数据库采集待迁移的目标数据,并将所述目标数据迁移至目标端数据库;按预设分段迁移策略,在每完成一段所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:从源端数据库采集待迁移的目标数据,并将所述目标数据迁移至目标端数据库;按预设分段迁移策略,在每完成一段所述目标数据的迁移时,分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对;若比对一致,则保存记录当前时刻的迁移标识,若比对不一致,则获取指定历史时刻的目标迁移标识;根据所述目标迁移标识对所述目标端数据库进行回滚操作,将所述目标端数据库回滚至所述指定历史时刻的状态。2.根据权利要求1所述的数据迁移方法,其特征在于,所述按预设分段迁移策略,在每完成一段所述目标数据的迁移时,分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对之前,所述方法还包括:接收分段配置信息,根据所述分段配置信息生成所述预设分段迁移策略。3.根据权利要求2所述的数据迁移方法,其特征在于,所述分段配置信息为时间分段信息或数据分段信息。4.根据权利要求1所述的数据迁移方法,其特征在于,所述在每完成一段所述目标数据的迁移时,分别从所述源端数据库和所述目标端数据库拉取第一比对数据和第二比对数据进行比对,包括:在每完成一段所述目标数据的迁移时,从所述源端数据库拉取全部已迁移的数据或当前段已迁移的数据作为所述第一比对数据;从所述目标端数据库拉取全部已迁入的数据或者当前段新增的迁入数据作为所述第二比对数据;对所述第一比对数据和所述第二比对数据进行比对。5.根据权利要求1所述的数据迁移方法,其特征在于,所述获取指定历史时刻的目标迁移标识,包括:根据接收到的时刻选择指令确定所述指定历史时刻;根据所述指定历史时刻在全部已保存的迁移标识中获取对应的目标迁移标识。6.根据权利要求1所述的数据迁移方法,其特征在于,所述当所述根据所述...

【专利技术属性】
技术研发人员:奚华东刘骏张玲东沈旭婷管天云吕伟初
申请(专利权)人:金篆信科有限责任公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1