【技术实现步骤摘要】
数据迁移方法、装置、电子设备及存储介质
[0001]本申请涉及数据库领域,尤其涉及一种数据迁移方法、装置、电子设备及存储介质。
技术介绍
[0002]随着用户存储数据量的逐渐增多,传统数据库的表结构缺陷影响其在存储和读取数据场景的性能,可能出现数据丢失、数据延迟以及系统宕机等问题。
[0003]在此基础上,通过设计具有优化的表结构的异构数据库来替代传统数据库,可以提升应用的性能。
[0004]针对异构数据库替代传统数据库,需要将传统数据库中的数据迁移到异构数据库,这个过程需要满足数据完整以及用户无感知等要求。然而传统数据库中存储有海量数据,决定了数据的迁移过程会消耗一定的时间,在这段时间内传统数据库仍会有用户访问,引起数据的修改,产生变更数据。因此,如何准确地对变更数据迁移是保证数据完整的关键。
[0005]在相关技术中,通过对传统数据库中的数据进行轮询的方式,可以将修改时间在上一次迁移的时间之后的数据确定为变更数据,从而对变更数据迁移。然而,这种方式是被动触发的,需要对传统数据库中的所有数据轮询,效 ...
【技术保护点】
【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:将原数据库中的原数据迁移到新数据库,所述原数据库为当前提供数据存储服务的数据库;通过消息队列,确定所述原数据对应的变更数据,所述消息队列中的消息来自所述原数据库的变更日志,所述变更日志中包括所述原数据对应的变更数据;将所述变更数据迁移到所述新数据库,并且覆盖对应的原数据;将新数据库确定为提供数据存储服务的数据库。2.根据权利要求1所述的方法,其特征在于,将原数据库中的原数据迁移到新数据库,包括:从所述原数据库中获取一组原数据及对应的编号;对所述一组原数据按照所述新数据库的结构进行转换处理,得到一组目标数据;将所述一组目标数据对应的编号放入迁移记录数据库;将所述一组目标数据插入所述新数据库。3.根据权利要求2所述的方法,其特征在于,通过消息队列,确定所述原数据对应的变更数据,包括:获取所述消息队列中的消息,所述消息为根据所述变更日志中包括的所述原数据对应的变更数据创建得到,所述消息包括所述变更数据对应的编号,所述变更数据对应的编号与对应的原数据所对应的编号一致;对所述消息进行解析,得到所述变更数据。4.根据权利要求3所述的方法,其特征在于,将新数据库确定为提供数据存储服务的数据库,包括:若所述变更数据对应的编号存在于所述迁移记录数据库,则将所述变更数据迁移到所述新数据库,并且覆盖对应的原数据。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:获取所述变更数据的版本号,获取所述新数据库的版本号;若所述变更数据的版本号大于所述新数据库的版本号,则将所述变更数据迁移到所述新数据库,并且覆盖对应的原数据,以及将所述变更数据的版本号确定为所述新数据...
【专利技术属性】
技术研发人员:陶韬,袁甲,汤仲喆,祁韵妍,
申请(专利权)人:中国工商银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。