【技术实现步骤摘要】
一种数据迁移方法、装置、设备和存储介质
[0001]本专利技术实施例涉及计算机领域,尤其涉及一种数据迁移方法、装置、设备和存储介质。
技术介绍
[0002]随着信息技术的深入发展,应用系统的不断升级,数据量级不断拔高,系统之间越来越多的需要数据交互,数据迁移已经逐步成为了信息系统融合的关键部分。随着同构/异构数据库之间的数据迁移逐渐普及化和常态化,快速核实迁移前后源端数据与目的端数据的一致性,就成为了常态化需要。现阶段,在源端数据库和目的端数据库之间进行数据迁移时,往往采用导出全数据文件的方式来进行数据库之间的全量数据或增量数据比对,由于全数据文件太大,因此进行数据解析工作耗时较长,导致数据库之间的数据比对效率低。目前,在数据库之间进行数据迁移时,未考虑对增量数据进行实时比对,因此可能存在数据迁移出现误差的问题。因此,如何提高数据在源端数据库和目的端数据库之间进行数据迁移的效率和精度,是需要解决的问题。
技术实现思路
[0003]本专利技术提供了一种数据迁移方法、装置、设备和存储介质,可以提高数据在源端数据库和目的端数据库之间进行数据迁移的效率,保证源端数据库和目的端数据库的数据一致性。
[0004]根据本专利技术的一方面,提供了一种数据迁移方法,包括:
[0005]在数据迁移过程中,确定源端数据库中的待处理字段,对所述源端数据库中的待处理字段进行处理,确定源端数据库中的源端数据信息;
[0006]根据所述源端数据信息,生成所述源端数据库的源端数据查询语句和目的端数据库的目的端 ...
【技术保护点】
【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:在数据迁移过程中,确定源端数据库中的待处理字段,对所述源端数据库中的待处理字段进行处理,确定源端数据库中的源端数据信息;根据所述源端数据信息,生成所述源端数据库的源端数据查询语句和目的端数据库的目的端数据查询语句;根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行增量数据比对,并根据增量数据比对结果确定增量迁移语句,将所述增量迁移语句落盘至所述目的端数据库中;在数据迁移完成后,根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行全量数据比对,根据全量数据比对结果确定目标迁移语句,将所述目标迁移语句落盘至所述目的端数据库中。2.根据权利要求1所述的方法,其特征在于,根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行增量数据比对,并根据增量数据比对结果确定增量迁移语句,将所述增量迁移语句落盘至所述目的端数据库中,包括:根据所述源端数据查询语句和所述目的端数据查询语句,对所述源端数据库和所述目的端数据库中的增量数据依次进行执行增量数据的首批次比对和增量数据的中间批次比对,根据比对结果确定所述源端数据库和所述目的端数据库之间的候选差异数据,并将所述候选差异数据插入增量数据的最后批次比对所要比对的数据文件中;根据所述源端数据查询语句和所述目的端数据查询语句,对所述源端数据库和所述目的端数据库进行执行增量数据的最后批次比对,根据增量数据的最后批次比对结果确定所述源端数据库中的目标差异数据,根据所述目标差异数据确定增量迁移语句,将所述增量迁移语句落盘至所述目的端数据库中。3.根据权利要求2所述的方法,其特征在于,根据增量数据的最后批次比对结果确定所述源端数据库中的目标差异数据,根据所述目标差异数据确定增量迁移语句,将所述增量迁移语句落盘至所述目的端数据库中,包括:根据增量数据的最后批次比对结果确定所述源端数据库中的目标差异数据,确定所述目标差异数据中是否存在待处理字段;若是,则对所述目标差异数据中的待处理字段进行处理,根据处理结果确定增量迁移语句,将所述增量迁移语句落盘至所述目的端数据库中。4.根据权利要求1所述的方法,其特征在于,根据所述源端数据查询语句和所述目的端数据查询语句对所述源端数据库和所述目的端数据库进行全量数据比对,根据全量数据比对结果确定目标迁移语句,将所述目标迁移语句落盘至所述目的端数据库中,包括:根据所述源端数据查询语句和所述目的端数据查询语句分别对源端数据库的全量数据和目的端数据库的全量数据进行查询,确定所述源端数据库的源端库行数据,以及所述目的端数据库的目的库行数据;获取所述源端库行数据的源端数据校验值和所述目的库行数据的目的端数据校验值,将所述源端数据校验值和所述目的端数据校验值进行一致性比对,将一致性比对结果作为全量数据比对结果;根据全量数据比对结果确定目标迁移语句,将所述目标迁移语句落盘至所述目的端数
据库中。5.根据权利要求4所述的方法,其特征在于,根据全量...
【专利技术属性】
技术研发人员:李秋锋,李从兵,沈文宽,黄健,付裕,
申请(专利权)人:金篆信科有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。