异构数据库迁移及数据比对方法、装置、设备和存储介质制造方法及图纸

本发明专利技术公开了一种异构数据库迁移及数据比对方法、装置、设备和存储介质。该方法包括：创建多级线程池，所述多级线程池包括父级线程池和子级线程池；在所述父级线程池执行任务，根据分库分表策略，将第一数据库中的待导出数据进行分析，得到拆分条件和数据特征，并生成子任务；在所述子级线程池执行所述子任务，根据所述拆分条件，将所述第一数据库的待导出数据导出；将导出的数据进行转码，并导入对应的第二数据库中；采用余弦相似度算法，将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正。与现有技术相比，本发明专利技术实施例解决了数据库迁移无法兼顾效率和成本的问题，以及解决了数据比对无法兼顾效率和数据迁移质量的问题。据迁移质量的问题。据迁移质量的问题。

【技术实现步骤摘要】
异构数据库迁移及数据比对方法、装置、设备和存储介质


[0001]本专利技术涉及大数据
，尤其涉及一种异构数据库迁移及数据比对方法、装置、设备和存储介质。

技术介绍

[0002]随着业务发展及技术栈转型的现状，商业银行等企业面临异构数据库(非同种数据库)之间进行数据迁移的需求。其中，由于商业银行对客户的各类数据具有强依赖性，迁移前后数据需要具有较强的一致性。基于此，设计异构数据库数据迁移及效率较高的数据一致性比对机制，方便银行系统进行数据迁移，并且保证迁移前后数据具备较强的一致性尤为重要。
[0003]在现有技术中，数据库迁移的方法有两种，一种是系统部署于hadoop集群上，该方法规模较大，成本代价较高，在非海量数据迁移时，会造成资源浪费；另一种是单表导入导出作为单个任务节点；该方法无法实现单表导入导出并行，在单表数据量级大时，效率无法提升。迁移前后数据比对方法有两大类，一类是数据行数比对的方法，该方法比对粗略，容易忽略某些异常情况；另一类是逐条对比的方法，该方法效率低。

技术实现思路

[0004]本专利技术提供了一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种异构数据库迁移及数据比对方法，其特征在于，包括：创建多级线程池，所述多级线程池包括父级线程池和子级线程池；在所述父级线程池执行任务，根据分库分表策略，将第一数据库中的待导出数据进行分析，得到拆分条件和数据特征，并生成子任务；在所述子级线程池执行所述子任务，根据所述拆分条件，将所述第一数据库的待导出数据导出；将导出的数据进行转码，并导入对应的第二数据库中；采用余弦相似度算法，将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正。2.根据权利要求1所述的异构数据库迁移及数据比对方法，其特征在于，所述任务的状态包括：待导出状态、扫描中状态和完成导入状态中的一种；所述子任务的状态包括：待拆分状态、拆分中状态、待导入状态、导入中状态、完成导入、确认中和完成确认状态中的一种。3.根据权利要求2所述的异构数据库迁移及数据比对方法，其特征在于，在所述父级线程池执行任务，包括：定期扫描导出任务表，查找到所述导出任务表中的待导出状态的任务；将查找到的所述任务的状态修改为扫描中；根据分库分表策略，将第一数据中的待导出数据进行分析，得到拆分条件和数据特征；根据所述拆分条件和所述数据特征生成子任务；将所述子任务插入拆分任务表，并将所述子任务的状态设置为待拆分状态；对比和校正完成后，将所述任务的状态修改为扫描完成。4.根据权利要求2所述的异构数据库迁移及数据比对方法，其特征在于，执行将所述第一数据库的待导出数据导出包括：所述子级线程池扫描拆分任务表，查找到所述拆分任务表中的待拆分状态的子任务；将查找到的所述子任务的状态修改为拆分中；根据所述拆分条件，将所述第一数据库的待导出数据导出；将导出数据的所述子任务的状态修改为待导入。5.根据权利要求2所述的异构数据库迁移及数据比对方法，其特征在于，执行将导出的数据进行转码，并导入对应的第二数据库中，包括：若拆分任务表中无待拆分状态的子任务，则所述子级线程池扫描所述拆分任务表，查找到所述拆分任务表中的待导入状态的子任务；将查找到的所述子任务的状态修改为导入中；将导出的数据进行转码，并导入对应的所述第二数据库中；将导入完成的所述子任务的状态修改为完成导入。6.根据权利要求2所述的异构数据库迁移及数据比对方法，其特征在于，执行将所述第一数据库导出的数据和所述第二数据库导入的数据进行对比和校正，包...

【专利技术属性】
技术研发人员：常严，王雪梅，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：