数据库间大数据表批量迁移的方法、系统、设备和介质技术方案

本发明专利技术提供一种数据库间大数据表批量迁移的方法、系统、设备和介质，方法包括：根据所需要迁移的数据表，生成一对应的配置文件，所述配置文件包括至少一行，所述每一行对应10个配置列，所述每个配置列为：源数据库、源数据库表名、源编码方式、目标数据库、目标数据库数据表名、目标数据库编码方式、迁移方式、迁移依据字段、开始数值以及结束数值；循环读取配置文件，进行数据表的批量迁移，降低了开发人员数据迁移的难度以及迁移工作量。据迁移的难度以及迁移工作量。据迁移的难度以及迁移工作量。

【技术实现步骤摘要】
数据库间大数据表批量迁移的方法、系统、设备和介质


[0001]本专利技术涉及计算机
，特别涉及一种数据库间大数据表批量迁移的方法、系统、设备和介质。

技术介绍

[0002]近年以来，数据爆炸式增长，市面上数据库产品的不断丰富，国产数据库产品也异军突起，行业竞争的不断加剧，数据库产品更新换代速度也随之提高。银行内部多年来开发诸多内部管理系统，随着数据库产品的更新换代，内部系统之间数据库产品的选择也逐渐多样化，出现了需要在不同的数据库产品间进行数据迁移的情况。但是市面上不同的数据库厂商基本仅针对自家的数据库产品提供数据导入或导出操作，未曾考虑过自家的数据如何导入到其他的厂商的数据库中的情况。而且在数据的导入导出过程中，如果数据表的记录数特别多，达到几十亿或上百亿，经常会由于各种各样的问题导致数据迁移失败的情况。

技术实现思路

[0003]本专利技术要解决的技术问题，在于提供一种数据库间大数据表批量迁移的方法、系统、设备和介质，降低了开发人员数据迁移的难度以及迁移工作量。
[0004]第一方面，本专利技术提供了一种数据库本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据库间大数据表批量迁移的方法，其特征在于：包括：步骤1、根据所需要迁移的数据表，生成一对应的配置文件，所述配置文件包括至少一行，所述每一行对应10个配置列，所述每个配置列为：源数据库、源数据库表名、源编码方式、目标数据库、目标数据库数据表名、目标数据库编码方式、迁移方式、迁移依据字段、开始数值以及结束数值；步骤2、循环读取配置文件，进行数据表的批量迁移；其中，通过源数据库和源数据库表名设定数据表建表脚本的获取方式；通过目标数据库以及目标数据库数据表名确定目标数据库的建表方式，并确定目标数据库的数据文件导入命令的选择；基于源编码方式与目标数据库编码方式的比较，进行判断在数据文件生成之后是否需要进行编码转换，如果源编码方式与目标数据库编码方式不一致，则需要进行编码转换，若一致，则无需进行编码转换；迁移方式包括拆分迁移和整体迁移。2.根据权利要求1所述的一种数据库间大数据表批量迁移的方法，其特征在于：根据数据表的记录数量选择拆分方式，若数据表的记录数在设定范围内，则选择整体迁移的方式；若数据表的记录数不在设定范围内，则采用拆分迁移的方式；采用拆分迁移的方式时，基于迁移依据字段、开始数值以及结束数值的组合，形成拆分规则。3.根据权利要求1所述的一种数据库间大数据表批量迁移的方法，其特征在于：所述步骤2进一步具体为：循环读取配置文件，进行数据表的批量迁移；每一次迁移过程完成之后，根据配置文件的源数据库表名、目标数据库数据表名、迁移方式、迁移依据字段、开始数值以及结束数值，生成数据表记录数查询SQL脚本，分别获取源数据表的记录数与目标数据表的记录数，进行比较是否一致，并记录至日志。4.一种数据库间大数据表批量迁移的系统，其特征在于：包括：设置模块，根据所需要迁移的数据表，生成一对应的配置文件，所述配置文件包括至少一行，所述每一行对应1...

【专利技术属性】
技术研发人员：曾钊，饶龙翔，钱美旋，
申请(专利权)人：中国农业银行股份有限公司福建省分行，
类型：发明
国别省市：