数据库数据迁移方法及装置制造方法及图纸

本发明专利技术提供一种数据库数据迁移方法及装置，涉及大数据技术领域。方法包括：获取预先配置的配置文件，所述配置文件包含：源数据库地址、目标数据库地址、数据分配到不同文件的算法、导出生成文件的最大容量；根据所述源数据库地址确定原数据库，将所述原数据库中的数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件；其中，每个导出生成的文件的容量小于所述导出生成文件的最大容量；根据所述目标数据库地址确定目标数据库，将多个导出生成的文件迁移至所述目标数据库。本发明专利技术能够有效提高数据的迁移效率，降低了转存耗时。

【技术实现步骤摘要】
数据库数据迁移方法及装置
本专利技术涉及大数据
，具体涉及一种数据库数据迁移方法及装置。
技术介绍
MySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。Sharding-Sphere是一套开源的分布式数据库中间件解决方案组成的生态圈，能够提供标准化的数据分片、读写分离、柔性事务和数据治理功能，可适用于如Java同构、异构语言、容器、云原生等各种多样化的应用场景。sharding-sphere的执行引擎对数据库的连接方式提供了两种：内存限制模式和连接限制模式，在内存限制模式中(也就是要使用流式查询的场景)，对于每一张表的查询，需要创建一个数据库连接。流式查询中一个MySQL数据库连接同一时间只能为一个ResultSet对象本文档来自技高网...

【技术保护点】
1.一种数据库数据迁移方法，其特征在于，包括：/n获取预先配置的配置文件，所述配置文件包含：源数据库地址、目标数据库地址、数据分配到不同文件的算法、导出生成文件的最大容量；/n根据所述源数据库地址确定原数据库，将所述原数据库中的数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件；其中，每个导出生成的文件的容量小于所述导出生成文件的最大容量；/n根据所述目标数据库地址确定目标数据库，将多个导出生成的文件迁移至所述目标数据库。/n

【技术特征摘要】
1.一种数据库数据迁移方法，其特征在于，包括：
获取预先配置的配置文件，所述配置文件包含：源数据库地址、目标数据库地址、数据分配到不同文件的算法、导出生成文件的最大容量；
根据所述源数据库地址确定原数据库，将所述原数据库中的数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件；其中，每个导出生成的文件的容量小于所述导出生成文件的最大容量；
根据所述目标数据库地址确定目标数据库，将多个导出生成的文件迁移至所述目标数据库。


2.根据权利要求1所述的数据库数据迁移方法，其特征在于，在所述根据所述源数据库地址确定原数据库之后，还包括：
基于扫描线程扫描所述原数据库中的数据，确定符合预设的迁移规则的目标数据；
相对应的，将所述原数据库中的数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件，包括：
将所述原数据库中的目标数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件。


3.根据权利要求2所述的数据库数据迁移方法，其特征在于，所述预设的迁移规则包括：数据的标识字段为待处理或待查询。


4.根据权利要求1所述的数据库数据迁移方法，其特征在于，所述将所述原数据库中的数据按照所述数据分配到不同文件的算法分配到多个文件中得到多个导出生成的文件，包括：
确定所述原数据中数据对应的哈希值，基于所述哈希值将所述原数据中数据分配到多个文件中得到多个导出生成的文件。


5.根据权利要求4所述的数据库数据迁移方法，其特征在于，所述确定所述原数据中数据对应的哈希值，包括：
确定所述原数据库中数据的任意一个字段，根据确定的所述字段进行哈希计算得到对应的哈希值。


6.根据权利要求4所述的数据库数据迁移方法，其特征在于，所述导出生成的文件为CSV文件。


7.根据权利要求1所述的数据库数据迁移方法，其特征在于，所述将多个导出生成的文件迁移至所述目标数据库，包括：
将所述导出生成的文...

【专利技术属性】
技术研发人员：王鑫，冯程，嵇海锋，倪志华，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11