数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本申请提供一种数据迁移方法、装置、电子设备及存储介质，通过获取迁移配置信息，迁移配置信息包括第一类型的源数据库的配置信息和第二类型的目标数据库的配置信息，配置信息用于对对应类型的数据库中的数据进行读/写操作；基于源数据库的配置信息，从源数据库获取源数据，并将源数据保存为中间数据，中间数据是基于Flink的二维数据；基于目标数据库的配置信息，将中间数据转换为目标数据库的数据格式的目标数据，并对目标数据进行校验，得到校验结果，若校验结果正常，则将目标数据存入目标数据库。标数据库。标数据库。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及存储介质


[0001]本申请涉及大数据及数据存储
，尤其涉及一种数据迁移方法、装置、电子设备及存储介质。

技术介绍

[0002]随着大数据架构的崛起和广泛应用，各企业也在逐步推进传统数据库向大数据架构的迁移，目前已形成大数据架构数据库和传统数据库并存的局面。大数据架构的应用解决了传统数据库在分布式扩展、数据存储、计算时间等方面的扩展能力，同时也带来了架构复杂、技术栈多样、数据结构不统一的问题。
[0003]现有技术中，对于大数据架构下的hive、hbase、hdfs、redis等数据库系统和工具，通常是基于之一进行数据的读写和管理，来实现具体的业务需要。随着业务扩展以及数据规模的不断增加，需要对不同的数据库之间进行数据的融合和迁移。
[0004]然而，由于不同数据库之间的数据结构不统一，导致不同数据库之间的数据迁移难度大，迁移效率低等问题，影响了数据迁移过程中的数据安全性和数据库管理成本。

技术实现思路

[0005]本申请提供一种数据迁移方法、装置、电子设备及存储介质，用以解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：获取迁移配置信息，所述迁移配置信息包括第一类型的源数据库的配置信息和第二类型的目标数据库的配置信息，所述配置信息用于对对应类型的数据库中的数据进行读/写操作；基于所述源数据库的配置信息，从所述源数据库获取源数据，并将所述源数据保存为中间数据，所述中间数据是基于Flink的二维数据；基于所述目标数据库的配置信息，将所述中间数据转换为所述目标数据库的数据格式的目标数据，并对所述目标数据进行校验，得到校验结果，若所述校验结果正常，则将所述目标数据存入所述目标数据库。2.根据权利要求1所述的方法，其特征在于，所述源数据包括多个源数据单元，基于所述源数据库的配置信息，从所述源数据库获取源数据，并将所述源数据保存为中间数据，包括：获取预设的数据导出对象，所述数据导出对象包括导出参数，所述数据导出对象用于从所述导出参数指示的数据库中流式读取各所述源数据单元；基于所述源数据库的配置信息，得到所述数据导出对象的导出参数，并调用所述数据导出对象，流式读取所述源数据库内的各源数据单元；将得到的所述源数据单元以所述二维数据的格式依次写入内存，得到所述中间数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：在每次读取所述源数据库内的源数据单元之后，检测当前的源数据单元对应的读取结果，所述读取结果表征是否成功读取所述源数据单元；根据所述读取结果，若成功读取所述当前的源数据单元，则记录将所述当前的源数据单元对应的数据标识；若未成功读取所述源数据单元，则基于上一源数据单元对应的校验标识，重新调用所述数据读取对象读取所述当前的源数据单元。4.根据权利要求1所述的方法，其特征在于，所述中间数据包括多个中间数据单元，所述基于所述目标数据库的配置信息，将所述中间数据转换为所述目标数据库的数据格式的目标数据，包括：获取预设的数据导入对象，所述数据导入对象包括导入参数，所述数据导入对象用于将所述中间数据单元转换为与所述导入参数指示的数据库的数据格式匹配的目标数据；基于所述目标数据库的配置信息，得到所述数据导入对象的导入参数，并调用所述数据导入对象，将中间数据单元转换为所述目标数据。5.根据权利要求1所述的方...

【专利技术属性】
技术研发人员：程勇，
申请(专利权)人：中国农业银行股份有限公司，
类型：发明
国别省市：