数据迁移方法和装置、电子设备、存储介质制造方法及图纸

技术编号:32435846 阅读:40 留言:0更新日期:2022-02-24 19:10
本申请实施例提供的数据迁移方法和装置、电子设备、存储介质,涉及数据库技术领域。该数据迁移方法,包括:获取来自原始数据库的源数据;接收客户端发送的迁移请求信息;迁移请求信息包括源数据的数据属性参数;根据数据属性参数生成迁移策略;根据迁移策略将源数据迁移到目的数据库。本申请实施例提供的数据迁移方法提升了数据迁移的效率。法提升了数据迁移的效率。法提升了数据迁移的效率。

【技术实现步骤摘要】
数据迁移方法和装置、电子设备、存储介质


[0001]本申请实施例涉及数据库
,尤其涉及一种数据迁移方法和装置、电子设备、存储介质。

技术介绍

[0002]信息业务的发展带来了数据量的与日俱增,数据库在信息系统中承担着不可或缺的数据桥梁作用。例如,分布式数据库是用计算机网络将物理上分散的多个数据库单元连接起来组成的一个逻辑上统一的数据库,有着存储量大、业务并发量高、可扩展性好的特点,故其应用日益广泛。在分布式数据库的应用场景中,数据的跨数据库迁移是常见操作,这对可靠的数据迁移技术提出了更高的要求。
[0003]当前的数据迁移方法主要采取的迁移方式是简单多线程迁移,将原始数据库的数据库按照表或者文件策略进行多线程数据迁移,不同源表或文件的数据不均匀导致整体迁移时间较长,迁移效率较低。

技术实现思路

[0004]以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
[0005]本申请实施例提供一种数据迁移方法和装置、电子设备、存储介质,能够有效提高数据迁移的效率。
>[0006]第一方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法,其特征在于,包括:获取来自原始数据库的源数据;接收客户端发送的迁移请求信息;所述迁移请求信息包括所述源数据的数据属性参数;根据所述数据属性参数生成迁移策略;根据所述迁移策略将所述源数据迁移到目的数据库。2.根据权利要求1所述的方法,其特征在于,数据属性参数包括以下的一种或多种:表数量参数、表数据量参数、行数量参数。3.根据权利要求2所述的方法,其特征在于,所述迁移策略包括导出策略、导入策略;所述根据所述迁移策略将所述源数据迁移到目的数据库,包括:根据所述导出策略将所述源数据转化为中间文件;根据所述导入策略将所述中间文件迁移到所述目的数据库。4.根据权利要求3所述的方法,其特征在于,所述导出策略包括导出进线程策略;所述根据所述导出策略将所述源数据转化为中间文件,包括:根据所述数据属性参数配置导出进程数量和导出线程数量;根据所述导出进程数量、所述导出线程数量和所述数据属性参数,将数据均匀分配到对应导出线程进行数据导出,生成所述中间文件。5.根据权利要求3所述的方法,其特征在于,所述导出策略包括数据落盘策略,所述根据所述导出策略将所述源数据转化为中间文件,包括:获取预设的文件划分规则;所述文件划分规则包括生成每一所述中间文件的数据量数或数据行数;根据所述文件划分规则,将所述源数据对应导出为至少一个中间文件。6.根据权利要求3所述的方法,其特征在于,所述导入策略包括导入进线程策略;所述根据所述导入策略将所述中间文件迁移到所述目的数据库,包括:根据所述数据属性参数配置导入进程数量和导入线程数量;根据所述导入进程数量、所述导入线程数量和所述数据属性参数,将数据均匀分配到对应导入线程进行数据导入,将所述中间文件迁移到所述目的数据库。7.根据权利要求6所述的方法,其特征在于,所述根据所述数据属性参数生成迁移策略,包括:根据所述表数量参数和所述表数据量参数进行预测处理,得到中间参数;根据所述中间参数生成所述导入进线程策略。8.根据权利要求3所述的方法,其特征在于,所述目的数据库包括多个分区;所述导入策略包括数据分发策略;所述根据所述导入策略将所述中间文件迁移到所述目的数据库,包括:获取分发键信息;根据所述分发键信息,获取与所述分发键信息相匹配的所述中间文件;将所述中间文件迁移到所述目的数据库对应的分区。9.根据权利要求8所述的方法,其特征在于,所述中间文件包括基础数据和业务数据,所述获取分发键信息,还包括:
获取所述基础数据的优先级;根据所述优先级对所述基础数据进行排序处理,得到排序结果;根据所述排序结果进行关键字段查询匹配处理,得到与所述业务数据关联的所述基础数据;获取与所述业务数据关联的所述基础数据对应的所述分发键。10.根据权利要求8或9任一项所述的方法,其特征在于,所述分发键信息至少包括以下任一种...

【专利技术属性】
技术研发人员:王增臣沈文宽侯博文付裕黄健
申请(专利权)人:中兴通讯股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1