数据迁移方法、装置、电子设备及可读存储介质制造方法及图纸

本申请提供了一种数据迁移方法、装置、电子设备及可读存储介质，涉及计算机技术领域。该方法包括：获得至少一个待迁移数据表中各待迁移数据表的数据表信息，其中，数据表信息包括占用空间大小及记录条数；基于均衡分配的方式，根据预设线程数量、各待迁移数据表的占用空间大小及记录条数，确定出多个导出文件块，其中，多个导出文件块的数量为预设线程数量的整数倍，每个导出文件块中的数据记录的条数为整数；通过并发的预设线程数量个线程，对多个导出文件块对应的数据记录进行迁移。如此，通过使用并发均衡处理策略，充分利用数据库的并发性能，可大幅提升数据迁移效率，减少大量迁移时间。移时间。移时间。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及可读存储介质


[0001]本申请涉及计算机
，具体而言，涉及一种数据迁移方法、装置、电子设备及可读存储介质。

技术介绍

[0002]随着系统运行时间越来越长，数据库的数据量日益庞大，当需要进行数据迁移时，耗费的时间很长。经测试一个容量在100G的数据库，即使在主流的高效数据库环境下，做一次单一迁移花费的时间往往也在10小时左右。在对服务器维护时间有着高度敏感限制的运行环境中，快速高效的迁移策略尤为重要。因此，如何快速迁移数据成为本领域技术人员亟需解决的技术问题。

技术实现思路

[0003]本申请实施例提供了一种数据迁移方法、装置、电子设备及可读存储介质，其能够提升数据迁移效率。
[0004]本申请的实施例可以这样实现：
[0005]第一方面，本申请实施例提供一种数据迁移方法，包括：
[0006]获得至少一个待迁移数据表中各待迁移数据表的数据表信息，其中，所述数据表信息包括占用空间大小及记录条数；
[0007]基于均衡分配的方式，根据预设线程数量、各待迁移数据表的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，包括：获得至少一个待迁移数据表中各待迁移数据表的数据表信息，其中，所述数据表信息包括占用空间大小及记录条数；基于均衡分配的方式，根据预设线程数量、各待迁移数据表的占用空间大小及记录条数，确定出多个导出文件块，其中，所述多个导出文件块的数量为所述预设线程数量的整数倍，每个所述导出文件块中的数据记录的条数为整数；通过并发的所述预设线程数量个线程，对所述多个导出文件块对应的数据记录进行迁移。2.根据权利要求1所述的方法，其特征在于，所述多个导出文件块中包括第一文件块和/或第二文件块，所述基于均衡分配的方式，根据预设线程数量、各待迁移数据表的占用空间大小及记录条数，确定出多个导出文件块，包括：确定出所述至少一个待迁移数据表中的第一数据表和/或第二数据表，其中，每个所述第一数据表的占用空间大小大于每个所述第二数据表的占用空间大小，所述至少一个待迁移数据表中除所述第一数据表之外的待迁移数据表为所述第二数据表；基于均衡分配的方式，根据所述预设线程数量及各所述第一数据表的记录条数，确定出多个第一文件块；基于均衡分配的方式，根据所述预设线程数量、各所述第二数据表的占用空间大小和记录条数，确定出多个第二文件块。3.根据权利要求2所述的方法，其特征在于，所述基于均衡分配的方式，根据所述预设线程数量及各所述第一数据表的记录条数，确定出多个第一文件块，包括：依次针对每个第一数据表，根据该第一数据表的记录条数，将该第一数据表中的数据记录平均分配到所述预设线程数量个第一文件块中。4.根据权利要求2所述的方法，其特征在于，所述数据表信息还包括单条记录占用空间大小，所述多个第二文件块的数量为所述预设线程数量，所述基于均衡分配的方式，根据所述预设线程数量、各所述第二数据表的占用空间大小和记录条数，确定出多个第二文件块，包括：根据所述预设线程数量及各所述第二数据表的占用空间大小，计算得到第二文件块容量；依次针对每个所述第二数据表，在该第二数据表的占用空间大小不大于当前第二文件块的剩余空间大小的情况下，将该第二数据表中的数据记录分配到当前第二文件块中，其中，当前第二文件块的剩余空间大小是根据所述第二文件块容量及当前第二文件块已存储的数据记录的条数及对应的单条记录占用空间大小计算得到；在该第二数据表的占用空间大小大于当前第二文件块的剩余空间大小的情况下，根...

【专利技术属性】
技术研发人员：刘璐，
申请(专利权)人：北京像素软件科技股份有限公司，
类型：发明
国别省市：