数据迁移的控制方法、系统、计算机设备和存储介质技术方案

本申请涉及一种数据迁移的控制方法、系统、计算机设备和存储介质。所述方法包括：根据待迁移数据表的存储容量得到第一分类文件和第二分类文件，第一分类文件包括第一待迁移数据表，第二分类文件包括第二待迁移数据表；根据第一待迁移数据表获取镜像数据表，将镜像数据表写入第一导出文件中；根据第二待迁移数据表的存储容量和主键值，计算迁移范围，根据迁移范围读取第二待迁移数据表，根据读取结果调整迁移范围，根据调整后的迁移范围读取第二待迁移数据表，遍历读取结果，得到至少一个子数据表，并进行存储，将至少一个子数据表写入第二导出文件中，并进行还原得到原第二待迁移数据。采用本方法能在数据迁移时，降低人力和物力的耗费。力的耗费。力的耗费。

【技术实现步骤摘要】
数据迁移的控制方法、系统、计算机设备和存储介质


[0001]本申请涉及数据处理
，特别是涉及一种数据迁移的控制方法、系统、计算机设备和存储介质。

技术介绍

[0002]HBase(Hadoop Database)，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，在HBase数据库中，时常有数据迁移的场景，根据场景的不同，迁移数据可以达到几十TB、上百TB或者上PB级别的数据，在迁移的表格数据中，也时常达到几百张的表格。
[0003]在数据迁移的过程中，对于数据量较大的数据，需要人为的监控和查看，且当数据量较大时，一个迁移任务可能需要几个小时，或者十几个小时的监控与查看，导致人力和物力的耗费。

技术实现思路

[0004]基于此，提供一种数据迁移的控制方法、系统、计算机设备和存储介质，以降低在数据迁移的过程中，对人力和物力的耗费。
[0005]一方面，提供一种数据迁移的控制方法，所述方法包括：
[0006]获取待迁移数据表的存储容量，根据所述存储容量得到第一分类文件和第二分类文件，其中，所述第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移的控制方法，其特征在于，所述方法包括：获取待迁移数据表的存储容量，根据所述存储容量得到第一分类文件和第二分类文件，其中，所述第一分类文件中包括第一待迁移数据表，所述第一待迁移数据表的存储容量小于或等于预设阈值，所述第二分类文件中包括第二待迁移数据表，所述第二待迁移数据表的存储容量大于所述预设阈值；根据所述第一待迁移数据表获取镜像数据表，将所述镜像数据表写入第一导出文件中，以使所述第一待迁移数据表迁移至所述第一导出文件中；获取所述第二待迁移数据表的存储容量和主键值，根据所述存储容量和所述主键值，计算所述第二待迁移数据表的迁移范围，根据所述迁移范围读取所述第二待迁移数据表，获取读取结果，根据所述读取结果调整所述迁移范围，并根据调整后的迁移范围读取所述第二待迁移数据表，遍历所述读取结果，得到至少一个子数据表，并进行存储，将所述至少一个子数据表写入第二导出文件中，根据来自于所述第二导出文件中的所述至少一个子数据表，得到对应的所述第二待迁移数据，以使所述第二待迁移数据表迁移至所述第二导出文件中。2.根据权利要求1所述的数据迁移的控制方法，其特征在于，还包括：判定根据所述第一待迁移数据表获取镜像数据表失败时，将所述第一待迁移数据表获取失败的次数加1，并判断所述第一待迁移数据表获取失败的次数是否达到预设的最大重试次数；若是，将所述第一待迁移数据表写入第一失败文件中；若否，根据所述第一待迁移数据表获取镜像数据表。3.根据权利要求2所述的数据迁移的控制方法，其特征在于，还包括：判断所述第一分类文件中的所述第一待迁移数据表是否被全部迁移；若是，得到第一导出文件和第一失败文件，结束迁移；若否，继续迁移所述第一分类文件中的剩余所述第一待迁移数据表。4.根据权利要求1所述的数据迁移的控制方法，其特征在于，根据所述存储容量和所述主键值，计算所述第二待迁移数据表的迁移范围的步骤包括:根据所述第二待迁移数据表的所述存储容量和预设的初始迁移存储容量的商，得到所述第二待迁移数据表的迁移次数；根据所述第二待迁移数据表的所述主键值和所述迁移次数的商，得到所述第二待迁移数据表的迁移步长，根据所述迁移步长确定所述迁移范围。5.根据权利要求4所述的数据迁移的控制方法，其特征在于，根据所述迁移范围读取所述第二待迁移数据表，获取读取结果，根据所述读取结果调整所述迁移范围的步骤包括：判断根据所述迁移范围读取所述第二待迁移数据表是否成功；若是，增大所述迁移步长；若否，减小所述迁移步长。6.根据权利...

【专利技术属性】
技术研发人员：胡永泽，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：