数据迁移方法、装置、存储介质及服务器制造方法及图纸

本申请实施例公开了一种数据迁移方法、装置、存储介质及服务器，属于数据库技术领域。所述方法包括：确定待迁移的数据表中的迁移对象，所述迁移对象为有分区的数据表中的最小粒度分区或无分区的数据表；对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数；根据所述线程数对所述迁移对象进行分片，得到多个数据分片，每个数据分片对应于一个线程；利用各个线程并行对对应的数据分片进行迁移。本申请实施例可以将数据表划分成数据分片，再通过多个线程并行对数据分片进行迁移，从而减少数据迁移的耗时，提高数据迁移的效率。

Data migration methods, devices, storage media and servers

【技术实现步骤摘要】
数据迁移方法、装置、存储介质及服务器
本申请实施例涉及数据库
，特别涉及一种数据迁移方法、装置、存储介质及服务器。
技术介绍
数据库中存储有大量的数据，在某些应用场景下，需要将数据库中的数据从源设备迁移至目的设备。其中，源设备是提供迁移的数据的设备，目标设备是接收迁移的数据的设备。相关技术中，服务器可以创建一个进程，通过该进程调用exp导出工具，通过该exp导出工具从源设备获取数据；再通过imp导入工具将该数据发送给目标设备。由于数据库中的数据通常以表格形式存储，所以，服务器可以通过单线程来迁移整个数据表。当数据表中的数据量较大时，会导致数据迁移的耗时较长，从而影响数据迁移的效率。
技术实现思路
本申请实施例提供了一种数据迁移方法、装置、存储介质及服务器，用于解决单线程迁移整个数据表，导致数据迁移的耗时较长，从而影响数据迁移的效率的问题。所述技术方案如下：一方面，提供了一种数据迁移方法，所述方法包括：确定待迁移的数据表中的迁移对象，所述迁移对象为有分区的数据表中的最小粒度分区或无本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，其特征在于，所述方法包括：/n确定待迁移的数据表中的迁移对象，所述迁移对象为有分区的数据表中的最小粒度分区或无分区的数据表；/n对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数；/n根据所述线程数对所述迁移对象进行分片，得到多个数据分片，每个数据分片对应于一个线程；/n利用各个线程并行对对应的数据分片进行迁移。/n

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：
确定待迁移的数据表中的迁移对象，所述迁移对象为有分区的数据表中的最小粒度分区或无分区的数据表；
对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数；
根据所述线程数对所述迁移对象进行分片，得到多个数据分片，每个数据分片对应于一个线程；
利用各个线程并行对对应的数据分片进行迁移。


2.根据权利要求1所述的方法，其特征在于，所述对于每个迁移对象，计算所述迁移对象在迁移过程中所需使用的线程数，包括：
获取每个迁移对象的对象信息，所述对象信息是所述迁移对象中预定N个字段的字段信息，N为正整数；
对于每个迁移对象，将所述迁移对象的对象信息输入预设的评分模型中，得到预期迁移耗时，所述评分模型用于根据所述预定N个字段的字段信息计算每个迁移对象的预期迁移耗时；
根据每个迁移对象的预期耗时评分计算每个迁移对象所需使用的线程数。


3.根据权利要求2所述的方法，其特征在于，所述根据每个迁移对象的预期耗时评分计算每个迁移对象所需使用的线程数，包括：
获取源设备的第一中央处理器CPU线程数和目的设备的第二CPU线程数，所述源设备是提供迁移的数据的设备，所述目标设备是接收迁移的数据的设备；
计算所有迁移对象的预期耗时评分中的最大值减去最小值的差值，并取所述第一CPU线程数和所述第二CPU线程数中的最小值，将所述差值除以所述最小值，得到第一中间数值；
对于每个迁移对象，将所述第一中间数值乘以所述迁移对象的预期耗时评分，对得到的第二中间数值进行向下取整，得到所述迁移对象所需使用的线程数。


4.根据权利要求2所述的方法，其特征在于，在所述将所述迁移对象的对象信息输入预设的评分模型中之前，所述方法还包括：
获取预设的训练集和测试集，所述训练集中包括用于训练所述评分模型的数据表，所述测试集中包括用于测试所述评分模型的数据表；
分别对所述训练集和所述测试集中的数据表中M个字段的数据进行量化，M≥N；
根据量化后的数据表，从所述M个字段中选择N个字段；
根据所述训练集中所述N个字段的数据训练所述评分模型，直至根据所述测试集中所述N个字段的数据对...

【专利技术属性】
技术研发人员：杨帆，王杰，尚应，
申请(专利权)人：南京甄视智能科技有限公司，
类型：发明
国别省市：江苏;32