数据迁移方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种大数据领域，揭露了一种数据迁移方法，包括：获取待迁移数据集，对所述待迁移数据集进行数据清洗，得到标准数据集；在预设的数据迁移数据库中配置所述标准数据集的数据迁移目标表、数据迁移任务表以及数据迁移运行表；在所述数据迁移任务表中划分所述标准数据集的迁移区间，并将所述迁移区间插入至所述数据迁移运行表中；根据所述数据迁移运行表的迁移区间，将所述标准数据集迁移至所述数据迁移目标表中。本发明专利技术还提出一种数据迁移装置、电子设备以及存储介质。此外，本发明专利技术还涉及区块链技术，所述标准数据集可存储于区块链中。本发明专利技术可以提高数据迁移的效率。本发明专利技术可以提高数据迁移的效率。本发明专利技术可以提高数据迁移的效率。

【技术实现步骤摘要】
数据迁移方法、装置、电子设备及存储介质


[0001]本专利技术涉及大数据领域，尤其涉及一种数据迁移方法、装置、电子设备及计算机可读存储介质。

技术介绍

[0002]数据迁移是指从一个数据库的数据通过抽取、转换、加载到另一个数据库的过程，目前常用的数据迁移工具有DataPipeline、Sqoop等。但是通过数据迁移工具实现数据迁移时，容易出现过因抽数工具运行异常或者迁移源数据库或者目标数据库异常而导致数据迁移失败，当出现数据迁移异常时，通常会重新启动数据迁移任务，这样容易耗费大量的数据迁移时间，从而会影响整个数据的迁移效率。

技术实现思路

[0003]本专利技术提供一种数据迁移方法、装置、电子设备及计算机可读存储介质，其主要目的在于提高数据迁移的效率。
[0004]为实现上述目的，本专利技术提供的一种数据迁移方法，包括：
[0005]获取待迁移数据集，对所述待迁移数据集进行数据清洗，得到标准数据集；
[0006]在预设的数据迁移数据库中配置所述标准数据集的数据迁移目标表、数据迁移任务表以及数据迁移运行表；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据迁移方法，其特征在于，所述方法包括：获取待迁移数据集，对所述待迁移数据集进行数据清洗，得到标准数据集；在预设的数据迁移数据库中配置所述标准数据集的数据迁移目标表、数据迁移任务表以及数据迁移运行表；在所述数据迁移任务表中划分所述标准数据集的迁移区间，并将所述迁移区间插入至所述数据迁移运行表中；根据所述数据迁移运行表的迁移区间，将所述标准数据集迁移至所述数据迁移目标表中。2.如权利要求1所述的数据迁移方法，其特征在于，所述对所述待迁移数据集进行数据清洗，得到标准数据集，包括：对所述待迁移数据集进行去重操作，并检测去重后的所述待迁移数据集中是否存在数据缺失值；若不存在数据缺失值，则将去重后的所述待迁移数据集作为标准数据集；若存在数据缺失值，则对所述数据缺失值进行填充，得到标准数据集。3.如权利要求2所述的数据迁移方法，其特征在于，所述对所述数据缺失值进行填充，包括：利用下述方法对所述数据缺失值进行填充：其中，L(θ)表示填充的数据缺失值，x
i
表示第i个数据缺失值，θ表示填充的数据缺失值对应的概率参数，n表示去重后的所述待迁移数据集的数量，p(x
i
|θ)表示填充的数据缺失值概率。4.如权利要求1所述的数据迁移方法，其特征在于，所述在所述数据迁移任务表中划分所述标准数据集的迁移区间，包括：在所述数据迁移任务表中获取所述标准数据集的数据迁移任务；识别所述数据迁移任务的迁移数据量；根据所述迁移数据量在所述数据迁移任务表中进行迁移区间划分。5.如权利要求1所述的数据迁移方法，其特征在于，所述将所述迁移区间插入至所述数据迁移运行表中，包括：获取所述迁移区间的迁移记录，及所述迁移记录在所述数据迁移运行表中的插入地址；在所述插入地址中定义一个标识位，并在所述标识位中添加所述迁移记录...

【专利技术属性】
技术研发人员：魏浩，
申请(专利权)人：平安普惠企业管理有限公司，
类型：发明
国别省市：