分布式集群数据迁移方法及装置制造方法及图纸

本申请实施例提供一种分布式集群数据迁移方法及装置，涉及大数据处理领域，也可用于金融领域，方法包括：将源数据库中的待迁移数据按照预设数据变形规则进行数据变形，并将经过所述数据变形后的待迁移数据抽取至所述源数据库的目标表中，其中，所述目标表通过预设外表中定义的数据传输端口和IP地址映射至对应的中转机；将所述目标表中的数据抽取至所述外表，并生成中转机数据文件，以使调度服务器根据所述中转机中的目录参数将所述中转机数据文件迁移至对应的目标数据库中；本申请能够有效提高数据迁移效率，节省系统和人力资源。节省系统和人力资源。节省系统和人力资源。

【技术实现步骤摘要】
分布式集群数据迁移方法及装置


[0001]本申请涉及分布式
，也可用于大数据处理或金融领域，具体涉及一种分布式集群数据迁移方法及装置。

技术介绍

[0002]基于大数据分布式集群数据迁移背景下，大批量数据导入/导出的数据迁移场景，目前存在以下几个难点：
[0003]第一，数据迁移涉及生产与测试环境交互，需要提变更申请，导致流程较长。
[0004]第二，传统ORACLE数据库中采用dump方式，使用的是客户端工具程序EXP和IMP。基于生产管控要求，数据在导出前还需要进行变形。大致流程为“数据变形
”→“
dump导出文件
”→“
传输
”→“
dump导入文件”。在dump文件时需要有人关注dump过程，及时发现解决报错，消耗人力；导出的文件存储在调度服务器，会占用存储资源，影响其他程序运行；文件传输速率较低。
[0005]第三，传统分布式数据库进行数据迁移时，需要从数据管理节点向数据节点下发导入\导出任务，并接收处理结果，管理节点的任务压力巨大。
专利技术内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式集群数据迁移方法，其特征在于，所述方法包括：将源数据库中的待迁移数据按照预设数据变形规则进行数据变形，并将经过所述数据变形后的待迁移数据抽取至所述源数据库的目标表中，其中，所述目标表通过预设外表中定义的数据传输端口和IP地址映射至对应的中转机；将所述目标表中的数据抽取至所述外表，并生成中转机数据文件，以使调度服务器根据所述中转机中的目录参数将所述中转机数据文件迁移至对应的目标数据库中。2.根据权利要求1所述的分布式集群数据迁移方法，其特征在于，在所述将源数据库中的待迁移数据按照预设数据变形规则进行数据变形之前，还包括：根据预设外表中定义的待迁移数据位置信息和数据特定分隔符，对源数据库进行待迁移数据识别操作，得到待迁移数据。3.根据权利要求1所述的分布式集群数据迁移方法，其特征在于，所述将源数据库中的待迁移数据按照预设数据变形规则进行数据变形，还包括：根据预设数据变形表确定所述待迁移数据中需要进行数据变形的待变形表和相应的待变形字段。4.根据权利要求2所述的分布式集群数据迁移方法，其特征在于，在所述根据预设数据变形表确定所述待迁移数据中需要进行数据变形的待变形表和相应的待变形字段之后，包括：根据预设变形算法表确定各所述待变形字段对应的变形函数并进行加密变形操作。5.一种分布式集群数据迁移装置，其特征在于，包括：数据变形模块，用于将源数据库中的待迁移数据按照预设数据变形规...

【专利技术属性】
技术研发人员：金童，张世瑛，赵吉昆，梁晔华，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：