大容量数据移行方法及装置制造方法及图纸

本申请提供了一种大容量数据移行方法及装置，涉及数据处理领域，可应用于金融领域和其他领域，所述方法包含：根据移行需求生成移行表清单，并提取源数据库与目标数据库的连接信息和目标数据库的格式要求；根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行；根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件；将所述移行数据文件导入所述目标数据库。据库。据库。

【技术实现步骤摘要】
大容量数据移行方法及装置


[0001]本申请涉及数据处理领域，可应用于金融领域和其他领域，尤指一种大容量数据移行方法及装置。

技术介绍

[0002]随着科技的进步，金融行业系统软件逐步开始向自主可控的技术栈转型，Gauss高斯数据库作为同类型产品的领先者是企业级关系型数据库自主可控转型的一个很好的选择，然而异构数据库间大容量数据移行一直是数据库产品替换的一个痛点。从实际实施经验来看，无论是产品提供方提供的解决方案或是第三方的移行工具都存在瑕疵，对项目实施存在不可控的因素。
[0003]现有技术中，SQLServer管理系统数据库作为目前市场占有率较小的产品无论制造商或者第三方都没有成熟的数据移行方案或最佳实践案例。因此急需一种方法解决这一痛点更好地支持SQLServer产品的自主可控转型的实施。

技术实现思路

[0004]本申请目的在于提供一种大容量数据移行方法及装置，通过对SQLServer和GaussDB在不同运行环境特性的概括和总结，实现通用的数据库数据移行。
[0005]为达上述目的，本申请所提供的大容量数据移行方法，具体包含：根据移行需求生成移行表清单，并提取源数据库与目标数据库的连接信息和目标数据库的格式要求；根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行；根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件；将所述移行数据文件导入所述目标数据库。
[0006]在上述大容量数据移行方法中，可选的，根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行包含：根据所述移行表清单和所述目标数据库的连接信息访问源数据库生成目标数据库建表脚本；将所述目标数据库建表脚本于目标数据库中执行。
[0007]在上述大容量数据移行方法中，可选的，根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件包含：根据移行需求获得导出的数据文件的文件格式；根据所述源数据库的连接信息和所述移行表清单提取对应的导出数据，根据所述文件格式将所述导出数据转换生成提取数据文件。
[0008]在上述大容量数据移行方法中，可选的，所述文件格式包含UTF或GBK。
[0009]在上述大容量数据移行方法中，可选的，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件包含：根据所述格式要求获得非法字符描述清单，根据所述非法字符描述清单对所述提取数据文件进行数据清洗获得待转制文本；根据所述格式要求将所述待转制文本转换为目标数据库对应的文本格式获得移行数据文件。
[0010]在上述大容量数据移行方法中，可选的，根据所述格式要求将所述待转制文本转换为目标数据库对应的文本格式获得移行数据文件包含：获取源数据库与目标数据库之间的字段映射关系，根据所述字段映射关系将所述待转制文本转换为目标数据库对应的文本格式获得移行数据文件。
[0011]在上述大容量数据移行方法中，可选的，所述源数据库为SQLServer数据库，所述目标数据库为Gauss数据库。
[0012]本申请还提供一种大容量数据移行装置，所述装置包含：提取模块、执行模块、处理模块和导入模块；所述提取模块用于根据移行需求生成移行表清单，并提取源数据库与目标数据库的连接信息和目标数据库的格式要求；所述执行模块用于根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行；所述处理模块用于根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件；所述导入模块用于将所述移行数据文件导入所述目标数据库。
[0013]本申请还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0014]本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。
[0015]本申请的有益技术效果在于：从目标数据库的建表，数据导出，数据清理，最后到数据导入提供一揽子解决方案，为应用的平台关系数据库转型提供稳定、可靠的解决方案；填补了SQLServer至GaussDB数据库大容量数据移行的技术空缺，为基于SQLServer数据库的应用的自主可控转型的平台选型提供了更多的选项；规范了数据从SQLServer数据库迁移至GaussDB的流程，在项目项目管理层面能够较为准确的评估数据移行的投入成本。在投产层面可以准确的预估投产所需要的各项资源，降低项目转型过程中存在的潜在风险；通过简单的适配也可应用于其他异构数据库的移行工作。
附图说明
[0016]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，并不构成对本申请的限定。在附图中：
[0017]图1为本申请一实施例所提供的大容量数据移行方法的流程示意图；
[0018]图2为本申请一实施例所提供的建表脚本的生成流程示意图；
[0019]图3为本申请一实施例所提供的提取数据文件的生成流程示意图；
[0020]图4为本申请一实施例所提供的移行数据文件的生成流程示意图；
[0021]图5为本申请一实施例所提供的大容量数据移行装置的逻辑结构示意图；
[0022]图6为本申请一实施例所提供的大容量数据移行装置的应用结构示意图；
[0023]图7为本申请一实施例所提供的表结构生成组件的运行原理示意图；
[0024]图8为本申请一实施例所提供的数据导出组件的运行原理示意图；
[0025]图9为本申请一实施例所提供的数据清洗组件的运行原理示意图；
[0026]图10为本申请一实施例所提供的数据导入组件的运行原理示意图；
[0027]图11为本申请一实施例所提供的电子设备的结构示意图。
具体实施方式
[0028]以下将结合附图及实施例来详细说明本申请的实施方式，借此对本申请如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本申请中的各个实施例及各实施例中的各个特征可以相互结合，所形成的技术方案均在本申请的保护范围之内。
[0029]另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0030]请参考图1所示，本申请所提供的大容量数据移行方法，具体包含：
[0031]S101根据移行需求生成移行表清单，并提取源数据库与目标数据库的连接信息和目标数据库的格式要求；
[0032]S102根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行；
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种大容量数据移行方法，其特征在于，所述方法包含：根据移行需求生成移行表清单，并提取源数据库与目标数据库的连接信息和目标数据库的格式要求；根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行；根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件；将所述移行数据文件导入所述目标数据库。2.根据权利要求1所述的大容量数据移行方法，其特征在于，根据所述移行表清单、源数据库与目标数据库的连接信息生成建表脚本并于目标数据库中执行包含：根据所述移行表清单和所述目标数据库的连接信息访问源数据库生成目标数据库建表脚本；将所述目标数据库建表脚本于目标数据库中执行。3.根据权利要求1所述的大容量数据移行方法，其特征在于，根据所述源数据库的连接信息和所述移行表清单提取对应数据生成提取数据文件包含：根据移行需求获得导出的数据文件的文件格式；根据所述源数据库的连接信息和所述移行表清单提取对应的导出数据，根据所述文件格式将所述导出数据转换生成提取数据文件。4.根据权利要求3所述的大容量数据移行方法，其特征在于，所述文件格式包含UTF或GBK。5.根据权利要求1所述的大容量数据移行方法，其特征在于，通过所述格式要求对所述提取数据文件进行格式转制和数据清洗获得移行数据文件包含：根据所述格式要求获得非法字符描述清单，根据所述非法字符描述清单对所述提取数据文件进行数据清洗获得待转制文本；根据所述...

【专利技术属性】
技术研发人员：屠方轫，朱义毅，林振溪，李冰，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：