一种复杂存储结构的信息系统间的数据迁移系统技术方案

本发明专利技术公开了一种复杂存储结构的信息系统的数据迁移方法，包括如下步骤：实例化数据库数据源后初始化，配置一个数据传输项目实例；解析数据传输项目实例的配置，根据配置构建作业流程；将作业流程组合为多个不同的任务指令批次后执行；根据任务指令批次的类型，顺序执行不同批次的任务指令，并发执行同一批次内的任务；完成执行后更新执行进度。本发明专利技术所述的复杂存储结构的信息系统的数据迁移方法，在复杂存储结构和复杂业务需求场景下将业务数据从来源端的系统信息系统经过抽取，转换，加载至目标端的信息系统，并保证迁移后的数据满足目标信息系统的业务逻辑上的一致性和正确性。确性。确性。

【技术实现步骤摘要】
一种复杂存储结构的信息系统间的数据迁移系统


[0001]本专利技术属于领域，具体涉及一种复杂存储结构的信息系统间的数据迁移系统。

技术介绍

[0002]随着企业的业务有较大程序的发展，支撑企业业务的信息系统通常就需要重构或重建，为了保证业务的连贯性，就需要把业务数据从旧的业务系统迁移到新的业务系统。当信息系统的数据量很大时，新旧信息系统的数据存储结构会有较大变化的重构，已有业务数据需要分批次逐步迁移业务数据到新的信息系统。
[0003]目前比较流行的数据传输技术有Kettle等工具，这类工具的工作原理如下：(1)创建数据传输任务，使用简单的脚本语言配置来源端的关系型数据库的数据表和数据字段，目标端的关系型数据库的数据表和数据字段。来源端的数据字段配置也可用查询SQL替代。从而实现来源端的数据抽取，目标端的数据加载逻辑。(2)在数据传输任务中，使用简单的脚本语言配置来源端和目标端的数据字段映射关系。从而实现数据的转换逻辑。(3)在数据传输任务中，配置来源端和目标端的关系型数据库的数据源，主要是连接地址、用户和密码。(4)将多个数据传输任务本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂存储结构的信息系统间的数据迁移方法，其特征在于，包括如下步骤：实例化数据库数据源后初始化，配置一个数据传输项目实例；解析数据传输项目实例的配置，根据配置构建作业流程；将作业流程组合为多个不同的任务指令批次后执行；根据任务指令批次的类型，顺序执行不同批次的任务指令，并发执行同一批次内的任务；完成执行后更新执行进度。2.根据权利要求1中所述的复杂存储结构的信息系统间的数据迁移系统，其特征在于，一个数据传输项目对应多个实例，每个实例上传至数据传输项目工作池中运行；当工作池满载时，拒绝新增的实例。3.根据权利要求1中所述的复杂存储结构的信息系统间的数据迁移系统，其特征在于，将一个数据传输项目的配置数据、项目变量属性、数据分区配置和任务配置注册表组合配置为一个实例。4.根据权利要求1中所述的复杂存储结构间的信息系统间的数据迁移系统，其特征在于，构建数据传输的作业流程，包括：解析和装载数据分区信息；加载任务配置；所述任务配置包括全局数据任务配置和分区数据任务配置；根据任务内的业务逻辑配置执行顺序。5.根据权利要求4中所述的复杂存储结构间的信息系统间的数据迁移系统，其特征在于，将作业流程组合为多个不同的任务指令批次时，以全局数据任务、分区数...

【专利技术属性】
技术研发人员：莫永恒，袁拥森，卢鑫，曾探，李军，
申请(专利权)人：湖北普联东文信息科技有限公司，
类型：发明
国别省市：