一种数据迁移方法及系统技术方案

本发明专利技术公开了一种数据迁移方法，所述方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；将转换后的所述待迁移的数据加载到所述目标数据库中。

【技术实现步骤摘要】
一种数据迁移方法及系统
本专利技术涉及数据库应用
，更具体地，涉及一种数据迁移方法及系统。
技术介绍
随着国产软件的数量逐渐增多，应用范围越来越广，政府对国产软件进行了大力的支持，使得国产软件得到了迅速的发展。国产数据库是国产软件的代表之一。目前安全可靠替代工程逐步开展，为支撑多个并行工程的执行，缩短单项工程的实施周期，支持已有X86环境中异构数据的迁移，将数据对象从其他数据库移植到国产数据库，达到快速准确无损的数据迁移，需要开发出安全可靠数据迁移工具。神通数据库、达梦数据库、人大金仓数据库作为大型的国产数据库，以其操作简单，通用性强、优质的技术服务等特点获得了越来越多的用户支持和青睐。国产数据库无论是在功能上还是在性能上均获得了业界的一致好评。使用国产数据库来开发新的应用系统，以及将现有系统移植到国产数据库中，已经获得了用户的支持和认可。国内许多的应用系统都使用了国产数据库，其应用广泛分布在航天单位，政府部门、事业单位、军队等。随着安全可靠市场一期二的建立，系统的不断升级优化，各省的安全可靠数据越来越多，面临着大量的数据迁移、备份、保护。目前市场传统的迁移工具无法满足安全可靠市场的数据迁移备份保护工作。数据交换平台就是从各种数据源(包括各种格式文件、不同类型关系数据库、非关系数据库)通过接口，按照可定制的规则抽取数据，然后对其进行清洗、转换，最后形成统一格式的目标数据加载到数据仓库中。然而，现有的数据迁移平台，不能满足现有的数据迁移的速度和安全。在国产化安全可靠领域方面，现在仅有几款数据交换平台在支持国产数据库的广泛性，使用的易用性还有所欠缺。因此，需要一种技术，以实现一种数据迁移技术。
技术实现思路
本专利技术技术方案提供了一种数据迁移方法及系统，以解决如何进行数据安全迁移的问题。为了解决上述问题，本专利技术提供了一种数据迁移方法，所述方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；将转换后的所述待迁移的数据加载到所述目标数据库中。优选地，所述数据库查询语句为结构化查询语言SQL语句。优选地，还包括：按照设定时间或设定频率执行所述数据迁移方法。优选地，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：所述不完整的数据为必要信息缺失的数据；所述错误的数据为没有经过业务系统判断的输入数据，通过所述数据库查询语句挑选所述错误的数据；所述重复的数据为通过所述数据库查询语句挑选。优选地，所述按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，包括：所述数据转换规则包括：不一致的数据转换、数据粒度的转换和商务规则的计算；所述不一致的数据转换是将所述源数据库中的不同业务系统的相同类型的数据进行统一；所述数据粒度的转换为按照所述目标数据库的要求将所述临时数据库中存储的业务系统的明细数据进行粒度聚合；所述商务规则的计算为按照商务规则对所述临时数据库中存储的所述待迁移的数据进行计算。优选地，还包括建立监测数据迁移过程的日志，所述日志包括：执行过程日志、错误日志和总体日志。基于本专利技术的另一方面，提供一种数据迁移系统，所述系统包括：初始单元，用于将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；抽取单元，用于执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；清洗单元，用于按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；转换单元，用于按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；加载单元，用于将转换后的所述待迁移的数据加载到所述目标数据库中。优选地，所述数据库查询语句为结构化查询语言SQL语句。优选地，还包括调试服务单元，用于按照设定时间或设定频率执行所述数据迁移方法。优选地，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：所述不完整的数据为必要信息缺失的数据；所述错误的数据为没有经过业务系统判断的输入数据，通过所述数据库查询语句挑选所述错误的数据；所述重复的数据为通过所述数据库查询语句挑选。优选地，所述转换单元用于按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，包括：所述数据转换规则包括：不一致的数据转换、数据粒度的转换和商务规则的计算；所述不一致的数据转换是将所述源数据库中的不同业务系统的相同类型的数据进行统一；所述数据粒度的转换为按照所述目标数据库的要求将所述临时数据库中存储的业务系统的明细数据进行粒度聚合；所述商务规则的计算为按照商务规则对所述临时数据库中存储的所述待迁移的数据进行计算。优选地，还包括日志管理单元，用于建立监测数据迁移过程的日志，所述日志包括：执行过程日志、错误日志和总体日志。本专利技术技术方案提供一种数据迁移方法和系统，其中方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过临时数据库存储待迁移的数据；执行数据库查询语句，将待迁移的数据从源数据库中抽取，并将待迁移的数据存储到临时数据库中；按照任务中已经定义的数据清洗规则对临时数据库中的待迁移的数据进行清洗，删除不符合要求的待转换的数据，获取清洗后的待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的待迁移的数据进行转换，使得转换后的待迁移的数据符合目标数据库的存储要求；将转换后的待迁移的数据加载到目标数据库中。本专利技术技术方案提供基于国产化配置的安全可靠数据交换平台采用元数据方法，集中进行管理；接口、数据格式、传输有严格的规范；不用在外部数据源安装软件；数据抽取系统流程自动化，并有自动调度功能；抽取的数据及时、准确、完整；可以提供同各种数据系统的接口，系统适应性强；提供软件框架系统，系统功能改变时，应用程序很少改变便可适应变化；可扩展性强。附图说明通过参考下面的附图，可以更为完整地理解本专利技术的示例性实施方式：图1为根据本专利技术优选实施方式的数据迁移方法流程图；图2为根据本专利技术优选实施方式的数据迁移平台结构示意图；图3为根据本专利技术优选实施方式的数据迁移平台功能结构示意图；图4为根据本专利技术优选实施方式的TCP/IP协议报文格式示意图；图5为根据本专利技术优选实施方式的CPU运算示意图；图6为根据本专利技术优选实施方式的单核环境中的任务调度示意图；图7为根据本专利技术优选实施方式的多核环境中的任务调度示意图；以及图8为根据本专利技术优选实施方式的数据迁移系统结构示意图。具体实施方式现在参考附图介绍本专利技术的示例性实施方式，然而，本专利技术可以用许多不同的形式来实施，并且不局限于此处本文档来自技高网...

【技术保护点】
1.一种数据迁移方法，所述方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；将转换后的所述待迁移的数据加载到所述目标数据库中。

【技术特征摘要】
1.一种数据迁移方法，所述方法包括：将已设定好任务的属性元数据转化成数据库查询语句，建立临时数据库，通过所述临时数据库存储待迁移的数据；执行所述数据库查询语句，将所述待迁移的数据从源数据库中抽取，并将所述待迁移的数据存储到所述临时数据库中；按照任务中已经定义的数据清洗规则对所述临时数据库中的所述待迁移的数据进行清洗，删除不符合要求的所述待转换的数据，获取清洗后的所述待迁移的数据；按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，使得转换后的所述待迁移的数据符合目标数据库的存储要求；将转换后的所述待迁移的数据加载到所述目标数据库中。2.根据权利要求1所述的方法，所述数据库查询语句为结构化查询语言SQL语句。3.根据权利要求1所述的方法，还包括：按照设定时间或设定频率执行所述数据迁移方法。4.根据权利要求1所述的方法，所述不符合要求的数据包括不完整的数据、错误的数据以及重复的数据，其中：所述不完整的数据为必要信息缺失的数据；所述错误的数据为没有经过业务系统判断的输入数据，通过所述数据库查询语句挑选所述错误的数据；所述重复的数据为通过所述数据库查询语句挑选。5.根据权利要求1所述的方法，所述按照任务中已经定义的数据转换规则将清洗后的所述待迁移的数据进行转换，包括：所述数据转换规则包括：不一致的数据转换、数据粒度的转换和商务规则的计算；所述不一致的数据转换是将所述源数据库中的不同业务系统的相同类型的数据进行统一；所述数据粒度的转换为按照所述目标数据库的要求将所述临时数据库中存储的业务系统的明细数据进行粒度聚合；所述商务规则的计算为按照商务规则对所述临时数据库中存储的所述待迁移的数据进行计算。6.一种数据迁移系统，所述系统包括：初始单元，用于...

【专利技术属性】
技术研发人员：徐磊，张松峰，
申请(专利权)人：华迪计算机集团有限公司，
类型：发明
国别省市：北京,11