一种基于国产达梦数据库的历史数据迁移方法及系统技术方案

本发明专利技术公开了一种基于国产达梦数据库的历史数据迁移方法及系统，A、建立了数据映射模型，数据映射模型包括业务层映射模块和数据层映射模块，业务层映射模块通过关键词和/或特征项比较并建立新系统A'与旧系统A在业务功能上的对应映射；B、通过数据层映射模块按照关键词和/或特征项实现旧系统A与新系统A'数据库的字段集及字段映射关系；C、数据映射模型建立旧系统A与新系统A'的业务层到数据层的对应映射关系并实现将旧系统A数据迁移至新系统A'。本发明专利技术通过数据映射模型、数据处理策略、数据补齐策略实现数据迁移以及数据测试，可以完成适航审定运行的历史数据迁移，显著地提高了历史数据的迁移效率，改善了历史数据迁移质量。改善了历史数据迁移质量。改善了历史数据迁移质量。

【技术实现步骤摘要】
一种基于国产达梦数据库的历史数据迁移方法及系统


[0001]本专利技术涉及数据迁移领域，尤其涉及一种基于国产达梦数据库的历史数据迁移方法及系统。

技术介绍

[0002]软件国产化成为保护国家信息安全的重要手段，而数据库作为基础软件理应首当其冲成为国产化推进的主要领域之一。在当前大数据环境和信息技术快速发展情况下，数据成为政府部门和公共机构的核心资产，数据存储、迁移成为企业和政府部门信息化建设关注的问题。在实施系统的更新换代中，需要把已有的数据迁移到新的系统中，但是由于新旧系统的数据库结构不同，以及如何在业务约束条件下，快速、正确、完整地实现数据迁移，保障数据完整性、一致性和继承性等，业界缺少数据迁移理论方法支撑。
[0003]目前国产数据库达梦数据广泛于电子政务系统，在数据迁移领域达梦数据库只支持主流的数据库的迁移操作，对小众数据库如LotusDomino数据库的缺少支持，并且迁移只是数据表的迁移，缺少数据补齐以及业务层的映射等功能。

技术实现思路

[0004]针对现有技术存在的不足之处，本专利技术的目的在于提供一种基于国产达梦数据库的历史数据迁移方法及系统，。
[0005]本专利技术的目的通过下述技术方案实现：
[0006]一种基于国产达梦数据库的历史数据迁移方法，其方法如下：
[0007]A、建立了数据映射模型，数据映射模型包括业务层映射模块和数据层映射模块，业务层映射模块分别从新系统A'与旧系统A中提取各自对应的业务功能，旧系统A的业务功能M包括M1、M2
>…
Mn，新系统A'的业务功能M'包括M'1、M'2
…
M'm，业务层映射模块通过关键词和/或特征项比较并建立新系统A'与旧系统A在业务功能上的对应映射，按照如下逻辑公式进行对应映射：
[0008][0009]公式(1)对应业务功能映射的如下四种情况：
[0010]第一种：旧系统A到新系统A'业务功能的一一映射；
[0011]第二种：旧系统A中的多个业务功能对应映射到新系统A'的一个业务功能；
[0012]第三种：旧系统A中的多个业务功能映射到新系统A'的多个业务功能；
[0013]第四种：新系统A'新增了全新的业务功能；
[0014]B、通过数据层映射模块按照关键词和/或特征项实现旧系统A与新系统A'数据库的字段集及字段映射关系，映射逻辑公式如下：
[0015][0016]其中，T表示旧系统A的字段集，T'表示旧系统A'的字段集，C表示旧系统A的字段，C'表示旧系统A'的字段；
[0017]C、数据映射模型建立旧系统A与新系统A'的业务层到数据层的对应映射关系并实现将旧系统A数据迁移至新系统A'，通过补齐模块采用包括默认值方式、关联值推导方式在内的方法对数据进行补齐。步骤C中的数据迁移优选采用DMS工具。
[0018]本专利技术历史数据迁移方法还包括如下方法：
[0019]D、对迁移后的新系统A'进行数据测试，采用如下方法：
[0020]D1、数据监测性测试：对新系统A'进行完整性检查、一致性检查、总分平衡检查、记录条数检查、特殊样本数据的检查；
[0021]D2、通过数据对比查询工作对旧系统A与新系统A'相同指标的数据进行查询，并进行对比查询验证。
[0022]本专利技术历史数据迁移方法中的旧系统A数据迁移至新系统A'采用包括数据流水线、数据处理策略、数据库驱动集合、中间库四个模块分别对应实现数据迁移，数据流水线是数据从源数据库到目标数据库的通道；中间库负责中间数据的暂存，数据流水线整合多个表的数据，中间库暂存中间结果数据并加工数据；数据库驱动集合存储数据库驱动，数据库驱动包括数据库连接信息，数据库连接信息包括服务器的主机名或者所在IP地址、数据库产品名称、端口号、用户名和密码。
[0023]进一步的技术方案是：本专利技术历史数据迁移方法中数据处理策略包括清洗策略、补齐策略和字段映射字典，其中清洗策略制定出详细的数据清洗策略对数据进行遍历分析，找出重复数据和废除的垃圾数据并进行处理；补齐策略整理出缺失字段通过数据库脚本的统一更新以及多表关联查询将缺失字段合理的补充到数据中；字段映射字典制定源数据库和目标数据的字段映射关系，将数据进行格式加工处理后，存入目标数据库中。
[0024]本专利技术历史数据迁移方法中的还包括如下数据应急方法：
[0025]E、从业务层、数据库、网络平台三个方面建立应急处理方法：
[0026]E1、在新系统A'的业务经办时保留原业务应用系统，并且保证原业务应用系统的客户端配置环境能够在最短时间内恢复到以前的配置；
[0027]E2、数据库应急方法是在新系统A'数据库中保留备份，并且按照旧系统A数据集中情况下分不同用户存放备份数据；
[0028]E3、网络平台应急方法是保证在数据大集中情况下整个网络链路的畅通。
[0029]一种基于国产达梦数据库的历史数据迁移系统，包括数据映射模块、数据迁移模块和数据测试模块，数据映射模块包括业务层映射模块和数据层映射模块，数据迁移模块包括数据流水线、数据处理策略、数据库驱动集合、中间库四个模块，数据处理策略包括清洗策略、补齐策略和字段映射字典。
[0030]本专利技术较现有技术相比，具有以下优点及有益效果：
[0031]本专利技术通过数据映射模型、数据处理策略、数据补齐策略实现数据迁移以及进行数据测试，可以完成了适航审定运行管理系统的历史数据迁移，实现了文档型数据库到关系型达梦数据库的数据迁移平台，显著地提高了历史数据的迁移效率，改善了历史数据迁
移质量，加快了项目历史数据迁移进度。
附图说明
[0032]图1为本专利技术实施例二中MMU数据迁移方法模型运行原理图；
[0033]图2为实施例二中数据映射模型映射原理图；
[0034]图3为实施例二中数据映射模型字段映射原理图；
[0035]图4为实施例二中的数据迁移平台架构；
[0036]图5为实施例二中数据迁移平台操作页面；
[0037]图6为实施例二中数据迁移平台策略编辑页面；
[0038]图7为本专利技术历史数据迁移系统的原理结构框图。
具体实施方式
[0039]下面结合实施例对本专利技术作进一步地详细说明：
[0040]实施例一
[0041]一种基于国产达梦数据库的历史数据迁移方法，其方法如下：
[0042]A、建立了数据映射模型，数据映射模型包括业务层映射模块和数据层映射模块，业务层映射模块分别从新系统A'与旧系统A中提取各自对应的业务功能，旧系统A的业务功能M包括M1、M2
…
Mn，新系统A'的业务功能M'包括M'1、M'2
…
M'm，业务层映射模块通过关键词和/或特征项比较并建立新系统A'与旧系统A在业务功能上的对应映射，按照如下逻辑公式进行对应映射：
[0043][0044]公式(1)对应业务功能映射的如下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于国产达梦数据库的历史数据迁移方法，其特征在于：其方法如下：A、建立了数据映射模型，数据映射模型包括业务层映射模块和数据层映射模块，业务层映射模块分别从新系统A'与旧系统A中提取各自对应的业务功能，旧系统A的业务功能M包括M1、M2
…
Mn，新系统A'的业务功能M'包括M'1、M'2
…
M'm，业务层映射模块通过关键词和/或特征项比较并建立新系统A'与旧系统A在业务功能上的对应映射，按照如下逻辑公式进行对应映射：公式(1)对应业务功能映射的如下四种情况：第一种：旧系统A到新系统A'业务功能的一一映射；第二种：旧系统A中的多个业务功能对应映射到新系统A'的一个业务功能；第三种：旧系统A中的多个业务功能映射到新系统A'的多个业务功能；第四种：新系统A'新增了全新的业务功能；B、通过数据层映射模块按照关键词和/或特征项实现旧系统A与新系统A'数据库的字段集及字段映射关系，映射逻辑公式如下：其中，T表示旧系统A的字段集，T'表示旧系统A'的字段集，C表示旧系统A的字段，C'表示旧系统A'的字段；C、数据映射模型建立旧系统A与新系统A'的业务层到数据层的对应映射关系并实现将旧系统A数据迁移至新系统A'，通过补齐模块采用包括默认值方式、关联值推导方式在内的方法对数据进行补齐。2.按照权利要求1所述的一种基于国产达梦数据库的历史数据迁移方法，其特征在于：还包括如下方法：D、对迁移后的新系统A'进行数据测试，采用如下方法：D1、数据监测性测试：对新系统A'进行完整性检查、一致性检查、总分平衡检查、记录条数检查、特殊样本数据的检查；D2、通过数据对比查询工作对旧系统A与新系统A'相同指标的数据进行查询，并进行对比查询验证。3.按照权利要求1所述的一种基于国产达梦数据库的历史数据迁移方法，其特征在于：旧系统A数据迁移至新系统A'采用包括数据流水线、数据...

【专利技术属性】
技术研发人员：孙立华，叶夏竹，王健，赵晋玉，何珮，张晔，
申请(专利权)人：中国民用航空局信息中心，
类型：发明
国别省市：