一种基于主数据映射实现跨安全域数据集中的方法技术

本发明专利技术公开了一种基于主数据映射实现跨安全域数据集中的方法，属于数据集成ETL领域。该方法通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；通过备份数据库的方式实现低安全域向高安全域的数据集中。与现有技术相比，本发明专利技术的方法可以对不同安全域的数据进行集中，实现物理隔离情况下的数据共享，具有安全性高，对生产环境影响小等特点。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了，属于数据集成ETL领域。该方法通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；通过备份数据库的方式实现低安全域向高安全域的数据集中。与现有技术相比，本专利技术的方法可以对不同安全域的数据进行集中，实现物理隔离情况下的数据共享，具有安全性高，对生产环境影响小等特点。【专利说明】
本专利技术涉及数据集成ETL (数据提取、转换和加载)领域，具体地说是。
技术介绍
跨不同安全域的数据交换的问题是由于网络安全的发展而产生的问题，为确保网络信息系统的安全，对拥有不同网络安全需求的系统进行网络安全域的划分，针对不同的网络采取网络隔离技术，用于防止外部的非法攻击和内部数据的泄漏。但是在信息系统实际应用过程中，信息需要在不同安全域信息系统中进行共享和交换，网络隔离和数据交换是天生的一对矛盾，如何在高安全域(内网)数据不泄露的情况下，同时解决好网络安全和实现数据交换是很多安全技术人员一直探索的话题，因此，打破由网络安全隔离造成的众多的信息孤岛已经成为迫切需要解决的问题。
技术实现思路
本专利技术的技术任务是针对上述现有技术的不足，提供。本专利技术在详细分析了当前在信息安全要求较高的行业，不同安全域、物理隔离的网络环境下，数据集成面临的各种问题，提出了一种信息集成的技术途径和实现方法。解决了对信息安全要求较高的行业、不同安全域环境下数据共享的方式，实现了物理隔离环境下的数据共享。通过在低安全域备份数据库的方式，统一导入至高安全域中来实现数据的集中和共享；通过物理隔离的不同系统的主数据一致性检查和映射匹配，来实现主数据及业务数据的统一。本专利技术的技术任务是按以下方式实现的:，其特点是通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一: 通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置； 通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载； 通过备份数据库的方式实现低安全域向高安全域(内网)的数据集中。具体来说，上述方法包括低安全域业务数据库的镜像备份与还原、高安全域(内网)与低安全域的主数据的一致性检查及匹配: 低安全域业务数据库的镜像备份与还原:以高安全域(内网)的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，将低安全域的数据库备份、刻盘并还原至高安全域(内网)中； 高安全域(内网)与低安全域的主数据的一致性检查及匹配:在每次数据集成时，对所有的主数据进行一致性检查，如有不符合的主数据，根据各个应用系统业务数据的使用进行自动或手动匹配，确保在集中数据库内各业务系统的数据的可用和有效。主数据进行一致性检查时，对于检查通过的主数据进行自动映射；对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。进行数据集中时，将各个部署节点的数据集中至集中数据库，根据映射关系和转换逻辑进行数据转换，将业务数据和主数据进行统一。上述低安全域包括外网、独立网路及内网单位独立网路。另外，可以将每次数据集成的操作记录都记录在系统中，例如:操作人、操作时间、操作的数据、是否有异常信息等。如果出现数据问题，能够及时跟踪处理，可以作为防抵赖的重要依据。已通过测试验证，本专利技术的基于主数据映射实现跨安全域数据集中的方法实现了跨安全域的数据集成和数据共享，解决了不同物理隔离网络环境下的信息孤岛的问题。与现有技术相比具有以下突出地有益效果: (一)安全性高 切断了高安全域到低安全域的数据流向，彻底避免了泄密数据的可能。大大减少了应用系统安全保密的风险。(二)对生产环境影响小 由于本方案采用数据集中库的方式，尽量减小了对于各个网络的生产库的影响，对于各生产库而言，仅限于进行抽取数据，对生产环境影响较小。【专利附图】【附图说明】附图1是本专利技术方法中数据流向图； 附图2是本专利技术实施例中的数据集中操作流程图； 附图3是本专利技术实施例中的手工映射的流程图。【具体实施方式】参照说明书附图以具体实施例对本专利技术的基于主数据映射实现跨安全域数据集中的方法作以下详细地说明。如附图1所示:本专利技术的基于主数据映射实现跨安全域数据集中的方法主要通过以下两个步骤实现数据集中: 1、低安全域(外网)业务数据库的镜像备份与还原 以内网的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，首先将外网、各个独立网络的数据库备份、刻盘并还原至内网中，这样所有的跨域的各个应用系统的数据就统一在内网中，大大减轻了跨域数据集成的压力。2、高安全域(内网)与外网的主数据的一致性检查及匹配。主数据的统一是数据集成中一项非常重要的工作，同时也本方案数据集中最为关键的一个环节，在各个网内的应用系统主数据上要保持统一，本方案针对于此，在每次数据集成时，都会将所有的主数据进行一致性检查，如有不符合的主数据，将根据各个应用系统业务数据的使用进行自动匹配，确保在集中库内各业务系统的数据的可用和有效。从上述方法数据流向图可知，最核心的部分就是主数据一致性检查及业务数据映射，从而实现数据的大集中。上述方法在整个数据集中操作流程上分为四步操作，操作流程如附图1所示。1、系统参数设置 系统参数的设置主要设置数据集中时系统级的参数的初始，包括主数据的映射内容的配置。2、外网数据备份及恢复 此步骤由于是不同安全域的内外网隔离，只能通过备份外网的数据库，通过刻盘操作导入至内网并恢复新库中形成镜像库。3、主数据一致性检查 根据第一步主数据配置的内容，对内网中各个信息库的数据进行一致性检查，根据检查的不同结构进行数据的映射匹配。4、数据映射匹配 根据上一步的检查结果，对于检查通过的主数据进行自动映射，对于检查不同的主数据进行手工映射，将主数据的对应关系和转换逻辑存储于映射表中。数据映射存储如下:【权利要求】1.，其特征在于通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一: 通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置； 通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载； 通过备份数据库的方式实现低安全域向高安全域的数据集中。2.根据权利要求1所述的基于主数据映射实现跨安全域数据集中的方法，其特征在于，该方法包括低安全域业务数据库的镜像备份与还原、高安全域与低安全域的主数据的一致性检查及匹配: 低安全域业务数据库的镜像备份与还原:以高安全域的应用系统为主数据中心，在各个跨域的数据库进行数据共享或数据集中时，将低安全域的数据库备份、刻盘并还原至高安全域中； 高安全域与低安全域的主数据的一致性检查及匹配:在每次数据集成时，对所有的主数据进行一致性检查，如有不符合的主数据，根据各个应用系统业务数据的使本文档来自技高网...

【技术保护点】
一种基于主数据映射实现跨安全域数据集中的方法，其特征在于通过主数据一致性检查及映射，并通过中间件进行数据整合，实现跨安全域的主数据和业务数据的统一：通过定义主数据配置，配置主数据表、字段、被引用字段信息，实现主数据一致性检查的配置；通过对主数据检查结果，进行主数据的映射定义并定义数据抽取规则，在数据集中时依据主数据映射进行数据的抽取、转换和加载；通过备份数据库的方式实现低安全域向高安全域的数据集中。

【技术特征摘要】

【专利技术属性】
技术研发人员：郎松涛，史作祥，黄存胜，
申请(专利权)人：浪潮集团山东通用软件有限公司，
类型：发明
国别省市：山东;37