一种数据集成方法技术

一种数据集成方法，它包括以下步骤：接收数据集成信息，在源端数据库中查找相应的数据源，将数据源的数据映射到目的数据上，传输所述目的数据给目的端数据库。本发明专利技术通过将所有数据源的数据集成为全局模式数据，使用户能够按照全局模式透明地访问数据源的数据，通过将其它数据源的数据复制到目标数据源上，可以维护数据源的数据一致性，提高了信息共享利用的效率；通过源端与目的端间的数据转换从而达到数据集成目的，解决了数据的分布性和映射性的问题。

【技术实现步骤摘要】
【专利摘要】，它包括以下步骤：接收数据集成信息，在源端数据库中查找相应的数据源，将数据源的数据映射到目的数据上，传输所述目的数据给目的端数据库。本专利技术通过将所有数据源的数据集成为全局模式数据，使用户能够按照全局模式透明地访问数据源的数据，通过将其它数据源的数据复制到目标数据源上，可以维护数据源的数据一致性，提高了信息共享利用的效率；通过源端与目的端间的数据转换从而达到数据集成目的，解决了数据的分布性和映射性的问题。【专利说明】
本专利技术涉及一种数据集成技术领，具体地说是。
技术介绍
在企业中，由于开发时间或开发部门的不同，往往有多个映射的、运行在不同的软硬件平台上的信息系统同时运行，这些系统的数据源彼此独立、相互封闭，使得数据难以在系统之间交流、共享和融合。因此非常需要对已有的信息进行整合，共享信息。数据集成是指将不同来源、格式、特点性质的数据在逻辑或物理上有机地集中，也就是将来自不同的源端数据库中的数据在逻辑或物理上有机的集中后形成目的端数据库中的数据，通过数据集成可以为企业提供全面的数据共享。数据集成提供了在一个企业主计算机上存储的后端信息的一幅镜像。当一个客户需要检查一项订单的状态时，这项查询就被转移到数据集成软件。因此，并非总需要访问该企业的主计算机。数据集成软件拥有足够的智能，知道什么时候与主计算机保持同步以便使数据不断更新。为电子商务应用集成ERP数据是通过数据分级和直接访问ERP数据这两者的结合来完成的，它包括使用一个数据服务器和一些数据高速缓存器。数据集成软件以智能方式将直接实时的和分批的数据存取方法混和起来，以便从一个ERP系统中抽取数据。在对数据集成的研究过程中，仍需注重以下问题:(1)关系数据模型与基于XML的半结构化数据问的映射，要保证映射前后数据的完整性及一致性约束；(2)半结构化数据全局模式的构建方法和映射方法，同样要保证数据的完整性和一致性约束能够在半结构化的数据问传递:(3)数据集成过程中安全可靠的数据传输。在XML、Web Services及网格计算等技术规范的推动下,数据集成中的一些难题将会得到很好的解决，数据集成的应用也会更加广泛。
技术实现思路
为克服上述现有技术存在的不足，本专利技术提供了。本专利技术解决其技术问题所采取的技术方案是:，其特征是，包括 接收数据集成信息； 在源端数据库中查找相应的数据源； 将数据源的数据映射到目的数据上； 传输所述目的数据给目的端数据库。进一步地，所述将数据源的数据映射到目的数据上的过程就是将所有数据源的数据集成为全局模式数据。优选地，所述全局模式数据包括数据源的数据结构、字段信息和数据操作。优选地，所述数据源的数据集成为全局模式数据的过程就是对数据源进行数据提取、验证、清理、整合、聚集和装入的处理过程。进一步地，所述将数据源的数据映射到目的数据上的过程就是确定一个数据源为目标数据源并通过数据传输方式将其它数据源的数据复制到目标数据源上。进一步地，所述通过数据传输方式将其它数据源的数据复制到目标数据源上的过程就是数据源主动推送数据到目标数据源上或者目标数据源主动从数据源中抽取数据的过程。进一步地，所述将数据源的数据映射到目的数据上的过程就是确定一个数据源为目标数据源并通过数据复制触发方式将其它数据源的数据复制到目标数据源上。进一步地，所述通过数据复制触发方式将其它数据源的数据复制到目标数据源上的过程就是通过数据复制触发事件来启动其它数据源到目标数据源上的数据复制，所述据复制触发事件包括数据变化触发事件、批量触发事件、客户调用触发事件和定时触发事件。更近一步地，上述方法中所述的数据映射包括语法映射和字段映射； 所述语法映射就是将数据源的命名规则和数据类型映射为目的数据的命名规则和数据类型； 所述字段映射就是将数据源的内容和含义映射为目的数据的内容和含义，字段映射包括字段拆分、字段合并、字段数据格式变换和字段转移。本专利技术的有益效果是:本专利技术通过将所有数据源的数据集成为全局模式数据，使用户能够按照全局模式透明地访问数据源的数据，通过将其它数据源的数据复制到目标数据源上，可以维护数据源的数据一致性，提高了信息共享利用的效率；通过源端与目的端间的数据转换从而达到数据集成目的，解决了数据的分布性和映射性的问题。【专利附图】【附图说明】下面结合附图对本专利技术进一步说明: 图1是本专利技术的方法流程图； 图2是本专利技术所述语法映射的示意图； 图3是本专利技术所述字段拆分的示意图； 图4是本专利技术所述字段合并的示意图； 图5是本专利技术所述字段数据格式变换的示意图； 图6是本专利技术所述字段转移的示意图。【具体实施方式】如图1所示，本专利技术的，它包括以下步骤: 接收数据集成信息； 在源端数据库中查找相应的数据源； 将数据源的数据映射到目的数据上； 传输所述目的数据给目的端数据库。本专利技术充分利用多种数据集成手段，解决企业间数据碎片的问题，以更快地做出数据驱动型业务决策和更有效有力地进行业务运作。一、数据集成方式 本专利技术的一种采用数据集成方式的数据集成方法，它包括以下步骤:接收数据集成信息，在源端数据库中查找相应的数据源，将所有数据源的数据集成为全局模式数据，传输所述全局模式数据给目的端数据库。进行数据集成时将各数据源的数据视图集成为全局模式，使用户能够按照全局模式透明地访问各数据源的，全局模式描述了数据源的数据结构、字段信息和数据操作等。用户直接在全局模式的基础上提交请求，目的端根据这些请求转换成各个数据源在本地数据视图基础上能够执行的请求。数据集成方式的特点是直接为用户提供透明的数据访问方法。由于用户使用的全局模式是虚拟的数据源，不仅能够集成结构化的数据源信息，还可以集成半结构化或非结构化数据源中的信息。数据集成的数据源主要指数据库管理系统，广义上也包括各类XML文档、HTML文档、电子邮件、普通文件等结构化、半结构化信肩、O在数据集成过程中，各个数据源的结构不一致性，从而给数据集成带来了一些难度，可以通过ETL (数据提取、转换、加载)的过程可以消除数据源之间的映射关系。ETL的工作流程可以详细化为数据的提取、验证、清理、整合、聚集和装入。数据是企业进行事物处理的前提，为众多的信息系统提供服务。面对多个平台和多个数据结构，以及平台之间物理上相隔遥远等复杂的数据环境，ETL要完成提供综合且高品质的数据的任务，同时具备良好的通用性和扩展性。二、数据复制方式 本专利技术的一种采用数据复制方式的数据集成方法，它包括以下步骤:接收数据集成信息，在源端数据库中查找相应的数据源，确定一个数据源为目标数据源并通过数据传输方式或数据复制触发方式将其它数据源的数据复制到目标数据源上，传输所述目标数据源给目的端数据库。数据复制方式将各个数据源的数据复制到与其相关的目标数据源上，可以维护数据源整体上的数据一致性、提高信息共享利用的效率。数据复制可以是整个数据源的复制，也可以是仅对变化数据的传播与复制。数据复制方式可以减少用户对多种数据源的重复访问，从而提高数据集成的性能。最常见的数据复制方法就是数据仓库方法，该方法将各个数据源的数据复制到同一处——数据仓库，像访问普通数据库一样,直接访问数据仓库。数据复制方式可以从数据传输方式和数据复制触发方式两个本文档来自技高网...

【技术保护点】
一种数据集成方法，其特征是，包括接收数据集成信息；在源端数据库中查找相应的数据源；将数据源的数据映射到目的数据上； 传输所述目的数据给目的端数据库。

【技术特征摘要】

【专利技术属性】
技术研发人员：王勇，曲晓白，吴光州，王立峰，
申请(专利权)人：国网山东省电力公司，
类型：发明
国别省市：山东;37