一种异构数据环境下的数据交换与集成方法技术

本发明专利技术公开了一种异构数据环境下的数据交换与集成方法，涉及异构数据处理技术领域。该方法根据数据源类型设计数据模型，以对来自不同数据源的各种数据进行表示，从而便于进行统一处理；其次考虑到数据的转换问题，将来自不同数据源的各种数据转换成统一的数据格式以便进行统一的处理，最后对集成目标数据源进行统一的数据加载。通过面向各种数据源和处理过程的可复用的数据处理组件，使得数据处理组件的可复用性强，提高了对多种数据源的兼容性和可重用性。

【技术实现步骤摘要】

本专利技术涉及异构数据处理
，尤其涉及。
技术介绍
随着信息技术快速发展，特别是互联网和移动互联网的迅猛发展，在许多企业、单位或机构、部门内部都各自建设了信息化系统。但是，各个企业、部门或机构由于业务和各自状况不同，所以这些应用系统拥有各自的数据存储和访问方式，彼此之间相对独立，进而形成一个个“信息孤岛”。随着信息化管理水平的提高，社会对信息共享、信息维护方面的需求越来越迫切。数据共享，可以使更多的人更充分地使用已有的数据资源，减少资料收集、数据采集等重复劳动和相应费用。但是，在实施数据共享的过程中，由于不同系统提供的数据可能来自不同的途径，其数据内容、数据格式和数据质量千差万别，有时甚至会遇到数据格式不能转换或数据转换格式后丢失信息等棘手问题，严重阻碍数据在各部门和软件系统中的流动和共享。此外，由于现代化进程的飞速发展和部门间逐渐从一个独立节点发展成为不断与网络交换信息和进行事务的实体。因此，如何把各种有效的使数据在异构环境中有机的集成在一个平台中并实现数据交换，使得用户能够高效、简明的操作各类信息，已经成为一个重要的问题。目前，数据交换与集成大都采用中间件模式，通过在中间层提供一个统一的数据逻辑视图来隐藏底层的数据细节，使得用户可以把集成数据源看为一个统一的整体。这种模型下的关键问题是如何构造这个逻辑视图并使得不同数据源之间能映射到这个中间层。中间件模式数据交换与集成通过统一的全局数据模型来访问异构的数据库、遗留系统、Web资源等。中间件位于异构数据源系统(数据层)和应用程序(应用层)之间，向下协调各数据源系统，向上为访问集成数据的应用提供统一数据模式和数据访问的通用接口。各数据源的应用仍然完成它们的任务，中间件系统则主要集中为异构数据源提供一个高层次检索服务。中间件模式在中间层上存在一个虚拟的数据服务层，该层通过JDBC，FILE适配器、应用适配器等与数据层的各种数据源实现连接，将数据源中的各种数据实体映射成中间件的虚拟数据层的表，虚拟数据层中的表都只有元数据，而不存储实际的生产数据。用户可以在虚拟数据层上采用可视化图形界面定义数据映射关系，进行数据加工整合，这些数据加工逻辑一般会以文件或者数据库方式存储。但是，中间件模式数据交换与集成方法具有如下缺点:异构数据源兼容性弱:当前数据源种类繁多，中间件集成方法对HBaSe、m0ng0db等大数据数据源的交换与集成兼容性较弱；可重用性差:将数据整合模式应用到特定集成场景后，能够将该整合过程作为服务提供给多个服务者使用的变化能力差。
技术实现思路
本专利技术的目的在于提供，从而解决现有技术中存在的前述问题。为了实现上述目的，本专利技术采用的技术方案如下:，包括如下步骤:S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。优选地，S1中，所述集成引擎模块包括:源数据管理引擎、工作引擎、步骤引擎和/或数据库访问引擎。优选地，S1中，所述数据源包括:数据库、XML数据和/或文件。优选地，S1中，所述数据处理和转换步骤，包括:S101，获取需要进行数据处理和转换的第一数据源和第二数据源；S102，将所述第一数据源和所述第二数据源进行比对，得到比对结果；S103，根据所述比对结果，确定数据处理和转换的目标和任务；S104，根据所述数据处理和转换的目标和任务，进行数据处理和转换的操作。优选地，所述数据处理和转换的操作，包括:插入、删除、更新和/或修改数据。优选地，S2中，所述调度与监控模块对所述作业文件进行执行，具体为，所述调度与监控模块根据用户配置的时间策略自动执行所述作业文件。优选地，所述时间策略包括:执行启动时间、执行截止时间、执行频度和/或执行引擎。优选地，S2中，还包括步骤:在web端对所述监控进行统一的数据可视化视图展示。优选地，所述在web端对所述监控进行统一的数据可视化视图展示，在web作业管理与监控模块中实现，且所述web作业管理与监控模块基于REST接口形式对外提供服务。优选地，所述作业文件被封装成XML格式的作业文件。本专利技术的有益效果是:本专利技术实施例提供的异构数据环境下的数据交换与集成方法，提供了面向各种数据源和处理过程的可复用的数据处理组件，而且数据处理组件的可复用性强，提高了对多种数据源的兼容性和可重用性。【附图说明】图1是本专利技术实施例提供的数据交换与集成方法示意图；图2是数据处理与转换步骤流程示意图；图3是作业文件部分内容示意图；图4是用户配置作业文件信息的界面示意图；图5是用户设置执行策略的界面示意图；图6是监控记录的显示界面示意图。【具体实施方式】为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图，对本专利技术进行进一步详细说明。应当理解，此处所描述的【具体实施方式】仅仅用以解释本专利技术，并不用于限定本专利技术。随着信息化技术发展，当前大数据技术已经得到了快速的发展，并出现了很多非结构化数据源，针对异构的数据源，本专利技术采用可插拔组件方式，实现多数据源集成、数据访问的透明性以及实现数据源的即插即用。所以本专利技术的首要任务就是根据数据源类型设计数据模型，以对来自不同数据源的各种数据进行表示，从而便于进行统一处理;其次考虑到数据的转换问题，将来自不同数据源的各种数据转换成统一的数据格式以便进行统一的处理，最后对集成目标数据源进行统一的数据加载。在此方法中，用户对信息的访问、操作并不是直接作用于数据源，而是通过访问虚拟数据库接口实现的。该方法采用C/S和B/S架构相结合方式，其中集成引擎的工作区采用C/S实现，基于配置可视化形式，用户对于数据交换与集成采用组件选择和动态配置方式，其中组件设计为可插拔形式，且针对不同异构数据源可快速进行开发新的组件，组件之间通信采用统一接口，实现组件之间的快速对接。如图1所示，本专利技术实施例提供了，包括如下步骤:S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。其中，S1中，所述集成引擎模块包括:源数据管理引擎、工作引擎、步骤引擎和/或数据库访问引擎。S1中，所述数据源包括:数据库、XML数据和/或文件。 S1中，所述数据处理和转换步骤，包括:S101，获取需要进行数据处理当前第1页1 2 本文档来自技高网...

【技术保护点】
一种异构数据环境下的数据交换与集成方法，其特征在于，包括如下步骤：S1，集成引擎模块采集获取存在于不同异构信息化系统中的数据源中的数据，根据数据交换与集成需求配置数据处理和转换步骤，并将所述数据处理和转换步骤封装成作业文件；S2，调度与监控模块对所述作业文件进行解析、执行，并对所述解析、执行的过程进行监控和异常通知，并进行问题报告的记录。

【技术特征摘要】

【专利技术属性】
技术研发人员：许雪松，赵龙军，杨贯伟，
申请(专利权)人：航天科工智慧产业发展有限公司，
类型：发明
国别省市：北京;11