基于XML的异构关系型数据库的数据集成方法和系统技术方案

本发明专利技术公开了一种基于XML的异构关系型数据库的数据集成方法和系统，旨在解决大量数据信息不能被高效地利用的问题。该方法包括如下步骤：获取数据集成需求和集成前期准备；若集成应用涉及了新数据库产品，则执行向系统中添加新支持的数据库产品；添加与集成有关的数据源；生成查询请求配置文档；在系统的持久化参数设置界面上录入持久化参数；在系统的执行集成计划界面上，选取集成计划文档，执行该集成计划，等待软件系统处理，如此反复执行步骤4到步骤6，直到完成所有的集成任务。基于XML的异构关系型数据库的数据集成系统是由集成任务管理器、数据源管理器、查询分解优化器、数据提取器、结果整合器和结果持久器所构成的功能模块构架。

【技术实现步骤摘要】

本专利技术涉及一种信息
的数据集成方法，更确切地说，本专利技术涉及一种基 于XML的异构关系型数据库的数据集成方法，也可以说，本专利技术涉及一种实施基于XML的异 构关系型数据库的数据集成系统。
技术介绍
近年来，众多企业伴随着业务的发展积累了大量的数据。然而，由于企业内部以及 企业之间数据库系统的分布性、异构性和独立性，导致“信息孤岛”的形成，使得大量数据不 能被正确高效地利用。因此，解决这一现实问题，对企业的运营和发展具有重要意义。目前特定行业如银行、电信等已经拥有成熟的数据交换和数据集成的方法和工 具。中小型企业也有数据集成的需求，但却没有统一的行业标准，数据流通格式杂乱，数据 集成困难，需要一种扩展性强、通用性好的技术方案来解决该实际问题。传统的解决方案有两种1.搭建中心数据仓库，将集成的数据全部汇集到其中。这种方法，需要大量的数据 存储和维护性的软硬件设备，费用昂贵，不易维护，且不能与源数据库保持同步，数据利用率不高。2.联邦数据库，将系统中所有数据库之间建立彼此访问的接口。这种方法的维护 和扩展会涉及到整个系统，工作量大，成本很高。
技术实现思路
本专利技术所要解决的问题是克服了现有技术存在的技术问题，提供了一种适合于中 小型企业的、廉价高效的、扩展性和可移植性强的、跨操作系统和数据库平台的基于XML的 异构关系型数据库的数据集成方法，也可以说，本专利技术提供了一种基于XML的异构关系型 数据库的数据集成系统。为解决上述技术问题，本专利技术是采用如下技术方案实现的所述的基于XML的异 构关系型数据库的数据集成方法包括如下步骤1.获取数据集成需求和集成前期准备。2.若集成应用涉及了新数据库产品，则执行添加新支持的数据库产品。3.在全局查询请求配置界面的数据源的视区上，添加拟集成的数据源和拟导入数 据的目的数据源。4.在全局查询请求配置界面上，录入方案的信息，选择查询请求文档的保存位置， 生成查询请求配置文档。5.在持久化参数设置界面上，录入持久化参数，选择集成计划文档的保存路径，生 成集成计划文档，若目的数据表不存在，在持久化参数设置界面上录入新建表的信息，创建 一个新的数据表，然后再录入持久化参数.6.在执行集成计划界面上，选取一个集成计划文档，执行该集成计划，等待软件系统处理，执行集成计划界面上会显示集成计划执行的状态和异常情况，执行完毕后，结果报 告界面会显示集成结果数据统计报表，特殊处理异常表中的数据，如此反复执行第4至6步 骤，直到完成所有的集成任务。技术方案中所述的获取数据集成需求和集成前期准备的步骤如下1.获取数据集成需求，确定集成的范围，制定数据集成计划，书写需求规格。2.确定集成数据源所在的数据库环境，获取数据源的信息，包括数据库的产品 类型、版本、数据库名称、数据库IP地址、数据库服务端口、及其具有通过JDBC操纵数据库 权限的登陆用户名和口令。3.确定集成涉及的数据表，获取数据表信息，包括表模式，表名称，字段列表和 对应数据类型的列表。4.分析需求，将集成任务分解成若干相互独立的子任务，确定每个子任务的集成 逻辑，将集成逻辑形式化为查询方案，查询方案可以用结构化查询语言来表示，应当注意的 是查询语句中的每一个表和属性列都要有一个其所属数据库的标识作为前缀。5.完成对集成目的数据库的设计。6.获取结果持久化参数1)目的数据源信息。2)目的数据表信息。3)查询结果属性和目的表属性的映射关系。4)指定一个数据导入异常表，记录下该数据表的信息。7.对已获得的各项参数进行验证和确认，完成对已得到的查询方案和目的数据库 设计方案的评审和确认。技术方案中所述的若集成应用涉及了新数据库产品，则执行添加新支持的数据库 产品的步骤如下1.获取新增数据库产品中包括数据类型的名称和特性的所有数据类型的信息。2.根据数据类型的特性，指定其映射为一种通用数据类型。3.将获取到的与通用数据类型映射信息和特性信息添加到数据类型字典中。一种基于XML的异构关系型数据库的数据集成方法的数据集成系统，其包括一个收集用户提交的全局查询请求和持久化参数，对全局查询请求和持久化参数 进行合法性检查，分发集成任务，监控集成过程，报告集成结果的集成任务管理器。一个实现了数据源动态管理，完成关系表的映射处理，为用户提供数据源全局视 图的数据源管理器。一个将查询请求根据数据的映射关系分解为若干子查询请求和全局查询元数据， 并对子查询请求进行优化，生成子查询计划的查询分解优化器。一个将接收到的子查询计划分配给数据提取引擎，对底层数据源发布SQL查询提 取数据，并将查询结果集转换为中间结果XML数据的数据提取器。一个接收中间结果XML数据和全局查询元数据，利用关系代数引擎，对中间结果 进行整合，生成最终的全局查询结果的查询结果整合器。—个将整合后的结果数据导入到已有数据库中的结果持久器。与现有技术相比本专利技术的有益效果是1.本专利技术所述的基于XML的异构关系型数据库的数据集成方法在数据集成的过 程中，可以保证不对数据源做任何改变，因此集成的风险和代价小。2.本专利技术所述的基于XML的异构关系型数据库的数据集成方法使用了动态的数 据源管理，查询所得数据即为最新数据，保证了数据的一致性。3.本专利技术所述的基于XML的异构关系型数据库的数据集成方法无需搭建中心数 据仓库，省去了数据库软件产品以及海量存储设备的费用，降低了集成项目的风险。4.本专利技术所述的基于XML的异构关系型数据库的数据集成方法由具有跨平台性 的Java程序语言编写，系统具有平台独立性，容易移植。5.本专利技术所述的基于XML的异构关系型数据库的数据集成方法需要支持新的数 据库产品或者数据源时，只需要在数据源字典或者数据类型字典中注册相应的项目即可， 这使得系统具有良好的扩展性，容易维护，成本较低。6.本专利技术所述的基于XML的异构关系型数据库的数据集成方法由集成的需求决 定需要提取的数据，在数据提取前进行了查询优化，数据利用率很高。附图说明下面结合附图对本专利技术作进一步的说明图1为本专利技术所述的基于XML的异构关系型数据库的数据集成方法的步骤流程 图；图2为本专利技术所述的基于XML的异构关系型数据库的数据集成系统的功能模块构 架框图；图3为本专利技术所述的基于XML的异构关系型数据库的数据集成系统的数据源管 理器的功能模块构架框图；图4 图6为利用本专利技术所述的基于XML的异构关系型数据库的数据集成系统查 询请求的一种表示方法；图7为利用本专利技术所述的基于XML的异构关系型数据库的数据集成系统的一种全 局查询配置的用户可视化界面；图8为利用本专利技术所述的基于XML的异构关系型数据库的数据集成系统一种中间 结果XML数据表示方法。具体实施例方式下面结合附图对本专利技术作详细的描述本专利技术提供了一种适合于中小型企业的、廉价高效的、扩展性和可移植性强的、跨 操作系统和数据库平台的基于XML的异构关系型数据库的数据集成方法。该方法是基于自编的一个基于XML的异构关系型数据库的数据集成的计算机程 序，该计算机程序是运行在网络环境中，基于自主定义的Java和XML数据类型系统的、具有 动态数据源管理、集成任务配置和优化，数据提取和整合，结果持久化功能的跨平台的数据 集成的软件系统。该方法同时给出了软件系统新增数据库产本文档来自技高网...

【技术保护点】
一种基于ＸＭＬ的异构关系型数据库的数据集成方法，其特征是包括如下步骤：１）获取数据集成需求和集成前期准备；２）若集成应用涉及了新数据库产品，则执行添加新支持的数据库产品；３）在全局查询请求配置界面的数据源的视区上，添加拟集成的数据源和拟导入数据的目的数据源；４）在全局查询请求配置界面上，录入方案的信息，选择查询请求文档的保存位置，生成查询请求配置文档；５）在持久化参数设置界面上，录入持久化参数，选择集成计划文档的保存路径，生成集成计划文档，若目的数据表不存在，在持久化参数设置界面上录入新建表的信息，创建一个新的数据表，然后再录入持久化参数；６）在执行集成计划界面上，选取一个集成计划文档，执行该集成计划，等待软件系统处理，执行集成计划界面上会显示集成计划执行的状态和异常情况，执行完毕后，结果报告界面会显示集成结果数据统计报表，特殊处理异常表中的数据，如此反复执行第４）至６）步骤，直到完成所有的集成任务。

【技术特征摘要】

【专利技术属性】
技术研发人员：康辉，丛学斌，梅芳，张亚萍，马庆利，柴智，
申请(专利权)人：吉林大学，
类型：发明
国别省市：82