一种模型驱动的数据集成中间件及实现方法技术

技术编号:24853382 阅读:32 留言:0更新日期:2020-07-10 19:07
本发明专利技术公开了一种模型驱动的数据集成中间件及实现方法,包括信息模型管理模块、存储模型管理模块、异源异构数据集成模块和通用交换服务管理模块;信息模型管理模块,用于值域代码管理、数据元管理和数据集管理;存储模型管理模块,用于数据源管理、主题库管理和存储模型管理;异源异构数据集成模块,用于实现两种集成模式,定时集成和实时集成等;本发明专利技术实现数据集成过程中标准规范管理、模型建立、数据中心建立、接口规范管理、数据存储、共享与交换服务接口一体化管理,定义信息模型、存储模型、以及交换模型等模型,通过模型驱动整个数据集成过程的自动化、工具化实现,降低系统升级更新成本、提高系统灵活扩展性。

【技术实现步骤摘要】
一种模型驱动的数据集成中间件及实现方法
本专利技术涉及数据集成
,更为具体地,涉及一种模型驱动的数据集成中间件及实现方法。
技术介绍
加强各部门、各系统数据共享与互联互通,实现“让数据多跑路、让群众少跑腿”是目前各个行业信息化建设的重要目标,而数据集成是实现这一目标的重要环节,数据集成涉及数据整合与交换的标准建立,异源异构数据标准化处理,数据中心模型建立、数据存储规则管理、数据交换标准及服务生成等内容和多个技术处理环节。传统的数据集成方法往往由多个离散的工具分别实现某一部分,无法实现一体化管理,在体系化、自动化、标准化管理方面存在诸多不足,主要包括以下方面:(1)数据集成标准未实现结构化管理。数据集成的标准可能随着行业的发展,业务的需求发生变化。传统的数据集成方法对数据集成标准的管理一般是通过非结构化文档实现,每个版本的升级需要人工对非结构化文档进行维护,再借助其他工具升级到数据中心。过程繁琐,无法实现对多个版本的支持,系统更新升级成本较高。(2)数据集成接口规范无法通过系统自动生成。数据集成需要向被集成的系统提供集成的接本文档来自技高网...

【技术保护点】
1.一种模型驱动的数据集成中间件,其特征在于,包括信息模型管理模块、存储模型管理模块、异源异构数据集成模块和通用交换服务管理模块;信息模型管理模块,用于值域代码管理、数据元管理和数据集管理;存储模型管理模块,用于数据源管理、主题库管理和存储模型管理;异源异构数据集成模块,用于实现两种集成模式,定时集成和实时集成;通用交换服务管理模块,用于以信息模型、存储模型为基础,抽象平台中间存储对象,采用键值对方式对传输的数据进行存储,根据需要存储和交换的数据集按存储模型结构生成通用的新增、修改、删除以及查询服务。/n

【技术特征摘要】
1.一种模型驱动的数据集成中间件,其特征在于,包括信息模型管理模块、存储模型管理模块、异源异构数据集成模块和通用交换服务管理模块;信息模型管理模块,用于值域代码管理、数据元管理和数据集管理;存储模型管理模块,用于数据源管理、主题库管理和存储模型管理;异源异构数据集成模块,用于实现两种集成模式,定时集成和实时集成;通用交换服务管理模块,用于以信息模型、存储模型为基础,抽象平台中间存储对象,采用键值对方式对传输的数据进行存储,根据需要存储和交换的数据集按存储模型结构生成通用的新增、修改、删除以及查询服务。


2.根据权利要求1所述的一种模型驱动的数据集成中间件,其特征在于,
所述值域代码管理对平台内部及外部应用系统提供标准化的代码、非标准化代码的标准化转换处理,及不同系统信息交流对接前的相关同义词之间的映射关系,为整个平台提供统一的值域代码,为数据交换共享提供统一的标准化基础;
所述数据元管理包括对数据元分类管理和数据元明细管理;
所述数据集管理,能够生成数据交换的信息模型、交换规范、数据存储模型和存储规范,同时能够通过数据集分类来管理不同业务域的数据集。


3.根据权利要求1所述的一种模型驱动的数据集成中间件,其特征在于,
所述数据源管理,能对数据源进行增删改查操作,并能维护数据源的池属性,同时能为数据采集工具提供数据库连接词;
所述主题库管理,用于根据业务域的不同对同一类业务域下的所有存储模型建立分类,便于对系统物理模型的管理,同时系统运行为每一个主题库指定不用的模式或数据库实例,对主题库数据进行分库存储;
所述存储模型管理,用于管理存储模型表,存储模型表是根据信息模型在特定的业务场景下根据需要从信息模型资源库中选择对应的数据集作关联,并指定物理表名,存储模型表支持无限级主从关系,并将根据指定的物理表名生成对应的物理表。


4.根据权利要求1所述的一种模型驱动的数据集成中间件,其特征在于,
所述定时采集,用于针对交互性要求不高的业务数据和指标汇总数据,采用CDC和ETL进行数据采集;
所述实时采集,用于针对交互紧迫性要求高的业务数据,采用异构、多接口、稳定的消息机制进行数据交换。


5.根据权利要求2所述一种模型驱动的数据集成中间件,其特征在于,所述数据元明细管理包括标准代码管理和验证管理管理。


6.一种模型驱动的数据集成中间件实现方法,其特征在于,包括:
S1,建设模型驱动数据中...

【专利技术属性】
技术研发人员:陈练兵陈锡琦
申请(专利权)人:湖南长信畅中科技股份有限公司
类型:发明
国别省市:湖南;43

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1