一种物联网数据集成与融合中间件系统技术方案

本发明专利技术涉及一种物联网数据集成与融合中间件系统，包括：基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；适配器子系统，用于实现所述数据集成与融合中间件系统与外部数据源的交互；数据源子系统，用于通过所述适配器子系统获取真实数据；服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；数据视图子系统，用于为应用提供一致的、全局的虚拟数据库；连接器子系统，用于提供多种协议的连接服务。本发明专利技术为行业间物联网信息系统的数据集成和融合提供了统一的解决方案。

A middleware system for data integration and integration in Internet of things

The invention relates to a middleware system for data integration and integration of the Internet of things, including the base frame system, which provides support, implementation and configuration of the storage and shared repositories of the common frameworks of each subsystem; the adapter subsystem is used to implement the interaction of the data integration and Fusion Middleware System with the external data source. A data source subsystem used to obtain real data through the adaptor subsystem; the server subsystem is used to provide parsing, validation, transformation, publishing, and sharing services for the processing of view data; integrated fusion engine subsystem is used to complete data integration and fusion between multiple data views and generate from raw data. A new data view; a data view subsystem that provides a consistent, global virtual database for applications; the connector subsystem is used to provide multiple protocol connection services. The invention provides a unified solution for data integration and integration of inter Industry Internet of things information system.

【技术实现步骤摘要】
一种物联网数据集成与融合中间件系统
本专利技术涉及一种物联网数据集成与融合中间件系统，属于计算机

技术介绍
随着各行各业信息化工作的快速发展，各行业逐步建设了行业内部的信息系统，积累了大量行业数据。为了把各行业间的“信息孤岛”的异构数据源有机的集成和融合，满足行业间信息共享与异构系统间互联的现实需求，中间件方法被广泛采用。而物联网的发展使得传感感知层的设备不断增加，数据源也成倍的增加。同时，由于“云”服务等新一代网络技术的引用，人们希望将共同完成一个项目的传感器和计算机设备组织连成网络，形成智能的自我协同、自动运作的系统，从而进一步满足人们在制造、物流、能源、环境和生活等产业的需求。迄今，比较成熟的数据库集成中间件包括：ODBC(OpenDatabaseConnectivity，开放式数据库连接)，它首次用统一的方式存取数据库。OLEDB(ObjectLinkingandEmbeddingDatabase，对象链接和嵌入数据库)，它定义了一个数据访问服务的集合，通过这些服务器可以方便的连接到任意的数据源。JDBC(JavaDatabaseConnectivity，Java数据库连接)，它第一次支持Java语言的数据库应用程序接口。目前数据库的中间件虽然很多，但这些中间件都是和具体领域的业务有关，只对该领域的业务进行了高层次的抽象，使用范围有限。如今，用户面临的一个巨大挑战是实现跨平台、跨行业、跨互联网、并尽可能快的将大量可用的物联网数据集成和融合为信息资产，然后利用这些信息资产开辟新的商机。因此，解决物联网行业间信息系统的数据集成和共享的问题，将异构数据源有机的进行集成和融合迫在眉睫。
技术实现思路
为解决上述问题，本专利技术提出一种物联网数据集成与融合中间件系统，为行业应用集成提供跨平台、跨应用程序，具有通用性、扩充性和互操作性的全面数据集成融合系统。本专利技术提出一种物联网数据集成与融合中间件系统，包括：基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；适配器子系统，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；数据源子系统，用于通过所述适配器子系统获取真实数据；服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；数据视图子系统，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；连接器子系统，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。进一步的，所述外部数据源经过适配器子系统将数据打包之后返回标准的接口，所述数据源子系统对打包后数据进行抽取，通过所述集成融合引擎子系统配置的融合规则生成虚拟数据库，然后由所述数据视图子系统提供虚拟数据库的统一视图，获取视图数据，当外部应用需连接和处理视图数据时，所述连接器子系统通过不同的协议使得外部应用可以调用连接接口和连接服务，并与所述服务器子系统进行通讯，所述服务器子系统收到指令后开始对视图数据进行处理。具体的，所述外部数据源包括以下的一种或几种：主流的数据库中的结构化数据、半结构化数据、非结构化数据，第三方中间件，自我数据源即一个所述的中间件体系结构可以集成另一个所述的中间件体系结构作为它的数据源。进一步的，所述基础框架子系统中的共享资源库主要包括开发环境创建的元数据，连接接口和连接服务的注册信息，适配器的配置信息，版本维护信息，处理管道的注册信息，转换规则，映射关系。本专利技术提供的一种数据集成与融合中间件系统，利用基于组件的中间件技术来提供强大和统一的信息集成与融合解决方案，为电子政务、金融、企业等行业级别应用的数据集成与融合提供完整的开发和运行系统。附图说明图1为数据集成与融合系统示意图。具体实施方式本专利技术提供的一种物联网数据集成与融合中间件系统，利用基于组件的中间件技术来提供强大和统一的信息集成与融合解决方案，为电子政务、金融、企业等行业级别应用的数据集成与融合提供完整的开发和运行系统。本专利技术的实施例提出一种物联网数据集成与融合中间件系统，包括：基础框架子系统10，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；所述基础框架子系统10中的共享资源库主要包括开发环境创建的所述元数据，连接接口和连接服务的注册信息，适配器的配置信息，版本维护信息，处理管道的注册信息，转换规则，映射关系。共享资源库是数据集成与融合中间件平台的信息中心，开发平台、管理平台和服务器都要从共享资源库中获取信息和对信息进行维护具体的，基础框架子系统10采用EIF(corporatEInformationFactory)进行搭建，即企业信息工厂。适配器子系统20，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，从而完成对数据的抽取，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；所述适配器子系统20中的适配器在使用时通过所述适配器管理器将其注册到所述共享资源库中，并提供各类数据源相应的标准和接口；进一步的，适配器是Plug-in的组件，可以通过适配管理器进行动态加载，包括适配服务和数据格式化服务；具体的，所述适配器子系统20中为不同类型的原数据提供相应的适配器，包括数据库、面向对象数据库、文件、第三方中间件、自我数据源，即一个所述中间件系统可以将另一个中间件系统作为它的数据源，以及应用系统等，其中，所述面向对象数据库为面向对象系统和数据库能力。数据源子系统30，用于通过所述适配器子系统获取真实数据；具体的，所述数据源子系统30的数据获取包括数据实时获取和非实时获取两种方式中的一种或两种；其中，所述数据源子系统30提供数据的本地缓存，用于支持非实时的数据获取，同时对非实时的数据获取策略和规则进行定义，包括抽取时间、数据内容等。服务器子系统40，用于为视图数据的处理提供解析、验证、转换、发布、共享服务的模块；所述服务器子系统40创建视图文档实例，由所述协议交互引擎双向处理模块执行并将返回的结果交给所述工作流引擎模块，然后将返回的结果进行格式验证和规则配置，由所述转换与映射模块进行进一步处理。转换处理的流程也可以由用户在可视化开发工具中定义，并由所述服务器子系统动态执行，生成和处理复杂的结构化的文档。进一步的，所述服务器子系统40包括安全和权限管理模块，解析与验证模块，消息路由模块，商务规则处理模块，转换与映射模块，协议交互引擎双向处理模块，工作流引擎模块和服务注册与发布模块。具体的，所述服务器子系统40通过所述服务注册与发布模块，对视图数据的访问、查询接口以web服务的形式注册到所述基础框架子系统中的共享资源库中，并在服务器上提供连接服务，当连接的外部应用访问视图数据时，安全和权限管理模块负责对调用服务的用户进行身份验证，转换与映射模块对视图数据的查询语句转换映射为对真实数据源的查询，其中，真实数据源由所述数据源子系统通过所述适配器子系统获取本文档来自技高网...

【技术保护点】
一种物联网数据集成与融合中间件系统，包括：基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；适配器子系统，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；数据源子系统，用于通过所述适配器子系统获取真实数据；服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；数据视图子系统，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；连接器子系统，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。

【技术特征摘要】
1.一种物联网数据集成与融合中间件系统，包括：基础框架子系统，用于提供各子系统的公共框架的支持、实现和配置存储及共享资源库；适配器子系统，由一个适配管理器和多个适配器组成，用于实现所述数据集成与融合中间件系统与外部数据源的交互，其中，所述适配器子系统直接访问所述外部数据源，所述适配器管理器统一管理所有的适配器；数据源子系统，用于通过所述适配器子系统获取真实数据；服务器子系统，用于为视图数据的处理提供解析、验证、转换、发布及共享服务；集成融合引擎子系统，用于完成多个数据视图间数据集成和融合，从原始数据生成新的数据视图；数据视图子系统，用于为应用提供一致的、全局的虚拟数据库，所述虚拟数据库用于与各应用进行数据交互；连接器子系统，用于提供多种协议的连接服务，并连接提供数据源的外部应用，使得应用可以在所述服务器子系统中通过不同的协议进行通讯。2.如权利要求1所述的物联网数据集成与融合中间件系统，所述外部数据源经过适配器子系统将数据打包之后返回标准的接口，所述数据源子系统对打包后数据进行抽取，通过所述集成融合引擎子系统配置的融合规则生成虚拟数据库，然后由所述数据视图子系统提供虚拟数据库的统一视图，获取视图数据。当外部应用需连接和处理视图数据时，所述连接器子系统通过不同的协议使得外部应用可以调用连接接口和连接服务，并与所述服务器子系统进行通讯，所述服务器子系统收到指令后开始对视图数据进行处理。3.如权利要求1所述的物联网数据集成与融合中间件系统，所述外部数据源包括以下的一种或几种：主流的数据库中的结构化数据、半结构化数据、非结构化数据，第三方中间件，自我数据源即一个所述的中间件体系结构可以集成另一个所述的中间件体系结构作为它的数据源。4.如权利要求1所述的物联网数据集成与融合中间件系统，所述适配器子系统中的适配器由适配器管理器统一管理，包括适配服务、数据格式化服务。5.如权利要求1所述的物联网数据集成与融合中间件系统，所述数据源子系统的数据获取包括数据实时获取和非实时获取两种方式中的一种或两种。6.如权利要求1所述的物联网数据集成与融合中间件系统，所述服务器子系统包括安全和权限管理模块，解析与验证模块，消息路由模块，商务规则处理模块，转换与映射模块，协议交互引擎双向处理模块，工作流引擎模块和服务注册与发布模块。7.如权利要求6所述的物联网数据集成与融合中...

【专利技术属性】
技术研发人员：康子路，李强，高原原，王萌萌，
申请(专利权)人：中国电子科技集团公司信息科学研究院，
类型：发明
国别省市：北京,11