海量异构数据接入及标准化系统技术方案

技术编号:13601358 阅读:76 留言:0更新日期:2016-08-27 16:40
本发明专利技术涉及一种海量异构数据接入及标准化系统,包括数据采集配置工具和异构信息采集适配服务两部分;数据采集适配工具为用户提供友好的操作界面,实现对数据端点配置、数据格式及属性配置,以及转换规则的有效配置;异构信息采集适配服务主要接收数据发布者发送过来的数据信息,为每一个外部系统分配一条管道,通过不同的消息通道处理不同种类的信息,采用推送模式对消息进行处理。

【技术实现步骤摘要】

本专利技术属于计算机网络
,具体涉及一种智慧城市物联网海量异构数据接入及标准化系统
技术介绍
智慧城市物联网信息系统建设的过程中面临各种数据交换和数据接入问题。而每种类型的数据因其格式、协议不同都需要独立开发集成服务软件来实现该部分数据的接入及传输。目前对分布异构数据资源进行集成和管理的方法主要有数据复制方法和模式集成方法。数据复制方法是指将各个数据源的数据复制到与其相关的其它数据源上,并维护数据源整体上的一致性、提高信息共享利用的效率。最常见的数据复制方法就是通过ETL架构,经过抽取、转换、加载过程,将转换完的数据按计划增量或全部导入数据仓库的方法。这种数据集成方式的优点是数据高度集中,建立客户端较为方便。缺点是要提出一个统一的数据库模式来满足多个应用的需要。并且当多个应用通过共享数据库频繁地读取和修改相同的数据,会带来性能瓶颈。模式集成方法的基本思想是,在构建集成系统时将各数据源的数据视图集成为全局模式,使用户能够按照全局模式透明地访问各数据源的数据。模式集成方法包括联邦数据库及中间件方法。典型的基于中间件的数据集成系统主要包括中间件和包装器,其中每个数据源对应一个包装器,中间件通过包装器和每个数据源交互。用户在全局模式基础上向中间件发出查询请求。中间件模式能够集成非数据库形式的数据源,实时性强。但是对于物联网感知数据源种类多的情况,需要分别开发不同的包装器,扩展性不强。
技术实现思路
本专利技术的目的是提出一种海量异构数据接入及标准化方法,它致力于通过灵活的配置工具,能够在不需要代码开发或是做出少量程序修改情况下,实现实时感知数据信息的采集、转换及分发。本专利技术的技术方案如下:一种海量异构数据接入及标准化系统,其特征在于:包括数据采集配置工具和异构信息
采集适配服务两部分;数据采集适配工具为用户提供友好的操作界面,实现对数据端点配置、数据格式及属性配置,以及转换规则的有效配置;异构信息采集适配服务主要接收数据发布者发送过来的数据信息,为每一个外部系统分配一条管道,通过不同的消息通道处理不同种类的信息,采用推送模式对消息进行处理。所述数据端点,即数据发布者和数据订阅者;所述转换规则配置,包括数据源的数据格式配置,目标数据格式配置,以及它们之间的数据转换规则配置。所述异构信息采集适配服务包括信息路由模块、数据分发模块、链路管理模块、异常信息处理模块、数据映射关系管理模块和运行状态监控模块,其中,信息路由模块根据消息类型完成消息的路由;数据分发模块将消息转发到相应的订阅者;链路管理模块管理链路的连接、关闭、异常信息,通过给每个端点分配唯一的ID标识在发布者与订阅者之间建立连接关系;异常信息处理模块处理异常信息;数据适配接口模块进行消息聚合及分解,同时调用数据处理模块进行消息处理;数据映射关系管理模块管理信息发布者和消费者通道;运行状态监控模块查看各个通道状态信息,并统计发布者和订阅者的数量。本专利技术主要实现消息格式适配、消息数据格式转换、消息传输功能,其主要起到异构实时感知数据的接入、标准化及共享。具体解决三个问题:1、当有多个数据源与目标系统时,如何在异构的系统之间建立消息通道,并将消息路由到目标系统。2、将数据源系统的消息格式转换成标准格式的数据形式。3、提供友好的操作界面,使用户可以配置发布者系统和订阅者系统的通信协议、网络通信信息,以及源数据及目标数据的格式。具体实施方式异构信息接入及标准化系统包括数据采集配置工具和异构信息采集适配服务两部分,两部分功能模块主要通过配置文件实现信息交互,进而实现异构感知信息的采集和标准化。异构数据接入及标准化系统整个设计理念基于SOA技术架构与软件管道架构的结合,采用多样化数据采集通道与用户服务角色(数据发布者、数据订阅者)相分离,实现采集通道与用户角色的灵活配置,后台数据处理流程采用软件管道架构进行设计,根据信息中的内容,通过管道将数据发送到数据处理模块进行解析及处理,将转换后数据发布给不同的订阅者。数据采集适配工具为用户提供友好的操作界面,实现了对数据采集端点配置、数据格式及属性配置,以及转换规则的有效配置。数据端点即数据发布者和数据订阅者。转换规则配置包括数据源的数据格式配置,目标数据格式配置,以及它们之间的数据转换规则配置。异构信息采集适配服务主要接收数据发布者发送过来的数据信息,为每一个外部系统分
配一条管道,通过不同的消息通道处理不同种类的信息,采用推送模式对消息进行处理。数据推送是指数据源主动将数据推送到目的系统上。通过数据处理,将转换为标准格式的信息分发给数据订阅者(包括数据库中间件)。为协调数据发布者与订阅者之间的异步,在订阅者端建立缓存。异构信息采集适配服务包括信息路由模块、数据分发模块、链路管理模块、异常信息处理模块、数据映射关系管理模块和运行状态监控模块。信息路由模块根据消息类型完成消息的路由。数据分发子模块将消息转发到相应的订阅者。链路管理模块管理链路的连接、关闭、异常信息,通过给每个端点分配唯一的ID标识在发布者与订阅者之间建立连接关系。异常信息处理模块处理异常信息。数据适配接口模块进行消息聚合及分解,同时调用数据处理模块进行消息处理。数据映射关系管理模块管理信息发布者和消费者通道。运行状态监控模块查看各个通道状态信息,并统计发布者和订阅者的数量。使用人员通过界面可视化方式实现系统参数、数据协议格式、数据协议转换等功能操作,系统根据配置的信息自动获取到网络环境、消息语义格式信息,从各类数据发布者(数据来源)接收数据,经过过滤、解析等过程,由数据平台处理后路由到相应的数据订阅者(数据去向),进而实现数据的共享。系统作为数据转换路由服务的数据平台,在不同的发布者和订阅者之间建立映射关系,针对配置的数据处理类型进行对应的处理,避免多个包装器的开发,实现代码重用。本文档来自技高网
...

【技术保护点】
一种海量异构数据接入及标准化系统,其特征在于:包括数据采集配置工具和异构信息采集适配服务两部分;数据采集适配工具为用户提供友好的操作界面,实现对数据端点配置、数据格式及属性配置,以及转换规则的有效配置;异构信息采集适配服务主要接收数据发布者发送过来的数据信息,为每一个外部系统分配一条管道,通过不同的消息通道处理不同种类的信息,采用推送模式对消息进行处理。

【技术特征摘要】
1.一种海量异构数据接入及标准化系统,其特征在于:包括数据采集配置工具和异构信息采集适配服务两部分;数据采集适配工具为用户提供友好的操作界面,实现对数据端点配置、数据格式及属性配置,以及转换规则的有效配置;异构信息采集适配服务主要接收数据发布者发送过来的数据信息,为每一个外部系统分配一条管道,通过不同的消息通道处理不同种类的信息,采用推送模式对消息进行处理。2.根据权利要求1所述的海量异构数据接入及标准化系统,其特征在于:所述数据端点,即数据发布者和数据订阅者;所述转换规则配置,包括数据源的数据格式配置,目标数据格式配置,以及它们之间的数据转换规则配置。3.根据权利要求1所...

【专利技术属性】
技术研发人员:王欢王春华李小君肖凤华孟凡芹
申请(专利权)人:北京航天长峰科技工业集团有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1