一种面向物联网的多源异构数据接入系统及方法技术方案

本发明专利技术公开了一种面向物联网的多源异构数据接入系统及方法，系统包括：设备接入管理模块，用于屏蔽多源设备数据异构性，对物联网设备及数据进行统一管理和标准化接入；数据分析融合模块，用于将不同来源、不同格式、多样结构、碎片化的感知数据根据业务需要进行汇总、处理、聚合；数据存储模块，用于引接设备产生的非结构化数据和结构化数据进行高效存储与分类管理。本发明专利技术解决了物联网领域海量设备如何一体化管控、大量多源异构数据如何实时快速引接、分散混乱数据如何清洗整合和质量管理的问题。题。题。

【技术实现步骤摘要】
一种面向物联网的多源异构数据接入系统及方法


[0001]本专利技术属于物联网的数据引接和处理
，具体涉及一种面向物联网的多源异构数据接入系统及方法。

技术介绍

[0002]物联网作为新一轮信息产业革命的核心领域，更多的业务需求开始追逐物联网“万物互联”的风口，大量的物联网设备接入到物联网平台。随之产生大量的XML、JSON、音频、图片、视频信息等非结构化数据、半结构化数据，需要能够存储多种格式的数据类型；同时大量的物联网设备缺乏统一的通信标准和安全标准，平台需要针对每类设备的接入分别进行编码接入，造成平台复杂度和耦合度较高；并且感知数据来源不同厂家的设备、获取手段多样、数据格式各异，内容存在冲突、重复、缺失等问题。
[0003]物联网数据具有海量性、复杂、多源、异构特点，对于物联网数据接入系统提出更高的接入、存储、分析要求。因此，如何对海量繁杂、来源广泛、不确定、关联弱的多源异构数据进行快速引接、分析融合和高效存储，是物联网平台保持实用性、通用性、高效性亟需解决的技术难题。

技术实现思路

[0004]本专利技术的目的之一在于提供一种面向物联网的多源异构数据接入系统，针对感知数据呈现来源广泛、引接手段少、数据格式多样、分析程度低的特点，解决了感知数据如何多源引接、清洗转换、高效存储的问题。
[0005]为实现上述目的，本专利技术所采取的技术方案为：
[0006]一种面向物联网的多源异构数据接入系统，所述面向物联网的多源异构数据接入系统，包括：设备接入管理模块、数据分析融合模块和数据存储模块，其中：
[0007]所述设备接入管理模块，用于统一接入大批量多源异构的感知设备，通过统一的物联数据协议为应用层面提供开发的数据服务总线；所述设备接入管理模块包括设备管理单元、接口协议引接单元、文本数据引接单元，其中：
[0008]所述设备管理单元，用于对所接入的感知设备进行管理和安全接入认证，同时判断该设备是否满足标准协议接入，针对不兼容标准协议的感知设备预先建立数据结构转换模型；
[0009]所述接口协议引接单元，用于制定针对多源异构的感知设备的各种类型感知数据的元数据模型、数据格式以及数据采集标准协议接口；
[0010]所述文本数据引接单元，用于通过文件接口接收感知设备传输的不同格式的文本数据；
[0011]所述数据分析融合模块，用于将设备接入管理模块接收的大批量结构化数据和半结构化数据转换为同型同构的结构化数据传送至所述数据存储模块；
[0012]所述数据存储模块，用于对设备接入管理模块接收的半结构化数据和非结构化数
据、以及数据分析融合模块发送的结构化数据进行分类存储与管理。
[0013]以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。
[0014]作为优选，所述接口协议引接单元包括标准协议服务单元和私有接口适配单元；
[0015]所述标准协议服务单元，用于针对同属性感知设备提供统一标准接口服务进行多源异构数据引接；所述多源异构数据包括不同设备产生的结构化数据、半结构化数据和非结构化数据；
[0016]所述私有接口适配单元，用于针对不兼容标准协议的感知设备采用拓展接口和数据结构转模型换将接入数据转换为标准接口数据。
[0017]作为优选，所述标准协议服务单元根据设备数据属性将多源异构数据定义为上报数据、状态数据、控制指令数据、联动指令数据这四类标准协议数据；
[0018]所述标准协议服务单元根据每类标准协议数据定义相应的接口，包括设备采集数据接口、设备状态上报接口、设备控制接口和设备联动接口，其中：
[0019]所述设备采集数据接口，用于接收感知设备所采集的上报数据，包括目标数据、告警信息及其当前工作参数；
[0020]所述设备状态上报接口，用于接收感知设备按照接口协议定时上报的状态数据，包括心跳状态数据、校时信息、开关机信息；
[0021]所述设备控制接口，用于将感知设备的控制指令数据转化为接口参数传送至感知设备，以控制感知设备的工作参数或状态；
[0022]所述设备联动接口，用于向处置类设备发出跟踪目标信息的联动指令数据请求，该目标信息为接收到的探测类设备的目标信息。
[0023]作为优选，所述数据分析融合模块包括：数据解析分类单元、数据清洗单元和数据转换单元，其中：
[0024]所述数据解析分类单元，用于从所述数据存储模块获取半结构化文本数据转换为结构化数据传输至所述数据清洗单元；所述的半结构化文本数据包括二进制文本数据、XML文本数据、JSON文本数据，所述半结构化文本数据由设备接入管理模块发送至所述数据存储模块缓存；
[0025]所述数据清洗单元，用于对数据解析分类单元处理后的结构化数据以及所述设备接入管理模块直接接入的结构化数据进行重复剔除、缺失补充、异常纠正操作后传输至所述数据转换单元；所述结构化数据包括结构化文本数据，所述的结构化文本数据包括CSV、XLS格式的文本数据；
[0026]所述数据转换单元，用于通过ETL工具对所述数据清洗单元发送的结构化数据进行数据抽取后传输至所述数据存储模块。
[0027]作为优选，所述数据解析分类单元采用改进的分布式并行计算框架MapReduce将所述数据存储模块中分布式存储缓存的大批量半结构化文本数据并行处理分析，快速实时转换为单设备的结构化数据，执行如下操作：
[0028]步骤a：从存储区域读取待操作的半结构化文本数据，将数据分割成若干个的逻辑分片，其中分片的大小＝读取文件总内存大小/hdfs块默认大小；
[0029]步骤b：调用Map端将分片数据解析成一系列键值对<key，value>供后续处理，相同文本类型的分片数据具有相同的key键；
[0030]步骤c：根据感知设备的业务需求和文本类型对Map端的处理的键值对分为n个分区处理；
[0031]步骤d：对每个分区的分片数据进行从小到大排序，将排序后的分区中key键相同的value进行合并；
[0032]步骤e：调用Reduce端对分区合并后的value进行分类处理，将文本类型相同的分片数据整理到相同类型文本；
[0033]步骤f：读取完成分类的文本数据，根据数据中的感知设备类型和该感知设备的字段长度将其分割为单个设备的结构化数据流，并传输至数据清洗单元。
[0034]本专利技术提供的一种面向物联网的多源异构数据接入系统，与现有技术相比具有以下有益效果：
[0035](1)、通过设备接入管理模块实现兼容多类感知设备的通信标准和安全协议，快速自动采集海量的感知数据，自适应适配感知设备私有接口协议，降低平台复杂度和耦合度。
[0036](2)、通过数据分析融合模块提供分布式并行计算框架，为平台实时快速处理大批量的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向物联网的多源异构数据接入系统，其特征在于，所述面向物联网的多源异构数据接入系统，包括：设备接入管理模块、数据分析融合模块和数据存储模块，其中：所述设备接入管理模块，用于统一接入大批量多源异构的感知设备，通过统一的物联数据协议为应用层面提供开发的数据服务总线；所述设备接入管理模块包括设备管理单元、接口协议引接单元、文本数据引接单元，其中：所述设备管理单元，用于对所接入的感知设备进行管理和安全接入认证，同时判断该设备是否满足标准协议接入，针对不兼容标准协议的感知设备预先建立数据结构转换模型；所述接口协议引接单元，用于制定针对多源异构的感知设备的各种类型感知数据的元数据模型、数据格式以及数据采集标准协议接口；所述文本数据引接单元，用于通过文件接口接收感知设备传输的不同格式的文本数据；所述数据分析融合模块，用于将设备接入管理模块接收的大批量结构化数据和半结构化数据转换为同型同构的结构化数据传送至所述数据存储模块；所述数据存储模块，用于对设备接入管理模块接收的半结构化数据和非结构化数据、以及数据分析融合模块发送的结构化数据进行分类存储与管理。2.如权利要求1所述的面向物联网的多源异构数据接入系统，其特征在于，所述接口协议引接单元包括标准协议服务单元和私有接口适配单元；所述标准协议服务单元，用于针对同属性感知设备提供统一标准接口服务进行多源异构数据引接；所述多源异构数据包括不同设备产生的结构化数据、半结构化数据和非结构化数据；所述私有接口适配单元，用于针对不兼容标准协议的感知设备采用拓展接口和数据结构转模型换将接入数据转换为标准接口数据。3.如权利要求2所述的面向物联网的多源异构数据接入系统，其特征在于，所述标准协议服务单元根据设备数据属性将多源异构数据定义为上报数据、状态数据、控制指令数据、联动指令数据这四类标准协议数据；所述标准协议服务单元根据每类标准协议数据定义相应的接口，包括设备采集数据接口、设备状态上报接口、设备控制接口和设备联动接口，其中：所述设备采集数据接口，用于接收感知设备所采集的上报数据，包括目标数据、告警信息及其当前工作参数；所述设备状态上报接口，用于接收感知设备按照接口协议定时上报的状态数据，包括心跳状态数据、校时信息、开关机信息；所述设备控制接口，用于将感知设备的控制指令数据转化为接口参数传送至感知设备，以控制感知设备的工作参数或状态；所述设备联动接口，用于向处置类设备发出跟踪目标信息的联动指令数据请求，该目标信息为接收到的探测类设备的目标信息。4.如权利要求1所述的面向物联网的多源异构数据接入系统，其特征在于，所述数据分析融合模块包括：数据解析分类单元、数据清洗单元和数据转换单元，其中：所述数据解析分类单元，用于从所述数据存储模块获取半结构化文本数据转换为结构
化数据传输至所述数据清洗单元；所述的半结构化文本数据包括二进制文本数据、XML文本数据、JSON文本数据，所述半结构化文本数据由设备接入管理模块发送至所述数据存储模块缓存；所述数据清洗单元，用于对数据解析分类单元处理后的结构化数据以及所述设备接入管理模块直接接入的结构化数据进行重复剔除、缺失补充、异常纠正操作后传输至所述数据转换单元；所述结构化数据包括结构化文本数据，所述的结构化文本数据包括CSV、XLS格式的文本数据；所述数据转换单元，用于通过ETL工具对所述数据清洗单元发送的结构化数据进行数据抽取后传输至所述数据存储模块。5.如权利要求4所述的面向物联网的多源异构数据接入系统，其特征在于，所述数据解析分类单元采用改进的分布式并行计算框架MapReduce将所述数据存储模块中分布式...

【专利技术属性】
技术研发人员：程正华，林建华，祝瑞寿，张东东，高树论，薛如冰，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：