一种数据处理与融合方法及其应用技术

一种数据处理与融合方法，包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

A Data Processing and Fusion Method and Its Application

【技术实现步骤摘要】
一种数据处理与融合方法及其应用
本专利技术涉及一种基于物体标准化描述的面向主题的数据处理与融合方法及其应用，属于物联网
，可以应用于物联网领域的设备数据清洗、标准格式化以及面向主题的数据融合等。
技术介绍
物联网近年来得到了迅速的发展。物联网中设备种类越来越多，不同设备种类的数据结构差异性较大，即使是同种设备类型的数据结构和计量单位也会存在差异，因此，面向某一主题的源数据如何标准统一化处理是物联网数据处理需要解决的问题之一，此外，物联网设备采集到的数据中无效不合理的脏数据也需要在数据处理过程中丢弃掉。在物联网应用中，大多数情况下用户需要的不仅仅是某一单一数据，而是面向一个主题的融合数据包，基于多元融合数据包进行智能决策。如何对物联网实时大数据进行自定义配置融合主题，进行实现高效处理和融合，将有用信息反馈给订阅者，进而提供智能决策，是物联网面临的关键问题。与本专利技术相关的现有技术一中国专利申请(申请号：CN201711498039，公开号：CN108052673A)公开一种物联网数据集成与融合中间件系统，该系统提供了一种行业间物联网信息系统的数据集成与融合解决方案。所述系统通过适配器子系统实现与外部多数据源(数据库、文件等)进行交互，获取数据并汇聚到数据源子系统，通过服务器子系统的数据处理进而进入集成融合引擎子系统完成多个数据视图间的数据集成与融合，从原始数据生成新的数据视图。该技术是对各行业多数据源历史数据的统一处理和集成融合展示。与本专利相关的现有技术二中国专利申请(申请号：CN201810271872，公开号：CN108491533A)公开了一种数据融合方法、装置、数据处理系统及存储介质，该专利将数据融合功能从数据处理模块提取处理，为数据处理系统各功能模块提供了统一的数据融合装置，降低了代码冗余度，同时使得数据处理模块更专注与数据处理算法，降低了模块耦合度，提升了系统可扩展性。该专利申请旨在解决现有数据处理系统按功能划分的都有数据处理需求的不同功能模块的统一数据融合管理问题。
技术实现思路
本专利技术相对现有技术1的不同点在于：本专利技术是自定义自动化配置数据处理规则(单位转换、过滤规则)和面向主题的融合规则，对上报的实时设备数据进行处理和融合，将融合后的主题数据包发布出来，供订阅者获取融合后的主题数据包。本专利技术相对现有技术2的不同点在于：本专利技术是通过自定义配置数据处理和融合规则，实现物联网各领域数据的标准统一化以及为物联网应用用户提供面向物联网应用主题的数据融合包服务。本专利技术采取的技术方案是通过下述技术手段来实现的：一种数据处理与融合方法，该方法是基于物体标准化描述的面向主题的数据处理与融合方法，其包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。此外，本专利技术还公开一种物联网设备，其特征为：包括上述数据处理与融合方法。有益效果：本专利技术公开了一种基于物体标准化描述的面向主题的数据分析与融合方法，解决了物联网领域海量实时数据处理与使用困难等问题。物体标准化描述定义的物体描述模型即ASAC四段描述模型，允许每个厂商可以给设备定义描述模板，因此，造成了即使是同类设备数据结构、数据单位也存在差异，举个简单例子，比如温度传感器，该类设备最基本的功能就是上报感知到的温度数据，但是不同厂商定义的温度传感器上报的温度key值各不相同，数据单位也不统一，有摄氏度和华氏度两种，当一个项目中应用了不同品牌的温度传感器时，可能采集到的温度数据格式就不相同，此外，对于温度数据不在有效值范围内的数据明显是脏数据，在数据处理时也需要丢弃掉，不需要推送给应用，将处理完成的数据发布到数据融合模块，以支撑后续的面向主题的数据融合规则运行，并为应用层提供面向主题的融合数据包的订阅和推送服务，为物联网多行业多设备海量实时数据应用提供了一种解决方案。附图说明图1是基于物体标准化描述的面向主题的数据处理与融合方法的架构图。图2是基于物体标准化描述的面向主题的数据处理与融合方法数据处理定义的流程图。图3是基于物体标准化描述的面向主题的数据处理与融合方法面向主题的数据融合规则模板定义的数据流程。图4为基于物体标准化描述的面向主题的数据处理与融合方法的面向主题的数据融合实例化的流程图。具体实施方式以下描述用于揭露本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。基于物体标准化描述的面向主题的数据处理与融合方法可分为三个步骤：(1).基于物体标准化描述的原始设备实时数据采集；(2).通过设备数据处理模块实现对采集的数据进行处理，设备数据处理包括数据结构标准统一化定义管理、数据处理规则管理以及基于物体描述模板的原始数据到标准统一化数据的映射转化关系管理，其中数据处理规则包含单位转换规则和数据过滤规则；(3).数据融合，应用层定义或选择面向主题的数据融合规则进行实例化，实例化验证通过后就可以发出数据融合数据包的订阅请求，当物体上报的数据经过标准化处理以及融合后就会将数据包推送给订阅者以完成服务提供。下面对每个步骤进行详细介绍：(1)、原始设备实时数据采集实现与设备终端通信，通信报文载荷体内容部分遵循物联网物体描述标准，获取终端设备实时的数据包，数据包包含了接口名称IFID和上报数据DATA两部分，这两部分的取值是在物体描述ASAC的动作段定义的，比如现有技术中温度传感器上报的数据包{"IFID":"TEMP","DATA":"{'TEMP':30}"}，该数据包中包含IFID和DATA两个数据项内容，在该温度传感器描述ASAC模型中定义了接口名称为TEMP的接口，该接口的返回值参数包括TEMP，数值类型为int，单位为摄氏度℃。原始设备实时数据采集进一步包括基于物体标准化描述的数据采集，物体标准化描述是将物体描述分为ASAC四段，即属性段(Attribute)、状态段(State)、动作段(Action)、能力段(Capability)，通过四段内容对物体进行标准化统一描述，其中属性段包含物体的生产厂商、类型、型号不可变信息，状态段包含物体各类可变的状态信息，动作段定义了物体的通信方式、交互接口和输入输出参数信息，能力段定义了物体语义化的能力信息和数据信息(2)、设备数据处理包括数据结构标准统一化定义管理、数据处理规则管理以及基于物体描述模板的原始数据到标准统一化数据的映射转化关系管理，其中数据处理规则包含单位转换规则和数据过滤规则。请参考附图2所述数据处理定义的数据流图。首先获取已经注册的未进行数据结构统一化映射转换的物体描述模板，并逐一进行数据结构统一化映射转换，比如物体描述模板中的上报数据接口上报温度和湿度两项参数，需要判断是否该两项单一主题统一化数据结构模型是否存在，如果存在则逐一映射转本文档来自技高网...

【技术保护点】
1.一种数据处理与融合方法，该方法是基于物体标准化描述的面向主题的数据处理与融合方法，其包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。

【技术特征摘要】
1.一种数据处理与融合方法，该方法是基于物体标准化描述的面向主题的数据处理与融合方法，其包括如下步骤：步骤1：原始设备实时数据采集；步骤2：通过设备数据处理模块实现对采集的数据进行处理；步骤3：数据融合；其特征为：所述原始设备实时数据采集，实现与终端设备通信，获取终端设备的实时数据；所述设备数据处理模块实现将采集的原始数据进行数据结构的统一化和数据的过滤处理；所述数据融合获取设备数据处理模块推送的处理后的数据，根据定义的数据融合规则将数据进行融合，并将融合后的数据包发布到中间件服务器，物联网应用可根据需要订阅面向主题的融合数据包。2.根据权利要求1所述的数据处理与融合方法，其特征为：所述统一化和数据的过滤处理为：首先建立各单一主题的统一化数据结构模型，再通过配置规则实现将原始数据到数据结构模型的映射转换进而实现数据结构统一化。3.根据权利要求1所述的数据处理与融合方法，其特征为：所述步骤1进一步包括基于物体标准化描述的数据采集，物体标准化描述是将物体描述分为ASAC四段，即属性段(Attribut...

【专利技术属性】
技术研发人员：刘佩云，康子路，龚军，熊梓策，王楠，
申请(专利权)人：中国电子科技集团公司信息科学研究院，
类型：发明
国别省市：北京,11