一种处理多种通信方式下异构数据的接收和解析方法技术

本发明专利技术公开了一种处理多种通信方式下异构数据的接收和解析方法，该方法分为通信层，解析层，配置层和存储层，组成一套标准化的数据处理流程和输出的数据格式，其中通信层通过整合现有通信框架来实现以MQTT、HTTP、CoAP为通信协议的设备接入；解析层通过整合JSON、字符串、字节流三种数据格式的特性，实现数据的解析，并转为标准的JSON数据结构，从而实现数据格式的统一输出，方便后期的业务系统使用；配置层遵循约定大于配置，配置大于代码的原则实现通信参数、解析参数的组织，通过可视化界面录入来实现参数配置；存储层负责将上述配置信息进行存储，采用Redis和MySQL作为存储介质。该方法有效保证后期扩展针对TCP和UDP协议的数据时，提供技术基础和配置基础。提供技术基础和配置基础。提供技术基础和配置基础。

【技术实现步骤摘要】
一种处理多种通信方式下异构数据的接收和解析方法


[0001]本专利技术涉及物联网
，尤其涉及一种处理多种通信方式下异构数据的接收和解析方法。

技术介绍

[0002]随着全球计算机技术和信息通信技术的快速发展，物联网相关的采集技术和传输技术也蓬勃发展，相应的采集系统的信息化程度也随之越来越高，使得整个人类社会所共享的数据量级快速增长，数据格式也越来越多样化。因此物联网网关作为连接设备与服务平台的中间层，其作用越来越重要，它已经逐渐成为连接感知网络与传统通信网络的纽带；对它对要求也越来越高，需要对接更多的通信方式和通信协议。
[0003]早期的远程数据传输在通信上主要以TCP和UDP为主，数据格式以字节流为主,比如Mobus TCP、Iec104等。后来随着操作系统、硬件的规格、通信技术的发展，逐步出现了MQTT、HTTP、CoAP作为数据传输的通信方式：
[0004]MQTT协议是一种消息队列传输协议，它是一种基于发布/订阅(Publish/Subscribe)模式的轻量级通讯协议。它构建于TCP/IP协议基础之上，最大的优本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种处理多种通信方式下异构数据的接收和解析方法，其特征在于，包括以下步骤：步骤1，通过界面录入物联设备接入相关的通信配置和解析配置包括：设备信息、通信信息、总体解析信息、分段解析信息等相关配置，并更新到Redis和MySQL；步骤2，通信层通过redis获取通信配置，启动MQTT、CoAP、HTTP三个通信服务，等待设备接入；步骤3，当设备通过HTTP方式接入时，根据设备发送数据中的URL中获取的设备ID信息去Redis中查询相应的设备信息来判定设备是否有效，若设备有效则将设备的“配置项”和原始数据发送到解析层；步骤3.1，当设备通过CoAP方式接入时，根据设备发送数据中的URL中获取的设备ID信息去Redis中查询相应的设备信息来判定设备是否有效，若设备有效则将设备的“配置项”和原始数据发送到解析层；步骤3.2，当设备功过MQTT方式接入时，根据设备接入的的Topic及发送过来的用户名(即设备ID)去Redis中查询相应的设备信息来判定设备是否有效，若设备有效则将设备的“配置项”和原始数据发送到解析层；步骤4，当数据转到解析层后，配置层根据“配置项”从Redis中查找具体解析，包括JSON、字节流及字符串内容，至此数据解析所需的基础信息获取完成；步骤5，通过Guava线程池创建任务：根据“配置项”创建相应的数据解析实体类对象；然后将步骤4中获取的信息传入实体类；步骤6，启动Guava线程池中的任务开始进行数据任务，首先进行数据校验，判断导入原始数据是否为有效可解析的数据，若为有效数据，则进行数据解析；步骤7，执行完成后，会将标准的统一数据结构的JSON数据输出至存储层，目前可输出到kafka和RocketMQ中间件。2.根据权利要求1所述的一种处理多种通信方式下异构数据的接收和解析方法，其特征在于：所述通信层通过整合现有通信框架来实现以MQTT、HTTP、CoAP为通信协议的设备接入；所述解析层通过整合JSON、字符串、字节流三种数据格式的特性，实现数据的解析，并转为标准的JSON数据结构，从而实现数据格式的统一输出，方便后期的业务系统使用；所述配置层遵循约定大...

【专利技术属性】
技术研发人员：张海涛，胡浩瀚，郭正雄，王汝英，杨俊伟，徐骏，陈振兴，李根，白云畔，章名尚，
申请(专利权)人：国网信息通信产业集团有限公司，
类型：发明
国别省市：