物联网接入平台数据管理方法技术

本发明专利技术公开了物联网接入平台数据管理方法，包括如下步骤：提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系；终端数据负载均衡：物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群；所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器；所述协议解析服务器进行协议体解析。本发明专利技术解决了传统物联网接入平台单点故障、性能低下、存储容量无法扩展，程序间强藕合以及接入设备类型受限等缺陷。

【技术实现步骤摘要】

本专利技术属于物联网
，具体是物联网接入平台(简称“接入平台”)数据管理方法，能对海量数据进行处理，普遍适用于物联网领域相关信息系统。
技术介绍
随着物联网时代的到来，物联网的应用范围正在变得越来越大，各种物联网设备都需要接入到物联网相关系统，例如办公室会在需要的时候自动定购办公物品；衣服和身体上的传感器会实时将我们的健康数据传输医生；冰箱内的牛奶没有了，会自动从食品店那里定购牛奶。这类M2M(机器对机器)通信是物联网的关键之处。物联网接入设备都会在一定的间隔时间内上传数据至后台数据中心进行处理，因此，数据中心处理的数据量也呈指数级上升，物联网必须要考虑到如何存储和分析这些生成的数据。这不仅仅是一个数据量的问题，其中还涉及到这些数据的生成速度问题。接入设备正在生成越来越多的数据，而且这些数据的生成速度已经超过了大多数商业应用的处理速度。如此巨大的数据量使物联网的接入平台面临着巨大的挑战，也提出了稳定性、高性能和高可扩展的需求，而传统的物联网接入平台大多存在以下缺点:1.单点故障(Single Point of Failure, SPOF),系统中任一服务器程序岩机,贝丨J会造成整个接入平台服务的中断。2.性能低下:系统每秒钟能处理的数据量一般只在几百至几千条之间，无法应对大并发量的接入终端上传数据。3.系统存储容量无法扩展:接入平台一般采用本机文件系统或数据库的形式存储数据，都会有一定的存储上限，当应对数十TB，数百TB甚至上PB的数据时，均显无能为力。4.各系统之间强藕合:接入平台各系统之间均属强藕合关系，当某一系统出现故障，会引起其它系统之间的故障连锁反应。5.接入平台处理的接入设备类型受限:物联网接入设备和平台之间都会约定相互进行通信的协议，某种终端设备接入，接入平台都需做相应改造，这种频繁的变更造成了接入平台所能处理的终端类型有限。
技术实现思路
专利技术目的:针对上述现有技术存在的问题和不足，本专利技术的目的是提供一种，成功解决了传统物联网接入平台单点故障、性能低下、存储容量无法扩展，程序间强藕合以及接入设备类型受限等缺陷。技术方案:为实现上述专利技术目的，本专利技术采用的技术方案为一种，包括如下步骤:(I)提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系；(2)终端数据负载均衡:物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群；(3)所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器；(4)所述协议解析服务器进行协议体解析。优选的，所述初始数据解析为协议头解析。优选的，所述步骤(I)中，还包括:将所述映射关系写入基础数据库，并将所述映射关系同步至分布式缓存。优选的，所述负载均衡器为软件级负载均衡器，所述负载均衡器按照均衡算法将所述各终端的原始数据转发至网关服务器集群。更优选的，所述负载均衡器采用主备切换方式。优选的，所述步骤(3)中，还包括:网关服务器集群将终端在线列表存储至分布式缓存，各网关服务器共享所述终端在线列表。优选的，所述步骤(3)中，还包括:所述网关服务器集群将原始数据存储至分布式数据库。优选的，所述步骤(3)中，网关服务器集群根据所述终端的协议类型，将所述终端的原始数据进行初始解析，生成初始解析数据，并将所述初始解析数据传输至分布式消息中间件对应主题；所述步骤(4)中，相应的协议解析服务器从分布式消息中间件对应主题中读取所述初始解析数据，根据终端的协议类型进行协议体解析。优选的，所述步骤(4)中，还包括:协议解析服务器将解析后的全部数据存储至分布式数据库。优选的，所述步骤(4)中，还包括:协议解析服务器将解析后的常用数据(如终端经纬度、海拔和电量等数据)存储到分布式缓存中。优选的，协议解析服务器将解析后的数据传输至分布式消息中间件对应主题中。这里的数据是根据业务平台的需要传输的。有益效果:本专利技术与现有相比，具有以下优点:1.采用软件级负载均衡器，将物联网接入设备的数据接收分流至网关服务器集群进行处理，提供高可用的系统方案，极大提高接入平台能处理的终端数据并发量。2.采用分布式消息中间件，改变接入平台内部，以及接入平台与业务平台之间的强藉合关系，避免各程序之间的故障连锁反应。3.接入平台各组件均采用主备、分布式以及集群化的方式对外提供服务，解决了以往系统内部各处单点故障的缺陷。4.采用分布式数据库、分布式消息中间件和分布式缓存进行数据在内部的传输和存储，有效解决以往接入平台存储容量上限的问题，存储集群可以支持上万台的规模，支撑数十PB数据的存储。5.采用接入平台门户注册接入设备协议与消息中间件对应主题的映射关系，分布式消息中间件被用于网关服务器和协议解析服务器之间的消息通讯，从而解决以往接入平台所能处理设置类型受限的问题。【附图说明】图1为本专利技术的物联网接入平台架构示意图。【具体实施方式】下面结合附图和具体实施例，进一步阐明本专利技术，应理解这些实施例仅用于说明本专利技术而不用于限制本专利技术的范围，在阅读了本专利技术之后，本领域技术人员对本专利技术的各种等价形式的修改均落于本申请所附权利要求所限定的范围。本专利技术采取如下步骤实现:1、接入平台门户注册物联网接入设备(简称“接入设备”)协议为解决接入设备类型受限的问题，本专利技术采用接入平台门户来注册接入设备协议，包括如下步聚:1-1:根据物联网接入设备协议情况，设置分布式消息中间件对应主题，形成物联网接入设备协议与该主题的映射关系。1-2:将这种映射关系写入基础数据库。1-3:将这种 映射关系同步至分布式缓存。2、终端数据负载均衡物联网接入设备的各终端将原始数据上传至数据中心(包括软件级负载均衡器和网关服务器集群)，首先经过软件级负载均衡器，无论接入设备和数据中心之间是采用UDP或TCP链接方式，负载均衡器均可按照均衡算法将原始数据转发至后端的网关服务器集群，由其进行数据处理，解决以往整个接入平台只能由单台网关处理终端上传数据的现状，因此解决了网关服务器单点故障的问题。同时，软件级负载均衡器采用主备方式提供高可用服务。目前提供的均衡算法有以下几种:?轮叫调度(Round-Robin Scheduling)?加权轮叫调度(Weighted Round-Robin Scheduling)?最小连接调度(Least-Connection Scheduling)?加权最小连接调度(Weighted Least-Connection Scheduling)?基于局部性的最少链接(Locality-Based Least Connections Scheduling).带复制的基于局部性最少链接(Locality-Based Least Connections withReplication Scheduling).目标地址散列调度(Destination Hashing Scheduling)?源地址散列调度(Source Hashing Scheduling)?最短预期延时调度(Shortest Expected Delay Scheduling)?不排队调度(Never Que本文档来自技高网...

【技术保护点】
一种物联网接入平台数据管理方法，包括如下步骤：（1）提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系；（2）终端数据负载均衡：物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群；（3）所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器；（4）所述协议解析服务器进行协议体解析。

【技术特征摘要】
1.一种物联网接入平台数据管理方法，包括如下步骤: (1)提供分布式消息中间件，接入平台门户注册物联网接入设备协议，所述接入平台门户根据物联网接入设备协议情况设置分布式消息中间件对应主题，形成物联网接入设备协议与所述主题的映射关系； (2)终端数据负载均衡:物联网接入设备的各终端通过负载均衡器将所述各终端的原始数据转发至网关服务器集群； (3)所述网关服务器集群将原始数据进行初始数据解析并传输至协议解析服务器； (4)所述协议解析服务器进行协议体解析。2.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(I)中，还包括:将所述映射关系写入基础数据库，并将所述映射关系同步至分布式缓存。3.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述负载均衡器为软件级负载均衡器，所述负载均衡器按照均衡算法将所述各终端的原始数据转发至网关服务器集群。4.根据权利要求3所述物联网接入平台数据管理方法，其特征在于:所述负载均衡器采用主备切换方式。5.根据权利要求1所述物联网接入平台数据管理方法，其特征在于:所述步骤(3)中，还包括:网关服务器集群将...

【专利技术属性】
技术研发人员：樊建，魏大利，杨飞，丁文，李娜，
申请(专利权)人：樊建， 南京载玄信息科技有限公司，
类型：发明
国别省市：江苏;32