针对物联网平台的大数据存储系统技术方案

本发明专利技术公开了一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。本发明专利技术方案采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。

Large Data Storage System for Internet of Things Platform

【技术实现步骤摘要】
针对物联网平台的大数据存储系统
本专利技术属于大数据存储
，涉及一种针对物联网平台的大数据存储系统。
技术介绍
随着科学技术的进步，物联网(InternetofThings)正在走进人们的生活，比如智能家居、环保节能、智能旅游、环境监控等，物联网及其衍生服务逐渐对人们的生活带来巨大的影响，使人们享受到科技进步带来的便利。面对基于物联网的大数据，传统的关系型数据库(RDBMS)已不适用，其无法对如此大量的数据进行有效的存储与管理。针对物联网大数据带来的存储及数据处理上的挑战，目前比较流行的方法有云数据管理技术和并行数据库集群技术。在云数据管理技术中，基本上均采用NoSQL数据库模型，按照KEY-VALUE的模式对数据进行组织和检索处理，比如采用Apache的Hadoop分布式开源框架，通过HDFS分布式文件系统，MapReduce分布式数据处理模型和HbaseKEY-VALUE数据库，能够有效地存储和处理物联网大数据，但目前采用该方法的物联网数据存储模型存在较大的局限性，只适用于一些特定的应用场合。在并行数据库集群技术中，通过网络将多个传统数据库组成集群，来应对物联网大数据的处理，但由于传统关系数据库在处理大数据问题上存在不足，在查询效率方面要远低于NoSQL数据库；另外，由于传统关系数据库需严格遵循事务处理机制，并行数据库集群的大数据处理效率将会严重下降。除了上述两种技术外，还有学者采用时空数据库技术来存储和处理物联网大数据，但该技术在应用上存在较大的局限性，其主要是针对物联网大数据的时空特性进行处理，提高时空特性数据的查询效率。
技术实现思路
本专利技术目的在于提供一种针对物联网平台的大数据存储系统，为了克服传统关系数据库在处理大数据问题上存在不足的问题，采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，利用HBase和HDFS存储架构结合MySQL传统关系数据库，有效地应对物联网数据的实时应需求和分布式持久化存储难题，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。为解决上述技术问题，本专利技术采用如下的技术方案：一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。进一步地，所述传感器数据采样层模块主要由传感器节点组成，包含温度传感器、湿度传感器、气体传感器、粉尘传感器等。进一步地，所述物联网数据存储层模块的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。进一步地，所述应用服务层模块主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。本专利技术与现有技术相比具有以下的有益效果：本专利技术方案为了克服传统关系数据库在处理大数据问题上存在不足的问题，采用层次化的建模方法对校园物联网大数据进行有效的组织和管理，利用HBase和HDFS存储架构结合MySQL传统关系数据库，有效地应对物联网数据的实时应需求和分布式持久化存储难题，实现了提高校园物联网大数据的接入、存储以及检索的效率效果。附图说明图1是针对物联网平台的大数据存储系统的整体架构图。图2是针对物联网平台的大数据存储系统的HDFS体系架构图。图3是针对物联网平台的大数据存储系统的物联网数据存储模型结构图。具体实施方式下面结合附图及具体实施例对本专利技术进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本专利技术，而非对本专利技术的限定。参照图1，本专利技术的一种针对物联网平台的大数据存储系统，该系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。传感器数据采样层模块主要由传感器节点组成，例如温度传感器、湿度传感器、气体传感器、粉尘传感器等，各传感器节点每经过一个固定的时间间隔进行一次数据采集，通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由物联网数据存储层模块进行存储管理。物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理。存储层的数据存储单元由不同的物理节点(即从节点)构成，从节点完成主节点分配的任务并定期向主节点报告节点状态，实现大数据存储。HDFS集群中的主节点负责对实际存储数据的物理节点进行管理，确保各从节点的负载均衡。应用服务层模块主要向用户提供各种应用服务，主要包括数据感知服务子模块、教学实验支持子模块、数据挖掘与分析子模块等。比如数据感知服务子模块，通过存储层提供的数据接口，物联网数据感知平台可以直观地为用户展示校园环境数据。参考图2，物联网数据存储层模块存储的是物联网感知数据，需要为应用层模块提供各类服务，这就要求系统在存储层提供数据处理接口。HDFS通过分布式存储以及其提供的MapReduce算法，非常适合大数据集的存储计算。HDFS采用主从结构(master-slave结构)，由一个主节点和多个从节点构成，主节点负责管理整个HDFS集群，并对各DataNode节点进行监控。另外，HDFS集群的数据存储也是由NameNode节点进行分配管理，并提供用户查询和数据读写的入口。DataNode节点是实际的数据存储节点，物理数据以数据块的形式进行存储，它们定时向NameNode节点发送元数据，用来更新所有数据块的索引信息。当用户需要访问数据时，HDFS首先将请求发送NameNode节点，然后NameNode节点将数据的索引信息反馈给用户，然后用户可以直接通过DataNode节点建立连接并进行数据的读写操作。HBase数据库是一种非关系数据库，其基于KEY-VALUE的模式对数据进行存储，可以实时地随机读写大规模数据集。HBase实质上是一张多维映射表，具有分布式、持久化存储等特性。HBase数据库以行键(RowKey)、列族(ColumnFamily)、时间戳(Timestamp)作为映射表的索引，其数据模型如表1所示：表1HBase数据模型表在表1的例子中，传感器编号可以作为行键，作为索引的主键，区别不同位置的传感器。列族用来存储传感器数据，在表1的列族中，包含三个子列：时间戳、名称列和数据列。列族是HBase数据库中最小的存储单元，实质上列族是一个三元组＜Timestamp，name，data＞，在这个三元组中，我们可以将Timestamp作为Key，name和data可以作为Value。从整体看，RowKey和ColumnFamily也是一本文档来自技高网...

【技术保护点】
1.针对物联网平台的大数据存储系统，其特征在于，所述系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。

【技术特征摘要】
1.针对物联网平台的大数据存储系统，其特征在于，所述系统包括：传感器数据采样层模块、物联网数据存储层模块以及应用服务层模块；其中，所述传感器数据采样层模块通过无线传感网络将感知数据回传到数据汇聚节点(Mesh节点)，然后由所述物联网数据存储层模块进行存储管理；所述物联网数据存储层模块采用HDFS(Hadoop分布式文件子系统)集群对感知数据进行自主存储管理；所述应用服务层模块主要负责通过所述物联网数据存储层模块提供的数据接口向用户提供各种应用服务。2.根据权利要求1所述的针对物联网平台的大...

【专利技术属性】
技术研发人员：徐继峰，周峻松，祁建明，陈墩金，
申请(专利权)人：广州明领基因科技有限公司，
类型：发明
国别省市：广东,44