基于Spark大数据平台的多家居设备路由表构建方法技术

技术编号:13603422 阅读:69 留言:0更新日期:2016-08-27 22:24
本发明专利技术公开了一种基于Spark大数据平台的多家居设备路由表构建方法,涉及智能家居领域,包括如下步骤:首先,获取设备信息,并定义相关的路由表;其次,利用Spark创建路由表相关的分布式数据集RDD;再次,利用Spark的RDD进行路由表信息的转化,完成对路由表的构建;最后,得到建立好的房间路由表RouteTable,并做持久存储。本发明专利技术利用Spark分布式并行技术,扩大了中心控制设备对子设备的控制范围,实现中心控制设备对房屋内智能家居设备的最大限度覆盖;同时,有效解决智能家居设备数量多时,系统反应时间延迟高的问题,能够快速构建智能家居设备路由表,确保中心控制设备与房屋内所有子设备之间的通信畅通。

【技术实现步骤摘要】

本专利技术涉及信息技术、物联网、云计算、智能家居等领域,提供了一种基于Spark大数据平台的多智能家居设备路由表构建方法。
技术介绍
随着电子技术在现实生活中的广泛应用,人们越来越感受到电子产品为生活所带来的各种便利,在家庭房屋智能家居系统中,包含了很多智能家居设备,实现对房屋中各种智能家居设备的控制有了更大的需求。智能家居是在互联网影响下物联化的体现。智能家居通过物联网技术将家中的各种设备(如音视频设备、照明系统、窗帘控制、空调控制、安防系统、数字影院系统、影音服务器、影柜系统、网络家电等)连接到一起,提供家电控制、照明控制、电话远程控制、室内外遥控、防盗报警、环境监测、暖通控制、红外转发以及可编程定时控制等多种功能和手段。与普通家居相比,智能家居不仅具有传统的居住功能,兼备建筑、网络通信、信息家电、设备自动化,提供全方位的信息交互功能,甚至为各种能源费用节约资金。在智慧社区中,通过对智能家居设备之间构建路由表,可以基本实现房屋内中心控制设备对房屋内所有子设备的通信与控制。然而,由于房屋的通信条件受到房屋所在社区和周边环境的影响,它可能是不断变化的,如在断电、通信质量减弱、子设备发生故障等条件下等,房屋内的整体路由会受到影响。为了保证房屋内子设备的长期正常运行,需要设置扫描时间周期T,每隔时间周期T,对路由表进行定期维护。Spark是一个基于内存的分布式计算系统,是由UC Berkeley AMPLab实验室于2009年开发的开源数据分析集群计算框架。拥有MapReduce的所有优点,与MapReduce不同的是.Spark将计算的中间结果数据持久地存储在内存中,通过减少磁盘I/O。使后续的数据运算效率更高。Spark的这种架构设计尤其适合于机器学习、交互式数据分析等应用.这些应用都需要重复地利用计算的中间数据。在Spark和Hadoop的性能基准测试对比中,运行基于内存的logistic regression,在迭代次数相同的情况下,Spark的性能超出HadoopMapReduce 100倍以上。Spark不局限于MapReduce简单的编程范式,Spark立足于内存计算,同时在上层支持图计算、迭代式计算、流式计算、内存SQL等多种计算范式,因此相对于MapReduce更具有通用性。为了支持在多次迭代计算过程中重复利用内存数据集,Spark在借鉴传统分布式共享内存思想的基础上,提出了一种新的数据抽象模型RDD(resilient distributeddataset),RDD是只读、支持容错、可分区的内存分布式数据集。可以一部分或者全部缓存在集群内存中,以便在多次计算过程中重用。用户可以显式控制RDD的分区、物化、缓存策略等,同时RDD提供了一套丰富的编程接口,供用户操作。RDD是Spark分布式计算的核心,Spark的所有计算模式都必须围绕RDD进行。RDD是一种分布式的内存抽象,表示只读的、分区记录的集合,它只能通过在稳定物理存储中的数据集或其它已有的RDD上执行一些确定性操作(并行操作中的转换操作)来创建,并行操作包括转换(transform)和动作(action)两种类型。转换表示对现有的RDD创建一个新的RDD,动作则表示在RDD上执行计算,结果返回一个普通的类型值或将RDD中的数据输出到存储系统中。RDD之间的依赖关系有两种:窄依赖(narrow dependencies)和宽依赖(wide dependencies)。窄依赖是指父RDD分区至多被一个子RDD的每个分区所依赖;宽依赖是指子RDD的多个分区都依赖于父RDD的每个分区。在智慧社区中,智能家居设备多,快速的实现路由表构建是非常有必要的。考虑到智慧社区中的智能家居设备大数据,结合Spark在大数据处理方面的优势,本专利技术提出一种基于Spark大数据平台的多家居设备路由表构建方法
技术实现思路
本专利技术针对各种类型的房屋中,房屋结构异构、多样、复杂,智能家居设备数量多,子设备与中心控制设备的距离大小不一,中心控制设备难以直接与所有子设备进行通信等问题,提出了一种基于Spark大数据平台的多智能家居设备路由表构建方法。在扩大了中心控制设备对子设备的控制范围,实现中心控制设备对房屋内智能家居设备的最大限度覆盖的基础上,有效解决了智能家居设备数量多,系统反应时间延迟高的问题,能够快速构建智能家居设备路由表,确保中心控制设备能与房屋内所有子设备之间的通信畅通。为实现上述目的,本专利技术提供了一种基于Spark大数据平台的多家居设备路由表构建方法,包括步骤:S1、获取设备信息,并定义相关的路由表;S2、利用Spark创建路由表相关的分布式数据集RDD;S3、利用Spark的RDD进行路由表信息的转化,完成对路由表的构建;S4、得到建立好的房间路由表RouteTable,并做持久存储。在本专利技术提供的技术方案中,扩大了中心控制设备对子设备的控制范围,实现中心控制设备对房屋内智能家居设备的最大限度覆盖的基础上,有效解决了智能家居设备数量多,系统反应时间延迟高的问题,能够快速构建智能家居设备路由表,确保中心控制设备能与房屋内所有子设备之间的通信畅通。进一步而言,在步骤S2中,利用Spark创建路由表相关的分布式数据集RDD的方法具体为:创建一个SparkContext对象,调用SparkContext对象的parallelize()函数创建分布式数据集RDD,通过RDD的persist()方法或者cache()方法将其持久化到内存中。该改进方案所解决的技术问题为:提高路由表构建和通讯速度,避免串行通信的信道堵塞。在该技术方案中,分布式数据集RDD可并行操作,再通过RDD的persist()方法或者cache()方法将其持久化到内存中,使后续的动作速度更快。进一步而言,步骤S3具体包括:中心控制设备发出通信请求指令,请求房屋内所有子设备响应;统计收到响应的子设备总数量j以及收到响应的子设备总集合DevSet={x1,x2,...,xj本文档来自技高网
...

【技术保护点】
一种基于Spark大数据平台的多家居设备路由表构建方法,其特征在于,包括如下步骤:S1、获取设备信息,并定义相关的路由表;S2、利用Spark创建路由表相关的分布式数据集RDD;S3、利用Spark的RDD进行路由表信息的转化,完成对路由表的构建;S4、得到建立好的房间路由表RouteTable,并做持久存储。

【技术特征摘要】
1.一种基于Spark大数据平台的多家居设备路由表构建方法,其特征在于,包括如下步骤:S1、获取设备信息,并定义相关的路由表;S2、利用Spark创建路由表相关的分布式数据集RDD;S3、利用Spark的RDD进行路由表信息的转化,完成对路由表的构建;S4、得到建立好的房间路由表RouteTable,并做持久存储。2.如权利要求1所述的一种基于Spark大数据平台的多家居设备路由表构建方法,其特征在于,在所述步骤S2中,所述利用Spark创建路由表相关的分布式数据集RDD的...

【专利技术属性】
技术研发人员:舒海东胡峰
申请(专利权)人:重庆房慧科技有限公司
类型:发明
国别省市:重庆;50

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1