一种基于Spark Streaming处理物联网数据的方法技术

技术编号:20856181 阅读:21 留言:0更新日期:2019-04-13 10:58
本发明专利技术公开一种基于Spark Streaming处理物联网数据的方法,及计算机物联网技术领域;建立物联网数据系统的Spark Streaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点中Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库,从而能够支持数据大并发请求,高效地实现数据实时采集、实时计算和存储,提高了物联网数据数据的处理效率。

【技术实现步骤摘要】
一种基于SparkStreaming处理物联网数据的方法
本专利技术公开一种基于SparkStreaming处理物联网数据的方法,及计算机物联网

技术介绍
MQTT协议具有占用低带宽、保障低延时、保持长连接、实现消息双向传输的特点,已经成为物联网设备的通用协议。当大量物联网终端接入物联网平台后,会实时产生巨大的数据量,应用程序对数据采集和处理的实时性要求越来越高,使用常规的数据处理工具会有较大的延迟和高负载。物联网数据一般以键值对的形式采集和存储,而传统关系型数据库并不适用于海量数据高并发读写。本专利技术提供一种基于SparkStreaming处理物联网数据的方法,设备采用MQTT协议接入物联网平台,使用SparkStreaming流式处理框架,Spark使用分布式部署,将MQTT接口作为SparkStreaming采集源数据,配置灵活的业务处理规则,进行业务数据分析,存储处理后的业务数据,实时监控状态Spark任务状态,从而能够支持数据大并发请求,高效地实现数据实时采集、实时计算和存储。SparkStreaming是Spark核心API的一个扩展,可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据,包括Kafk、Flume、Twitter、ZeroMQ、Kinesis以及TCPsockets,从数据源获取数据之后,可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统,数据库和现场仪表盘。还可以使用Spark的其他子框架,如集群学习、图计算等,对流数据进行处理。
技术实现思路
本专利技术针对现有技术的问题,提供一种基于SparkStreaming处理物联网数据的方法,通过实时监控状态Spark任务状态,从而能够支持数据大并发请求,高效地实现物联网数据实时采集、实时计算和存储。本专利技术提出的具体方案是:一种基于SparkStreaming处理物联网数据的系统,基于SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库。所述的系统中集群节点还包括Spark任务监控模块,Spark任务监控模块实时监控已提交的数据业务。所述的系统中物联网设备连接MQTT服务器,并将数据放入指定Topic,Spark数据源读取模块从Topic中获取物联网设备的数据。所述的系统中配置物联网数据业务处理规则,包括物联网设备与MQTT服务器的连接规则、物联网设备数据上报到Topic的规则、Spark流数据计算模块依据的数据业务处理的规则。所述系统的SparkStreaming流式处理框架整合SparkSql,按照SparkSql定义Spark流数据计算模块依据的数据业务处理的规则。一种基于SparkStreaming处理物联网数据的方法,建立物联网数据系统的SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库。所述的方法中集群节点中还包括Spark任务监控模块,Spark任务监控模块实时监控已提交的数据业务。所述的方法中物联网设备连接MQTT服务器,并将数据放入指定Topic,Spark数据源读取模块从Topic中获取物联网设备的数据。所述的方法中具体步骤为:基于SparkStreaming流式处理框架,部署物联网数据系统的集群环境,配置物联网数据业务处理规则;Spark任务提交模块调用SparkRESTAPI将数据业务提交到Spark集群,提交成功后获得SubmissionID和任务分配的Worker节点信息;Worker节点的Spark源数据读取模块获取物联网设备的数据,Spark数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块对业务分析处理的结果数据进行格式调整,将结果数据存储到TSDB数据库中。所述的方法中具体步骤为:基于SparkStreaming流式处理框架,部署物联网数据系统的集群环境,配置物联网数据业务处理规则;启动Spark任务监控模块,监控已提交的数据业务,Spark任务提交模块调用SparkRESTAPI将数据业务提交到Spark集群,提交成功后获得SubmissionID和任务分配的Worker节点信息;Worker节点的Spark源数据读取模块获取物联网设备的数据,Spark数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块对业务分析处理的结果数据进行格式调整,将结果数据存储到TSDB数据库中;Spark任务监控模块查询数据业务对应的每个SubmissionID下任务的执行状态,清理停止的SubmissionID下任务的临时文件和日志。本专利技术的有益之处是:本专利技术提供一种基于SparkStreaming处理物联网数据的方法,建立物联网数据系统的SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点中Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库,从而能够支持数据大并发请求,高效地实现数据实时采集、实时计算和存储,提高了物联网数据数据的处理效率。附图说明图1是本专利技术方法流程示意图。具体实施方式本专利技术提供一种基于SparkStreaming处理物联网数据的方法,建立物联网数据系统的SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库。同时提供与上述方法相对应的一种基于SparkStreaming处理物联网数据的系统,基于SparkSt本文档来自技高网
...

【技术保护点】
1.一种基于Spark Streaming处理物联网数据的系统,其特征是基于Spark Streaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库。

【技术特征摘要】
1.一种基于SparkStreaming处理物联网数据的系统,其特征是基于SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务进行业务分析处理,Spark数据目标写入模块将业务分析处理的结果数据存储到数据库。2.根据权利要求1所述的系统,其特征是集群节点还包括Spark任务监控模块,Spark任务监控模块实时监控已提交的数据业务。3.根据权利要求1或2所述的系统,其特征是物联网设备连接MQTT服务器,并将数据放入指定Topic,Spark数据源读取模块从Topic中获取物联网设备的数据。4.根据权利要求3所述的系统,其特征是配置物联网数据业务处理规则,包括物联网设备与MQTT服务器的连接规则、物联网设备数据上报到Topic的规则、Spark流数据计算模块依据的数据业务处理的规则。5.根据权利要求4所述的系统,其特征是所述系统的SparkStreaming流式处理框架整合SparkSql,按照SparkSql定义Spark流数据计算模块依据的数据业务处理的规则。6.一种基于SparkStreaming处理物联网数据的方法,其特征是建立物联网数据系统的SparkStreaming流式处理框架,以集群方式部署Spark,配置物联网数据业务处理规则,集群节点包括Spark任务提交模块、Spark数据源读取模块、Spark流数据计算模块、Spark数据目标写入模块,Spark任务提交模块将数据业务提交到Spark集群,Spark数据源读取模块获取物联网设备的数据,Spark流数据计算模块根据数据业务处理规则利用物联网设备的数据对数据业务...

【专利技术属性】
技术研发人员:徐驰孙善宝于玲
申请(专利权)人:济南浪潮高新科技投资发展有限公司
类型:发明
国别省市:山东,37

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1