基于ARM架构的大数据采集与分析平台制造技术

本发明专利技术公开了一种基于ARM架构的大数据采集与分析平台，该平台包括：STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；云端大数据平台，用于存储流式计算分析模块得到的数据；数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。本发明专利技术可以实时采集大批量数据，并进行快速实时分析，并集中存储。

【技术实现步骤摘要】

本专利技术涉及数据采集分析平台，尤其涉及一种基于ARM架构的大数据采集与分析平台。
技术介绍
目前，物联网作为下一个重大的互联网革命，所有不同形状和尺寸的设备和机器正在连接至互联网、彼此互连以及连接至人类。基于每年超过100亿台微控制器的出货量，且均可通过互联网相连，大量智能设备应运而生，范围涉及运动传感器、智能家居、设备监控以及环境监测。每天会产生大量的数据，这些数据总是被离散的存储在不同的地方，而且存储容量很小，另一方面很难做到对实时采集的数据进行快速实时分析。
技术实现思路
专利技术目的：本专利技术针对现有技术存在的问题，提供一种基于ARM架构的大数据采集与分析平台。技术方案：本专利技术所述的基于ARM架构的大数据采集与分析平台包括：STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；云端大数据平台，用于存储流式计算分析模块得到的数据；数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。进一步的，所述STM硬件平台具体为基于ARMV7构架的STM32芯片搭建的数据采集硬件平台。所述STM硬件平台的外围协议接口包括SPI、IIC、USB、485、CAN、ADC和RS232接口。所述中间件具体为apache的kafka中间件。所述流式计算分析模块具体为ApacheSpark的SparkStreaming流式计算模块。所述云端大数据平台采用Hadoop分布式文件系统实现数据存储。有益效果：本专利技术与现有技术相比，其显著优点是：本专利技术可以实时采集大批量数据，并进行快速实时分析，之后集中存储在HDFS。本专利技术可以部署在廉价的机器上，提供高吞吐量的数据访问，存储量巨大且是可扩展的。附图说明图1是本专利技术的一个实施例的系统框图。具体实施方式如图1所示，本实施例的基于ARM架构的大数据采集与分析平台包括STM硬件平台、中间件、流式计算分析模块、云端大数据平台和数据视图展示模块。STM硬件平台：STM硬件平台是基于ARMV7构架的STM32芯片搭建的数据采集硬件平台，用于通过外围协议接口(包括SPI、IIC、USB、485、CAN、ADC和RS232接口)从节点控制器上进行实时数据采集，并通过DM9000a网口将采集的数据进行解析后发送。中间件：由于各个硬件设备以及外围接口数据传输率不同，会造成采集数据的速度和数据处理的速度不一定同步，因此添加一个中间件来作为缓冲，选用apache的kafka作为中间件，各个STM硬件平台作为数据生成者，流式计算分析模块Sparkstreaming工具作为数据的消费者，将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步。流式计算分析模块：流式计算分析模块具体为ApacheSpark的SparkStreaming流式计算模块，用于采用流式计算模式实时分析中间件传输的数据。SparkStreaming是ApacheSpark的一个子项目。Spark是个类似于ApacheHadoop的开源批处理平台，而SparkStreaming则是个实时处理工具，运行在Spark引擎之上，对采集到的数据进行实时分析。云端大数据平台：云端大数据平台采用Hadoop分布式文件系统(HDFS)实现数据存储，用于存储流式计算分析模块得到的数据。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。数据视图展示模块：数据视图展示模块用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。数据视图展示模块通过SparkSql对存储在HDFS上的数据进行查询，以数据仪表盘向用户形象的展现数据分析的结果，又可以通过动态交互式的方式帮助用户分析问题。以上所揭露的仅为本专利技术一种较佳实施例而已，不能以此来限定本专利技术之权利范围，因此依本专利技术权利要求所作的等同变化，仍属本专利技术所涵盖的范围。本文档来自技高网...

【技术保护点】
一种基于ARM架构的大数据采集与分析平台，其特征在于该平台包括：STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；云端大数据平台，用于存储流式计算分析模块得到的数据；数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。

【技术特征摘要】
1.一种基于ARM架构的大数据采集与分析平台，其特征在于该平台包括：STM硬件平台，用于通过外围协议接口从节点控制器上进行实时数据采集，并通过网口将采集的数据进行解析后发送；中间件，用于将STM硬件平台的数据进行缓冲，从而在流式计算时达到数据同步；流式计算分析模块，用于采用流式计算模式实时分析中间件传输的数据；云端大数据平台，用于存储流式计算分析模块得到的数据；数据视图展示模块，用于通过查询云端大数据平台，采用web服务或移动终端应用展示分析结果。2.根据权利要求1所述的基于ARM架构的大数据采集与分析平台，其特征在于：所述STM硬件平台具体为基于ARMV7构架的STM32芯片搭建的数据采集硬件...

【专利技术属性】
技术研发人员：金路，鹿林，秦定宇，
申请(专利权)人：南京中新赛克科技有限责任公司，
类型：发明
国别省市：江苏;32