The invention discloses a Hadoop-based large-scale data processing method for the Internet of Things, which comprises the following steps: S1. According to the data produced in the production process and the use requirements of the data, the source data layer is used for data acquisition and storage, the data processing layer is used for data parallel loading and storage, and the data storage layer is used for data storage. Data application shows the storage of needed data; S2. Storing mass source data by HDFS, processing mass source data by MapReduce, and storing and processing production data by HBase distributed database; S3. Designing and realizing mass production data storage system by data flow of three layers; and according to the invention. The different characteristics of product production process achieve mass production data storage through Hadoop. Data is written once and read many times by HDFS, and full parallelism is realized by MapReduce, which effectively distributes jobs to data.
【技术实现步骤摘要】
基于Hadoop的物联网大数据处理方法及系统
本专利技术涉及生产数据处理领域,特别涉及一种基于Hadoop的物联网大数据处理方法。
技术介绍
目前,国内的产品生产类企业需要重点提升产品的自动化、数字化、网络化和智能化水平。目前的产品生产中,往往有上百个工艺参数需要逐步进行优化,生产过程出现了“数据丰富而知识贫乏”的现象逐步获得有效解决,但随之而来的则是企业的集成信息系统尤其是生产制造系统每天获取的数据随着应用精度的提高呈几何级递增,因此在如何分发、存储、管理和共享这些海量数据已成为亟待解决的问题。因此,需要在Hadoop框架的基础上,提出一种基于Hadoop的物联网大数据处理方法。
技术实现思路
有鉴于此,本专利技术的目的是在Hadoop框架的基础上,提出一种基于Hadoop的物联网大数据处理方法。本专利技术的基于Hadoop的物联网大数据处理方法,包括以下步骤:S1.根据产品生产过程产生的数据及数据的使用需求,采用源数据层进行数据的获取存储,采用数据处理层进行数据的并行加载存储,采用数据存储层实现为数据应用展现所需数据的存储。S2.通过使用HDFS存储海量源数据,通过MapReduce处理海量源数据,用HBase分布式数据库存储处理后生产数据;S3.通过三个层面的数据流转从而设计实现产品生产海量生产数据的存储系统。进一步,在所述步骤S2中,HDFSClient通过调用FileSystem对象的open()来读取文件,DistributedFilesystem通过使用RPC来调用NameNode,以确定文件开头部分的块位置;进一步,在所述步骤S2中,对于每一个 ...
【技术保护点】
1.一种基于Hadoop的物联网大数据处理方法,其特征在于:包括以下步骤:S1.根据产品生产过程产生的数据及数据的使用需求,采用源数据层进行数据的获取存储,采用数据处理层进行数据的并行加载存储,采用数据存储层实现为数据应用展现所需数据的存储;S2.通过使用HDFS存储海量源数据,通过MapReduce处理海量源数据,用HBase分布式数据库存储处理后生产数据;S3.通过三个层面的数据流转从而设计实现产品生产海量生产数据的存储系统。
【技术特征摘要】
1.一种基于Hadoop的物联网大数据处理方法,其特征在于:包括以下步骤:S1.根据产品生产过程产生的数据及数据的使用需求,采用源数据层进行数据的获取存储,采用数据处理层进行数据的并行加载存储,采用数据存储层实现为数据应用展现所需数据的存储;S2.通过使用HDFS存储海量源数据,通过MapReduce处理海量源数据,用HBase分布式数据库存储处理后生产数据;S3.通过三个层面的数据流转从而设计实现产品生产海量生产数据的存储系统。2.根据权利要求1所述的基于Hadoop的物联网大数据处理系统,其特征在于:在所述步骤S2中,HDFSClient通过调用FileSystem对象的open()来读取文件,DistributedFilesystem通过使用RPC来调用NameNode,以确定文件开头部分的块位置。3.根据权利要求2所述的基于Hadoop的物联网大数据处理系统,其特征在于:在所述步骤S2中,对于每一个块,NameNode返回具有该块副本的数据节点;DistributedFilesystem返回一个FSDataInputStream对象给Client读取数据;FSdataInputStream转...
【专利技术属性】
技术研发人员:陈阳,
申请(专利权)人:广州绿源信息科技有限公司,广东松科智能科技有限公司,
类型:发明
国别省市:广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。