一种面向工业大数据的处理平台的构建方法技术

本发明专利技术公开了一种面向工业大数据的处理平台的构建方法，包括如下步骤：步骤1：从多个数据源处获得工业大数据；步骤2：将获取的数据实时推送至基于Kafka实现的消息队列中，对获取到的数据进行预处理操作，实施设备数据预警；步骤3：基于Flink的数据处理池作为消息队列的消费者，即数据处理池可从消息队列中获取到数据；步骤4：对步骤3中从消息队列获取到的数据进行处理操作；步骤5：将处理过的数据结果分门别类地存放于数据池中；步骤6：利用Grafana连接器对步骤5数据池中的进行多样化展示，供客户对数据进行检索、查询。本发明专利技术综合运用6种大数据技术和工具，为工业大数据场景下的数据传输、处理、存储提供了可行解决方案，具有良好的性能优势。具有良好的性能优势。具有良好的性能优势。

【技术实现步骤摘要】
一种面向工业大数据的处理平台的构建方法


[0001]本专利技术涉及工业大数据
，尤其是一种面向工业大数据的处理平台的构建方法。

技术介绍

[0002]工业大数据是企业生产力、竞争力的关键要素。但目前，由于工业大数据的数据特性各异，面向工业大数据处理平台的构建方法、体系架构、具体实现技术等也差异性较大，没有统一的解决方案。其中，一些解决方案往往采用单一的大数据技术，存在明显的局限性，例如：采用Storm框架实现的工业大数据处理平台，往往只支持纯实时的场景，在对工业大数据批处理的吞吐量较低；基于Apache Spark框架的解决方案，其更适用于处理一段时间内的批量数据，对实时工业大数据的处理则延迟性较高。在工业大数据场景下，实时数据、批数据、历史数据均存在，缺乏综合性的技术体系和完善的大数据生态的处理功能，易导致工业大数据平台的数据处理效率低，运维成本高。另外，现有的数据处理平台，依然缺少适用于工业大数据处理，特别是流数据处理的方法，使得用户难以及时对工业大数据进行分析。

技术实现思路

[0003]本专利技术提出一种面向工业大本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业大数据的处理平台的构建方法，其特征在于，包括如下步骤：步骤1：从多个数据源处获得工业大数据；步骤2：将获取的数据实时推送至基于Kafka实现的消息队列中，使这些数据作为消息队列的生产者；在该消息队列中，对获取到的数据进行预处理操作，对各个数据序列排序、分配主题；实施设备数据预警，即确定各个工业设备相应的阈值，当相关数据超过这个阈值时，消息队列自动发出提醒；步骤3：基于Flink的数据处理池作为消息队列的消费者，即数据处理池可从消息队列中获取到数据；步骤4：对步骤3中从消息队列获取到的数据进行处理操作；步骤5：将处理过的数据结果分门别类地存放于数据池中；步骤6：利用Grafana连接器对步骤5数据池中的进行多样化展示，供客户对数据进行检索、查询。2.如权利要求1所述的面向工业大数据的处理平台的构建方法，其特征在于，步骤1中，从多个数据源处获得工业大数据具体为：(a)通过物联网、传感器获得的设备运行数据和系统实时事件监控数据；(b)通过第三方消息队列、应用系统和数据库获得...

【专利技术属性】
技术研发人员：叶枫，赵润发，娄渊胜，
申请(专利权)人：河海大学，
类型：发明
国别省市：