基于流式计算引擎的工业数据监控系统和方法、介质技术方案

本发明专利技术提供了一种基于流式计算引擎的工业数据监控系统，包括状态监控模块采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进行实时告警。本发明专利技术将复杂事件处理与流式计算引擎结合，能增强告警的实时性和适用范围。警的实时性和适用范围。警的实时性和适用范围。

【技术实现步骤摘要】
基于流式计算引擎的工业数据监控系统和方法、介质


[0001]本专利技术涉及数据监控
，具体地，涉及一种基于流式计算引擎的工业数据监控系统和方法、介质。

技术介绍

[0002]工业互联网是新一代信息通信技术与工业经济深度融合的全新工业生态、关键基础设施和新型应用模式，它以网络为基础、平台为中枢、数据为要素、安全为保障，通过对数据的采集挖掘、对技术的应用落地、对流程的智能改造以提升工业生产的效率。
[0003]随着工业生产的信息化以及智能化改造的推进，生产过程中产生的数据量呈指数级攀升。这些复杂数据分布于传感器设备、物联网设备、电子商务、企业通讯工具等等，具有来源复杂、非结构化、分布不均等特点，对于数据价值的挖掘以及对非结构化数据的处理分析提出了挑战。
[0004]数据源多样化会对数据集成系统的连接扩展能力提出较高的要求，而分布式大数据存储系统再在给业务带来更强能力的同时也释放了业务的压力，进而促使了数据量的加速膨胀。数据量级上的快速增长对数据集成平台的吞吐和实时性都需要更高的要求。当然作为数据相关的基础系统，数据准确性则是基本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于流式计算引擎的工业数据监控系统，其特征在于，包括：状态监控模块：采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块：对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块：利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进而触发对应的后续动作进行实时告警。2.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块传入每个数据源，元数据服务会生成一组定时的心跳信号，由作业进行消费，心跳信号流入每个作业后，随数据流一起经过每个节点，在每个节点上打上当前节点的标签，然后跳过该节点的处理逻辑流向下个节点，流经作业组件末端时会通过JMX被采集至展示页面。3.根据权利要求2所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过心跳信号产生的时间、流入作业的时间以及到达每个节点的时间能判断一条数据被整个管道处理所用的时间和每个节点处理数据所用的时间，进而判断作业的性能瓶颈。4.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过JMX获取流式计算引擎作业中消费的偏移量反查消息队列中持久化的消息主题的挤压情况，同时流式计算通过引擎提供的JMX采集作业节点的背压情况综合分析推断作业是否出现数据堆积的现象。5.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过调整log4j日志框架默认机制，按天切分任务日志，定期清理过期日志，避免异常任务频繁写满磁盘导致计算节点不可用的情况，同时在所有计算节点部署age...

【专利技术属性】
技术研发人员：万英杰，陆必成，梁晨璜，黄明，周明，林锦，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：