本发明专利技术提供了一种基于流式计算引擎的工业数据监控系统，包括状态监控模块采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进行实时告警。本发明专利技术将复杂事件处理与流式计算引擎结合，能增强告警的实时性和适用范围。警的实时性和适用范围。警的实时性和适用范围。
【技术实现步骤摘要】
基于流式计算引擎的工业数据监控系统和方法、介质
[0001]本专利技术涉及数据监控
，具体地，涉及一种基于流式计算引擎的工业数据监控系统和方法、介质。
技术介绍
[0002]工业互联网是新一代信息通信技术与工业经济深度融合的全新工业生态、关键基础设施和新型应用模式，它以网络为基础、平台为中枢、数据为要素、安全为保障，通过对数据的采集挖掘、对技术的应用落地、对流程的智能改造以提升工业生产的效率。
[0003]随着工业生产的信息化以及智能化改造的推进，生产过程中产生的数据量呈指数级攀升。这些复杂数据分布于传感器设备、物联网设备、电子商务、企业通讯工具等等，具有来源复杂、非结构化、分布不均等特点，对于数据价值的挖掘以及对非结构化数据的处理分析提出了挑战。
[0004]数据源多样化会对数据集成系统的连接扩展能力提出较高的要求，而分布式大数据存储系统再在给业务带来更强能力的同时也释放了业务的压力，进而促使了数据量的加速膨胀。数据量级上的快速增长对数据集成平台的吞吐和实时性都需要更高的要求。当然作为数据相关的基础系统，数据准确性则是基础的要求。
[0005]此外，系统需要理解并整合散落在不同业务团队的数据，做好管理并确保数据访问的安全，整个流程是相对复杂的。虽然平台化能够将复杂的流程自动化起来，但数据集成工作所固有的高成本并不能完全以平台化的方式消除。因此尽最大的可能提升流程的可复用性和可控性也是数据集成系统需要持续应对的挑战。
[0006]同时，流式数据现在面临需要查询持久化数据库，对底层数据库会产生压力的问题仍然未被解决。
[0007]经过检索，专利文献CN109637090A公开了一种基于SOA架构的灾害监测预警平台建设方法，解决了目前的地质灾害监测预警大多是通过人工巡查监测以及监测设备阈值报警进行预警，但由于诱发地质灾害的因素的多样性和不确定性，并且通常穿插交融着复杂的地理环境因素，对数据的管理与评价变得异常困难的缺陷。该项专利技术充分利用SOA架构的低耦合特点将AI预警服务更好的与监测系统结合，同时利用机器学习算法处理复杂数据和精确分类的优势，在风险源的危险性评价及监测对象评价的基础上,实时监测各个监测对象的数据，预测危险区内一定时段可能发生的一系列不同强度地质灾害的等级，针对不同风险区的特点提出减少风险的各项对策，为地质灾害监测预警提供辅助决策。但是该现有技术仍然无法对复杂事件进行处理，对于流式数据中符合某种特征的模式进而触发对应的后续动作无法做到实时告警。
[0008]专利文献CN111475682A公开了一种基于超大规模数据系统的智能运维平台，采用开放可扩展的数据采集底层架构，对接多种类型数据源，降低大数据采集门槛。对系统内所有类型数据的全视角查看，并追踪各个数据节点的整个生命周期，共享展现各个数据节点间的链路关系。如通过系统节点日志监控，实现用户、数据、作业任务、API、服务等多个维度
的链路监控梳理数据血缘关系，保证细颗粒度数据和操作的可追溯，完成数据的全生命周期管理。该现有技术虽然能进行高亮显示对据及原始数据进行对比验证，确保数据的完整性和可审计性，但是还是不能解决对数据价值的挖掘以及非结构化数据的处理分析。
[0009]因此，亟需研发设计一种能够解决流式计算业务在工业智慧化改造落地时遇见的问题的系统和方法。
技术实现思路
[0010]针对现有技术中的缺陷，本专利技术的目的是提供一种基于流式计算引擎的工业数据监控系统和方法、介质，使流式数据，无需查询持久化数据库，对底层数据库不会产生任何压力。
[0011]根据本专利技术提供的一种基于流式计算引擎的工业数据监控系统，包括：
[0012]状态监控模块：采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；
[0013]资源调配模块：对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；
[0014]异常状态模块：利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进而触发对应的后续动作进行实时告警。
[0015]优选地，状态监控模块传入每个数据源，元数据服务会生成一组定时的心跳信号，由作业进行消费，心跳信号流入每个作业后，随数据流一起经过每个节点，在每个节点上打上当前节点的标签，然后跳过该节点的处理逻辑流向下个节点，流经作业组件末端时会通过JMX被采集至展示页面。
[0016]优选地，状态监控模块通过心跳信号产生的时间、流入作业的时间以及到达每个节点的时间能判断一条数据被整个管道处理所用的时间和每个节点处理数据所用的时间，进而判断作业的性能瓶颈。
[0017]优选地，状态监控模块通过JMX获取流式计算引擎作业中消费的偏移量反查消息队列中持久化的消息主题的挤压情况，同时流式计算通过引擎提供的JMX采集作业节点的背压情况综合分析推断作业是否出现数据堆积的现象。
[0018]优选地，状态监控模块通过调整log4j日志框架默认机制，按天切分任务日志，定期清理过期日志，避免异常任务频繁写满磁盘导致计算节点不可用的情况，同时在所有计算节点部署agent实时采集日志，抽集到消息队列中再汇聚到非关系型数据库。
[0019]优选地，资源调配模块根据配置间隔定时扫描所有正在运行的流式计算任务，结合实时任务GC日志，同时根据内存优化规则计算流式计算任务推荐的堆内存大小，并与实际分配的流式计算任务的堆内存进行比较，如果两者相差的倍数过大时，认为流式计算任务的内存配置存在浪费的情况，则产生报警提示到任务调度进行优化。
[0020]优选地，资源调配模块通过判断实时任务消费的数据源单位时间的输入和实时任务各个Operator/Task消息处理能力是否匹配；
[0021]通过流式计算引擎提供的原生K8s支持，作业能够主动向调度器申请资源。
[0022]优选地，异常状态模块中的错误流记录中包含系统预设的错误码、原始输入数据以及错误类和错误信息，错误流信息被分类写入分布式文件存储单元，用户通过监控存储目录得知数据是否正常。
[0023]根据本专利技术提供的一种基于流式计算引擎的工业数据监控方法，包括如下步骤：
[0024]状态监控步骤：采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；
[0025]资源调配步骤：对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于流式计算引擎的工业数据监控系统，其特征在于，包括：状态监控模块：采用流式计算引擎原生支持的Prometheus进行实时指标采集和存储，通过meta节点定时抓取所有子节点指标进行汇总，统一数据源提供给Grafana进行可视化并通过dashboard进行告警配置；资源调配模块：对实时任务进行分析提供足够的内存给作业，同时对任务消息进行实时处理，结合实时任务内存分析所得相关指标、实时任务并发度的合理性，得出实时任务资源预设值，调整实时任务资源，达到实时任务资源配置；异常状态模块：利用SideOutput来收集流式作业各环节中出错的数据，汇总到统一的错误流，通过在流式数据中发现符合设定特征的模式进而触发对应的后续动作进行实时告警。2.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块传入每个数据源，元数据服务会生成一组定时的心跳信号，由作业进行消费，心跳信号流入每个作业后，随数据流一起经过每个节点，在每个节点上打上当前节点的标签，然后跳过该节点的处理逻辑流向下个节点，流经作业组件末端时会通过JMX被采集至展示页面。3.根据权利要求2所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过心跳信号产生的时间、流入作业的时间以及到达每个节点的时间能判断一条数据被整个管道处理所用的时间和每个节点处理数据所用的时间，进而判断作业的性能瓶颈。4.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过JMX获取流式计算引擎作业中消费的偏移量反查消息队列中持久化的消息主题的挤压情况，同时流式计算通过引擎提供的JMX采集作业节点的背压情况综合分析推断作业是否出现数据堆积的现象。5.根据权利要求1所述的基于流式计算引擎的工业数据监控系统，其特征在于，所述状态监控模块通过调整log4j日志框架默认机制，按天切分任务日志，定期清理过期日志，避免异常任务频繁写满磁盘导致计算节点不可用的情况，同时在所有计算节点部署age...
【专利技术属性】
技术研发人员：万英杰，陆必成，梁晨璜，黄明，周明，林锦，
申请(专利权)人：上海宝信软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。